呼,终于终于,dressage 新版本要重构完了,全套基础设施,从数据模型到 rollout,再到调度。我的意思是,我终于有点时间写会儿博客了。
emm,其实算法侧或者 infra 侧也有很多想写啦,但是果然,我骨子里还是喜欢复杂的东西,这次写一下欠了诸位读者好久的氛围编程系列吧。
当然,写这篇博客的另一个原因是,目前业界的 coding agent llm 发展进度和我去年年初预测的一样,1T 以内的基本快到头了。这意味着,常见 code plan 计费的商业 coding 模型(往往是 1T 模型的蒸馏)的最优工程范式要准备收敛了,那么我自然得开始写写博客了,我可不希望我写的博客在未来变成废纸。
原本其实打算把这篇教程像《锦恢的 AI Agent 小白系列》一样,写成一个系列的,但是奈何细节和隐性知识实在太多,我想,真的想要写出达到我要求的氛围编程集锦系列播客,可能要付出巨大的代价和精力。
我相信未来的锦恢会做到的。
有人会说,你不能用 AI 帮你写博客吗?好问题,那我反问你:“你不能用 AI 帮你写教程吗?你为何还来向我索求知识呢?”
所以我打算按照 wenli blog 的风格,写一个碎片化的记录,说是博客,它或许更像是技术日志。简单记录一下一些和 vibe coding 有关的技术技巧总结,需要系统化阐述的部分,我通常会写成一篇完整的博客,然后在本文章中去引用。
嗯,差不多是这样,反正有问题评论区讨论吧。
01 请为我生成一个 app,每分钟往我银行卡打钱本质复杂度不会消失,只会转移。
关于什么是本质复杂度,什么是偶然复杂度,推荐直接看这篇知乎帖子:40多年前的《人月神话》在当下还有多大的指导意义? - 王勃的回答 - 知乎。
计算机和电子信息的每一轮技术革新,都会在原有的底子上干掉一些老的偶然复杂度,引入比如这少得多的新的偶然复杂度,并转移一部分本质复杂度。
以 vibe coding 为例,过去我们用 Tailwind CSS + shadcn/ui + TypeScript 写前端,配置怎么写,有没有什么好用的模板库,不同组件版本不兼容了怎么搞,这些细碎的细节在过去能整出一大堆的博客,这些偶然复杂度在 vibe coding 时代都消失了,在大部分场景下,我们用 codex 帮我们写前端代码已经不会去关心这些问题了。这属于「干掉一些老的偶然复杂度」。
很多人写前端会用参考图或者 skill 来对一些固定场景进行快速 vibe coding。显然,如何选择参考图和 skill 并非一件盖棺定论的事情,你不可避免要进行选择。这属于「引入比如这少得多的新的偶然复杂度」。
在过去,我们需要考虑前端的按钮要如何排布,假设你有 20 个可供交互的功能点,你的前端设计肯定不能一行行把这 20 个按钮全部罗列出来,这太丑了,而且非常不用户友好。所以在过去,我们需要根据常见的 UI 布局和基于业务理解的按钮点击优先级,把优先级低的按钮放到折叠栏里面,优先级高的放到最外层。这种体验业务理解和用户洞察的复杂度在过去属于本质复杂度。但是 coding agent 时代,大模型在训练时会学到一部分常见的用户洞察的知识,它能在「一定限度」上在「给足上下文」的前提下帮你把这种复杂的 UI 布局一键实现;做 App 和网页最重要的事情之一还有注册流程如何做到最小化,不要因为体验不够友好的注册流程劝退了来之不易的宝贵用户;如何设计首页内容才能利于后续 CTR(点击率) 和 CVR(转化率)的提高;这些东西中有一部分大模型会知道,它的训练语料里可能刚好包含了某个产品大佬写的实战书,对于常见的简单业务和产品设计有一些模板化的SOP 可以用,但是前端设计毕竟千人千面,很难完全模板化,所以这些问题,这些本质复杂度还是需要你们自己去思考,这些本质复杂度并不会因为 coding agent 的引入而消失,它们只是转移了,被聚焦了,被放大了。思考它们,不容拒绝。这就是「转移一部分本质复杂度」。
认可并理解这一点后,你才能对 vibe coding 后的社会分工有更加精准的预期管理,从而丢弃一些愚蠢的无知和傲慢。你需要理解你的行业,你的工作的本质复杂度是什么,这才是你的核心竞争力,可别被自己的幻觉给欺骗了。
本质复杂度是不会因为 AI 的引入而被消灭的。过去最聪明的一批人创造的商业价值并非是 AI 自己现在就能完成的,倘若真的到那一天了,共产主义社会也就可以准备到来了,生产关系将被大幅度改变。但是显然,目前来看,可能性并不是很大。
02 生产代码?不不不,那是产物测试管线和文档将成为新的代码资产。
编程语言的发展历史,每一代都把上面一代的东西当成是这一代技术的“编译对象”:有了汇编器,二进制语言变成了我们的「编译对象」;有了编译器,汇编语言变成了我们的「编译对象」;有了解释器,字节码成为了我们的「编译对象」;到现在,有了 coding agent,高级语言代码成为了我们的「编译对象」,coding agent 则是它的编译器。
图片
而项目里面的「自然语言意图」往往体现为:文档 + 测试管线 + 跟踪性,当然,工程实践中,我们往往通过文档 + 基础设施实现跟踪性,所以可以简单理解成「自然语言意图」在项目中的数据化体现就是文档 + 测试管线。
关于「跟踪性」和「文档」如何影响 vibe coding,我在过去这篇文章提到过:为什么 AI 把功能做完了,系统却被改坏了
因此,我们可以认为 vibe coding 时代,源代码就是文档 + 测试管线。而 Coding Agent 就是它的编译器。嗯,我们翻开了技术史新的一章,所有人都欣然接受,可喜可贺,可喜可贺。
因此,正如这一章标题所言,测试管线和文档将成为新的代码资产。
在 为什么 AI 把功能做完了,系统却被改坏了 中,我提到了一个很重要的知识:代码的表达能力远大于文字,因此你无法从代码反推出设计意图。有没有发现,我们也无法 100% 从机器码和汇编语言反推出代码?偶然复杂度的解决往往伴随着抽象能力的提升,这种抽象被我们这样的产业工人转化海量的基础设施和新的学科知识被封装起来,抽象的过程是不可逆的。
所以从软件工程的角度出发,目前我们认为测试管线 + 文档会成为新的“源代码”,任何项目有了充分的文档描述架构信息、设计意图、PRD 后,结合为每一个功能点,每一段执行链路负责的完备测试管线,我们就能“编译”出生产代码。
测试管线的构建很难在「 0 基础」的情况下「全权」交给 AI 来做,就如同你不能让 AI 自己写文档一样,因为那样就失去了写文档的意义。测试管线本身的架构设计就包含了你对这个业务的隐性知识—— E2E CI 的 pipeline 编排里面包含了相当充盈但是高度压缩的业务信息,谁在谁的前面先测,先发生的错误影响谁,谁作为 subpipeline 被触发,这些都体现了高度压缩的架构信息、模块的职责边界、业务数据模型、谁是可被拓展的谁是单例的等等。所以开发测试管线也是在用更加抽象的语言描述业务的过程。
从技术角度,锦恢更倾向于使用单个需求功能点 UT,单个模块 IT,全套框架 E2E 的方式构建一个多层次的测试管线,并通过公司的基础设施放入代码仓的 CI 中进行维护。这套管线会在保护分支被提交 PR 时自动触发。作为全球 AI Coding 最激进的公司 Anthropic,也就是开发出了 Claude 模型那家,他们在 2025 年的一篇博客提到过公司内的基础设施,其中就讲到他们的 CI 机器每天都要跑 2000 多轮测试,因为机器快干冒烟了,所以 Anthropic 甚至组建了一个 7 人团队专门去翻新基础设施软件来更好适配 AI 时代更加高频的持续集成与版本管理需求。
从细节上,测试管线如何设计也是一门巨大的学问,这需要极其深厚的计算机功底和足够丰富的工程经验才能配合 AI 做好。比如你需要根据自己的经验判断测试过程中的成本(金钱/时间)来决定哪些板块真的跑测试,哪些部分做 mock 或者 replay,哪些测试是非确定性测试需要跑多轮;遇到测试管线爆炸了,如何根据基础设施进行错误码分级,并为其中的偶然复杂度添加 retry;IT 要如何设计更方便 AI 未来进行横向拓展,这将有助于减少 AI 在架构侵蚀上造成的破坏和防御性编程。
这些都是无法形式化验证的问题,都需要经验才能解决。因为这些问题本身的本质复杂度是无法用自然语言进行 100% 描述的。我也只能讲个大概。
为什么 AI 把功能做完了,系统却被改坏了 中我提到,Coding Agent 修改复杂业务的主要问题在于回归和架构侵蚀,而完善的测试管线有助于减少和预警 Coding Agent 发生的问题,我们还经常编排一些 loop engineering/workflow 来更加自动化地修复这些问题:
图片
关于 loop engineering,可以看我之前的博客:Loop Engineering 与 goal
相信你也看到了,这个 workflow 里面最为关键的就在于中间那个大大的「是否满足任一条件」这部分,里面反复提到了架构信息和设计意图这两个文档上的高阶信息。这两个东西实际上就属于文档的一部分,只是绝大部分我认识的工程师都没有写文档的习惯,而在文档中写入和维护架构信息和设计意图的人就更加少之又少了。
如果说测试管线可以有效缓解回归问题,那么好的文档(必须包含架构信息和设计意图)就可以用于缓解架构侵蚀问题。为什么必须包含架构信息和设计意图呢?因为 Coding Agent 本身的能力结合架构信息和设计意图就可以表达出这个项目的 traceability。维持项目的 traceability 是避免架构侵蚀问题的关键(当然,这并不是唯一的方法)。
想要做好的文档这件事非常依赖于开发者的审美。这里的审美不是说你会堆砌华丽的词藻去写文档,事实上,关键问题上如果有人用一句古诗给我作答,我和这个人第二天至少有一个人会进医院。这里的审美指的更多是一种架构和设计上的「高明」,在过去,我们会说一个人写的代码很优雅,一般就是在说他恰如其分地引入了某个设计模型对项目的本质复杂度进行迁移和集中管理。组织文档也是类似的,一份好的文档一般有很多不同层次的内容:
这个项目解决了什么问题,职责边界是什么
它有什么外部依赖,如何部署测试
它有哪些模块它们的架构信息是什么
不同功能的职责边界和设计意图是什么
项目有什么历史版本不同版本如何兼容
当前还有什么潜在的问题没有解决
项目的文档怎么写,测试怎么写,recipe 怎么写
等等等等
如何用一份文档让后来的 Coding Agent 也能明白我们要如何组织文档,让 Coding Agent 更加高效、低冗余、低混淆度、低幻觉地组织文档非常依赖开发者本身的工程直觉和判断力,其中蕴含大量的隐性知识。我个人的工程习惯一般是在项目中维护一个 AGENTS.md 文件和 docs 文件夹,我习惯先让 AI 写文档,再写代码。
不明白什么是 AGENTS.md 文件和它的设计意图的朋友可以看 Agent 项目基建:SKILL.md 和 AGENTS.md
在设计时,我习惯于按照模块和功能划分文件夹,一个功能一个文件夹,列在 docs 里面。每个文件夹的入口都是 index.md,并附带 todo.md 用于描述有什么没做。AI 如何编排文件夹和层次就能体现架构信息。由于 Coding Agentic LLM 的训练方式,现阶段你无法完全信任 AI 在文档组织上的能力,因为大量的上下文你不会放入对话中,否则专业就没有壁垒了。比如下图是我和 codex 交互的一个截图,我让 codex 在实现一个 Agentic RL 框架的调度器可观测组件,我让它先写文档:
图片
重点看一下「已编辑 2 个文件」这部分,你会发现 codex 选择把可观测组件的相关文档放到了 docs/training/rl 下面,这代表 AI 认为可观测组件是训练模块的 RL 模块的一环,这体现了 AI 对这部分架构信息的「理解」(作为参与大模型训练的工程师,我并不认为 AI 理解了任何逻辑)。但是显然,这个理解是错误的,因为可观测组件不能只用于训练的 RL,别的模块的调度可观测与优化算法的 evidence 也需要依赖它。所以你能看到,文档上就能看到 AI 和你的颗粒度没有对齐,我们就可以反复的交互,提前预警,避免潜在的架构侵蚀问题。下一步,我会说 “请你看一下 xxx 功能的文档在哪里?然后对当前 profiling 功能的文档的位置进行调整。”
设计意图和架构的维护我会在 vibe coding 的时候顺便进行提醒和维护,并且在 AI 于测试管线中触发回归时,我总会通过反问的方式对当前文档系统的设计意图进行盲人摸象(抽样),通过这样的方式我们在维护项目时就顺便维护了它的设计意图和架构信息。这些信息又能反过来更好帮助 Agent 写代码而减少架构侵蚀问题的触发频率。
Rome wasn't built in a day
测试管线和文档也是一样。
03 minorepo vs monorepominirepo 和 monorepo 是我们工程中常见的组织形式。什么场景选择哪种方案会很大程度影响 Coding Agent 在一个菜鸟手中的表现。
以标准的多端开发为例,从逻辑上可以划分为 app,网页,后端三个部分,minirepo 指的就是这三个部分分别维护一个仓库,monorepo 指的是就是三个东西放到一个仓库里。
图片
这两者的优劣也非常明显:
minirepo 维护成本更大,不同的部分都要维护自己的版本和仓库,并且因为职责划分,所以要做敏捷开发会更加困难,但是正因为职责划分清晰,所以各个板块的维护可以更加独立,从技术上实现彻底的解耦合,app 端的功能修改不会影响到网页端。从心智复杂角度,minirepo 的扩展性更好,可以独立于已有业务进行拓展,比如加一个新的仓库给鸿蒙手机或者 AI 眼镜做适配,丝毫不需要关心已有业务的问题。
monorepo 维护成本小,所有东西全部砸在一个仓库里,非常利于敏捷开发(比如 nextjs 就是前后端都扔一个仓库里),因此也是独立开发者的首选。通过文件夹和 CI 的方式进行职责划分,但是在 AI 时代,当你说修改某个功能的时候,由于整个项目都在同一个 git 和基础设施管辖下,AI 会为了一个需求的修改而突破某个模块的职责边界,也就是发生架构侵蚀。比如要修改 app 的某个 bug,这个 bug 通过修改某个动画库的延时参数就能解决,但是 AI 却选择修改后端来改变数据聚合的时序,这样做虽然也确实解决了这个 bug,但是它改变了数据聚合的设计意图,同时,也需要因此去修改网页端关于这个数据聚合功能点的下游依赖模块。
「职责穿透」这个问题本质上也是 monorepo 合仓的便捷性带来的副作用,它同时加剧了 AI Coding 的架构侵蚀。做简单,短程,无上下游依赖的业务型编程任务时,我觉得这件事的影响很小,可以用 monorepo 的架构,比如:
学校里的作业。
公司里的 PM 做的某个产品 demo。
用于快速投放市场验证的新部门/初创团队产品,用于留存率和复购率均未知,不知道三个月之后还能不能活着。
已有 100 人以上稳定付费的产品,但是功能简单,需求清晰,预期改动不多。比如一个面向特定需求场景的教室预约小程序。
无下游依赖的「试验性」产品或者工作区,比如深度学习训练代码(往往是一坨屎山)或者服务器爆破的攻击代码。这些东西的特点都是无下游依赖,用完就扔或者只有自己在用。
因为工作原因,我曾经在字节豆包和阿里巴巴淘宝团队见过大型上线产品的代码仓库,这些代码都采用了 minirepo 的方式进行开发和版本控制,甚至团队内部为不同 minirepo 的衔接还搭建了图形化的界面和内部的基础设施,总而言之,很复杂。这样不仅利于团队协作,还利于不同模块的独立升级和横向拓展。
除此之外,越是底层的技术对分层抽象的要求会更高,就好像 cuda 和 nccl 就不会放在同一个仓库里去开发,即便它们都是 pytorch 的上游之一。
因此评估业务的复杂度,评估你设计的新的架构的复杂度,进行合理的 minirepo 与 monorepo 选型也是 AI Coding 时代很重要的能力,这也取决于你的工程经验与海量的业务层级的隐性知识。Agent 会帮你具体去执行它们,但是你很难把完整的上下文喂给它们,因为 99% 的需求都是边界模糊的、带有长期期待的短期的、渐进式的。
当然了,minirepo 和 monorepo 的上下文治理与测试管线的设计也是不太一样的,这又是另一个话题了。
04 博学与远见如果只是根据现有的需求去实现架构设计、交付方案、完成闭环验证并不算优秀的架构师。优秀的架构师需要足够的博学与远见,根据自己对学界业界商业的进展与理解,思考未来 10 年的技术方案大概会如何演进,什么样的方案会最终被更广大的人群接受。
就算是 AI 时代,这一点也不曾改变。
比如你需要设计一个新的数据模型用来表达和协作各个团队在训练上的需求,你首先需要了解各个团队的职责是什么、业务范围是什么、用到的算法是什么,当然,最好你也能跟进算法的发展并根据历史经验去推断大概未来的 RSI/RL 训练的上下文会是什么,有多少本质复杂度,并根据本质复杂度的推断对技术方案进行分层和抽象,然后基于此设计与迭代数据模型。
公司和团队积累的数据资产会基于你的数据模型被塑形,因此,方案的更迭需要满足可逆性和最小化,第一版设计的方案在塑形了其他团队的数据资产后就不应该被大幅度修改了,这就需要设计它的人足够博学,利用自己的博学得到的远见去预测当前的数据模型的表达能力在未来一段时间内能否解决表达大部分的需求和配置。这一点很难让 AI 去做,因为它不可验证。
如何博学?实践与总结,抽象与联想。