邱懿武
工作台

把 AI 的"垃圾代码"变成金子:一次用约束替代说服的工程实践

她的核心不是“怎么让 AI 写得更好”,而是“把每一次纠正都变成代码里跑得起来的检查”——说服 Agent 无效,给它戴枷锁有效。

整理日期
作者
Lauren Tan(网名 poteto),Grok Bot 首席工程师

渠道:AGI 2050(公众号,全文编译) · 体裁:会议演讲 · 信源层级:二手(中文编译;一手为 11/14 大会演讲视频,未直听原声) · AI Engineer Code Summit 大会演讲《All Code Is Slop (Except Mine)》,Lauren Tan(poteto)主讲,原视频 17 分钟 2050」

全篇概述

这不是一场“AI 编程技巧”演讲,是一场关于工程组织如何获得信任的演讲。她的问题设定很直接:所有把 Coding Agent 引入深度开发的团队都会撞同一堵墙——AI 产出代码的速度惊人,产出垃圾的速度同样惊人。

大多数团队的反应是去改提示词、往 AGENTS.md 里堆规则。她的判断相反:文字规则无法强制执行,所以它不构成信任。她的方案是把每次对 Agent 的口头纠正,都翻译成一条会报错的 lint 规则、一次 API 设计改动、或者一个架构约束——让“做错”这件事在物理上更难发生,而不是在道义上被禁止。

她用自己 6 个月的实践做论据:个人单月上线 3,000 个 PR,团队单月 11,000 个 PR,回滚率压在 0.5%,而应用的核心性能指标(启动、打字、开新对话、切对话)反而比刚上线时更快。

---


覆盖缺口(先说清楚)


一、核心比喻:代码库是花园,你浇什么它长什么

她给了一个倒金字塔,回答“时间该花在 Agent 环境的哪一层”:

  1. 确定性层(最底、最宽):代码本身——API 设计、架构、重构、lint 规则、类型系统、编译器、各类测试。
  2. 验证层:运行时验证(让 Agent 自己把程序跑起来、用 Chrome DevTools Protocol 这类人类调试工具)+ 形式化验证(TLA+ 模型检测、Lean 证明)。
  3. 文字层(最顶、最窄):规则、技能、AGENTS.md——“需要判断力的东西”。

这个金字塔的形状本身就是主张:底座越宽,顶部越不需要写。

花园比喻是这样用的:以前代码一次几个 PR 进来,2024 年她上班审 3 个 PR;现在每个工程师手底下是成百上千个 Agent,一天约 300 个。代码像不间断的水流涌进来。而代码库是 Agent 最大的输入——任何一个临时变通、反模式、技术债,下一个 Agent 看到后都会当成“这家公司的既定写法”照抄。杂草不清,一夜之间蔓延。

所以她把“保持代码库干净”从道德要求改成了因果论断:你不清理,Agent 会替你复制。


二、第一条硬规则:需要分寸感才能用好的东西,直接禁掉

最典型的例子是 React 的 useEffect。她的原话逻辑是:它确有适用场景,但连人类都要“博士学位”才用得明白——换句话说,它高度依赖分寸感,而 Agent 恰恰不擅长分寸感。

解法不是“提醒 Agent 少用”,而是:业务代码里彻底禁用 useEffect,只在框架 API 内部的少数地方开放。效果是这一类问题被整类消灭,代码评审时再也不用去抓它。

第二个例子来自 Cursor 时期(她上一家公司):Agent 特别爱用命令式定时器——setTimeout、requestAnimationFrame、requestIdleCallback——本质是在给“VS Code 命令式风格”与“React 声明式风格”之间的架构冲突打补丁。大量定时器快速创建销毁会引发频繁主垃圾回收,直接拖垮客户端性能。架构选择错了,Agent 的表现和产品性能一起恶化——这个因果链她讲得很清楚:不是 Agent 笨,是地基歪了,Agent 只能拿补丁去填。

第三个例子是目录结构当约束用:设两个顶层目录 electron-renderer 和 electron-main,用依赖图分析器加几条 lint 规则严禁互相导入——因为 Agent 经常把主线程代码导进渲染线程,造成长任务和卡顿。一条规则,省掉一类评审负担。


三、第二条硬规则:禁掉 99% 的代码注释

这是全场最反直觉的一条,也是她论证最完整的一条。

她观察到的现象有两层:

所以她团队的做法是:禁掉 99% 的注释。理由有三条:

  1. 注释容易过期;
  2. 人类本来也不看垃圾注释;
  3. 最致命的是注释无法强制执行。哪怕你写“我留句话告诉下一个 Agent 别这么干”,这条留言也永远不会变成“值得信任的东西”。

替代方案是 lint 规则,而且要求报错信息清晰、可操作——直接告诉 Agent“去修根因”,而不是让它绕过去打个补丁。

由此得出她的总原则,我认为是全场最有迁移价值的一句:

每一次纠正 Agent,要么把它变成一条确定性检查,要么想办法通过更好的 API 设计、更好的架构,在代码里把那类问题整类消灭。


四、第三层:代码评审变成了“看验证产物”

她的团队现在评审 PR,实际上浓缩成看验证产物:视频、截图、图表、形式化验证结果。

运行时验证(她强调这个词听起来玄,实际很朴素):给 Agent 一套自己把程序跑起来的办法,用人类开发者的调试工具(如 Chrome DevTools Protocol)。其中有个叫“功能地图”的东西——像网站地图那样,从用户视角列出应用所有可用功能。作用有二:Agent 不用猜“左侧边栏里那个小东西”指什么;人和 Agent 有了一套共同词汇。

她还提到把这些能力包成自定义 CLI,让 Agent 每次复用同一套 CLI 和驱动——既省 Token,本身也可测试。

形式化验证(试验阶段,她的措辞很克制):

她主动划了边界:“这绝不是银弹,我们只是把它当成另一件工具、Agent 运行环境里的又一层保障。” 这句自我限定,比前面所有数字都更能说明她可信。


五、论据:数字与它们的证伪结构

指标数值她给的解释
个人单月 PR3,000“其中很多是我睡觉时完成的”;达到这个水平用了 6 个月
团队单月 PR11,000(上个月)客户端约每天切一个新稳定版
回滚率约 0.5%强调是“相对比例反而更低”,不是绝对数更低
10 月贡献者227 人至少提交过一个 PR含“临时或路过顺手提交”的人,未必有完整上下文
每人日均评审量约 300 PR(2024 年为 3 个)对比她自己的经历
Token 分配约 70% 花在验证上引自 Cindy Sridharan 的推文,说她“半年内从无法信任 Agent 变成 70% Token 用于验证”,与她自己吻合

她还补了一个容易被忽略的反向指标:速度暴涨的同时,应用性能没崩,多个维度比刚上线时更快——启动、打字、开新对话、切换对话。并自嘲 Grok Bot 仍是 Electron 应用,“所以是有上限的”。

这段的论证价值在于:她用一个反向指标(性能)去防“快就是乱”的质疑,而不是只报 PR 数。


六、“软件工厂”的顺序问题

她给了一个明确的先后次序警告:

如果编码内循环还在产垃圾代码,把它自动化只会制造更多垃圾代码,然后你不得不往问题里砸越来越多的 Token——而那非常贵。

所以顺序是:先把代码库、静态分析、运行时验证、形式化验证打牢,再搭“外循环”(自动化编排)。她描述的外循环例子:每切一个新版本,自动拉起一个 Cursor 项目,对整个应用和构建包做模糊测试,像真实用户一样去用,找出 bug,针对每个 bug 自动提修复 PR,再自动合入。她说“听起来很疯狂”,但成立的前提是——代码库足够好,大多数业务代码已不再需要深度人工评审。


我的判断(编辑分析,与她无关)

  1. 她真正在讲的不是 AI,是“约束的可执行性”。 全文可以压缩成一句:凡是不能自动报错的规则,都不算规则。这个判据不只适用于代码——它同样能审 AGENTS.md、审团队 SOP、审公司制度。你写下的每一句“要注意××”,如果没人能自动发现违反,它就是注释,不是制度。
  1. “禁掉 useEffect”这个动作的真正含义,是承认 Agent 的能力边界是“分寸感”,而不是“知识”。 Agent 知道 useEffect 是什么,也知道什么时候该用;它做不到的是判断“此处该不该用”。所以凡是需要“看情况”的地方,都该被结构消灭,而不是被叮嘱覆盖。这条对你做 AI 产品定义很直接:能被规则化的部分交给 AI,需要分寸的部分要么人来,要么改设计让它不需要分寸。
  1. 她的数字有说服力,但说服力来自“她主动限定了形式化验证的效果”。 一个只报好消息的演讲不值得信;一个说“这不是银弹”的演讲,前面的 11,000 才站得住。
  1. 有一个问题她没回答:0.5% 的回滚率,是在什么复杂度上取得的?Grok Bot 是 Electron 客户端,业务逻辑密度远低于后端服务、金融系统、嵌入式。她这套“禁注释 + 强 lint + 形式化”在客户端可行,搬到别的代码库要不要重来一遍,演讲里没有答案。这也是你自己要用时必须自己补的一环。

附:可立即借用的四条

  1. 每次纠正 Agent,先问“这条能不能变成会报错的检查”,不能,才写进文档。
  2. 找出你代码库里“需要分寸感才能用好”的 API,考虑整类禁掉,而不是写使用规范。
  3. 禁注释,改 lint;lint 的报错信息要写“去修根因”,不要写“此处可忽略”。
  4. 上自动化之前先自查:内循环产出的东西,你敢不敢不看就合?