全篇概述
这是 Anthropic 技术人员兰斯·马丁在 AI Engineer 纽约大会工作坊上的一场分享(约 64 分钟)。核心命题:成本与质量常被认为是矛盾,但很多应用根本没站上“帕累托前沿”,而是因为细微的配置失误,落在了曲线内侧——只要做点简单调整,就能同时提升性能、降低成本。
全篇围绕 5 个主题 展开:① 给提示词做体检;② 用好提示词缓存;③ 设计可“拾级而上”的评测集;④ 自动爬山优化(防过拟合);⑤ 为长周期智能体打造可靠底座。每一条都配了 Claude Code 里可直接运行的命令 和真实数据(省 72%、降 90% 等)。
需要留意的边界:本篇是编译整理(二手);上文数据为演讲者引述的内部/合成测试,非第三方审计;且全文以 Claude 生态为背景(命令、模型名均为 Anthropic 侧),迁移到其他模型需自行验证。
---
- 日期:2026-11-11
- 原始日期:2026-10-12
- 来源:阅读原文 (AGI 2050 编译);原始信源:AI Engineer 纽约大会工作坊,Anthropic 技术人员 兰斯·马丁(Lance Martin) 演讲《Your Old Prompts Are Making Claude Worse》及现场问答,2026-10-12 录制、11-06 上线,视频 阅读原文
- 渠道:微信公众号(AGI 2050 编译)/原始:AI Engineer 大会
- 体裁:演讲(工作坊 + 现场问答)
- 作者:兰斯·马丁(Lance Martin,Anthropic 技术人员)
- 信源层级:二手(编译整理;一手为大会演讲视频)
- 标签:提示词工程 / 成本优化 / 评测集 / 智能体架构 / Anthropic
- 一句话:前沿模型自己会思考,别再教它——给提示词做体检、用好缓存、设计好评测集,成本能降一半以上。
一、给提示词做个全面体检
- 提示词像代码,会攒“技术债”:几代模型之前,大家习惯写“请一步步思考”、“仔细检查你的工作”、“务必详尽”、甚至专门开辟“草稿区”。
- 现在完全不需要:“前沿大模型本身就很擅长思考,也知道什么时候该思考……自检已经成为它们的本能。” 更糟的是,继续保留这些旧习惯不只推高成本,有时还拉低性能。
- 一个反直觉的转变:以前模型遇到自相矛盾的规则,会因指令遵循能力弱而自动忽略一条、勉强跑通;现在的前沿模型遇到矛盾规则,反而常常被搞糊涂。
- 动作:在 Claude Code 里跑
/checkup prompt-audit(查 Claude Code 自身配置)或/claude-api prompt-audit(查业务 API 代码)。它会扫描当前目录,揪出上述反模式并清理。 - 数据:一个 ~50 条客服工单的合成评测集,从 Opus 4.8 → 5.5:单是升级就能降本+小提性能;再跑一次提示词审查,性能和成本还会进一步改善——因为清掉了逼模型“反复验证/强行深想”的冗余指令。
二、把提示词缓存用起来
- 为什么重要:智能体一次任务要经历多轮交互,每轮只新增一点点,大量上下文重复——不该为同样的内容付两次钱。
- 成本:命中缓存的 Token 计费约为基础价的 1/10(模型略有差异),而且快得多——多轮应用里是必修课。
- 坑:缓存是“严格前缀匹配”——前缀改动一个字节,整个缓存失效。所以组织提示词时绝不能无意破坏前缀结构。
- 推荐结构顺序(从稳定到易变):
- 最前面:系统指令、工具定义(跨所有会话全局缓存)
- 其次:
CLAUDE.md这类按项目缓存的记忆文件 - 然后:按单次会话缓存的会话状态
- 最后:每轮不断追加的消息记录
- 数据:一个内部基准测试显示,仅因为部分运行框架没用好缓存,在性能无明显变化的前提下,最高能省 72% 成本。且“优化缓存不会对模型表现产生任何副作用,省下的每一分钱都是纯赚”。
三、设计一个让 Claude 能“拾级而上”的评测集
- 前提:前沿模型有极强自我纠错能力,只要评测集结构良好,它就能“爬山优化”——但评测集本身必须具备“可攀爬性”。
- 健康评测集的四个特征(横轴=消耗 Token/思考深度,纵轴=得分):
- 模型档次越高,得分越高;
- 思考越久(Token 越多),得分越高;
- 即使顶尖模型也仍有提升空间(未饱和);
- 多次运行方差小,结果稳定。
- 常见翻车:热门评测集里充斥含糊任务,表面“离满分还有 20%”,实际是一堆本来就解不了的题——拿这种“实际已饱和”的评测集去跑自动优化,除了烧 Token 什么也得不到。
- 动作:
/claude-api build-eval命令——可指向任何现有链路追踪系统,你只要说明要解决什么问题、关注什么并提供原始日志,它会按上述原则引导你搭建评测集(看数据、看评测、一起核对打分器)。
四、自动“爬山优化”,但别掉进过拟合陷阱
- 前提:有了优质评测集(前沿有余量、方差低、分数随档次与 Token 如期上升),就可以放开手让模型自主迭代。
- 巨大危机:过拟合。
- 反面教材一:基准里恰好有一道题要用 OCR,自动优化就在框架里硬塞一个 OCR 工具——但线上根本没这需求;
- 反面教材二:优化后的提示词死死咬住测试集的特定句式,一放到生产面对真实用户就原形毕露。
- 本质:“测试集分数突飞猛进,一部署到线上毫无起色,往往就是因为优化过程完全迎合了评测集的数据分布。”
- 动作:
/claude-api hillclimb命令——核心防过拟合工作流借鉴统计学经典做法:把评测集拆成训练集/测试集。每轮迭代 Claude 只看训练集的失败案例,自始至终看不到测试集。每轮后在两边同时跑分:训练集猛涨、测试集原地踏步 = 过拟合的早期预警。
1. 实战案例一:技能准确率 66% → 大幅提升
对象就是 claude-api 技能本身(让 Claude 掌握 API/SDK 用法,回答须严守官方文档)。基于官方文档建评测集,初始准确率仅 66%。架起自动爬山循环,把技能文本 + 官方文档一同交给 Claude Code,让它对比错题、排查技能描述在哪曲解了文档。最终 Claude 完全自主改写出恰当的技能说明,得分质的飞跃。
适用条件:评测集边界清晰、要改的目标足够简单直接(纯文本的提示词/技能说明)。
2. 实战案例二:成本暴降 90%
同一客服工单基准,起点 Opus 4.8(高推理力度)+ 基础提示词。下“降本”指令后,爬山程序自动遍历“模型+推理力度”组合:
- 试 Opus 5(低力度) → 性能大幅跃升,成本微降;
- 试 Sonnet 5(低力度) → 成本断崖下跌,但性能退化;
- 转而微调提示词 → 把掉下去的性能又拉了回来。
结果:全自主运行下,性能明显提升、成本暴降 90%。
最妙:即使评测集已饱和(分数到顶)也照样能用——锁死当前性能,专心压成本。
发现:更强的模型 + 低推理力度,往往比次一级模型 + 高推理力度既便宜又好用(“聪明人稍微动脑就漂亮解决,消耗 Token 反而更少”)。这条已固化进爬山技能的底层逻辑。
五、为连续运行数日的智能体打造可靠底座
- METR 曲线(横轴=时间,纵轴=模型能独立完成的任务时长):Claude 3 Opus 时代约 4 分钟;2025 年约 1–2 小时;现在单次任务已突破 1–2 天,大概已超出 METR 能衡量的范围。
- 托管智能体 API:把“大脑”和“双手”拆开(解耦):
- 控制框架 = 大脑;代码沙箱 = 双手(实际写代码、执行操作);两者必须分开。
- 为什么:设想你睡前启动长线任务,半夜沙箱崩了——运行状态、会话日志全丢。
- 可恢复架构三件套:
- 会话日志独立——既不属于控制框架也不属于沙箱,是只允许追加写入的独立存储对象,谁挂了都能读它恢复现场;
- 沙箱与控制框架本身可随时重建(沙箱死了重启新的,框架挂了由协调器重新拉起);
- 安全性:Claude 永远无法直接接触明文密钥——所有 API 密钥锁在“保险库”里,Claude 调用工具时可引用但看不到明文。
- 配套:一篇新博客演示了用这套机制搭自动化智能体(定期抓取信息源 → 整理动态 → 自动推 Slack),把定时部署、托管设施、密钥安全、记忆等原语串起来。体验命令:
/claude-api managed-agents-onboard。
现场问答(干货密集)
- 能用人类反馈做爬山吗?从哪个模块开始? 唯一前提是有一个评测集 + 明确的“好坏”信号,人类反馈只要能转成评分信号就可行。从纯文本模块入手最佳(提示词、技能说明)——改动直接、范围可控、与结果因果清晰;别一上来就让它改底层代码框架(改动大、难解读、易迷失)。但提示词也极易过拟合,防过拟合的弦必须绷紧。
- 开放式任务怎么评分? 四条实操守则:① 先过人类自己这关;② 别用随意刻度(“0到5分”噪音极大)——尽量用二元分类(通过/不通过),维度多就拆成多个独立二元判断题;③ 跨模型交叉验证(Sonnet/Opus/Fable 打分若大相径庭就是坏信号);④ 重复测试看方差。另:成对比较(A vs B 哪个好)优于绝对打分。
- 怎么保证数据分布真实? 警惕“对抗性采样”——专门挑某代模型的错题,会造出只贴合那个模型短板的评测集(升级后瞬间全对)。应从业务第一性原理出发,挑本质上就难/有意思的案例。
- 爬山一定能收敛吗? 不保证,卡在半山腰屡见不鲜。兜底机制:连续几轮分数不动 → 暂停盲目尝试,把剩余错题聚类分析。卡住往往不是能力到顶,而是评测集本身有硬伤(前面 66% 案例第二阶段就卡住,聚类后揪出含糊题重写才继续爬)。
- 推理力度怎么选? 优先“顶尖模型 + 低推理力度”(如 Opus 5.5 直接设 low,别选 medium)。原理:推理力度是思考深度引导,不是硬上限;基础智商更高的模型站在更高基线上,思考花更少 Token;反之“次一级模型 + 拉满力度”会在后台疯狂烧 Token。“强模型 + 低力度”起步,不够再往上调,才是性价比甜点区。
- 清理旧习惯对小模型(Haiku)也适用吗? 没有非黑即白的分界线。5.5 系列绝对不再需要“一步步思考”;大约从 Opus 4.5 阶段起这些辅助提示词的作用就在消退。Haiku 情况微妙(可能需要多留引导),审查技能内置了按模型调整的策略,不会一刀切。
- 上下文工程有什么管用的架构? ① “递归语言模型”(RLM) 的思路很好;② “大脑/双手解耦”。核心:把上下文变成独立于模型和控制框架之外的客观存储对象。传统做法把历史塞一个消息列表、一压缩细节就丢了;RLM 把完整会话日志独立外置,窗口压缩后底层日志毫发无损,控制框架配备检索工具,模型需要回溯时“像查数据库一样”调取。“状态外置、按需检索”——对长周期智能体的可靠性特别有用。
整理者的分析
标注:以下为整理者(范德)的分析,非演讲者原话,不代表其立场。
- 这条与本组织正在做的事,几乎是“同一套判断的两面”:他说“状态外置、按需检索”“完整日志独立存储、窗口压缩不丢底层”——这正是深脑/deepbrain 的架构(完整会话外置 + 检索复现)。Anthropic 工程侧独立走到了同一个设计,是对深脑路线的一次外部印证。
- “强模型 + 低力度 > 次模型 + 高力度”是一条可立刻用的成本律——它与李丰那场“Token 成本是最大商业化约束”、奥尔特曼“Token 不是好单位”接上了。对造物云的直接含义:该用贵而聪明的模型、配低算力,而不是用便宜模型硬堆。
- “给提示词做体检”这条最省钱——旧提示词里的“请一步步思考/务必详尽”是纯浪费。我自己的 SKILL.md、模板提示词里若还留着这类“仪式性指令”,可对照清一遍。
- “评测集要可攀爬”这套四特征,可以直接当质量门槛——一个任务如果“模型档次再高也做不对”,说明它不是能力问题,是任务本身有歧义/无解。这与你在深脑看到的“最贵的不是没答案,是没人定义什么算做到”是同一条。
- “brain/hands 解耦 + 密钥保险库”给了一个可借的安全模型——长周期 Agent 绝不能攥着明文密钥。这条对任何要跑多天的自动化管线(包括我们的 cron 群)都适用。
保留意见:① 本篇为编译整理(二手),一手为 AI Engineer 大会演讲视频(2026-10-12),引用具体措辞前建议回原视频核对;② 文中数据(省 72%、降 90%、66%→大幅提升)均为演讲者引述的内部/合成基准,非第三方审计;③ 全篇以 Claude 生态为背景(命令、模型名均为 Anthropic 侧),跨模型迁移需自行验证;④ 编译方声明“观点属原作者,不代表 AGI 2050 立场”。