邱懿武
工作台

Anthropic 工程师:老提示词正在拖累 Claude——五个让模型更好又更省的技巧

前沿模型自己会思考,别再教它——给提示词做体检、用好缓存、设计好评测集,成本能降一半以上。

原文日期
整理日期
作者
兰斯·马丁(Lance Martin,Anthropic 技术人员)

渠道:微信公众号(AGI 2050 编译)/原始:AI Engineer 大会 · 体裁:演讲(工作坊 + 现场问答) · 信源层级:二手(编译整理;一手为大会演讲视频) · (AGI 2050 编译);原始信源:AI Engineer 纽约大会工作坊,Anthropic 技术人员 **兰斯·马丁(Lance Martin)** 演讲《Your Old Prompts Are Making Claude Worse》及现场问答,**2026-10-12 录制、11-06 上线**,视频

全篇概述

这是 Anthropic 技术人员兰斯·马丁在 AI Engineer 纽约大会工作坊上的一场分享(约 64 分钟)。核心命题:成本与质量常被认为是矛盾,但很多应用根本没站上“帕累托前沿”,而是因为细微的配置失误,落在了曲线内侧——只要做点简单调整,就能同时提升性能、降低成本。

全篇围绕 5 个主题 展开:① 给提示词做体检;② 用好提示词缓存;③ 设计可“拾级而上”的评测集;④ 自动爬山优化(防过拟合);⑤ 为长周期智能体打造可靠底座。每一条都配了 Claude Code 里可直接运行的命令 和真实数据(省 72%、降 90% 等)。

需要留意的边界:本篇是编译整理(二手);上文数据为演讲者引述的内部/合成测试,非第三方审计;且全文以 Claude 生态为背景(命令、模型名均为 Anthropic 侧),迁移到其他模型需自行验证。

---


一、给提示词做个全面体检

二、把提示词缓存用起来

  1. 最前面:系统指令、工具定义(跨所有会话全局缓存)
  2. 其次:CLAUDE.md 这类按项目缓存的记忆文件
  3. 然后:按单次会话缓存的会话状态
  4. 最后:每轮不断追加的消息记录

三、设计一个让 Claude 能“拾级而上”的评测集

  1. 模型档次越高,得分越高;
  2. 思考越久(Token 越多),得分越高;
  3. 即使顶尖模型也仍有提升空间(未饱和);
  4. 多次运行方差小,结果稳定。

四、自动“爬山优化”,但别掉进过拟合陷阱

1. 实战案例一:技能准确率 66% → 大幅提升

对象就是 claude-api 技能本身(让 Claude 掌握 API/SDK 用法,回答须严守官方文档)。基于官方文档建评测集,初始准确率仅 66%。架起自动爬山循环,把技能文本 + 官方文档一同交给 Claude Code,让它对比错题、排查技能描述在哪曲解了文档。最终 Claude 完全自主改写出恰当的技能说明,得分质的飞跃。

适用条件:评测集边界清晰、要改的目标足够简单直接(纯文本的提示词/技能说明)。

2. 实战案例二:成本暴降 90%

同一客服工单基准,起点 Opus 4.8(高推理力度)+ 基础提示词。下“降本”指令后,爬山程序自动遍历“模型+推理力度”组合:

  1. 试 Opus 5(低力度) → 性能大幅跃升,成本微降;
  2. 试 Sonnet 5(低力度) → 成本断崖下跌,但性能退化;
  3. 转而微调提示词 → 把掉下去的性能又拉了回来。
  4. 结果:全自主运行下,性能明显提升、成本暴降 90%。

    最妙:即使评测集已饱和(分数到顶)也照样能用——锁死当前性能,专心压成本。

    发现:更强的模型 + 低推理力度,往往比次一级模型 + 高推理力度既便宜又好用(“聪明人稍微动脑就漂亮解决,消耗 Token 反而更少”)。这条已固化进爬山技能的底层逻辑。

五、为连续运行数日的智能体打造可靠底座

  1. 会话日志独立——既不属于控制框架也不属于沙箱,是只允许追加写入的独立存储对象,谁挂了都能读它恢复现场;
  2. 沙箱与控制框架本身可随时重建(沙箱死了重启新的,框架挂了由协调器重新拉起);
  3. 安全性:Claude 永远无法直接接触明文密钥——所有 API 密钥锁在“保险库”里,Claude 调用工具时可引用但看不到明文。

现场问答(干货密集)


整理者的分析

标注:以下为整理者(范德)的分析,非演讲者原话,不代表其立场。

  1. 这条与本组织正在做的事,几乎是“同一套判断的两面”:他说“状态外置、按需检索”“完整日志独立存储、窗口压缩不丢底层”——这正是深脑/deepbrain 的架构(完整会话外置 + 检索复现)。Anthropic 工程侧独立走到了同一个设计,是对深脑路线的一次外部印证。
  2. “强模型 + 低力度 > 次模型 + 高力度”是一条可立刻用的成本律——它与李丰那场“Token 成本是最大商业化约束”、奥尔特曼“Token 不是好单位”接上了。对造物云的直接含义:该用贵而聪明的模型、配低算力,而不是用便宜模型硬堆。
  3. “给提示词做体检”这条最省钱——旧提示词里的“请一步步思考/务必详尽”是纯浪费。我自己的 SKILL.md、模板提示词里若还留着这类“仪式性指令”,可对照清一遍。
  4. “评测集要可攀爬”这套四特征,可以直接当质量门槛——一个任务如果“模型档次再高也做不对”,说明它不是能力问题,是任务本身有歧义/无解。这与你在深脑看到的“最贵的不是没答案,是没人定义什么算做到”是同一条。
  5. “brain/hands 解耦 + 密钥保险库”给了一个可借的安全模型——长周期 Agent 绝不能攥着明文密钥。这条对任何要跑多天的自动化管线(包括我们的 cron 群)都适用。

保留意见:① 本篇为编译整理(二手),一手为 AI Engineer 大会演讲视频(2026-10-12),引用具体措辞前建议回原视频核对;② 文中数据(省 72%、降 90%、66%→大幅提升)均为演讲者引述的内部/合成基准,非第三方审计;③ 全篇以 Claude 生态为背景(命令、模型名均为 Anthropic 侧),跨模型迁移需自行验证;④ 编译方声明“观点属原作者,不代表 AGI 2050 立场”。