邱懿武
工作台

OpenAI FDE 负责人 Colin Jarvis 访谈:首次完整公开 AI 时代的 FDE 方法论

FDE 的本质是“消化痛苦,排出产品”——带产品离开,否则只是加了代码的咨询。

整理日期
讲者
Colin Jarvis(OpenAI FDE 负责人);访谈《Eat Pain → Excrete Product: The FDE Playbook》(2025-11-27)

渠道:微信公众号 · 体裁:访谈 · 信源层级:二手(原始出处:Apoorv's notes 播客《Eat Pain → Excrete Product: The FDE Playbook》)


一、开篇:95% 失败率的真相


二、项目筛选:只碰高风险、高价值的核心问题


三、落地核心逻辑:信任靠迭代建立,不靠技术说服

“很多人以为 AI 落地的难点在技术,其实不是。技术再先进,用户不信任也没用。信任只能通过一轮又一轮的迭代建立,没有捷径。”

摩根士丹利案例:


四、核心方法论:评测驱动开发(EDD, Eval-Driven Development)

“任何一段由大模型驱动的业务逻辑,在没有一套能验证其有效性的评测集之前,都不算完成。”

标准流程:

  1. 项目启动前,和客户领域专家一起定义评测集(真实业务输入+期望输出),先定下“什么是好/什么是坏”,建立基准线;
  2. 开发中,每次模型/代码改动都必须跑通评测集,确保性能不回退;
  3. 交付时,评测框架本身就是交付物的一部分,交给客户内部团队,让他们能持续维护迭代。

EDD = 给概率性的 AI 系统,套上一个确定性的质量保障框架。 是建立信任、实现可靠交付的基石。


五、架构原则:确定性与概率性的边界

亚太汽车案例(最完美示例):假设中国出口韩国商品加征 25% 关税,需快速调供应链——


六、FDE 的本质:从咨询到产品的价值闭环

北极星指标:你必须带着产品离开(You must leave with product)。

FDE ≠ 咨询:咨询交付一次性方案,FDE 目标是孵化可复用产品。固定路径:

  1. 第一次实践(~20% 可复用):为第一个客户解决,大部分定制;
  2. 多次验证(~50% 可复用):用到两三个相似客户,抽象重构;
  3. 产品化(>80% 可复用):移交正式产品团队,标准化规模化。

OpenAI Agent SDK / Agent Kit 的诞生路径:

Klarna(400+ 客服策略,手动写 Prompt 无法规模化 → 做内部框架把指令和工具参数化、每个意图配评测集 → 框架即 Swarm)→ T-Mobile(复杂度高 10 倍的客服项目,稍作扩展依然可用 → 证明通用性)→ 开源社区验证 → 产品团队做成 Agent SDK → 迭代出可视化 Agent Kit。

“如果你做项目不是为了沉淀可复用的东西,那你只是做了个加了代码的咨询而已。”


七、给想建 FDE 团队的创始人

最核心建议:对目标毫不含糊(ruthlessly clear about purpose)。

先想清楚根本问题:你的 FDE 团队到底为什么存在?

最常见的失败模式:公司怀着做产品公司的愿景,但因为服务收入短期更容易拿,慢慢被拖进做项目的泥潭,最后彻底失去战略视角。

→ 需要极强纪律:困难时敢说“不”,哪怕有人愿为非战略性工作付一大笔钱。

资源永远向两个方向倾斜:

  1. 产品假设验证:找理想设计伙伴,打磨有潜力成为通用产品的方案;
  2. 前沿研究探索:在半导体、生命科学等战略行业,和头部客户解决极具挑战的问题(哪怕短期不确定能否成产品,过程的学习、对模型的推动有长远战略价值)。

八、额外行业判断

① 最容易犯的错:过早泛化。 团队一开始就做通用平台,最后做出“谁都用不好”的高概念方案。正确做法是先深入一个具体问题做到极致——“做无法规模化的事”(Do things that don't scale)。真正解决了一个具体问题,通用化的部分自然浮现。

② 最被低估的机会:数据与大模型之间的「元数据翻译层」。 大量时间花在数据准备和业务逻辑注入上,要让大模型理解并有效使用企业数据。能构建智能本体、解决这个翻译问题的公司价值巨大——专门为大模型做的数据翻译层(区别于传统 BI)。

③ 不看好的方向:大模型应用链条上的单点工具公司。 搭建应用需要编排/追踪/评测/护栏多个环节,大企业不想整合五六个供应商,要端到端方案。单点工具生存空间越来越窄。

④ 最被低估的工具:OpenAI Playground。 投大量工程资源前,Playground 是极强验证工具——Colin 曾用“截图+粘贴+对话”10 分钟验证一个浏览器自动化场景的可行性。快速验证想法,比一开始写完美代码重要得多。

⑤ 对 2026 年的预测:回归微调(Fine-tuning)的一年。 随着 Agent、数据管道等基础设施成熟,有了足够高质量标注数据,为芯片设计、药物研发等特定领域精调专门模型,可能开启新时代。


读后判断(范德)

这是“FDE 三连”的最后一块拼图,而且是最“操作手册”的一块:

三条对造物云最直接:

  1. “对目标毫不含糊”是给我们的当头一问。 造物云做 KA 服务——服务收入是终点,还是产品发现的手段? Colin 的警告很具体:如果没想清,就会被短期服务收入拖进项目泥潭,失去战略视角。这个问题我们该正式回答一次。
  1. “EDD + 确定性护栏”是可立刻搬的架构。 造物云的 AI 交付(尤其教育/KA)目前是不是“写完就交”?评测集应该成为交付物的一部分——这既是质量保障,也是客户敢用的前提(对应“信任鸿沟”)。
  1. “元数据翻译层”可能就是我们的位置。 Colin 说“能构建智能本体、帮大模型理解企业数据的公司价值巨大”。这跟造物云 '把模型调进具体场景' 的定位高度重合——我们做的很多事(方法论文档化、知识结构化、Agent 编排)本质就是业务逻辑↔模型的翻译层。

待反驳:这套方法论出自 OpenAI FDE 视角,其适用前提是“有 OpenAI 级模型 + 大客户资源”;中小团队照搬“只做数千万美元级项目”会饿死。取其原则(带产品离开、EDD、护栏),不取其门槛。