[00:00:00.000-00:00:02.560] 上一期提到 别再给企业agent分角色了 [00:00:02.560-00:00:04.680] 把人类的组织架构复制给AI [00:00:04.680-00:00:07.560] 很可能是在把人类公司的低效也交给AI [00:00:07.560-00:00:09.800] 硅谷一些公司面向全体员工 [00:00:09.800-00:00:12.040] 只保留一个统一的agent入口 [00:00:12.040-00:00:15.800] 并没有先按销售 研发 客服划出一堆角色 [00:00:15.800-00:00:17.360] 评论区立刻有人问 [00:00:17.360-00:00:20.320] 所有人共用一个agent系统的上下文不会爆炸吗 [00:00:20.320-00:00:23.840] 这种担忧来自我们使用本地cloud code或codex的经验 [00:00:23.840-00:00:26.680] 我们习惯打开一个终端 拉起一段单线对话 [00:00:26.680-00:00:28.280] 所以一听全公司共用 [00:00:28.320-00:00:30.160] 脑子里很容易出现这样的画面 [00:00:30.160-00:00:31.960] 几百个人挤在同一个聊天窗口里 [00:00:31.960-00:00:34.840] 销售在查客户资料 研发在改底层代码 [00:00:34.840-00:00:37.320] 客服在调功单记录 信息越滚越大 [00:00:37.320-00:00:39.360] 最后agent因为过载而崩溃 [00:00:39.360-00:00:42.640] 但Sierra、Anthropic和Shopify最近公开的架构 [00:00:42.640-00:00:43.920] 走的是另一条路 [00:00:43.920-00:00:46.400] 先看Anthropic的cloud tech [00:00:46.400-00:00:47.760] 在整个slack工作区里 [00:00:47.760-00:00:49.960] 员工呼唤的始终是同一个名字 [00:00:49.960-00:00:53.040] atcloud 但统一的名字只是统一入口 [00:00:53.040-00:00:56.000] 员工在频道或线程里交给cloud一项任务时 [00:00:56.000-00:00:58.720] 系统会为这段conversation启动临时沙箱 [00:00:58.720-00:01:00.640] 承载这项工作的代码和文件 [00:01:00.640-00:01:02.920] 不同线程保存各自的讨论和任务过程 [00:01:02.920-00:01:04.440] 所以从使用体验上看 [00:01:04.440-00:01:05.960] 大家at的是同一个cloud [00:01:05.960-00:01:08.840] 背后的工作却沿着各自的conversation分开推进 [00:01:08.840-00:01:10.920] 一个线程正在排查线上故障 [00:01:10.920-00:01:13.000] 另一个线程正在筹备项目录演 [00:01:13.000-00:01:14.480] 统一的是交互入口 [00:01:14.480-00:01:16.280] 隔离的是一件件具体的工作 [00:01:16.280-00:01:19.400] 一个agent绝不等于一段全公司共享的上下文 [00:01:19.400-00:01:21.560] 把cloud tech、Sierra的pinecon [00:01:21.560-00:01:23.480] 和Shopify的river放在一起看 [00:01:23.480-00:01:25.240] 会发现它们都有类似的结构 [00:01:25.280-00:01:27.040] 员工面对一个稳定的agent入口 [00:01:27.040-00:01:28.640] 一件真实工作被触发后 [00:01:28.640-00:01:30.480] 系统为它建立专属的session [00:01:30.480-00:01:32.320] 可以用医院急诊大厅来理解 [00:01:32.320-00:01:34.680] agent向医院统一的急诊入口 [00:01:34.680-00:01:35.760] 无论遇到什么问题 [00:01:35.760-00:01:37.520] 所有人都从同一扇门进入 [00:01:37.520-00:01:38.240] 接着以后 [00:01:38.240-00:01:41.760] 每个人都会建立自己的病历、症状、检查和处理过程 [00:01:41.760-00:01:43.480] 都围绕这个人持续记录 [00:01:43.480-00:01:46.760] 这份围绕一件事情持续保存的病例就是session [00:01:46.760-00:01:48.880] Sierra将这种结构贯彻得很彻底 [00:01:48.880-00:01:50.880] pinecon最主要的工作单元就是session [00:01:50.880-00:01:51.840] 员工提交任务后 [00:01:51.880-00:01:53.160] 系统会围绕这项任务 [00:01:53.160-00:01:54.520] 准备相应的代码仓库 [00:01:54.520-00:01:56.840] 运行环境、模型和agent harness [00:01:56.840-00:01:58.320] 同一个pinecon入口背后 [00:01:58.320-00:02:00.840] 可以同时运行大量互补混杂的session [00:02:00.840-00:02:02.000] Sierra600名员工 [00:02:02.000-00:02:04.680] 一个月内创建了超过75,000段session [00:02:04.680-00:02:05.880] Shopify也是如此 [00:02:05.880-00:02:07.920] 员工在slag里看到的是同一个 [00:02:07.920-00:02:08.720] atriver [00:02:08.720-00:02:09.760] 但在30天内 [00:02:09.760-00:02:13.400] Shopify运行了59918段river session [00:02:13.400-00:02:16.640] 所以全公司共用的从来不是一段对话历史 [00:02:16.640-00:02:18.200] 大家共用的是同一个入口 [00:02:18.200-00:02:19.360] 以及入口下面那套 [00:02:19.360-00:02:21.520] 不断创建和管理session的系统 [00:02:21.520-00:02:23.800] 到这里上下文会不会相互混杂 [00:02:23.800-00:02:25.120] 已经有了第一层答案 [00:02:25.120-00:02:27.280] 不同的事情进入不同的session [00:02:27.280-00:02:29.640] 但session的价值不止在于把任务分开 [00:02:29.640-00:02:31.520] 它还回答了一个更重要的问题 [00:02:31.520-00:02:32.680] 一件工作开始以后 [00:02:32.680-00:02:35.000] 它的上下文应该沿着什么边界继续 [00:02:35.000-00:02:36.000] 按照员工划分 [00:02:36.000-00:02:37.200] 按照部门划分 [00:02:37.200-00:02:40.320] 还是按照产品、销售、数据和研发 [00:02:40.320-00:02:42.040] 这些agent的角色来划分 [00:02:42.040-00:02:43.880] Sierra给出了一个很典型的案例 [00:02:43.880-00:02:46.240] 一名销售工程师正在准备客户demo [00:02:46.240-00:02:48.400] 这听起来像一项标准的授钱工作 [00:02:48.400-00:02:49.400] 但准备过程中 [00:02:49.440-00:02:52.040] 他发现demo和生产环境的表现不一致 [00:02:52.040-00:02:53.280] 顺着线索继续调查 [00:02:53.280-00:02:54.880] 问题进入了产品实现 [00:02:54.880-00:02:56.560] 最后这项工作产生了一个 [00:02:56.560-00:02:58.560] 用于修复问题的pull request [00:02:58.560-00:02:59.880] 它起初向授钱任务 [00:02:59.880-00:03:01.280] 中间变成产品调查 [00:03:01.280-00:03:02.880] 最后进入代码修复 [00:03:02.880-00:03:04.920] 但从头到尾目标都没变 [00:03:04.920-00:03:06.400] 把这次demo跑通 [00:03:06.400-00:03:08.600] 真实任务不会按照公司的组织架构前进 [00:03:08.600-00:03:10.640] 它不会走到一个部门门口就停下来 [00:03:10.640-00:03:12.920] 重新命名再转交给下一个角色 [00:03:12.920-00:03:15.240] 很多时候只有把事情真正做下去 [00:03:15.240-00:03:17.640] 我们才知道下一步需要什么能力 [00:03:17.680-00:03:19.160] 所以Cierra的设计 [00:03:19.160-00:03:20.920] 是让Session随着任务推进 [00:03:20.920-00:03:22.080] 获得新的工具 [00:03:22.080-00:03:24.600] 如果出现需要独立处理的代码问题 [00:03:24.600-00:03:26.680] 它还可以开启新的编码Session [00:03:26.680-00:03:29.800] 复杂任务则可以由多段相互关联的Session共同完成 [00:03:29.800-00:03:31.440] 角色当然仍然存在 [00:03:31.440-00:03:33.200] 销售 产品和工程 [00:03:33.200-00:03:36.320] 依然代表不同的知识 能力 责任与权限 [00:03:36.320-00:03:38.520] 但角色不再负责切断同一件事情 [00:03:38.520-00:03:39.320] 准备demo时 [00:03:39.320-00:03:41.200] Session可以调用授钱信息 [00:03:41.200-00:03:43.800] 发现产品问题后可以增加调查工具 [00:03:43.800-00:03:46.320] 需要修改代码时再进入工程环境 [00:03:46.320-00:03:48.200] 需要的能力跟着问题变化 [00:03:48.200-00:03:51.440] 任务的目标和历史则由Session持续保存 [00:03:51.440-00:03:52.880] 用医院的比喻来说 [00:03:52.880-00:03:54.440] 病人可能先去内科检查 [00:03:54.440-00:03:56.840] 后来做影像检测 最后由外科处理 [00:03:56.840-00:03:58.200] 医生和设备不断变化 [00:03:58.200-00:04:00.160] 病例却始终跟着同一个人走 [00:04:00.160-00:04:01.520] 病人不需要每换一个科室 [00:04:01.520-00:04:03.720] 就把此前发生的一切从头讲一遍 [00:04:03.720-00:04:05.120] Session跟着任务走 [00:04:05.120-00:04:06.920] 专业能力在需要时加入 [00:04:06.920-00:04:08.640] 不过这里还藏着第二个问题 [00:04:08.640-00:04:10.640] 不同任务确实被隔离了 [00:04:10.640-00:04:12.600] 可一项重要任务如果持续几小时 [00:04:12.600-00:04:13.440] 甚至几天 [00:04:13.480-00:04:15.360] 他自己的Session不也会越来越长 [00:04:15.360-00:04:17.520] 最后触及模型的上下纹极限吗 [00:04:17.520-00:04:19.160] 答案藏在另一个拆分里 [00:04:19.160-00:04:21.440] Session也不等于模型当前的上下纹窗口 [00:04:21.440-00:04:23.720] Anthropic在Manage Agents的设计中 [00:04:23.720-00:04:25.120] 把两者明确分开 [00:04:25.120-00:04:28.360] Session负责持久保存一项工作发生过的事件 [00:04:28.360-00:04:29.880] 模型每次开始推理时 [00:04:29.880-00:04:31.760] 由Harness从这些记录中 [00:04:31.760-00:04:35.120] 读取 筛选和组织当前步骤需要的部分 [00:04:35.120-00:04:36.960] 继续用病例来理解 [00:04:36.960-00:04:39.560] Session是档案室里保存的完整病例 [00:04:39.560-00:04:41.960] 上下纹窗口是医生这一次看诊时 [00:04:41.960-00:04:43.600] 摆在桌面上的相关材料 [00:04:43.600-00:04:45.360] 完整病例可以继续积累 [00:04:45.360-00:04:47.600] 医生这一次不必从第一页读到最后一页 [00:04:47.600-00:04:50.320] 只需要调取与当前判断相关的记录 [00:04:50.320-00:04:52.960] 为此Anthropic把长期运行的Agent [00:04:52.960-00:04:54.160] 拆成三个部分 [00:04:54.160-00:04:56.320] Session、Harness和Sandbox [00:04:56.320-00:04:58.320] Session保存任务的历史和状态 [00:04:58.320-00:05:00.960] Harness读取记录 组织当前上下纹 [00:05:00.960-00:05:03.280] 调用模型并处理工具请求 [00:05:03.280-00:05:06.120] Sandbox提供代码和工具实际运行的临时环境 [00:05:06.120-00:05:07.840] Harness可以重启或者更换 [00:05:07.840-00:05:10.360] Sandbox可以被销毁 需要时重新创建 [00:05:10.360-00:05:11.560] Session独立保存 [00:05:11.560-00:05:13.640] 新的Harness重新读取事件记录 [00:05:13.640-00:05:15.920] 就能从上一次停止的地方继续工作 [00:05:15.920-00:05:18.160] CloudTag也采用了类似的生命周期 [00:05:18.160-00:05:19.640] 任务闲置一段时间后 [00:05:19.640-00:05:21.280] 临时Sandbox会被释放 [00:05:21.280-00:05:23.320] Slike里的工作线程仍然保留 [00:05:23.320-00:05:24.760] 之后有人继续回复 [00:05:24.760-00:05:26.920] 系统可以重新创建执行环境 [00:05:26.920-00:05:28.320] 继续这项工作 [00:05:28.320-00:05:30.520] Shopify用一句话概括了这套设计 [00:05:30.520-00:05:31.880] Session必须活下来 [00:05:31.880-00:05:34.000] 进程会结束 Sandbox会消失 [00:05:34.000-00:05:36.040] 执行任务的机器也可能发生变化 [00:05:36.040-00:05:37.640] 但Session保存的任务身份 [00:05:37.680-00:05:40.320] 历史和状态必须能够重新找回来 [00:05:40.320-00:05:42.520] River是员工在Slike里看到的入口 [00:05:42.520-00:05:44.200] 水面之下的Aquifer平台 [00:05:44.200-00:05:47.040] 负责让一项工作穿过进程和环境的生灭 [00:05:47.040-00:05:48.200] 仍然保持连续 [00:05:48.200-00:05:50.320] 现在再回头看这三家公司的实践 [00:05:50.320-00:05:51.120] 就会发现 [00:05:51.120-00:05:51.960] 他们没有制造一个 [00:05:51.960-00:05:54.120] 能塞下无限上下文的超级agent [00:05:54.120-00:05:56.320] 他们把过去紧紧绑在一起的东西拆开了 [00:05:56.320-00:05:58.360] agent是员工看到的入口 [00:05:58.360-00:06:00.360] 每项任务拥有自己的Session [00:06:00.360-00:06:03.600] 模型每次只读取当前需要的上下文 [00:06:03.600-00:06:06.440] Harness组织并驱动这一轮执行 [00:06:06.480-00:06:08.600] Sandbox提供临时工作环境 [00:06:08.600-00:06:11.520] 长期保存的是那件尚未完成的工作 [00:06:11.520-00:06:13.000] 它为什么开始 [00:06:13.000-00:06:14.200] 已经发生了什么 [00:06:14.200-00:06:15.640] 现在走到了哪里 [00:06:15.640-00:06:17.080] 还差哪一步结束 [00:06:17.080-00:06:19.640] 所以一个agent服务全公司 [00:06:19.640-00:06:22.840] 并不意味着所有人共享一段混乱的上下文 [00:06:22.840-00:06:25.560] 不同的事情被分进彼此隔离的Session [00:06:25.560-00:06:26.640] 同一件事情 [00:06:26.640-00:06:28.080] 则可以跨越角色 [00:06:28.080-00:06:29.440] 进程和运行环境 [00:06:29.440-00:06:31.000] 一直推进到完成 [00:06:31.000-00:06:33.560] 评估一个agent能不能服务好整个组织 [00:06:33.560-00:06:36.160] 关键不在于它一次能记住多少东西 [00:06:36.160-00:06:37.120] 关键在于 [00:06:37.120-00:06:38.880] 它能不能让不同的事情互不干扰 [00:06:38.880-00:06:40.840] 又让同一件事情不再半路丢失