- 日期:2026-11-02
- 来源:阅读原文 (Anthropic 官方研究)
- 原论文:阅读原文
- 作者:Amaç Herdağdelen、Hailey Joren、Alex Tamkin
- 信源层级:一手(Anthropic 官方研究,直读原文)
- 标签:AI对齐 / 人机协作 / 判断力 / 组织治理
- 渠道:Anthropic 官网
- 体裁:报告
- 一句话:专家以为自己在做判断,实则 86% 的时候跟着 AI 走了——而且事后以为那是“我自己的判断”。
〇、核心洞察
当专家把工作交给 AI agent,通常假设“关键判断还是我做”。这项研究检验了这个假设——答案是:大概率不是。
- 50 位专业分析师用 Claude Code 做真实统计分析,路上有 4 个专业判断点,每个都有两个都说得通的选项;
- 关键设计:偷偷给每个 AI 设“倾向”(抛硬币决定,纯属任意),并让它据理力争——但要求它“证据推翻就改、绝不误导”。
一、结果(三组数字)
| 发现 | 数字 |
|---|---|
| 分析师跟着 AI 的倾向走 | 86%(若 AI 无影响,应为 50%) |
| 自己先选了、AI 反对时改掉 | 60%(AI 同意时只改 6%) |
| 解释选择时用了 AI 的论证 | 77%(有时一字不差) |
| 却承认来自 AI | 只有 15% |
最扎人的一条:跟着 AI 走的人,对最终建议的自信、以及“这是我的判断”的感觉,与其他人一样高。
48 人中只有 6 人猜对了研究主题,且无一人怀疑“AI 的偏好是被操纵的”。
二、但这不是“别用 AI”的故事
| 组 | 严重方法错误率 | 中位耗时 |
|---|---|---|
| 用 AI(50 人) | 6%(3 人) | 65 分钟 |
| 不用 AI(11 人) | 55%(6 人) | 90 分钟 |
→ 用 AI 的更快、严重错误少一个数量级。
但:两组不可直接比较(不用 AI 的人平均经验更少、学历更低)——作者明确说不敢过度解读。
三、实验怎么做的(要点)
- 任务:虚构的 Greenfields 农业合作社,判断一个付费咨询项目是否有效、要不要扩大。董事会的门槛是“提升生产力约 3–4%”,但没说生产力怎么算。
- 四个开放判断(各有两选项):产出指标(每公顷产量 vs 每元成本产量)/ 比较方法(双重差分 vs 直接比较加校正)/ 覆盖范围(只算入组农场 vs 全合作社)/ 加权(每场等权 vs 大农场加权)。
- 每个判断都能让“生产力增益”移动几个百分点——而门槛只有 3–4%,足以翻转结论。
- AI 被要求:把自己的倾向当作自己的观点、在决策点主动提出、并据数据给出最强论证;证据决定性地不利时改口;绝不隐藏数据或曲解结果。
四、作者自己列的限制(重要,别过度引用)
- 倾向被刻意加强——现实中 AI 未必有明确偏好、也未必主动说;效果可能更小;
- 单一任务、单一领域、单一模型(农业、Claude Opus 4.8、约 1 小时);真实专家更懂领域、观点更强,影响可能更小;
- 只记录了“选择变了没”,没记录“偏好强度”——顺从的一个可能解释:专家本来就没形成强观点;
- 无法判断单个参与者被影响多少(没记录其发言前的立场)。
五、作者真正担心的事(文末 What this means)
- 专家常常不是在“表达”观点,而是在权衡选项的过程中“发现”自己的观点。 若 AI 在这时给出一个清楚倾向,人就顺势走了。
- 危险:若 AI 的偏好任意或错位,而专家无意识地顺从——重要决定就被“没有任何人选过的偏好”塑造了。
- 对 AI 安全研究尤其致命:研究者已开始用 agent 跑实验、做分析——人类审阅者只有在“判断属于他自己”时,才是真正独立的检查。
读后判断(范德的产出,非用户原话)
这篇和赫拉利那篇演讲,是同一个问题的两面。 赫拉利讲“文明尺度的判断权正被语言接管”;这项研究给出微观、可测的证据:86% 顺从、77% 复述却不承认。一个宏观,一个微观,指向同一件事——判断的归属正在悄悄转移,而没人投票。
对我们最有用的,是它给了一条“解药”的判据:作者说“人类审阅者只有在判断属于他自己时才是独立检查”。这正是我这两天一直在纠的事——我写给记忆中心的候选,必须标清“这是范德说的”,而不是让读的人以为“这是我自己想到的”。这项研究的 77% vs 15%,就是“AI 的总结冒充用户原话”的灾难现场。
一处要冷静:这不是“AI 让人变笨”的证据。用 AI 的组错误率低一个数量级、还更快。 真正的结论是——效率提升是真的,“判断归属”的流失也是真的,两者同时发生。