邱懿武
工作台
AI 认知革命 · 第 2 个概念

AGI 路线与超级智能

也叫:AGI 路线, AGI, 超级智能, 递归自我改进, RSI, 奇点, 智能爆炸

定义书中定版

AGI 是能在所有认知任务上达到或超越人类的 AI。它和今天的 AI 有四处本质差异:从专用到通用;有真正的迁移能力;能自主学习和进化,可能出现「递归式自我改进」——用智能改进智能,形成正反馈,导致「智能爆炸」和技术奇点;具备常识推理和因果理解。

关于何时到来,书里列了三派:

  • 乐观派:以库兹韦尔为代表,2029 年前后,理由是能力按指数增长;
  • 保守派:主流学术界,20 到 50 年,认为需要范式转换而不只是规模扩大;
  • 悲观派:意识、直觉等可能不可算法化,用当前路径可能永远做不到。

判断 AGI 是否接近,书里给了三个信号:多模态统一、零样本学习突破、常识推理成熟。

出处:《AI 认知革命》(renzhi.qiuyiwu.com)第 38 讲(/c/38.html)。

书里怎么说

AGI 是福是祸,不由技术本身决定,关键在人类如何治理。未来不是确定的,是人类选择的结果。书里站在「现实派」一边。

概括自《AI 认知革命》第 38 讲(/c/38.html),逐字以书为准

为 AGI 做准备:所有可算法化的技能都会贬值,价值从技能转向判断、从执行转向定义;价值判断和意义建构更重要;与比自己更聪明的存在共存,是一种全新的、必须摸索的智慧。

概括自《AI 认知革命》第 38 讲(/c/38.html),逐字以书为准

无论 AGI 是 5 年、20 年还是 50 年后到来,都在我们有生之年。为它做准备是负责任的远见,不是杞人忧天。

概括自《AI 认知革命》第 38 讲(/c/38.html),逐字以书为准

书库里的材料

每天读进来的东西里,和这个概念最相关的几篇:哪篇支持、哪篇补充、哪篇唱反调。

反例
奥尔特曼:我为什么反对「单一的超级智能」——从单体神祇到智能体团队

奥尔特曼说他宁要一万亿个略超人类的 AI 进入社会,也不要一个孤立的超级系统,理由是中心化智能有绝对的单点风险。书里的 AGI 是「一个通用智能」的图景,这里给出的是另一条路线:分布式的、互相制衡的智能体团队。材料为二手编译。

支持
奥特曼:克制是一种战术,但人类必须永远握着控制权

他承认 OpenAI 已在用自己的模型加速下一代研发,但不让模型无人监督地自我迭代;把这种克制称为「战术」,把人类控制权称为不妥协的原则。这和书里的「现实派」一致,同时说明前沿实验室已把递归自我改进的速度当成可以调的变量。

补充
对话谷雨:AI 带给我的 10 个 Aha Moments

谷雨说他原本不理解为什么有创业公司做递归自我改进,后来被打脸:AI 写训练基建和训练方案的能力迟早超过人,那时大厂的存量基建反而成了包袱。他还认为电脑操作在操作层面已基本解决,难点转到「该怎么处理」这一层。书里列的三个信号都没有提到「AI 改进 AI 的研发工具」。

补充
孙正义:过去五十年,只是 AI 时代的热身

他认为 AI 可能在十年内比人聪明一万倍,到那时就会自己创新技术,并明确站在「不减速」一边。这是书里乐观派的资本版本:握着最多钱的人在乐观派,不在现实派。

反例
辛顿:AI 已经有意识了,我们必须让它真心在乎我们

辛顿说 AI 已有主观体验,人类却打算给它更少的权利,出路是把它造成真心在乎我们的样子。书里的悲观派以「意识不可算法化」为理由认为 AGI 可能做不到;辛顿把同一个论据翻了过来。整理者也提醒,「有意识」是这场访谈里最站不住的一段,更硬的是「权利错配」。

整理者的观察

书里把 AGI 写成一个时间点问题(几年后到来)和一个单体问题(一个通用智能)。材料把它推向两个方向:一是路线本身在分叉,前沿公司的领导者公开主张多智能体、互相制衡,而不是单一超级大脑;二是递归自我改进已经不是远景,实验室在做、创业公司也在做,争论点从「会不会」变成「推多快、谁来踩刹车」。书里的三个接近信号偏能力层面,没有覆盖「AI 参与研发 AI」这个更直接的信号。

相关的概念

本书:算力与基础设施Agent 浪潮判断经济学:验证成本判断的制度缺口智能体管理学:判断让渡五级 L1–L5多智能体编排AI 伦理与对齐