Hinton等人系统拆解RSI：递归机制、五个瓶颈、三类风险与治理思路(2026.9)

过去很长一段时间，“递归自我改进”（Recursive Self-Improvement，RSI）更像一个理论概念：如果 AI 能够参与改进自身，那么更强的 AI 又可以设计出更强的下一代 AI，由此形成不断加速的正反馈，最终走向所谓的“智能爆炸”。

但到了 2026 年，这个问题正在从思想实验变成一个越来越现实的工程问题。

9 月 28 日，Geoffrey Hinton、Yoshua Bengio、Jakub Pachocki、Dawn Song、Eric Horvitz、Jack Clark 等 22 位来自学术界、前沿 AI 公司和政策机构的研究者联合发表论文 《What if automating AI R&D triggers an intelligence explosion?》。

论文原文（arXiv）

论文讨论的核心不是一个 AI 如何直接修改自己的权重，而是一个更现实的路径：当 AI 开始大规模自动化 AI 研发本身，AI 进步是否可能形成递归加速，并最终把原本需要数年的技术进步压缩到数月甚至更短。

严格来说，论文没有把这一机制直接命名为“RSI”。但它讨论的实际上正是 RSI 在现实研发体系中的一种实现方式：自我改进的主体不一定是某一个模型，而可能是由模型、Agent、实验系统、训练基础设施和研发流程共同组成的 AI R&D System。

这也是这篇论文最值得关注的地方。它没有继续停留在“AI 会不会自我进化”的抽象讨论，而是开始回答几个更具体的问题：递归改进到底如何发生？哪些因素会阻止它？如果没有阻止，会出现什么风险？治理体系又应该提前做什么准备？

RSI不一定是“模型修改自己”，更可能是AI开始研发下一代AI

传统的 RSI 想象通常是这样的：一个 AI 读取自己的代码，修改模型结构或训练方法，生成一个更强版本，再由新版本继续改进自己。

现实中的路径很可能没有这么直接。

论文提出的机制只有两个步骤。

第一步，随着 AI 的研发能力不断提高，它能够承担越来越多原本由人类研究人员完成的工作，从写代码、调试程序，到设计实验、分析结果、生成数据、评估模型乃至提出研究方向，相当于不断扩大“有效研发劳动力”。

第二步，这些 AI 研发力量继续参与开发下一代 AI，新一代系统能力提升后，又可以自动完成更多研发工作，从而进一步扩大研发能力。两个过程首尾相接，就形成了一个递归反馈回路。

可以把它简单表示为：

AI 能力提升
↓
更多 AI 研发任务被自动化
↓
有效研发能力增加
↓
AI 研发速度提高
↓
产生更强的 AI
↓
更多研发任务被自动化。

这种定义实际上改变了我们理解 RSI 的方式。

RSI 并不要求“同一个模型直接修改自己”，只要 GPT-N 参与训练 GPT-N+1，而 GPT-N+1 又比上一代更擅长研发 GPT-N+2，就已经形成了递归改进。

换句话说，真正进行“自我改进”的单位，可能不是 Model，而是整个 AI 研发体系。

而这个过程已经出现了早期迹象。

论文援引 Anthropic 的内部数据称，其获批准代码中由 AI 生成的比例，从 2025 年 1 月的个位数增长到了 2026 年 5 月的 80% 以上；仅需要高层级人工监督、即可由 AI 自主完成的研发工作比例，则在 2026 年 3 月至 8 月间从约 1% 提升到 26%。OpenAI 和 Google 同样表示，AI 已经广泛参与训练、评估、安全、代码、技术设计和研究构思等内部流程。

更重要的变化并不是“AI 写了多少代码”，而是 AI 可以独立完成多长时间跨度的研发任务。论文认为，当前最先进系统已经能够处理原本需要人类专家数小时乃至数天完成的任务，并提出一个值得警惕的可能性：如果当前趋势持续，持续数月的 AI 研发项目可能在 2028 年前后开始被自动化。作者同时强调，这仍然只是趋势外推，而不是确定预测。

一旦这个时间跨度跨过某个阈值，AI 的角色就会发生质变。今天的工作模式仍然是“人提出问题—AI完成局部任务—人检查结果—继续下一步”；而如果 AI 可以独立完成几个月的研究项目，人类可能只负责提出目标，剩下的实验设计、代码实现、训练、评估和迭代都发生在 AI 系统内部。

这才是 RSI 真正可能开始加速的地方。

真正决定RSI能否加速的，是“研发力量”和“研究难度”的赛跑

即使 AI 可以自动化研发，也不意味着一定会发生智能爆炸。研究人员增加一百倍，并不代表技术进步一定快一百倍，因为科研本身存在非常明显的边际收益递减：容易解决的问题会先被解决，剩下的问题越来越难；大量研究人员之间还可能重复工作，部分研究任务也无法完全并行。

论文用“研究投入回报率”（returns to research effort，记为 r）描述这场竞争。当 r＜1 时，问题变难的速度超过研发力量增长，技术进步最终会放缓；r＝1 时，两者基本抵消；只有当 r＞1 时，不断扩大的研发力量才能跑赢研究难度上升，从而使 AI 进步持续加速。

补充阅读：r 是怎么来的？

论文沿用了创新经济学里常见的“知识生产函数”，用一个简化公式描述 AI 软件能力如何进步：

dA/dt = A^(1−β) × E^λ

这里不需要把公式看得太复杂，它本质上只是在描述两股力量：

·A：当前 AI 软件能力或软件质量。A 越高，代表算法、训练效率、推理效率等越先进。

·E：有效研发劳动力。可以理解为真正参与 AI 研发的“有效研究力量”，既可以来自人类，也可以来自 AI 研究 Agent。

·λ（lambda）：研发劳动力的规模收益。它描述“多增加一些研究力量，研发产出能增加多少”。λ 越大，说明增加研究员、增加 AI Agent 越有用。

·β（beta）：新想法越来越难找的程度。它描述科研的边际收益递减有多强。β 越大，说明随着技术进步，剩下的问题越来越难解决。论文使用的这一形式来自创新宏观经济学中的知识生产模型。

论文进一步假设，当 AI 研发实现高度自动化后，AI 能力提升会同步扩大有效研发力量，即近似有：

E ∝ A

代入上面的公式后，AI 的增长速度主要取决于 λ 和 β 谁更大。因此作者定义：

r = λ / β

现有研究给出的结果值得注意。Ho 和 Whitfill 对三个 AI 子领域的历史数据进行估算，得到的 r 中心值大约在 1.2—1.9之间。按照论文引用的一组参数，如果这种关系在完全自动化之后仍然成立，而且没有其他瓶颈出现，那么 AI 技术进步速度可能在约 1.5 年内提高 10 倍：今天需要一年产生的进步，届时可能在大约五周内完成。

但这个数字不能理解成“作者预测一年半后一定发生智能爆炸”。它建立在历史数据、简化模型和一系列很强的假设上。一旦算力、实验速度、数据或者难以自动化的环节成为新的瓶颈，这条曲线就会被截断。因此更准确的理解是：现有数据没有证明智能爆炸会发生，但已经不足以让我们简单排除这种可能性。

这也是论文接下来花大量篇幅讨论“阻力”的原因。

五个瓶颈

论文原文将阻力概括为四类，其中把算力和数据放在同一类研发资源约束中。为了更清楚地理解实际研发过程，可以进一步拆成五个瓶颈：边际收益递减、算力、数据、难以自动化的任务，以及无法压缩的时间过程。

1. 边际收益递减

这是 RSI 能否成立最基础的约束。科研不是流水线生产。随着一个方向逐渐成熟，低垂的果实会越来越少，继续取得相同程度的进步，需要投入更多研究资源。同时，大量 AI Agent 并行工作还可能产生重复研究和协调成本。

因此，未来真正重要的并不是“可以同时运行多少 AI 研究员”，而是新增一个 AI 研究员究竟还能带来多少有效研发产出。前面提到的 r，本质上就是在测量这个问题。

论文引用的历史数据暂时没有显示边际收益递减足以完全压制自动化研发带来的增长，但这些数据来自过去相对平稳的 AI 研发时代，能否外推到百万级 AI Agent 同时进行研发，仍然是未知数。

2. 算力

这是我认为最现实的一道硬约束。

大量 AI Agent 可以低成本地生成研究假设、代码和实验方案，但真正验证这些方案往往需要 GPU。如果 AI 每天提出一百万个新实验，而基础设施每天只能完成一千个，那么系统的瓶颈就会从“缺研究人员”迅速转移到“缺实验吞吐量”。

论文指出，如果验证软件改进所需要的实验算力与前沿训练规模同比增长，仅靠软件改进可能根本不足以产生软件驱动的智能爆炸。但问题在于，这种同比增长是否必然存在，目前并不清楚。小规模实验已经能够在一些情况下预测更大规模训练的结果，未来 AI 甚至可能通过更好的 scaling law、代理实验和实验筛选降低验证成本。

因此，AI 研发自动化真正值得关注的能力之一，很可能不是“生成多少研究 idea”，而是 如何用更少的实验算力筛选出更有价值的 idea。

3. 数据

第二个资源瓶颈是数据。论文认为，按照当前趋势，互联网可用数据的增长速度可能不足以支持 2028 年以后继续维持现有 AI 进步速度；当模型超过人类专家后，人类能够提供的高质量示范本身也会越来越有限。

但数学、编程以及部分 AI 研发任务存在一个特殊优势：它们拥有快速、自动、可验证的反馈。模型可以自己生成问题、尝试方案，再通过单元测试、数学证明检查器或者实验指标判断结果是否有效。因此，AI 可能不再完全依赖人类生产数据，而是逐步形成“生成—验证—学习”的闭环。

这也是为什么 AI 研发可能比很多现实世界职业更早实现高度自动化：研发活动高度数字化，而且大量结果可以通过机器直接验证。相比之下，生物学、材料科学等领域需要真实世界实验，反馈更慢、成本更高，也更难被纯软件系统加速。

4. 难以自动化的任务

即使 95% 的 AI 研发工作都被自动化，剩下的 5% 如果处在关键路径上，仍然可能限制整个系统。

例如某些真正原创的研究判断、跨领域知识整合、复杂实验故障诊断，或者高风险技术路线决策，如果长期必须依靠人类，AI Agent 数量增长再快，也需要等待这些少数人工环节完成。

目前最大的问题恰恰是缺乏数据。论文认为，现有理论模型表明，只要自动化范围扩张足够快，少量难以自动化的任务不一定能够阻止智能爆炸；但现实中究竟哪些研发任务最难自动化，以及它们会造成多强的约束，目前仍没有可靠答案。

5. 时间型瓶颈

最后一个瓶颈更容易被忽视。训练一个前沿模型可能需要数月，即使实验方案已经完全由 AI 自动设计，这段物理时间也未必能够按照 Agent 数量等比例压缩。论文指出，目前部分大型训练运行仍需要三个月甚至更长。

当然，也存在绕开这一瓶颈的方法。例如，不一定每轮都重新进行完整预训练，可以通过后训练不断增强同一模型；算法效率提升也可能缩短达到同一能力水平所需的训练时间。但这些方法到底能将物理时间压缩到什么程度，目前并不清楚。

这五个瓶颈意味着，未来判断 RSI 是否真正开始发生，不能只观察模型能力。更需要观察的是：AI 研发自动化程度、实验吞吐量、算法效率改善速度，以及每一代 AI 对下一代研发效率究竟带来了多大提升。

三类风险

如果 RSI 真的形成持续加速，论文认为它会带来三类系统性风险。值得注意的是，这三类风险并不完全来自某一代模型本身，而来自技术进步的时间尺度发生变化。

第一类：AI进步速度超过社会引导和适应速度

现有 AI 治理体系隐含着一个前提：每一代模型能力提升之后，人类还有一定时间研究新的风险、建立评测方法、制定规则并部署防护措施。

RSI 会破坏这个前提。

如果今天需要一年才会发生的能力提升被压缩到五周，那么风险评估、标准制定、监管立法、企业安全建设乃至社会适应，都可能跟不上模型迭代。尤其是在网络、生物等高风险领域，攻击能力和防御能力并不一定同步增长。论文特别指出，一些威胁可以随着 AI 软件能力迅速产生，而对应的现实防护措施仍然需要制造、部署和组织过程，因此两者之间可能出现严重的“速度差”。

RSI 最直接的风险因此不是某项能力突然出现，而是过去按“年”准备的治理体系，开始面对按“周”变化的技术环境。

第二类：人类逐步失去对AI研发过程的监督与控制

当 AI 只负责写一段代码时，人类还能审查结果；当 AI 独立完成整个研发项目时，监督问题会发生根本变化。

随着人类逐渐退出研发闭环，我们不仅会失去监督 AI 的机会，还可能逐渐失去监督 AI 所需要的专业能力。如果模型架构、训练数据、实验选择和评估方法越来越多由 AI 决定，人类研究人员可能最终面对一个能力远高于自己、内部研发过程又难以理解的系统。论文明确提出，没有充分监督时，失配的 AI 甚至可能“污染”下一代系统的开发过程，或者绕过原本的隔离措施。

这带来了一个传统模型安全很少面对的问题：安全缺陷可能沿着研发世代传播。

假设第一代 AI 研究 Agent 存在隐藏偏差，它参与生成下一代模型的训练数据、实验代码或者评估体系；下一代 AI 又继续参与下一轮研发，那么问题就不再局限于一次推理，而可能进入递归研发链条本身。

从这个角度看，RSI 同时意味着一种新的安全对象正在出现：我们未来需要保护的，不只是模型的输入输出，而是 AI 研发流水线。

第三类：能力优势可能侵蚀现有权力制衡

论文讨论的第三类风险比一般 AI 安全研究更宏观：智能爆炸可能破坏国家、企业和政府机构之间现有的权力平衡。

现代权力制衡能够成立，一个重要前提是没有任何单一主体可以在认知能力和执行能力上远远超过其他参与者。如果某家公司或国家率先获得高度自动化的 AI 研发能力，一个原本只是几个月的技术领先，可能通过递归反馈被不断放大，最终形成数量级的能力差距。论文甚至提出，军事研发、网络行动等领域的小幅领先，有可能被智能爆炸转化为决定性优势。

这种“先发优势自我放大”还可能反过来刺激竞争者采取更加激进的研发和部署策略，使 AI 竞争从传统的模型竞赛变成围绕 “谁先建立完整自动化研发体系” 的竞争。

治理思路

面对这样一种尚未真正发生、但一旦发生就可能迅速发展的风险，论文并没有提出一个单一监管方案，而是给出了三个治理优先级：先获得可见性，再建立引导和约束能力，同时提前提高整个社会的适应速度。

第一步是看见 AI 研发自动化到底发展到了什么程度。

这是目前治理体系一个明显的盲区。模型训练使用了多少算力、发布了什么版本，外部还比较容易观察；但 AI 公司内部到底有多少研发工作已经交给 Agent，AI 是否参与架构选择、训练决策和安全评估，外部几乎无从得知，而真正的 RSI 很可能首先发生在这些内部流程中。

因此论文建议建立标准化的 AI R&D 指标，例如 AI 产生的研究贡献占比、算法效率提升速度、研发支出在人类研究人员、实验算力和 AI Agent 推理算力之间如何分配，以及内部 AI 系统参与高风险研发决策的程度。对于达到一定 AI R&D 能力阈值的前沿企业，还可以引入政府或独立第三方评估和审计。

第二步是为自动化研发建立可以控制节奏的安全机制。

论文提出，一旦 AI R&D 自动化程度不断扩大，就不能再把研发 Agent 当作普通办公工具，而需要像管理高风险基础设施一样管理整个研发流水线。例如，在继续扩大自动化研发规模之前设置安全条件，对自动研发流水线进行持续监控；对一定时间窗口内允许发生的能力增长设置约束；加强对承载自动研发的数据中心的监督，并预先设计在发生严重异常时暂停特定 AI R&D workload 的能力。对于部分高能力研发 Agent，还可以要求在隔离甚至 air-gapped 环境中运行，降低模型权重、研发成果外泄以及系统越出控制边界的风险。

这实际上意味着一种新的 AI 安全架构正在出现：

模型安全评测
↓
Agent 行为监控
↓
研发流水线监督
↓
能力升级安全门。

未来的安全控制点，可能不再只是“这个模型能不能发布”，而是“这个 AI 研发系统是否可以继续开发下一代模型”。

第三步是提升治理系统自身的响应速度。

如果 AI 技术真的进入递归加速阶段，传统以月甚至年为单位的政策流程可能无法继续工作。因此论文提出，政府需要提前建立极端 AI 进展下的应急方案，在政策流程中安全地使用 AI 提高决策效率，同时通过事件共享、国际协议、验证机制和情景推演等方式，为可能出现的快速能力跃迁提前准备。论文甚至明确提出，可以开展针对 intelligence explosion 的 war game。

从模型能力评测，走向“递归能力”评测

这篇论文真正值得进一步延伸的地方，是它改变了我们应该监测什么。

过去几年，前沿 AI 安全体系主要围绕模型能力展开。例如模型有没有网络攻击能力、生物设计能力、自主行动能力，或者能否规避安全措施。这些指标衡量的都是一个 AI 系统现在有多强。

AI R&D 自动化带来了另一类更特殊的能力：它决定 AI 未来变强得有多快。

可以把这种能力称为 Recursive Capability，递归能力。它关注的不是模型能否完成某个具体任务，而是模型能否提出研究方向、设计实验、修改训练方法、生成数据、完成评估，并最终提升下一代模型。

从安全评测角度看，未来几个指标可能比传统 benchmark 更重要：AI 可以独立持续多长时间完成研发任务？一个完整研发周期需要多少次人工介入？AI 产生了多少真正被采用的研究成果？更重要的是，当前一代 AI 参与研发之后，下一代 AI 的研发生产率究竟提高了多少？

最后这个指标尤其值得关注。因为它实际上测量的是递归反馈回路每转一圈，到底会把下一圈加速多少。

如果这个值始终很低，AI 研发自动化可能只是一次巨大的生产力提升；但如果每一代 AI 都能显著提升下一代 AI 的研发效率，那么我们面对的就不再只是“更强的模型”，而是一套开始加速自身发展的技术系统。

RSI真正值得警惕的，不是“AI突然觉醒”

关于 RSI 的讨论，很容易滑向一种科幻式叙事：某一天，一个 AI 突然获得修改自身代码的能力，在极短时间里不断升级，最终变成超级智能。

Hinton 等人的这篇论文描绘的路径反而更加平淡，也因此更加现实。

AI 不需要“觉醒”，甚至不需要直接理解自己的全部权重。它只需要逐渐接管今天 AI 实验室中原本由人类完成的研发工作：写代码、跑实验、分析结果、优化训练、设计评估、提出下一轮研究方案。当这些环节逐步连接起来，GPT-N 帮助开发 GPT-N+1，GPT-N+1 又成为更高效的研究员继续开发 GPT-N+2，一个现实世界里的递归反馈回路就已经形成。

真正需要观察的因此不是某一天 AI 是否突然拥有了“自我改进”按钮，而是另一个更容易被忽略的变化：

人类研发下一代 AI 的流程，正在多大程度上变成 AI 研发下一代 AI 的流程。

一旦这个比例持续提高，我们面对的安全问题也会随之改变。过去我们主要关心“AI 能做什么”；进入 RSI 阶段之后，可能还必须增加一个更重要的问题：

AI 能以多快的速度，让下一代 AI 做到更多事情？

这可能才是“智能爆炸”从理论问题走向现实工程问题时，真正需要监测的临界点。