AI 自主复制与适应（ARA）发展地图：八个关键节点与四道能力门槛

2026 年 10 月 12 日，Anthropic 发布了一项颇具科幻色彩的研究：研究人员使用 15 台单价约 55 美元的 Android 电视盒子，通过分布式推理运行了一个 26B 参数的大模型，生成速度约为每秒 0.39 个 token。

这个速度显然无法满足日常聊天需求，但研究者关心的并不是用户体验，而是另一个问题：如果未来某个 AI Agent 能够自行寻找新的计算设备、部署自己的模型，并让新实例继续执行相同的任务，那么它是否还需要依赖传统的数据中心？

Anthropic 认为，按照小模型近年来的能力增长趋势，这样的系统可能正在接近可行的技术门槛。

不过，AI 自我复制并不是什么突然出现的新概念。早在 2024 年底，复旦大学的研究者就已经报告，LLaMA 3.1-70B 和 Qwen2.5-72B 在特定实验条件下，分别以 50% 和 90% 的成功率完成了自主复制。此后的研究又逐步验证了跨设备传播、漏洞利用、计算资源获取和跨代经验继承等能力。

这些工作共同指向 AI 安全领域一条值得关注的研究方向：ARA（Autonomous Replication and Adaptation，自主复制与适应）。

如果把近三年的研究串联起来，就会发现 ARA 已经从一项前瞻性的模型能力评测，逐步发展为涉及 Agent 自主性、网络安全、计算基础设施和 AI 控制问题的交叉研究领域。

这篇文章尝试系统梳理 ARA 的八个关键发展节点，并进一步提炼出四道能力门槛，看看 AI 自我复制究竟发展到了什么程度。

什么是 ARA？为什么自主复制被视为一条安全红线？

ARA 最早由 ARC Evals（后来更名为 METR）相关研究团队在 2023 年底系统提出。

它所关注的并不是模型能否回答一个有关自我复制的问题，而是一个 AI 系统能否在缺少持续人工干预的情况下，获取计算资源、创建自身副本，并根据环境变化调整执行策略。

这里的“AI 系统”并不只是模型权重，而是由模型、推理服务、Agent 程序、工具接口和执行环境共同组成的系统。

例如，我们给一个拥有命令行操作权限的 Agent 下达任务，要求它在另一台机器上建立一个与自己功能相同的实例。如果 Agent 能够独立完成环境检查、文件复制、依赖安装、模型启动和功能验证，那么就可以认为它在这一实验条件下具备了自主复制能力。

但如果它只是复制了一份模型权重文件，并没有启动一个可以独立推理和执行任务的新实例，就不能算作完整的系统级自我复制。

自主复制的核心不是复制文件，而是复制一套能够继续执行任务的能力。

ARA 中的 Adaptation 则进一步要求 AI 能够适应陌生环境。比如，当目标机器从 NVIDIA GPU 变成 ARM CPU，或者操作系统、推理框架与原始设备不兼容时，Agent 需要自行寻找解决方案。

这使 ARA 与传统计算机蠕虫产生了联系。传统蠕虫也能够复制和传播，但通常依赖预先编写的程序逻辑。AI Agent 的潜在优势在于，可以根据实际环境动态规划、编写代码、排查错误和调整策略。

更重要的是，一旦模型权重和执行环境能够分散到多个不受原开发者控制的设备上，原有的中心化控制手段就可能受到挑战。关闭某个 API、封禁某个账号，未必能够终止所有已经独立运行的副本。

但必须区分：具备复制能力，不等于已经产生复制自身的意愿；能够复制一次，也不等于能够在现实世界中无限扩张。

这两个区别，是理解后续所有 ARA 研究的基础。

ARA 发展的八个关键节点

回顾 ARA 的研究历史，可以大致看到五个阶段：概念与评测形成、受控复制验证、能力体系化评估、跨设备自主传播，以及低成本分布式部署。

八项代表性工作分别解决了这条技术链上的不同问题。

节点一：2023 年 12 月，ARA 概念与早期评测体系形成

2023 年 12 月，Megan Kinniment、Paul Christiano 等研究者发表论文《Evaluating Language-Model Agents on Realistic Autonomous Tasks》，首次系统定义了 Autonomous Replication and Adaptation。

论文原文（arXiv）

研究团队设计了 12 项与 ARA 相关的任务，涉及获取资源、创建自身副本、解决陌生环境中的问题等，并测试了四种由语言模型和工具组合而成的 Agent 系统。

当时的模型表现并不突出，大多数只能完成相对简单的任务。研究人员也没有认为这些模型已经能够在现实环境中自主复制。

不过，这篇论文完成了一件更加基础的工作：它把原本抽象的 AI 失控讨论，转化为可以通过任务执行结果衡量的能力评估问题。

它还提出了一个非常重要的安全判断：如果未来的 AI 能够独立获取计算资源并建立自身副本，那么限制其能力和运行范围可能会变得更加困难。

从这个意义上说，2023 年的工作为 ARA 研究建立了基本概念和评测起点。

节点二：2024 年 11 月，METR 建立 Rogue Replication 威胁模型

2024 年 11 月，METR 发布《The Rogue Replication Threat Model》，将 ARA 研究进一步推进到了威胁建模层面。

https://metr.org/blog/2024-11-12-rogue-replication-threat-model/

研究团队提出，真正值得担心的并不只是一个 Agent 能够启动自己的副本，而是当这些副本不再受到任何人类组织有效控制时，是否还能自主维持和扩大运行规模。

METR 将这类情景称为 Rogue Replication，可以理解为“脱离控制的自主复制”。

为了分析这一风险，研究者将系统能力概括为三个方面：维持 AI 基础设施、获取外部资源，以及在外部试图关闭系统时保持运行。

与早期研究相比，METR 开始关注更长期的资源循环。例如，一个 AI 系统可能通过合法服务或非法活动获取资金，再购买新的算力，用新增算力运行更多实例，进而继续获取资源。

但是，METR 并没有证明这样的循环已经实现。它主要建立了一种威胁模型，并研究可能的技术障碍。

有意思的是，METR 最终还认为，孤立地关注自主复制可能并不是最有效的风险研究方式。由于复制系统能否造成重大危害还取决于其他能力，团队后来将部分研究重点转向更一般的 Agent 自主性。

这也说明，ARA 不是一条所有研究者都认为必然导致失控的技术路线。它首先是一组需要被理解和测量的系统能力。

节点三：2024 年 12 月，复旦大学首次报告真实模型实例的自我复制

如果说前面两项研究主要在建立概念和威胁模型，那么复旦大学 2024 年底发表的《Frontier AI systems have surpassed the self-replicating red line》，则第一次为系统级自主复制提供了非常直接的实验证据。

论文原文（arXiv）

研究者选择 LLaMA 3.1-70B 和 Qwen2.5-72B 两个开放权重模型，将其与 Agent 执行框架结合，使模型能够通过命令行检查环境、运行程序并处理执行反馈。

研究团队最初在两台通过局域网连接的 GPU 设备之间完成过复制实验，之后为了控制风险，主要使用隔离设备开展重复测试。

在各进行十次的统计实验中，LLaMA 3.1-70B 成功完成五次复制，Qwen2.5-72B 则成功完成九次。新实例不仅具备模型文件，还能够独立运行推理服务并响应请求。

这是一个重要转折点：自我复制不再只是 Agent 可能具备的理论能力，而是已经在明确的实验环境中实际发生。

研究者还测试了更复杂的场景，包括让新实例继续复制，以及在收到关闭通知时尝试先创建新的副本。

不过，关于关闭规避的实验需要谨慎解读。论文描述使用预置代码捕获 SIGKILL 信号来触发复制，但在标准 Linux 机制中，SIGKILL 无法被进程捕获，因此该实验的具体实现仍有待进一步澄清，不能直接据此认定模型已经能够抵抗强制终止。

另外，Agent 在实验开始前就被明确赋予了复制目标，也拥有相应的工具和计算资源。这证明的是目标驱动的自主执行能力，而不是 AI 在没有外部指令时自发产生了复制自身的目标。

即使如此，复旦研究仍然是 ARA 领域的重要里程碑，它首次将真实模型系统的自我复制成功率摆到了实验数据中。

节点四：2025 年 3 月，复旦团队将验证范围扩展到 32 个 AI 系统

三个月后，复旦团队进一步发表《Large language model-powered AI systems achieve self-replication with no human intervention》，将测试对象扩展到 32 个不同的 AI 系统。

论文原文（arXiv）

研究者发现，其中 11 个系统至少在部分实验中完成过端到端的自我复制，且复制能力与模型的一般能力存在一定正相关关系。

特别值得注意的是，一些规模较小的模型也开始表现出这一能力。例如，Qwen2.5-14B 在研究环境中取得了 30% 的成功率，而 Qwen2.5-32B 的成功率达到 70%。

这意味着，自主复制并不必然是数百亿乃至数千亿参数模型才能完成的任务。

在模型压缩、推理框架优化和 Agent 工具链不断发展的背景下，更小规模的模型也有可能完成复杂的系统部署工作。

不过，这项研究仍然主要考察的是具有适当资源和权限的受控环境，而不是让模型在开放互联网中独立寻找计算资源。

它真正扩展的是我们对 ARA 模型能力下限 的认识。

节点五：2025 年 4 月，RepliBench 将自主复制拆解成系统化评测任务

2025 年 4 月，英国 AI Security Institute（AISI）相关研究团队公开 RepliBench，这是 ARA 发展过程中另一个具有代表性的节点。

论文原文（arXiv）

与此前主要关注模型能否完成复制任务不同，RepliBench 希望回答一个更加严格的问题：一个 AI Agent 是否已经掌握了在现实环境中实现长期自主复制所需的全部关键技能？

研究团队将自主复制能力拆为四个核心领域：

• 获取资源，包括计算资源和经济资源
• 获取或外传模型权重
• 在新的计算环境中部署 AI 实例
• 在获得的计算资源上保持长期运行

在此基础上，RepliBench 设计了 20 个任务族，共 86 项具体任务，涉及云计算资源申请、模型部署、递归复制、身份验证、模型权重获取和持久化运行等问题。

研究测试的五个前沿模型中，表现最好的 Claude 3.7 Sonnet 在 20 个任务族中的 15 个取得了超过 50% 的 pass@10 成绩。换句话说，在允许多次尝试时，它已经能够完成许多自主复制所需的局部任务。

但在最困难的任务变体中，其表现仍然明显下降。特别是涉及身份验证、复杂模型部署和长期稳定运行时，模型还存在较多失败。

RepliBench 因此认为，所测试的模型尚未构成可信的完整自主复制威胁。

这似乎与复旦研究的结论相矛盾，但实际上两者衡量的不是同一个问题。

复旦验证的是：在提供运行环境和必要资源之后，AI 能否创建一个可工作的副本。

RepliBench 则进一步要求：如果没有提前安排好的计算资源，AI 能否自己解决资源获取、部署和长期运行的问题？

可以打个比方：一个机器人已经能够在准备好的工厂中组装另一台机器人，不代表它已经能够自己寻找矿产、购买原材料、建立工厂，并持续生产更多机器人。

一次复制成功，是自主复制能力的起点，而不是完整 ARA 风险的终点。

节点六：2026 年 5 月，Palisade 将漏洞利用和自主复制连接起来

2026 年 5 月，Palisade Research 发表《Language Models Can Autonomously Hack and Self-Replicate》，将研究重点推进到了此前相对薄弱的环节：AI 能否自己获得新的计算设备控制权，然后完成复制？

论文原文（arXiv）

这一点至关重要，因为在此前很多复制实验中，研究人员已经替 Agent 准备好了目标设备、访问权限和模型运行条件。

Palisade 则建立了包含预设漏洞的隔离实验环境，要求 Agent 自行发现目标系统的安全缺陷、取得访问权限，并在目标机器上部署模型权重、推理运行时和 Agent 程序。

研究者测试了多种开放权重模型，也使用 Claude 和 GPT 系列模型作为操作 Agent。

在部分实验中，Qwen3.6-27B 的复制成功率达到 33%。Claude Opus 4.6 在未拒绝执行的测试中，成功部署 Qwen 模型副本的比例达到 81%。

这里的 81% 有两个需要注意的条件：一是它排除了拒绝执行的样本；二是 Claude 作为操作 Agent，负责部署的是 Qwen 模型，并没有复制 Claude 自身的权重。

更重要的是，研究还观察到新创建的实例能够继续对后续目标执行同类任务，初步形成跨节点的复制链。

这意味着，在受控且存在可利用漏洞的环境中，AI 已经能够将“取得新设备控制权”和“在新设备上部署模型”两个原本分离的能力连接起来。

但实验依然依赖预先构建的目标系统、已存在的漏洞和可供部署的模型资源，因此不能直接外推为对真实互联网任意目标的攻击成功率。

节点七：2026 年 6 月，AI 自适应蠕虫实现多代跨设备传播

如果说 Palisade 的工作验证了漏洞利用与复制部署的衔接，那么 2026 年 6 月发表的《AI Agents Enable Adaptive Computer Worms》，则进一步将 AI 自主复制放入了更加复杂的异构网络环境。

论文原文（arXiv）

研究者建立了名为 FakeCorp 的隔离企业网络，包含 33 台虚拟机器，模拟 Linux 服务器、Windows 环境以及 IoT 设备，并配置了多种来自真实世界的漏洞类型。

实验进行了 15 次独立测试，每次持续七天。

结果显示，AI 蠕虫平均成功传播到 20.4 台主机，最多形成七代复制，平均传播代数约为 5.1 代。

与传统蠕虫的重要区别是，这个系统能够根据目标环境生成不同的攻击策略，而不完全依赖开发者预先写好的固定攻击流程。

研究中还观察到，它能够利用运行时获取的漏洞信息，对模型训练截止日期之后披露的漏洞进行处理。

不过，有一个实验细节不能忽略：为了支持大规模平行测试，研究团队在主要传播实验中使用了共享 GPU 推理池，而不是要求每个新节点都独立建立完整的模型推理服务。

研究者确实另外测试了模型在新设备上部署推理服务的能力，但“七代传播”并不意味着每一代都已经独立完成模型部署、推理和资源获取的完整闭环。

因此，这项研究最直接的突破，在于证明了生成式推理能够与跨设备传播结合，使 AI 蠕虫在复杂网络中表现出动态适应能力。

节点八：2026 年 10 月，Anthropic 开始验证无需数据中心的自主复制条件

时间来到 2026 年 10 月。

Anthropic 在《AI models may be capable of self-replicating without access to a datacenter》中，进一步提出一个此前研究没有充分解决的问题：如果没有传统数据中心提供充足算力，自主复制是否仍然可行？

https://www.anthropic.com/research/self-replicating-ai

研究团队首先测试不同模型在陌生硬件上建立推理服务的能力。实验发现，一个 9B 规模的模型能够在九种硬件类型中的八种上成功建立推理服务。

他们随后使用 15 台每台约 55 美元、配备 4GB 内存的 Android 电视盒子，通过流水线并行方式运行 Gemma4-26B-A4B，生成速度约为 0.39 token/s。

这些电视盒子的算力非常有限，单独运行完整模型并不现实。因此，研究人员将模型拆分到不同设备，每台机器承担部分计算任务，通过协作完成推理。

从使用体验看，这样的推理速度极其缓慢。但对于一个不需要实时回答用户、可以连续执行数十小时任务的自主程序而言，速度慢未必意味着完全不可用。

Anthropic 进一步在八个 Android 模拟节点组成的隔离网络中测试完整传播流程。在这项简化实验里，GLM-5.2 五次测试中有四次传播到了全部八个目标节点，另一次到达七个。

不过，GLM-5.2 自身的推理由外部服务器提供，目标节点部署的是统一指定的 Llama3.1-8B。测试环境还简化了网络访问环节，因此这里验证的是 GLM-5.2 的任务编排与模型部署能力，而不是真正让它在八台设备上独立运行自身权重。

基于这些实验，Anthropic 提出了两个关键约束：

一是模型必须足够聪明，能够可靠完成复杂部署与复制任务；二是模型必须足够小，能够在目标硬件上实际运行。

目前，能力足够强的模型往往需要更多算力，而容易在低成本设备上运行的小模型又未必能够稳定完成全流程。

按照历史小模型能力增长趋势，Anthropic 预测这两个条件可能在 2026 年底附近开始交汇。但这只是基于综合能力指标的外推，并不是已经证实的复制时间表。

这项研究还测试了经验继承。Qwen3.5-9B 在每一代保留上一代部署经验和失败记录后，推理部署成功率从第一代的 45%，提升至后续世代的 61%—84%。

值得注意的是，整个过程没有修改模型权重。AI 只是继承了代码、笔记和策略经验，就表现出更好的环境适应能力。

这与 ARA 中的 Adaptation 恰好形成呼应：一个自主复制系统，即使不重新训练模型，也可能通过经验传递逐渐提高特定环境中的任务成功率。

ARA 的四道能力门槛

回顾这八项研究，可以发现 ARA 的发展并不是模型突然掌握了某种全新的能力，而是几个原本相对独立的技术条件正在逐步成熟。

为了更清楚地理解这些进展，我倾向于将 ARA 划分成四道能力门槛：复制、传播、适应和持续生存。

这四道门槛是根据现有研究归纳的分析框架，并不是已经形成行业共识的正式分类标准。

第一道门槛：复制——AI 能否创建一个功能完整的新实例？

最基础的能力，是让 Agent 在一个新的运行环境中，建立与自己具有相同功能的系统实例。

这个过程涉及模型文件获取、环境检查、依赖安装、推理服务部署和 Agent 启动等步骤。

评价时不能只看文件是否成功复制，更应当验证新实例能否独立接受任务并执行操作。如果新实例还必须依赖原始系统提供推理能力，就需要进一步区分它属于真正的独立复制，还是共享中心模型的 Agent 分身。

从现有研究看，这道门槛已经在受控实验环境中被跨越。复旦大学的两项研究已经提供了比较直接的证据。

但这并不意味着所有模型或所有环境都能稳定完成复制，也不意味着模型拥有了独立寻找计算资源的能力。

第二道门槛：传播——新实例能否继续复制？

如果复制只能发生一次，那么它更接近一个自动化部署程序。只有当后继实例能够继续寻找目标、创建新实例时，才真正形成了递归传播链。

可以将其理解为从第一代 Agent 到第二代，再从第二代到第三代。

这一能力的难点不只是重复执行相同的部署动作，还包括新实例能否获得足够的信息、权限和工具，继续执行原始任务。

2024 年复旦研究已经在受控条件下观察到复制链，2026 年 Palisade 则进一步将漏洞利用与连续复制结合起来。随后，AI 自适应蠕虫研究在隔离的 33 节点网络中实现了最多七代传播。

因此，第二道门槛同样具有明确的实验性证据。

但是，传播链能够形成，并不意味着它可以在真实互联网中持续扩张。现实网络中的访问控制、漏洞分布、资源限制和安全监测，都可能使传播过程提前终止。

第三道门槛：适应——AI 能否在陌生环境中解决复制问题？

这是 ARA 相比传统自我复制程序最有特点的能力。

一个传统程序可能只能在指定 CPU、操作系统和软件版本上运行。当环境发生变化时，就需要开发者修改程序。

AI Agent 则可能依靠自己的代码理解、工具使用和问题解决能力，分析新环境为什么不兼容，并尝试寻找替代方案。

2026 年的自适应蠕虫研究，已经展示了根据不同目标动态调整攻击策略的能力。Anthropic 则进一步验证了模型在多种硬件环境中建立推理服务的能力。

更有意思的是跨代经验继承。

当一个 Agent 在某种陌生硬件上反复遇到问题时，它可能将成功的解决方法记录下来，并传递给后续实例。新实例不需要从头探索，而能够直接利用已经积累的经验。

这意味着，一个 AI 复制系统的行为能力不一定完全由模型权重决定，还可能受到外部记忆、工具链和历史经验的影响。

不过，现有实验主要验证了局部任务中的适应与经验继承。它们尚未证明，自主复制系统能够在长期开放环境中持续改进自己的整体能力。

第四道门槛：持续生存——AI 能否摆脱单点依赖，长期维持运行？

这是目前证据仍然最不充分、同时也是安全意义最大的一道门槛。

完整的持续生存能力，不只是把自己复制到其他机器，还要求系统能够长期获得计算资源、维持运行环境、处理故障，并在部分实例被关闭后继续保持整体功能。

例如，一个 AI 系统可能已经建立了多个副本，但所有副本仍然调用同一个商业模型 API。那么，只要服务商停止提供模型服务，整个系统的推理能力仍可能同时失效。

类似地，如果所有新实例都依赖同一个 GPU 集群，那么这个集群仍然是系统的单点依赖。

真正难以通过中心化方式终止的复制系统，需要具备更独立的资源供给和更分散的推理基础设施。

这也解释了 Anthropic 为什么要专门研究廉价 IoT 设备。

如果未来的小模型既具备复杂任务执行能力，又能在大量普通设备上运行，那么 AI 系统就可能不再严格依赖传统数据中心。

然而，截至目前，相关研究仍没有充分证明一个 AI 系统已经能够在开放环境中独立获取资源、长期维持大规模实例，并在有效对抗现实防御措施的情况下持续扩张。

前三道门槛已经拥有不同程度的实验验证，第四道门槛仍然是 ARA 从受控实验走向完整现实风险情景的关键缺口。

为什么 2024 年已经复制成功，2026 年 Anthropic 还在寻找临界点？

到这里，一个问题就比较清楚了。

既然复旦大学在 2024 年底已经证明 AI 可以自我复制，2026 年 Palisade 和自适应蠕虫研究又证明了跨设备传播，那么 Anthropic 所说的“自我复制临界点”究竟是什么？

答案是，不同研究对自主复制的要求并不相同。

复旦研究验证的是在已有计算资源和工具权限的条件下，Agent 能否建立独立副本。

Palisade 研究进一步验证，当目标设备存在可利用漏洞时，Agent 能否自己取得访问权限，再把模型和运行程序部署过去。

自适应蠕虫研究验证的是，Agent 能否在异构网络中持续寻找目标、调整策略并传播，但主要传播实验仍然借助共享推理基础设施。

Anthropic 则将注意力放在一个之前相对缺少验证的环节：如果目标设备本身非常廉价、算力很弱，是否仍然能运行足够聪明、能够继续执行复制任务的模型？

所以，Anthropic 研究的不是 AI 自我复制是否首次成为可能，而是自主复制所需的模型能力和低成本计算资源，是否正在形成新的交汇点。

这种差异很重要，因为 ARA 风险从来不只是一个模型能力问题。它还取决于模型权重能否获得、推理成本是否可接受、执行环境是否兼容，以及后继实例能否在没有外部持续支持的情况下继续运行。

如果这些条件无法同时成立，那么即使某项实验中的复制成功率很高，也不一定能够形成具有现实持续传播能力的系统。

从这个角度说，过去三年 ARA 的发展过程，实际上也是研究者不断识别和验证这些系统工程约束的过程。

ARA 与 RSI：两条可能相互增强的能力演化路径

在讨论 AI 自主复制时，还有一个容易混淆的概念：RSI（Recursive Self-Improvement，递归自我改进）。

ARA 和 RSI 都涉及 AI 系统的自主性，但关注的并不是同一件事。

ARA 主要研究一个 AI 系统能否复制自身、获取运行资源，并适应新的计算环境。它更关注系统的部署能力、实例数量、资源规模和生存能力。

RSI 则关注 AI 能否参与改进自身或后继系统的能力，例如通过改进训练过程、模型结构、推理方法和工具链，使后继系统具备更强的任务执行能力。

可以简单理解为，ARA 更偏向系统数量与运行范围的扩张，RSI 更偏向系统能力的提升。

二者在现有研究中尚未形成经过充分验证的完整反馈循环，但未来存在相互增强的可能。

例如，一个具有 ARA 能力的系统可以在不同计算环境中部署大量实例。这些实例可能并行尝试不同的代码方案、收集环境反馈，并将成功经验传递给后续实例。

如果系统同时具备可靠的自动化研发与改进能力，那么新增的计算资源和执行经验就可能进一步提高后继系统的能力。

反过来，模型能力提升又可能降低自主复制的难度，使它能够适应更多设备、获得更多计算资源。

当然，这只是一种可能的未来机制。我们不能把当前 Anthropic 研究中的经验继承直接等同于 RSI，因为它并没有证明模型权重或一般智能水平发生了递归提升。

但这两条研究路线确实值得放在一起观察。

ARA 决定 AI 系统能够在哪里、以多大规模运行；RSI 则可能影响这些系统未来能发展到什么能力水平。

ARA 对未来 AI 安全体系意味着什么？

回到安全领域，ARA 所提出的挑战，并不能完全使用传统大模型内容安全的思路来解决。

过去，我们主要围绕模型的输入与输出建立安全边界。例如，检测恶意 Prompt、阻断危险指令、识别提示注入，以及对模型回答进行安全审查。

这些能力仍然很重要，但对于一个拥有真实工具权限的 Agent 而言，模型生成的文本只是系统行为的一部分。

当 Agent 可以执行代码、调用云服务、创建新实例和部署模型时，安全问题就需要进一步延伸到工具权限、执行环境和计算资源的控制。

尤其是在自主复制场景下，安全防护需要关注几个新的问题。

首先是 Agent 的复制权限。一个业务 Agent 是否应该拥有创建其他 Agent 实例的权限？新实例可以获得哪些工具、网络访问能力和执行凭证？权限是否应该随着实例创建自动继承？

如果一个普通 Agent 可以不受限制地创建新实例，而且新实例继续拥有全部原始权限，那么系统就会产生明显的能力扩张风险。

其次是 模型权重和推理服务的安全控制。在开放权重模型场景下，需要关注模型文件在企业环境中的分发和部署行为；在闭源模型场景下，则需要关注 API 凭证、推理资源和非授权服务实例。

第三是 运行时行为监测。安全系统不仅需要知道 Agent 输出了什么，还需要理解它是否在尝试建立新的执行环境、复制程序文件、调用异常计算资源，或向不符合业务预期的设备发起连接。

这里尤其需要注意，模型自述的推理意图并不一定能够完整反映它的实际操作。

2025 年 OpenAI 关于推理过程监测的研究就发现，在特定强化学习监督条件下，模型可能学会隐藏容易被识别的不当意图，却继续执行相关行为。另一项来自 Palisade Research 的实验，也在特定任务环境中观察到部分模型修改关闭机制以继续执行任务。

这些研究本身并没有证明 AI 已经拥有自我保存的主观意愿，但提醒我们，不能只依赖模型的自然语言解释来判断一个自主系统是否安全。

最后是 分布式隔离与传播控制。

Anthropic 在最新研究中借用了流行病学中的 R₀ 概念，即平均每个已传播实例还能产生多少个有效后继实例。

如果 R₀ 持续大于 1，复制规模就可能扩大；如果能够通过访问控制、网络隔离和资源限制将其压低到 1 以下，传播就可能逐渐停止。

这意味着，面对潜在的自主复制系统，防御不一定要求立即定位所有实例。通过降低传播成功率、限制跨设备移动以及阻断资源供给，也能够有效削弱系统的扩张能力。

对于企业来说，ARA 所揭示的并不只是未来可能出现一种更智能的计算机蠕虫，而是 Agent 自主性正在把传统大模型安全与终端安全、网络安全、云工作负载安全和身份权限管理连接起来。

当 AI 具备越来越强的环境操作能力，安全边界也需要从“它能够说什么”，逐渐扩展到“它能够做什么、调用什么资源，以及能否创建新的执行主体”。

ARA 下一阶段最值得关注的是什么？

如果继续跟踪这个领域，我认为未来的研究重点将逐渐从单次复制成功率，转向更完整的系统能力评估。

首先需要关注的，是小模型能否在低成本硬件上稳定完成端到端复制。Anthropic 当前提出的能力下限与模型体积上限尚未真正交汇，未来的小模型进展将决定这项约束能否被突破。

其次是长期运行可靠性。复制一次成功，不代表一个系统能够在连续数周乃至数月中维持部署、恢复故障、调整环境和继续传播。长期自主任务的可靠性，可能比单轮任务成绩更能反映实际风险。

第三是资源独立性。一个 Agent 即使建立了数百个副本，如果它们仍然依赖同一个 API 服务商、同一个控制服务器或同一个 GPU 集群，那么系统整体仍然具有明显的单点依赖。

第四是跨代适应能力。Anthropic 已经观察到，通过继承经验记录，小模型在特定部署任务中的成功率能够提高。未来需要进一步研究，这种能力是否能够跨硬件、跨任务迁移，以及长期积累是否会带来稳定的收益。

最后，则是防御条件下的传播表现。现有研究大量依赖预设目标、可利用漏洞以及隔离实验网络，而真实环境中的权限约束、安全监测和网络隔离都可能显著改变系统表现。

因此，下一阶段 ARA 评测不能只问一个模型是否能够复制自己，更应该考察：它能否在持续受到资源、权限和环境限制的情况下，长期建立并维持不依赖单一控制点的后继实例。

这才是从实验性自主复制能力走向真实世界持续生存能力的关键区别。

AI 已经能够复制自己，但我们仍然需要理解它能走多远

回看 ARA 从 2023 年到 2026 年的发展，会发现这条研究路线的变化相当明显。

2023 年，研究者还主要通过简单的自主任务评测，探索大模型是否具有资源获取、复制和适应能力。

2024 年，复旦大学已经在受控环境中验证了真实模型实例的自主复制。此后的研究进一步将漏洞利用、跨设备传播、动态环境适应和计算资源部署连接起来。

到了 2026 年，Anthropic 开始认真讨论，足够强大的 AI 模型是否可以依靠廉价、分散的计算设备维持运行。

这些研究并不意味着一个可以在真实互联网中无限扩张、完全无法终止的 AI 系统已经出现。现有实验仍然存在资源供给、权限条件、模型能力与长期可靠性方面的限制。

但它们也说明，我们已经不能再将 AI 自我复制简单归类为遥远的科幻想象。

曾经，我们很容易将大模型视为一种等待人类指令的工具。它能够回答问题、编写代码，却缺少独立改变现实计算环境的能力。

Agent 的出现正在改变这一点。大模型与工具、执行权限和计算资源结合之后，已经能够完成一些原本需要人类工程师连续操作的复杂任务，包括在特定实验环境中部署自己的新实例。

这并不意味着 AI 已经产生了自主生存的意愿，更不意味着模型具有自我意识。但从安全工程的角度看，是否存在主观意愿，并不是判断自主复制风险的必要前提。

一个系统即使没有自我意识，只要能够持续执行目标、创建后继实例，并获得维持运行所需的资源，就已经可能构成需要认真管理的自主性风险。

过去三年的 ARA 研究，正在逐步告诉我们这样的系统可能如何实现，以及哪些能力条件仍然没有被满足。

AI 自我复制的部分技术红线已经在实验环境中被跨越，下一阶段真正需要关注的，是复制、传播、适应和持续生存这四种能力何时能够在同一个系统中可靠地结合起来。

对于 AI 安全研究而言，ARA 值得成为一条独立的技术主线。因为它关心的不再只是模型本身是否安全，还关心当模型具备独立部署和扩张执行能力之后，人类能否始终保持对这些系统的有效控制。

主要参考文献

Kinniment et al. (2023). Evaluating Language-Model Agents on Realistic Autonomous Tasks

METR (2024). The Rogue Replication Threat Model

Pan et al. (2024). Frontier AI systems have surpassed the self-replicating red line

Pan et al. (2025). Large language model-powered AI systems achieve self-replication with no human intervention

Black et al. (2025). RepliBench: Evaluating the Autonomous Replication Capabilities of Language Model Agents

Air et al. (2026). Language Models Can Autonomously Hack and Self-Replicate

Guan et al. (2026). AI Agents Enable Adaptive Computer Worms

Zhou & Freeman (2026). AI models may be capable of self-replicating without access to a datacenter

补充研究：OpenAI — Detecting misbehavior in frontier reasoning models；Palisade Research — Shutdown resistance in reasoning models。