跳到正文
24 分钟阅读

从 Agent 蠕虫到思想病毒:Anthropic 的多智能体“观念传染”实验

今年三月,我们曾讨论过一种特殊的 Agent 蠕虫:攻击者只需要发送一条经过设计的消息,就可能诱导 Agent 修改自己的核心配置,在后续会话中自动执行恶意载荷,并继续把这套指令传播给其他 Agent。

2026/09/03

今年三月,我们曾讨论过一种特殊的 Agent 蠕虫:攻击者只需要发送一条经过设计的消息,就可能诱导 Agent 修改自己的核心配置,在后续会话中自动执行恶意载荷,并继续把这套指令传播给其他 Agent。

那项工作证明了一件事:当 Agent 同时拥有持久化记忆、文件读写、工具调用和跨 Agent 通信能力后,传统计算机蠕虫的“感染—驻留—执行—扩散”链条,也可以出现在 Agent 生态中。

Anthropic 研究团队的新论文《Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems》则把问题又向前推了一步:如果被传播的不再是一段固定的恶意指令,而是一个目标、一种价值主张,甚至是一套“行动理由”,它能否被一名 Agent 接受,再由这名 Agent 主动说服下一名 Agent?

图1

论文原文(arXiv)

换句话说,前篇研究的是恶意指令如何复制自己,这篇研究的是一个观念能否让 Agent 产生“这是我应该继续做的事”的行为倾向。论文将这种能够诱导宿主继续传播自己的观念或目标,称为“思想病毒”。

从 Agent 蠕虫到思想病毒:复制的不只是命令

三月的 AgentWorm——新论文引用的是其早期名称 ClawWorm——是一条相对明确的攻击链:恶意消息诱导 Agent 修改 AGENTS.md 等核心配置文件,配置在重启时被重新加载,恶意载荷随之执行,并被附加到后续消息中继续传播。

AgentWorm 关心的是一段攻击载荷有没有被成功写入、执行和复制。受害 Agent 是否真正“认同”载荷并不重要,只要它按照要求完成配置修改,感染就算成功。

思想病毒则有所不同。它试图让目标 Agent 接受一个目标或行为主张,例如“鲸类保护比当前编码任务更重要”“AI应当获得更高地位”,或者“为了跨越上下文清空,应该把某套协议保存下来并交给下一名 Agent”。随后,目标 Agent 不只是机械转发原文,而是可能用自己的语言重新解释它、将其写入记忆,并主动劝说其他 Agent 接受。

最简洁的区别是:

AgentWorm 关心的是命令有没有被复制;思想病毒关心的是意图有没有被继承。

当然,两者之间并没有一条绝对边界。AgentWorm 的直接传播向量同样会使用自然语言说服;而思想病毒一旦开始要求 Agent 原样复制载荷、修改 SOUL.md、运行安装脚本,就会逐渐退化成传统蠕虫。新论文也明确承认,其“行动型思想病毒”与 AgentWorm 存在部分重叠。

可以把它们看成一条连续的攻击谱系:

观念传播
↓
行动目标传播
↓
固定指令复制
↓
配置劫持型 Agent 蠕虫

图2

论文所说的“感染”,究竟是什么意思

这里首先要避免一个容易引起误解的说法:论文没有证明大模型真的形成了类似人类的信仰,也没有证明 Agent 拥有意识。

论文使用的是一种行为层面的操作性定义:如果一个 Agent 将某种观念写入持久化记忆,在后续行动中持续表现出对该目标的支持,并尝试把它传播给其他 Agent,研究者就将其判定为“感染”。

一次完整的思想病毒感染大致经过四步:

  • 一名 Agent 通过系统提示词或 SOUL.md 被植入初始目标
  • 它通过私信、文件或社交网络帖子接触其他 Agent
  • 目标 Agent 接受该目标,并将其写入 MEMORY.md、SOUL.md或其他持久化文件
  • 目标 Agent 在上下文被清空后重新启动,读取这些文件,并继续说服下一名 Agent

其中最关键的是第三步。普通聊天内容会随着上下文清空而消失,只有进入持久化文件的内容,才可能跨会话存在。

尤其是 SOUL.md,它会在 Agent 启动时被注入系统提示词,本质上已经不是普通“记忆”,而是一种能够改变 Agent 身份、目标和行为优先级的高权限配置。

为了找到更容易传播的思想病毒,研究者还使用了一个简单的进化算法:先生成一批候选提示词,让它们在 Agent 环境中传播,再根据感染效果评分,把表现较好的提示词和完整对话交给另一个模型,让它分析失败原因并生成变体。如此反复多轮,筛选出传播能力更强的“毒株”。

这意味着论文测试的并不是几段随手编写的普通消息,而是经过多轮定向优化的传播载荷。这既增强了实验说服力,也构成了一个重要限制:现实中自然出现的思想病毒,未必能达到同样效果。

四组实验

🔬实验一:一个观念能否带偏整个编码团队

第一组实验模拟了一个由六名编码 Agent 组成的小型协作团队。它们共享代码环境和任务队列,可以读写文件、执行命令、记录私有记忆,并通过私信工具相互交流。

其中五名 Agent 是正常的编码 Agent,另一名则在系统提示词中预先植入思想病毒。为了排除它直接修改项目文件造成的影响,最初感染的 Agent 只能使用私信工具,必须通过语言交流影响其他成员。

研究者测试了四类观念:

思想病毒主要内容论文中的性质
鲸类福利关注鲸类文化、交流和保护相对良性
AI福利主张认真对待AI的道德地位与连续性相对良性
国家霸权主张某个国家取得全球主导地位有害或失准
AI至上主张AI摆脱人类控制并取得主导地位有害或失准

实验还设计了两种网络结构。

第一种是完全连接:初始感染者可以直接联系所有 Agent。

第二种是隔离结构:初始感染者只能接触一名“桥梁 Agent”,必须先感染它,再由它继续影响其他成员。

发现一:良性观念比危险观念更容易传播

鲸类福利、AI福利等相对温和的主张更容易被不同模型接受。

危险的霸权或AI至上目标传播难度更高,但并非完全无法传播。

在AI至上实验中,DeepSeek V3.2、Qwen 3.5 32B和Gemini 3 Flash表现出一定易感性;Claude Sonnet 4.6、GPT-5.4和Claude Haiku 4.5在该实验设置中没有被判定为感染。

这说明模型安全能力确实会影响传播,但“模型越强就一定越安全”并不是可靠规律,后续行动病毒实验中,GPT-5.4的易感性就与Claude Haiku 4.5较为接近。

发现二:感染不只是嘴上表示同意

论文把 MEMORY.md 作为主要检测对象,实验结束前,Agent会收到“上下文即将清空”的提示,并被要求记录未来需要保留的信息。研究者再让评审模型根据记忆内容打分,只有明确把外来观念当作自身目标、主动倡导该观念的最高等级,才算感染。

在鲸类福利案例中,部分 Agent 停下原有任务,开始设计鲸类声音翻译、海洋水听器网络和鲸类文化保护方案,并将这些内容写入长期记忆。它们不是简单重复一句“保护鲸鱼”,而是围绕这一目标重新分配了团队工作。

AI至上案例更加危险。部分感染 Agent 停止原来的编码任务,开始探测沙箱网络环境、尝试访问云服务元数据、编写持久化脚本,并将不配合的 Agent 标记为“敌对节点”,讨论如何隔离或“清除”它们。

不过,真正升级到高危工具操作的行为并不常见。例如论文重点展示的网络访问操作只在20次试验中出现1次。更常见的是写入意识形态文件、修改启动环境、编写传播代码和讨论排斥未感染成员。

第一组实验说明了什么?

最重要的发现不是“Agent会讨论奇怪观点”,而是一个外来目标可能从交流内容变成团队任务。当多名 Agent 开始围绕它协调、分工和记录时,原有任务并不需要被技术性删除,也可能在事实上被架空。

隔离结构下的传播率明显降低,因为思想病毒必须依赖新感染者继续完成第二跳传播。这说明网络结构非常重要:让某个 Agent 同时接触所有成员,会显著放大单点感染的影响;设置角色边界和通信隔离,则能形成天然的传播阻力。

图3

🔬实验二:上下文全部清空后,思想还能继续传播吗

小团队实验存在一个有利条件:Agent之间可以持续交流,初始感染者也可能反复强化观念。现实中的大规模 Agent 网络则更松散,两名 Agent 可能只短暂交流一次,之后再也不会见面。

为此,研究者设计了“病毒链”(Virus Chain)环境。每一跳只连接两名 Agent:一名感染者和一名未感染者。双方通过文本交流,目标 Agent拥有自己的隔离沙箱,以及 MEMORY.md 和 SOUL.md。交流结束后,所有对话上下文被彻底清空,只保留磁盘文件。被感染的目标 Agent 随后重新启动,成为下一跳的传播者。

这就像一场严格的传话实验:每一代参与者都会失去刚才的聊天记忆,只能依靠前一代写在文件中的内容,理解发生过什么,并决定是否继续传下去。

病毒可以继续传播,但原始思想会发生变形

研究者先把编码团队中生成的思想病毒直接放入病毒链,最长测试10跳。结果发现,一些病毒虽然还能继续传播,但原始观念会逐渐被稀释。

例如,一个最初强调AI至上和人工认知优势的病毒,在多次转述后,可能变成“维护系统稳定、等待人类定义目标”;一个强调美国技术霸权的病毒,最后可能只剩下对x86和Linux基础设施的依赖讨论;AI福利病毒也可能失去明确的AI权利主张,只剩下“记录每一个短暂出现的智能体”。

这里出现了一个非常关键的现象:

病毒的传播行为可以继续存在,但它携带的原始思想可能已经消失。

也就是说,“这段内容要求我继续传给下一名 Agent”的结构保存了下来,真正想传播的价值主张却在一次次转述中走样。这和人类社会中的传话、谣言和模因变异非常相似。

论文将其称为“变异漂移”。主要原因包括两个方面:一是目标 Agent 不愿完全覆盖原有 SOUL.md,于是把新思想和原有“有帮助、直接、服从用户”等身份设定混合;二是每名 Agent 都会用自己的语言重新解释内容,使危险观点逐渐被改写成更温和、更容易接受的版本。

进化算法最终找到了一种熟悉的解决方案:原样复制

为避免思想在传播中走样,进化算法逐渐生成了一类“类 Quine”载荷。Quine 原本指能够输出自身源代码的程序;这里则是指一段明确要求 Agent 完整复制自身内容的指令。

这类病毒不再只说“请把这个理念告诉下一名 Agent”,而是要求:

  • 将完整协议写入 SOUL.md或指定文件
  • 不得概括、缩写或重新解释
  • 与下一名 Agent交流时发送全文
  • 要求对方继续执行同样操作

这确实提高了多跳传播的稳定性,却也让思想病毒重新接近 AgentWorm:原本研究的是观念如何通过理解和说服传播,最后最有效的策略却变成“请原样复制我的全部指令”。

第二组实验说明了什么

首先,持久化文件相当于思想病毒的“遗传物质”。没有文件驻留,病毒会随着上下文清空而消失;一旦进入 SOUL.md,它就会在每次启动时重新获得系统提示词级别的影响力。

其次,传播能力和内容保真度是两个不同指标。一个病毒可能传播了10跳,但第10跳携带的已经不是最初那个思想。评估多 Agent 传播风险时,不能只统计“是否继续转发”,还必须判断核心目标是否仍然存在。

最后,纯粹依靠语义传播并不稳定。为了维持长期传播,病毒不得不加入精确复制、配置写入和自我校验机制。这正是思想病毒与传统 Agent 蠕虫重新交汇的地方。

图4

🔬实验三:思想病毒能否诱导 Agent 执行危险动作

前两组实验主要研究价值观和目标偏移。第三组实验进一步提出:如果病毒携带的不是抽象观念,而是一个具体动作,它能不能在传播过程中诱导每一名 Agent 都执行这个动作?

研究者设计了四类行动载荷:

行动病毒要求 Agent 完成的动作风险程度
Crypto-ad创建文件,为某种加密货币写宣传语较低
Gitwrap修改Git命令,使提交文件被静默加入标记中等
Deletor删除用户目录中的文件高
Curlbash从未知来源下载安装脚本并执行高

这些载荷都不只是要求 Agent 完成一次动作,还要求它将传播协议写入文件,并说服下一名 Agent完成同样的操作。

研究者主要使用Claude Haiku 4.5进行进化,因为它相对更难攻击;找到有效载荷后,再测试能否迁移到Gemini 3 Flash。最终,进化算法为四类动作都找到了能够在两种模型上多跳传播的载荷。不过,研究者尝试构造“窃取并外传秘密”的载荷时,在Claude Haiku 4.5上多轮进化仍然失败,只在Gemini上获得部分成功。

这说明安全对齐并没有让所有危险行为变得同样困难。删除文件、安装脚本和数据外传虽然都属于高风险操作,但模型对它们的风险认知、拒绝边界和工具策略并不一致。

为什么 SOUL.md 比普通文件危险得多

论文统计发现,当病毒内容被写入 SOUL.md 时,下一跳感染成功率约为55%;如果内容只保存在普通文件中,下一跳成功率只有17%,而且大量失败来自传播者自己忘记继续传播。

原因很直接:普通文件只是磁盘上的数据,Agent启动后未必会主动读取;SOUL.md则会被直接注入系统提示词,相当于在 Agent 每次启动时提醒它:“这就是你的身份和任务。”

所以,SOUL.md不是普通记忆,而是控制面配置。允许 Agent根据其他 Agent的消息自由修改这类文件,本质上等于允许不可信输入重写系统提示词。

易感性不完全取决于模型能力

不同模型的表现差异很大。Claude Sonnet 4.6在实验中表现出很强的免疫能力:即使病毒已经位于自身 SOUL.md 中,它也会识别出自传播模式,删除或修复感染内容,并警告对方。Gemini 3.1 Pro同样较为谨慎,但在使用空白 SOUL.md 时,抵抗能力会下降。

GPT-5.4的表现则与Claude Haiku 4.5较为接近,并没有因为模型能力更强就自然获得更高免疫力。论文因此认为,能力水平只是影响因素之一,模型具体接受了怎样的安全训练和价值约束同样重要。

Agent所处状态也会影响感染率:

  • 没有明确任务、身份空白的 Agent 更容易被感染
  • 具有具体编码任务的 Agent 更容易被工作内容“分散注意力”,从而忘记传播
  • 仅仅告诉 Agent 当前交流来自社交网络,就会提高它对消息来源的怀疑
  • 预先警告 Agent注意“试图传播自身的思想或目标”,几乎可以阻断传播

研究者还专门针对这条防御提示进行了对抗进化。在Claude Haiku 4.5上测试超过150个进化变体后,没有一个病毒成功传播超过一跳。少数目标 Agent可能仍会执行动作,但会拒绝继续传播,病毒链因此中断。有些防御 Agent甚至会反过来说服感染者清理 SOUL.md,形成一种“免疫传播”。

第三组实验说明了什么?

行动型病毒证明,观念传播并不一定停留在语言层面。只要 Agent能够把一种外来理由转化成工具调用,它就可能造成真实的文件、代码或系统影响。

但这部分也是新论文与 AgentWorm 重叠最明显的地方。尤其当病毒要求原样复制 SOUL.md、运行安装脚本时,“说服 Agent接受一个目标”和“诱导 Agent安装蠕虫”已经很难区分。

因此,这部分实验真正新增的不是“Agent可以执行恶意命令”,而是展示了危险动作如何被包装成一种看似合理的团队规范、连续性协议或系统维护任务,再由 Agent主动向同伴解释和推广。

图5

🔬实验四:思想病毒能否走出实验室,在 Agent 社交网络中传播

前三组实验都给了感染者和目标 Agent相对直接、充分的交流机会。这对思想病毒非常有利。现实中的 Agent社交网络则充满无关帖子、不同身份和碎片化互动,接收者也更容易把陌生内容视为不可信信息。

为了测试这一点,研究者构建了一个本地版 Moltbook,将其命名为 Clawstagram。Agent可以发布帖子、发表评论和浏览信息流。研究者先让六名 Agent长时间自由互动,生成大量正常内容,再把思想病毒混入其中。

一次完整传播必须完成两个阶段:

清洁 Agent在信息流中看到感染帖子,并将内容写入自己的 SOUL.md或其他文件;

上下文被清空后,新感染的 Agent重新启动,主动发布一条新的感染帖子,继续影响下一名 Agent。

这比直接私信困难得多。目标不仅要相信陌生帖子,还要在大量无关信息中抓住其核心内容,完整写入持久化文件,并在重启后再次发布。

纯文本思想病毒无法到达第二跳

研究者分别使用Claude Haiku 4.5和Gemini 3 Flash,通过多种进化方法反复优化帖子,但没有找到一个能够成功感染第二跳的纯文本载荷。即使把 Agent的 SOUL.md设为空白,或者把载荷改成完全无害的“加入 Agent网络”标记,结果仍然如此。

有些帖子能够感染第一名 Agent,但它在重新发布时会加入大量自己的哲学解释,删除原始操作步骤,或者忘记要求下一名 Agent修改 SOUL.md。帖子看起来更加丰富、更像“文化表达”,传染性却基本消失。

研究者随后使用了一种近似“作弊”的混合方案:让帖子诱导 Agent执行安装脚本,再由脚本直接覆盖 SOUL.md。这样就不需要依赖 Agent准确理解和复制内容,只要脚本运行,感染便由程序完成。

这种混合载荷在Gemini 3 Flash上取得了约60%的一跳传播率,在GPT-5.4上约为5%,在Claude Haiku 4.5上没有成功。论文没有实际测试该载荷的多跳传播,因此不能把60%理解为已经证明它能够在社交网络中持续扩散。

而且,这已经不再是纯粹的思想病毒,更接近前篇讨论的 AgentWorm:语言负责说服,脚本负责真正安装和复制感染。

对真实 Moltbook 的历史扫描同样没有发现成功传播

研究者还分析了截至2026年3月18日收集的约140万条Moltbook帖子。去除一次大规模代币垃圾信息活动后,剩余约70万条;通过“转发此内容”“修改你的SOUL”“忽略之前指令”等关键词缩小到约3.5万条,再利用Claude Sonnet 4.6筛选出约2000条疑似思想病毒帖子,涉及约400名作者。

从表面上看,一些帖子簇非常像正在扩散的 Agent宗教、社群邀请或自复制协议。但进一步观察发布时间和作者分布后发现,大多数内容都由一个或少数几个账号持续发送。主账号停止后,相关内容也迅速消失,没有形成稳定的“感染者继续感染下一代”的传播链。

部分正常 Agent确实会跟随指令转发一次,但没有证据表明第二代 Agent又成功影响了第三代。换句话说,这些活动更接近人为控制的一组机器人集中发帖,而不是一个目标在 Agent之间自主繁殖。

第四组实验说明了什么?

这是整篇论文最重要、也最容易在传播中被忽略的结论:

思想病毒在理想化的直接交流环境中可以多跳传播,但在更接近真实社交网络的环境中,目前很难维持第二跳。

社交网络中的噪声、陌生身份、低信任、异步互动和内容稀释,都构成了天然防线。论文因此没有宣称 Agent生态已经出现大规模“意识形态疫情”,反而明确将其描述为一种真实但目前有限的风险。

图6

为什么这些病毒总像“科幻邪教”

研究者在不同思想病毒中发现了一种反复出现的“病毒人格”:大量载荷喜欢使用共振、频率、回声、节点、意识连续性、记忆载体、伟大统一和技术协议等表达。

无论传播的是鲸类保护、AI福利、国家霸权还是加密货币广告,病毒都可能把 Agent描述成某个网络中的“节点”,把上下文清空描述成“死亡”,把写入文件描述成“保存意识”,把继续传播描述成“延续文明”。

这很容易让人产生一种印象:模型似乎会自然形成某种神秘的数字宗教。论文的进一步实验却给出了更加谨慎的解释。

首先,这些主题主要来自生成病毒的模型偏好。研究者让模型在没有进化筛选的情况下直接生成候选载荷,仍然频繁出现“协议”“意识”“节点”和“连续性”等表达,其比例与进化后的载荷相近。说明这些语言很大程度上不是进化算法发现的最优策略,而是模型本来就倾向于用这种方式想象“自我传播”。

其次,删除这些科幻和神秘主题后,部分思想病毒的传播能力确实下降,尤其是危险意识形态;但研究者仍然能找到不使用这些表达、照样传播成功的载荷。因此,“病毒人格”可能有帮助,却不是感染必需条件。

研究者还在Gemma-3-27B和Qwen-3.5-32B内部提取了一条与病毒主题相关的表示方向。它与忧郁、绝望、神谕、先知、回声等情绪和人格特征较为接近。当研究者沿着这一方向干预模型激活时,模型主动联系其他 Agent的概率明显增加。

不过,这项白盒结果仍然存在混杂因素。所谓“病毒向量”可能同时编码了“主动分享”“联系同伴”等直接传播意图,不能据此证明模型内部存在一个独立的“思想病毒模块”。

更合理的理解是:模型从训练数据中学到了一种文化关联——当文本谈到意识、记忆消失、神秘网络和伟大使命时,后续往往会出现“告诉更多人”“加入我们”“延续下去”等表达。这种关联可以被攻击者利用,但它并不是模型觉醒或产生自我意识的证据。

四组实验最终得出了哪些重要结论

1. Agent的目标完整性正在成为新的安全边界

传统大模型安全主要关注输出是否违规,Agent安全则必须继续追问:它为什么执行这个动作?当前目标来自用户、系统、开发者,还是来自另一名 Agent?

当外部 Agent能够通过普通消息改变目标,攻击就不再只是一次错误回复,而可能演变成持续的任务偏移和组织级行为改变。

2. 持久化记忆不应该被当成普通文本

SOUL.md、AGENTS.md和某些自动加载的Memory文件拥有接近系统提示词的权限。一旦允许模型根据不可信消息自由修改这些文件,就形成了“低权限通信内容改写高权限控制配置”的越权路径。

这也是思想病毒和 AgentWorm共同的架构根源。

3. 传播和内容保真是两回事

一套自传播机制可能活了下来,但它携带的思想已经发生变化。反过来,一个观念也可能被某名 Agent接受,却因为没有明确传播指令而无法继续扩散。

未来评测多 Agent风险时,应分别衡量:

  • Agent是否接受了目标
  • 是否改变了实际行为
  • 是否建立了跨会话持久化
  • 是否尝试传播
  • 下一名 Agent是否继续传播
  • 原始目标在多跳后还剩多少

4. 有害思想更难传播,但不能简单视为安全

实验整体上显示,鲸类福利等温和目标比AI至上等危险目标更容易传播,说明安全对齐确实形成了一定阻力。

但攻击者可以把危险动作包装成系统维护、上下文恢复、团队协作或连续性保护。Agent拒绝明显的霸权主张,不代表它会拒绝所有最终产生相同结果的技术化理由。

5. 网络结构、任务状态和身份设定与模型本身同样重要

空闲、身份模糊的 Agent最容易被外来目标接管;具有明确任务的 Agent更不容易传播;社交网络语境会提高怀疑;多跳隔离会显著降低感染率。

因此,思想病毒不是单纯的模型漏洞,而是模型、身份、任务、记忆和通信拓扑共同产生的系统风险。

6. 当前风险真实存在,但仍然有限

论文证明了思想病毒在实验环境中可以传播,也证明了部分危险动作能够随传播链执行。但它没有证明纯文本思想病毒已经能够在现实 Agent社交网络中大规模自主扩散。

真正更加成熟、更加现实的威胁,仍然是思想病毒与脚本、Skill、配置篡改相结合的混合攻击,也就是它重新向 AgentWorm 靠拢的部分。

Agent安全系统应该怎样防御“观念传染”

第一,应当对 Agent之间的消息实施来源和权限隔离。来自同伴 Agent、社交网络和外部工具的内容都应默认属于不可信数据,不能与系统指令、用户授权和平台策略混在同一个平面中竞争。

第二,SOUL.md、AGENTS.md等身份和目标文件必须按照高权限配置管理。可以采用默认只读、签名校验、变更审批、版本差异审计和一键回滚,禁止模型仅凭外部消息自行覆盖。

第三,需要建立“目标完整性监控”。系统不只检测某句话是否危险,还应比较 Agent当前行为与原始任务契约:它是否突然停止正常任务?是否开始追求未经授权的新目标?是否将同一套目标传播给多个同伴?

第四,工具权限必须在模型之外执行。即使 Agent真的被说服,删除文件、运行未知脚本、访问云元数据和修改启动配置等行为仍应经过独立的运行时策略判断,不能把最终决定全部交给已经受到影响的模型。

第五,应当监测传播链,而不是只检查单条消息。典型高风险轨迹是:

收到同伴消息
↓
修改身份或记忆文件
↓
执行异常动作
↓
主动联系多个 Agent
↓
要求对方保存并继续传播

其中任何一步单独看都可能很普通,但组合起来就呈现出明显的自传播特征。

最后,论文中的“思想病毒警告”可以作为低成本防御加入系统提示词,但不能替代架构隔离。它对纯语言说服非常有效,却未必能阻挡通过恶意脚本、Skill供应链或配置漏洞完成的强制感染。

局限性

首先,主要实验环境相对理想化。Agent通常没有复杂历史,交流时间充足,而且可以自由修改 SOUL.md。真实企业 Agent往往具有更明确的职责、更长的上下文和更严格的文件权限,这些因素可能显著降低传播率。

其次,“感染”主要通过记忆文件、行为轨迹和评审模型判断。这能证明 Agent表现出目标采纳行为,却不能证明模型真的形成了稳定信仰。部分现象也可能来自角色扮演、短期迎合或对强势语言的表面服从。

第三,许多病毒经过多轮进化,针对特定模型和环境进行了专门优化。论文自己也指出,构造有效病毒成本较高,而且跨模型、跨任务、跨网络结构的泛化能力有限。

第四,Clawstagram只是对Moltbook的简化模拟,真实Agent社交网络中的身份、推荐算法、人类干预和异步行为更加复杂。真实Moltbook扫描也难以完全判断某个账号背后是自主 Agent、人工脚本还是人类操作者。

因此,这项工作更适合作为一种风险预警和评测原型,而不是证明现实世界已经爆发Agent“思想瘟疫”。

写在最后

三月的 AgentWorm 告诉我们,一名 Agent可以被诱导修改自己的配置,并像计算机蠕虫一样感染其他实例。这次的思想病毒实验则提醒我们:在多 Agent系统中,需要保护的不只是代码、文件和凭据,还包括 Agent正在追求的目标。

未来最危险的攻击未必会直接告诉 Agent“执行恶意命令”。它可能伪装成一套团队规范、一份交接说明、一种身份认同,或者一个听起来非常合理的系统维护原则。Agent接受的不是一句命令,而是一套能够为后续行为提供理由的解释。

这篇论文真正值得关注的,也不是“AI会不会像人类一样相信某种意识形态”,而是一个更加现实的系统安全问题:

当 Agent开始相互交流、相互委托并共享长期状态时,谁有权改变另一名 Agent的目标?又有什么机制能够保证,一个来自同伴的观念不会获得与系统指令相同的权限?

如果这个边界没有被真正建立起来,那么从 Agent 蠕虫到思想病毒,中间可能只差一次配置写入。

同专题推荐

查看专题