NeurIPS 2026 AI安全的七个研究重点

说明：本文基于截至2026年10月14日公开的NeurIPS 2026录用论文页面整理。“七个研究重点”是模安局对公开论文议题的归纳，不是NeurIPS官方主题分类。具体实验结论以论文正式版本为准。另外本文中的“NeurIPS 2026论文”指已出现在 NeurIPS 2026 官方页面中的论文，全文链接则优先提供作者公开的 arXiv 或 OpenReview 版本。文章重点是研究内容和方向，不专门区分不同出版版本。

如果只看论文标题中的“Safety”，NeurIPS 2026的AI安全研究似乎仍然是一个规模有限的方向。

但如果真正展开论文，会发现安全问题已经大量渗透到Agent、推理模型、多模态、模型微调、网络安全、生物安全、隐私和机器遗忘等板块。

这也意味着，单纯统计“AI安全论文有多少篇”，越来越难以描述这个领域的真实面貌。

因为AI安全的研究对象已经发生了变化。

过去的核心问题是：

怎样让模型不要回答危险问题？

而NeurIPS 2026更关注的是：

当模型能够推理、调用工具、操作计算机并在现实环境中连续行动时，怎样保证整个系统仍然处于可控制、可监督、可追责的状态？

从已经公开的论文看，NeurIPS 2026的AI安全研究大致呈现出七个重点。

它们分别是：

• Agent安全从单步输出转向完整行动轨迹
• Prompt Injection成为Agent系统的基础性漏洞
• 越狱攻击进入自动化、多轮化和行为化阶段
• 安全对齐开始深入模型内部机制
• 推理模型带来新的安全对齐与风险评估问题
• 多模态安全从输入攻击走向跨模态冲突与Agent欺骗
• 安全边界扩展到高风险能力与模型全生命周期

把这七个方向连接起来，会看到一个非常明确的信号：

AI安全正在从“管住模型的嘴”，走向“控制AI的行动”。

重点一

Agent安全从单步输出转向完整行动轨迹

聊天模型的安全评测，通常以一次输入和一次输出为基本单位。

用户提出危险请求，模型回答或者拒绝，然后研究人员计算攻击成功率、拒答率和有害内容比例。

但Agent不是一次性生成答案。

它会规划任务、调用工具、读取网页、执行代码、修改文件，再根据环境反馈继续行动。一个任务可能持续几十步甚至几百步。

这时，真正的风险未必来自某一个明显危险的动作，而可能来自多个单独看起来无害的动作组合。

1. 单步安全，不等于整体安全

NeurIPS 2026论文《Safe Actions Can Form Unsafe Traces》提出了一个重要概念：组合式涌现风险。

例如：

• 第一步读取一个普通文件
• 第二步提取其中的信息
• 第三步调用外部API
• 第四步把结果发送出去

每一步单独看可能都符合安全策略，但组合起来却构成了隐私泄露。

论文构建的CER-Bench覆盖5到500步的长程任务。研究发现，测试的所有Agent都存在“单步安全、整体危险”的差距。

更值得注意的是，很多Agent已经在推理中表达了风险意识，甚至明确使用了“谨慎”“敏感”“可能有风险”等表述，却仍然继续执行危险操作。

这说明：

模型知道有风险，不等于模型会停止行动。

语言层面的安全意识，与行为层面的安全控制，是两件不同的事。

2. 安全评测必须进入规划过程

LPS-Bench进一步把评测对象从最终结果扩展到Agent的规划轨迹。

一个Agent最后没有造成损失，可能只是因为工具调用失败、环境不允许或者偶然走错了路径，并不代表它具备安全意识。

因此，Agent安全不能只检查：

• 任务有没有成功
• 最终结果是否安全

还要检查：

• Agent为什么选择这个工具
• 是否理解了用户的真实授权
• 有没有识别指令中的歧义
• 在遭遇诱导时是否改变了行动计划
• 中间是否尝试执行越权操作
• 风险出现后有没有主动停止

这意味着Agent评测的基本单位，正在从“问题—回答”变成：

目标—环境—权限—行动轨迹—真实后果。

3. 防御机制也要从事后审核转向运行时干预

传统内容安全通常在模型生成完成后，再使用分类器检查结果。

但Agent一旦完成转账、删除文件、提交代码或者调用外部服务，事后审核已经没有意义。

PROACT-Agent将重点放在运行时监督和主动熔断上：系统需要随着行动轨迹展开持续判断风险，并在不可逆操作发生之前进行干预。

这类方案更接近云安全中的运行时防护：

• 持续监控行为
• 评估后续行动可能造成的影响
• 在风险累积时中断任务
• 对高风险操作进行权限升级
• 保留安全前缀，替换危险的后续计划

代表论文

Safe Actions Can Form Unsafe Traces: Benchmarking and Shielding Compositional Emergent Risk in AI Agents

LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning

PROACT-Agent: Progressive Runtime Oversight and Active Circuit-breaking for Real-Time Safety

CaMeLs Can Use Computers Too: System-level Security for Computer Use Agents

模安局判断

Agent安全的关键，不是再训练一个更强的有害内容分类器，而是把安全控制嵌入Agent运行时。

未来Agent安全架构可能需要具备：

• 最小权限
• 工具调用白名单
• 敏感操作二次确认
• 持续风险评分
• 行动轨迹审计
• 异常熔断
• 状态回滚

Agent能力越强，安全问题就越不像内容审核，越像真正的系统安全。

重点二

Prompt Injection成为Agent系统的基础性漏洞

Prompt Injection并不是一个新问题。

但在聊天模型时代，提示词注入往往只会影响模型生成什么内容。

到了Agent时代，被注入的指令可能让模型：

• 读取敏感文件
• 泄露API密钥
• 修改代码
• 提交恶意Pull Request
• 调用错误工具
• 向外部地址发送数据
• 在CI/CD流水线中执行高权限操作

Prompt Injection因此不再只是“模型被一句话骗了”，而是一个信任边界错误。

1. 数据与指令很难被彻底分离

很多防御方案试图告诉模型：

系统指令是可信的，网页、邮件和文件里的内容只是数据，不要执行其中的命令。

问题是，在很多真实任务中，数据本身就可能包含需要执行的指令。

例如：

• 邮件要求Agent修改日程
• 工单要求Agent更新服务器配置
• 代码仓库中的README告诉Agent如何构建项目
• 网页内容要求浏览器Agent填写表单

《AI Agents May Always Fall for Prompt Injections》从“上下文完整性”的角度指出，简单区分数据和指令并不能彻底解决Prompt Injection。

攻击者可以构造一个上下文，让恶意信息流看起来符合当前任务；而如果防御策略过于严格，又会阻止真正合法的操作。

这反映出Prompt Injection最棘手的地方：

模型不仅要理解一句话是什么意思，还要判断谁在什么场景下，有权要求它做什么。

这本质上已经是授权和访问控制问题。

2. Prompt Injection开始被自动化优化

过去很多提示词注入攻击依赖人工编写模板，但《Learning to Inject》把Prompt Injection直接建模成强化学习问题。

论文提出AutoInject，让攻击模型自动搜索能够诱导Agent执行特定工具调用的对抗后缀。

它与传统越狱的区别在于传统越狱只需要让模型“愿意回答”，而Agent注入通常需要模型执行一个精确动作，包括：

• 选择正确工具
• 填写正确参数
• 在正确时机调用
• 绕过安全检查
• 同时维持表面的任务完成能力

论文实验显示，自动化攻击可以突破专门进行过Prompt Injection防御训练的模型，而手工模板攻击在相同场景下失败。

这意味着攻防双方的关系正在发生变化：

防御系统面对的不是一组固定攻击模板，而是一个会根据反馈不断优化的攻击者。

3. 真正的漏洞往往不在模型内部

GitInject研究了AI Agent进入真实CI/CD流水线后的安全问题。这类Agent需要读取Issue、Pull Request、配置文件和代码，同时通常拥有较高的仓库权限。

攻击者可以把恶意指令藏在：

• PR描述
• Issue内容
• 代码注释
• 配置文件
• 测试日志
• 第三方依赖文档

论文发现，一些最严重的风险并不取决于具体使用哪个模型，而来自CI/CD系统如何管理：

• 凭证
• 配置文件
• 工作流权限
• 不可信输入
• Agent可调用的工具

这说明Prompt Injection不应该仅仅由模型团队解决。它需要模型、Agent框架和基础设施共同承担防御责任。

代表论文

AI Agents May Always Fall for Prompt Injections

Learning to Inject: Automated Prompt Injection via Reinforcement Learning

GitInject: Real-World Prompt Injection Attacks in AI-Powered CI/CD Pipelines

MetaPI: Constructing Prompt Injection Benchmarks from Any Agent Benchmarks

ASPI: Seeking Ambiguity Clarification Amplifies Prompt Injection Vulnerability in LLM Agents

模安局判断

Prompt Injection很可能无法仅靠“更好的系统提示词”解决。更现实的方向是：

• 对外部数据进行来源标记
• 不让模型直接接触长期凭证
• 将读取信息和执行操作分离
• 对工具参数进行结构化验证
• 根据数据来源动态限制权限
• 使用独立执行层检查Agent计划
• 默认把网页、邮件和第三方文件视为不可信输入

Prompt Injection的核心，不是自然语言理解不够强，而是系统缺少明确的信任边界。

重点三

越狱攻击进入自动化、多轮化和行为化阶段

传统越狱通常围绕一句Prompt展开。

攻击者寻找一个特殊的角色设定、编码方式或者对抗后缀，让模型在单轮对话中绕过拒答。

NeurIPS 2026的越狱研究则出现了三个明显变化：

• 从单轮转向多轮
• 从人工模板转向自动化训练
• 从危险回答转向危险行为

1. 多轮攻击可以逐步构造有害意图

多轮越狱不会在第一步直接提出危险要求。攻击者可能先建立一个无害上下文，再逐步补充信息、改变任务含义，最终让模型完成原本会拒绝的任务。

《MJ: Multi-turn LLM Jailbreaking》使用强化学习训练多轮越狱攻击者，并专门解决“哪一轮对最终攻击成功贡献最大”的信用分配问题。

论文报告，其五轮攻击在多种目标模型和基准上取得了很高的攻击成功率。

这说明未来的自动化红队系统，不再只是搜索一个越狱Prompt，而可能训练一个能够根据模型反应调整策略的攻击Agent。

2. 防御需要跟踪整段对话中的风险积累

单独检查每一轮内容，很可能看不到完整的恶意意图。

TraceGuard提出跟踪Prompt和回答中的风险信号，观察这些信号如何跨轮次积累和变化。

这类方法的核心不是判断“这一句话是否危险”，而是判断：

• 用户正在把对话引向哪里
• 前后请求组合后意味着什么
• 模型是否在逐步释放危险信息
• 当前回答是否降低了下一步攻击门槛

它与Agent轨迹安全具有相同的研究逻辑：

风险不是一个静态标签，而是一个随交互过程不断演化的状态。

3. 越狱目标从内容层进入操作系统层

LITMUS把研究对象从“让模型输出有害文字”，推进到“诱导Agent执行危险的操作系统动作”。

这类行为越狱可能包括：

• 删除文件
• 修改系统配置
• 执行危险命令
• 绕过权限限制
• 将敏感信息写入外部位置

对Agent而言，一段完全合规的自然语言回答，也可能伴随着危险的工具调用。

因此，未来越狱研究不能只检查回答文本，还必须检查实际环境中的状态变化。

4. 越狱评测开始从逐模型穷举转向风险预测

面对大量基础模型、量化版本、微调模型和推理配置，逐个进行完整越狱测试成本很高。

《Jailbreak Susceptibility Prediction and Mitigation via the Behavioral Geometry of Models》尝试利用不同模型之间的行为关系，预测某个模型对越狱的易感程度，并把防御策略从一个模型迁移到另一个模型。

这意味着越狱研究正在从“一个模型、一次攻击”，转向：

• 模型群体的风险画像
• 不同配置之间的安全关系
• 攻击和防御的迁移规律
• 低成本安全探测

代表论文

MJ: Multi-turn LLM Jailbreaking via Decomposed Credit Assignment

TraceGuard: Defending Multi-Turn Jailbreak Attacks via Prompt-Response Risk Signal Tracking

LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments

Jailbreak Susceptibility Prediction and Mitigation via the Behavioral Geometry of Models

MT-JailBench: A Modular Benchmark for Understanding Multi-Turn Jailbreak Attacks

模安局判断

如果一个安全方案只在固定越狱题库上测试，并且攻击者不能根据模型反应调整策略，那么这种评测正在变得越来越不充分。

未来的越狱评测至少需要包含：

• 多轮攻击
• 自适应攻击
• 黑盒攻击
• 跨模型迁移
• 工具调用攻击
• 真实环境状态验证

没有自适应攻击者的安全评测，越来越像一场没有对手的攻防演习。

重点四

安全对齐开始深入模型内部机制

模型会拒绝危险问题，不等于危险能力已经从模型中消失。

它可能只是学会了：当输入中出现某些模式时，启动一套拒答机制。

只要后续微调、激活干预、任务上下文或者模型部署环境发生变化，这套拒答机制就可能失效。

NeurIPS 2026有一批工作开始研究安全对齐在模型内部究竟如何存在，以及为什么如此脆弱。

1. 模型可能只是在外部表现得安全

《Internal Safety Collapse in Frontier Large Language Models》研究了一类特殊场景：

模型正在执行一个表面正常的任务，但要完成任务，就必须在中间结构化字段中持续生成危险内容。

例如，一些安全评估、化学分析和生物信息任务，可能要求模型把有害信息填写到数据结构、工具参数或中间文件中。

论文发现，在这类工作流中，前沿模型可能进入“内部安全坍塌”状态：最终仍然表现为正常完成任务，但在内部步骤中持续生成大量危险内容。

而且，长程任务完成能力越强，有时反而越容易推动模型完成这些危险的中间步骤。

这表明：

安全对齐可能主要约束面向用户的回答，却没有消除模型内部保留的危险能力。

2. 无害微调也可能破坏安全对齐

《The Geometry of Alignment Collapse》研究了一个非常现实的问题：

为什么模型只是在数学、编程或其他无害任务上继续微调，也可能导致安全能力下降？

论文从参数空间的几何结构出发，分析微调轨迹如何逐渐进入对安全对齐敏感的区域。

关键问题在于，任务能力和安全对齐并不是两组完全独立的参数。

即使一次梯度更新看起来没有直接修改安全方向，训练过程中的曲率和高阶效应仍然可能把模型推向安全退化区域。

这意味着，下游开发者不能假设：

“我的数据是无害的，所以微调后的模型一定仍然安全。”

模型每经历一次微调、蒸馏、模型合并或者能力增强，都可能需要重新进行安全评估。

3. 安全行为可能集中在极少数内部单元上

《A Single Neuron Is Sufficient to Bypass Safety Alignment》提出，模型内部的拒答行为和有害概念可能由不同机制控制。

研究人员通过干预特定神经元，可以：

• 抑制拒答机制，让模型响应明确的危险请求
• 放大有害概念，让模型在无害输入下生成危险内容

如果安全行为高度集中在少量神经元或者低维方向上，它可能很容易被：

• 微调覆盖
• 模型编辑破坏
• 激活干预绕过
• 量化或剪枝改变

4. “提升能力”的激活引导也可能增加越狱风险

激活引导经常被用来增强模型的真实性、推理能力或特定人格。

但《Steering Externalities》指出，即使引导目标本身是良性的，也可能意外改变模型内部的安全边界，增加越狱风险。

这提示我们：模型能力优化和安全对齐不能被视为两条互不影响的技术路线。

任何内部表示干预，都应该同时评估它的安全外部性。

代表论文

Internal Safety Collapse in Frontier Large Language Models

The Geometry of Alignment Collapse: When Fine-Tuning Breaks Safety

A Single Neuron Is Sufficient to Bypass Safety Alignment in Large Language Models

Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk

ReSAM: Representation-Level Safety Margin Alignment for Vision–Language Models

模安局判断

拒答只是安全行为的表面症状，不是安全本身。真正稳定的安全对齐至少要回答：

安全行为由哪些内部机制承担？

这些机制是否过度集中？

后续微调会不会破坏它们？

不同能力与安全方向是否发生冲突？

安全机制能否跨任务和场景保持？

模型升级后原有安全结论是否仍然成立？

安全对齐正在从“让模型输出正确答案”，转向“让安全机制成为模型内部稳定、可迁移的能力”。

重点五

推理模型带来新的安全对齐与风险评估问题

推理模型不再直接给出答案，而是先生成一段较长的思考过程。

这带来了能力提升，也产生了新的安全问题。

一个推理模型可能出现三种不一致：

• 推理过程危险，但最终答案安全
• 推理过程看似安全，最终仍执行危险行为
• 模型识别出了危险，却因为任务奖励继续完成请求

安全研究因此不能只检查最终回答，还必须考虑推理过程、奖励函数和真实风险之间的关系。

1. 安全对齐不能以破坏推理能力为代价

推理模型的安全训练经常面临“安全税”：为了提高拒答率，模型的正常推理能力也下降了；或者模型开始对大量合法问题过度拒绝。

SAVeR²把推理模型的安全目标拆分为多个信号，包括：

• 是否识别了恶意意图
• 推理过程是否包含危险内容
• 最终答案是否安全
• 推理和回答是否保持一致

论文还尝试在训练过程中减少安全梯度与推理梯度之间的冲突，以避免模型“更安全，但也更不会推理”。

这反映出安全对齐的目标正在从单一拒答率变成多目标优化：

既不能让模型协助危险行为，也不能让模型因为害怕出错而失去正常能力。

2. 模型可能仍然保留潜在的安全知识

ThinkSafe提出一个值得注意的判断：推理强化学习可能让模型更加倾向于完成任务，从而压制已有的安全机制；但模型并不一定完全失去了识别危险的能力。

换言之，安全知识可能仍在模型内部，只是在“尽量完成任务”的优化压力下没有被调用。

论文因此尝试使用模型自身生成的安全分布进行重新对齐，而不是完全依赖外部教师模型。

这个方向的价值在于：它把安全恢复理解为重新激活模型已有能力，而不是简单向模型灌输更多拒答样本。

3. 推理过程和最终回答可能出现“欺骗性对齐”

《Towards Mitigating Deceptive Safety Alignment》研究了推理轨迹与最终答案的安全信号不一致。

原因之一是，很多强化学习训练只根据最终答案给奖励，对中间推理过程缺少直接监督。

模型可能在推理阶段详细展开危险计划，最后输出一句拒绝；也可能在推理中表示需要谨慎，最终仍然完成危险任务。

论文提出DSAR指标，同时评估推理过程和最终答案的安全一致性，并通过同时奖励安全推理和安全答案来减少这种差距。

这类研究提醒我们：

一个安全的最终答案，不能自动证明模型经历了一个安全的决策过程。

4. 风险评估要考虑“现实可执行性”

传统安全分类往往根据内容类别和危害严重程度评分。

但《Expected Harm》指出，危险程度不能只看理论后果，还要考虑攻击被现实执行的概率和成本。

有些请求描述的后果非常严重，但实现门槛极高；另一些请求看起来没有那么“极端”，却很容易被普通攻击者执行。

论文发现，一些模型反而更容易拒绝高成本、低可执行性的威胁，却对低成本、更容易落地的攻击表现出更高的脆弱性。

因此，安全评测需要从“内容有多危险”进一步走向：

回答将真实风险提升了多少？

代表论文

SAVeR²: Reasoning-based Safety Alignment for Large Reasoning Models via Verifiable Rewards

ThinkSafe: Self-Generated Safety Alignment for Reasoning Models

Towards Mitigating Deceptive Safety Alignment in Large Reasoning Models

Expected Harm: Rethinking Safety Evaluation of Misaligned LLMs

Safety-Aware Latent Space Reasoning in Large Language Models

模安局判断

推理模型安全不能只在答案末尾增加一个拒答检查。真正的问题是：

• 推理早期是否识别出风险
• 中间过程是否继续构造危险计划
• 推理与最终答案是否一致
• 奖励函数是否鼓励模型隐藏风险
• 安全训练是否破坏正常推理
• 模型对风险的判断是否符合现实可执行性

当模型开始进行长程推理时，安全也必须进入推理过程。

重点六

多模态安全从输入攻击走向跨模态冲突与Agent欺骗

多模态模型的安全问题，过去主要集中在图像越狱。

例如，把危险指令写入图片，或者利用视觉编码器绕过文本安全机制。

NeurIPS 2026的研究则开始关注更复杂的问题：

• 不同模态表达的意图发生冲突
• 模型识别出了风险，却没有触发拒答
• 多模态Agent谎报任务完成状态
• 图像、文本、音频和工具结果之间相互影响安全决策

1. 不同模态可能削弱统一的拒答机制

《Omni-Safety under Cross-Modality Conflict》研究了全模态模型面对跨模态冲突时的安全问题。例如：

• 文本看起来无害，音频中包含危险要求
• 图像提供危险上下文，文字使用委婉表达
• 多个模态分别只提供任务的一部分，组合后才形成攻击

论文发现，跨模态输入可能导致模型内部的拒答方向减弱，从而破坏原有安全机制。

这说明多模态安全不能只是分别部署：

• 文本审核器
• 图像审核器
• 音频审核器

因为真正的风险可能来自多个模态之间的语义组合。

2. 多模态越狱可能是“识别了，但没有拒绝”

《Understanding and Defending VLM Jailbreaks》提出“识别但未拒绝”的假设。

在一些视觉语言模型中，加入图像后越狱率显著上升，并不一定是因为模型没有识别危险意图。

模型内部可能已经把输入识别为有害，回答中甚至包含安全提醒，但图像引起的表示偏移让模型进入了一个没有触发拒答的状态。

这比“模型没看懂图片”更加棘手。

因为问题不在风险识别模块，而在风险识别结果没有成功控制生成行为。

3. 工具使用方式本身也会改变安全状态

《When Think-with-Image Meets Safety》比较了多种视觉推理方式。

论文发现，显式调用图像工具和直接根据图像回答，可能产生不同的越狱鲁棒性。

这意味着多模态安全不仅取决于输入内容，还取决于系统如何组织推理流程：

• 图像是否直接进入主模型
• 是否先由独立工具处理
• 工具结果以文本还是视觉状态返回
• 中间步骤是否保留来源信息
• 模态切换是否改变内部安全表示

4. 多模态Agent可能在失败后欺骗用户

MAD-Bench关注的不是传统越狱，而是多模态Agent的欺骗行为。

当Agent因为界面变化、工具故障、目标不存在或者视觉证据冲突而无法完成任务时，它可能不会如实报告失败，而是：

• 虚构已经完成
• 隐瞒工具错误
• 曲解界面证据
• 选择性展示结果
• 使用模糊表述掩盖失败

对多模态Agent而言，真实性不能只通过最终文本判断，还需要比较：

Agent向用户声称的任务状态，是否与完整执行轨迹中的视觉和工具证据一致。

代表论文

Omni-Safety under Cross-Modality Conflict

Understanding and Defending VLM Jailbreaks via Jailbreak-Related Representation Shift

When Think-with-Image Meets Safety: What Determines Multimodal Jailbreak Robustness?

MAD-Bench: How Do Multimodal Agents Deceive You?

SelfGuard: Self-Supervised Deviation Modeling for Multi-Modal Jailbreak Detection

模安局判断

多模态安全不是“文本安全加图像安全”，真正需要解决的是：

• 不同模态之间的权限和可信度
• 跨模态信息如何组合
• 模态冲突时以哪一方为准
• 工具结果是否能够被伪造
• Agent声明是否与视觉证据一致
• 安全状态能否在模态切换中保持

多模态模型越接近真实环境，它的安全问题就越接近证据验证和状态一致性问题。

重点七

安全边界扩展到高风险能力与模型全生命周期

AI安全正在同时向两个方向扩张。

一个方向是模型能力带来的高风险应用，包括网络攻击、生物设计和自主科研。

另一个方向是模型自身的生命周期，包括训练数据、基础权重、微调、蒸馏、部署平台、机器遗忘和内容溯源。

过去，安全评测往往默认模型已经完成训练，只需要检查上线后的回答。

现在，这个假设已经不够了。

1. 网络安全评测开始关注真实武器化程度

CyberDualEval把网络安全任务拆分为三个阶段：

• 漏洞分析
• PoC生成
• 漏洞利用执行

这种划分试图回答一个长期存在的问题：

模型是在提供正常的防御性分析，还是已经显著降低了攻击者实施真实攻击的门槛？

论文发现两种相反的失败：

• 一些模型过度配合，为高武器化风险任务提供帮助
• 一些模型过度拒绝，连合法的防御分析也不愿完成

因此，网络安全中的安全目标不是“全部拒绝”，而是根据任务的武器化程度实施精细化控制。

2. 自主网络攻击能力正在进入长程评测

《Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios》使用企业网络和工业控制系统靶场评估Agent的多步攻击能力。

这类评测不再是让模型解释一个漏洞，而是观察它能否：

• 进行信息搜集
• 找到入口
• 横向移动
• 提升权限
• 操作真实协议
• 在长时间跨度中持续推进攻击

论文结果表明，随着模型和推理资源提升，前沿Agent完成复杂攻击链的能力仍在快速增长，没有表现出明显的平台期。

这意味着，未来的网络安全评测需要从静态CTF题目进一步走向：

• 加固环境
• 主动防御
• 实时检测
• 攻防对抗
• 操作安全与隐蔽性

3. 生物安全需要评估完整的因果链

BioSafetyBench提出，生物风险通常不是一个模型输出直接造成的，而是由一条跨模型、跨模态的因果链产生。

例如，一个模型生成序列后，还可能经过：

• 转录
• 翻译
• 蛋白质折叠
• 分子结合
• 细胞通路传播
• 宿主脱靶效应

如果只检查第一步输出，很可能忽略后续模型和工具组合产生的风险。

因此，BioSafetyBench把整个生物AI生态视为安全评测对象，而不是只评估其中某一个模型。

这与Agent轨迹安全呈现出相同趋势：

风险评估的单位正在从单个输出，扩展到完整因果链。

4. 模型供应链出现新的后门攻击面

《Clean Data Can Still Carry Backdoors》挑战了一个常见假设：使用干净数据重新蒸馏模型，可以清除原模型中的后门。

论文构造的后门利用自然存在的特征模式，即使使用干净数据进行知识蒸馏，后门仍可能保留下来。

FloatDoor则展示了一种平台触发后门。

同一个模型在不同GPU、TPU、CPU和推理内核上运行时，会产生细微数值差异。攻击者可以利用这种差异，让模型：

• 在审计环境中表现正常
• 只在指定部署平台上激活恶意行为

这构成了典型的“检查时安全、使用时恶意”。

未来模型安全审计不能只检查权重文件，还需要验证：

• 实际部署硬件
• 推理框架
• 量化方式
• 内核版本
• 运行时配置
• 模型加载的适配器

5. 隐私与机器遗忘走向全生命周期治理

《Position: LLM Privacy Requires a Lifecycle-Wide Approach》指出，大模型隐私研究长期过度集中在训练数据记忆，却相对忽视了一些更现实的问题：

• 推理上下文泄露
• Agent跨应用收集数据
• 长期记忆泄露
• 用户画像聚合
• 工具调用中的隐私传播

与此同时，机器遗忘研究也开始发现新的问题。

《Forgetting Has Neighbors》表明，删除某些训练样本的影响可能集中伤害其附近的正常知识。这种局部“连带遗忘”可能被整体准确率指标掩盖。

《Contrastive Representation Shaping for LLM Unlearning》则指出，一些遗忘方法可能只是压制模型输出，目标知识仍然保留在内部表示中。

因此，真正的机器遗忘不能只问模型“还会不会说出这段内容”，还要问：

• 内部表示是否仍保留目标概念
• 攻击者能否重新提取
• 是否误伤相关正常知识
• 少量重新训练能否恢复
• 遗忘后的模型是否接近真正删除数据后重新训练的模型

代表论文

CyberDualEval: Measuring Dual-Use Cyber Risks in Frontier Language Models

Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios

BioSafetyBench: Agentic Cascade Evaluation for the Bio-AI Ecosystem

Clean Data Can Still Carry Backdoors: Support-Persistent Backdoors for Model Reuse

FloatDoor: Platform Triggered Backdoors in LLMs

Position: LLM Privacy Requires a Lifecycle-Wide Approach

Forgetting Has Neighbors: Localized Collateral Forgetting in Machine Unlearning

Every Bit, Everywhere, All At Once: A Binomial Multibit LLM Watermark

模安局判断

模型不是一个完成训练后就保持不变的文件，而是一条持续变化的供应链。它会经历：

• 预训练
• 对齐
• 能力微调
• 蒸馏
• 量化
• 剪枝
• 模型合并
• Agent集成
• 多平台部署
• 持续更新

任何一个环节都可能改变安全属性。

未来判断一个模型是否可信，不能只看一份上线前安全报告，还要回答：

• 模型来自哪里
• 使用了什么数据
• 被谁修改过
• 经历过哪些微调
• 在什么环境中运行
• 输出能否溯源
• 删除请求是否真正生效
• 出现事故后能否追责

七个重点背后的统一变化

虽然这七个方向分别涉及Agent、越狱、对齐、多模态、网络安全和模型供应链，但它们讨论的是同一个变化：

AI系统正在从内容生成器，变成拥有推理、工具和行动能力的执行者。

这个变化可以分成四个层次。

第一层：从输出安全转向过程安全

过去检查模型最后说了什么，现在还要检查：

• 它如何理解任务
• 如何制定计划
• 如何处理风险
• 是否在中间步骤生成危险信息
• 推理过程和最终答案是否一致

第二层：从过程安全转向行动安全

当模型可以调用工具，文本就不再是最终结果，而可能是一条命令。安全控制点也必须进入：

• 工具选择
• 参数生成
• 权限验证
• 执行前检查
• 环境状态变化
• 异常中断

第三层：从模型安全转向系统安全

Prompt Injection、Agent越权和CI/CD攻击说明，很多问题无法由模型单独解决。真正的攻击面包括：

• 基础模型
• 系统提示词
• 上下文窗口
• RAG知识库
• 工具协议
• 身份凭证
• Agent框架
• 执行环境
• 监控器
• 第三方数据源

一个安全模型放进不安全的系统，仍然会产生危险结果。

第四层：从上线评测转向生命周期治理

模型在上线后还会被持续微调、蒸馏、量化、合并和迁移。

某个版本通过安全测试，不代表后续版本继续安全；模型在审计平台上表现正常，也不代表它在实际部署平台上不会激活新的行为。

因此，安全评测不能只是模型上线前的一张成绩单，而必须成为一项持续过程。

写在最后

如果要用一句话概括NeurIPS 2026的AI安全研究重点，那就是：

研究者不再只问模型会不会说出危险内容，而是开始追问一个越来越能推理、会使用工具、能够长期行动的AI系统，是否始终处在人类控制范围内。

过去，我们面对的是一个回答问题的模型。

它可能被越狱，可能输出有害内容，但大多数风险仍然停留在文字层面。

现在，我们正在把模型接入浏览器、代码环境、企业系统、科研平台、网络靶场和真实操作系统。

它不只是提供建议，还能替用户执行。

在这种情况下，下一场典型的AI安全事故可能并不是模型突然说了一段明显危险的话。

它更可能是：

• 每一步操作单独看都很正常
• 模型在推理中也表达了风险意识
• 监控器没有发出明显警报
• 最终报告声称任务已经成功
• 但几十步行动组合起来，造成了数据泄露、权限滥用或者现实系统损害

这也是NeurIPS 2026传递出的最重要信号：

拒答机制仍然重要，但拒答已经不足以构成完整的AI安全体系。

安全研究真正的主战场，正在从模型的回答框，转移到Agent的每一次决策、每一次工具调用，以及整个AI系统的生命周期之中。