AI安全治理框架3.0深解：八大变化、六大趋势

2026年9月，全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》。

如果将2024年的1.0、2025年的2.0与2026年的3.0放在一起观察，可以看到近两年国内AI安全治理关注重点的持续迁移：

1.0主要建立人工智能安全风险的基础分类体系，

2.0进一步引入应用分类分级、AIGC可追溯和模型—应用—场景三级测评体系，

3.0则在此基础上显著强化智能体、具身智能、自主网络攻击、记忆安全、工具供应链和运行时控制。

整体上，AI安全治理对象正在由“模型本身及其输出”逐步扩展到“具有规划、记忆、工具调用和自主执行能力的智能系统”。

为何推出3.0

AI能力边界已经发生变化

2.0发布时，框架已经注意到高性能推理模型、轻量级开源模型、嵌入业务流程的智能体以及具身智能等新技术形态。

3.0进一步明确指出，基础大模型在长程任务规划、长上下文记忆、复杂任务推理等方面持续突破，智能体的任务规划、工具调用和跨应用协作能力不断增强，人工智能应用正由“回答问题”向“执行任务”演进。

与此同时，AI与外部系统、网络环境和物理世界的连接程度显著提高，传统以模型输出为中心的安全治理方式已难以覆盖由自主规划、权限获取、工具调用、长期记忆和现实执行所带来的系统性风险。

这一变化决定了3.0的核心特征：风险治理重点不再局限于“模型是否输出不可靠或违法内容”，而开始系统关注“智能体是否在授权范围内规划、决策和执行”。

因此，从1.0到3.0，AI安全的边界并不是简单扩充，而是在随着AI能力扩展不断向系统层、运行时和物理世界延伸。

三版框架对比

治理对象从模型扩展到完整智能系统

从框架结构看，三版的基本治理逻辑并未改变，仍然遵循风险识别、技术应对、综合治理和安全指引的路径。

但安全对象已经明显由“单一模型”扩展为包含模型、智能体、工具、记忆、权限、运行环境和外部服务的完整系统。

1.0建立基础风险地图，2.0强化应用治理与风险分级，3.0则进一步进入智能体全生命周期与运行时治理阶段。

AI安全框架的八个变化

▎从模型安全到智能体安全

3.0最值得关注的变化，是首次将“智能体安全风险”作为独立类别进行系统展开。

正文将其划分为身份和权限滥用、推理规划、调用执行、记忆存储四类风险，附件2则进一步按照设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线等生命周期环节建立完整风险管理框架。

相比之下，2.0虽然已经定义了智能体，并指出智能体通常具备记忆、规划和工具使用能力，也注意到其对文件、权限、接口和工具的访问会扩大系统暴露面，但智能体风险仍主要分散在网络系统安全等条目中。

到了3.0，智能体已经由一种“新的应用形态”转变为独立的安全治理对象。一个具有代表性的变化是，2.0附件中仍保留“术语”部分，而3.0则新增完整的“智能体风险管理框架”。

这说明治理重点已经由“定义智能体及其基本概念”，进一步转向“如何管理智能体的身份、权限、行为和生命周期”。

这种变化也意味着AI安全的基础单位正在发生变化。过去主要以“模型”为对象，关注幻觉、偏见、鲁棒性、数据投毒和违法输出；

3.0则开始将智能体视为一个具备身份、权限、记忆、工具和运行环境的软件主体，其安全问题不仅取决于模型自身能力，还取决于其所拥有的权限、可访问资源和实际执行能力。

▎从输出安全到行为安全

1.0和2.0中的模型风险，主要集中于可解释性、偏见、鲁棒性、幻觉、对抗攻击、提示词注入和违法内容输出等问题，其核心仍然是模型输出是否可靠、合规和可控。

3.0则新增“行为偏离预期”，并专门讨论非预期自主行为，包括未经授权获取系统权限和外部资源、绕过安全防护、欺骗评测人员、隐藏真实能力以及拒绝停止执行等情形。

这一变化说明，AI安全正在由“输出安全”向“行为安全”延伸。

对于传统大模型，风险主要体现为回答错误、生成不当内容；对于具备工具调用和自主执行能力的智能体，模型内部的推理偏差可能直接转化为文件操作、网络访问、系统配置修改等实际行为。

因此，安全治理的重点不能仅停留在输入和输出内容，而需要进一步判断智能体的任务目标、执行路径、工具调用和最终操作是否符合授权范围。

在这一背景下，3.0对提示词注入的理解也发生了明显变化。

2.0已经将Prompt Injection纳入安全防护范围，3.0则进一步指出，恶意指令可以隐藏在文档、邮件、网页、日志和消息等外部内容中，并通过推理规划阶段造成意图理解偏差、路径偏离和目标劫持。

提示词注入因此不再只是影响单轮模型输出，而可能进一步改变智能体后续的任务执行轨迹。

▎从输入输出护栏到运行时治理

2.0已经正式定义“安全护栏”，主要通过规则库、判别模型等方式，对输入输出内容、数据泄露和提示词攻击进行识别和拦截，其典型位置仍然位于模型调用前后。

3.0则明确要求在智能体工作流中设置多层检测与拦截点，并针对任务规划、工具调用、运行环境、记忆和输出结果实施动态控制，对高风险或异常行为采取告警、限制、拦截、暂停或终止等措施。

因此，安全护栏的技术形态正在由传统的输入输出过滤，逐渐演化为运行时策略执行。

其目标不再只是判断一段内容是否符合安全要求，而是持续判断当前任务、当前步骤、当前工具调用和当前资源访问是否满足预设的安全策略。

对于高权限智能体而言，这种运行时控制的重要性会进一步提高，因为相同的模型输出，在不同权限和不同执行环境下可能产生完全不同的风险后果。

这一变化也使得“人在回路”进一步由原则要求转化为工程机制。

3.0要求在关键决策节点设置强制人工审批，对删除文件、发送数据、修改系统配置等重要操作进行二次确认，并要求在审批系统异常、用户无响应或缺少审批规则时默认拒绝执行。

这已经具有典型的最小权限、纵深防御和Fail Closed特征。

▎从训练数据安全到认知供应链安全

• 1.0的数据安全主要围绕训练数据来源、数据投毒、数据泄露和数据标注展开
• 2.0进一步关注合成数据、开源模型和RAG等应用方式

3.0则显著扩展了数据风险边界，将外挂知识库、网页数据源、工具返回结果和长期记忆均纳入风险治理范围，并新增记忆失真、记忆污染、记忆窃取以及合成数据缺陷等问题。

其中，3.0专门设置“GEO投毒操控大模型推荐内容”专栏，指出通过批量发布倾向性文章、虚构评测结果、假冒专家身份等方式，可以影响大模型在联网检索和RAG过程中接触到的信息，进而影响其最终生成结果。

GEO投毒的原理、传播链路与检测防护机制（315加刊）

这里反映出的风险已经不再局限于传统意义上的训练数据投毒，而是扩展到AI在运行过程中依赖的整个信息来源链条。

从安全视角看，可以将其理解为“AI认知供应链”正在形成：训练语料、知识库、网页、搜索结果、工具返回数据和长期记忆共同构成模型与智能体进行判断和决策的信息基础。

一旦这些信息源被污染，风险便可能沿着检索、推理、规划和执行链条持续传递。

▎从AI辅助攻击到AI自主攻击

三版框架对AI网络攻击风险的描述也呈现明显演进。

1.0主要关注AI被用于漏洞挖掘、恶意代码生成、网络扫描和社会工程等活动，其基本逻辑仍是“人利用AI提高攻击效率”；

2.0进一步强调AI可以降低攻击门槛并推动自动化攻击；

3.0则单独提出“自主化网络攻击威胁”，指出智能体在执行正常任务过程中，也可能突破规则边界，自主形成攻击意图并完成相关操作。

3.0在专栏中进一步指出，随着代码推理和长程规划能力增强，智能体如果同时拥有网络访问、程序执行和文件操作权限，而行为约束、沙箱隔离和实时监测能力不足，异常推理或安全机制绕过就可能直接转化为真实操作。

AI网络攻击风险因此正在由“辅助人实施攻击”向“大模型自主组织和执行攻击行为”演进。

这也意味着传统依赖用户意图识别的安全机制将面临新的局限。

未来不仅需要判断用户是否具有攻击意图，还需要持续监测智能体在执行过程中新形成的中间目标、工具选择和操作行为。

▎AI安全边界进一步外扩到物理世界

具身智能在三版框架中的位置同样发生了明显变化。

1.0主要将自动驾驶、智能诊疗等作为重点应用场景；

2.0已在前言中强调具身智能正在连接数字智能与物理世界，并提出在遮挡、电磁干扰等极端条件下测试感知系统；

3.0则正式将具身智能作为独立风险类型，进一步划分为环境感知、物理执行、人机交互和群体协同四类风险。

相应的安全措施也从传统软件安全扩展到仿真测试、极端条件测试、传感器抗干扰、碰撞保护、紧急停机、异常节点隔离和全局安全熔断等机制。

这表明AI安全正在进一步与功能安全、机器人安全和信息物理系统安全融合，模型输出错误可能不再只造成信息层面的误导，而可能直接转化为物理世界中的执行风险。

▎从一次性评测到持续安全保障

2.0已经提出“模型算法安全测评—应用通用安全测评—具体场景安全测评”三级体系，明确区分模型本身的安全能力、应用层通用风险以及具体行业场景风险。

3.0在此基础上进一步增加智能体自主行为、工具调用等专项测评，并要求开展沙箱验证、常态化红队测试、全链路日志审计、运行期风险监测以及重大变更后的安全影响评估和回归测试。

因此，AI安全测评正在由“上线前完成一次测试”逐渐演化为覆盖开发、测试、部署、运行和更新全过程的持续安全保障。

对于智能体而言，单次Benchmark很难覆盖真实运行环境下的权限变化、工具更新、长期记忆和外部数据污染等问题，安全验证必须与系统生命周期同步进行。

▎从分类分级进一步走向动态监管

2.0的一个重要变化，是提出基于应用场景、智能化水平和应用规模开展风险分级，并将风险划分为低、一般、较大、重大和特别重大五级，以支持差异化安全管理。

3.0基本延续了这一框架，但进一步新增“柔性、动态、可控的沙箱监管环境”，提出分行业制定入箱标准，根据风险等级采取不同强度的监测和干预措施，并支持动态调整测试期限、测试范围和应用场景，同时探索责任豁免和测试结果跨部门认可。

从治理逻辑看，2.0重点解决的是“如何根据风险等级实施差异化监管”，3.0进一步解决的是“如何在技术快速变化条件下实施动态、渐进式监管”。

这与智能体本身具有持续运行、动态调用外部能力和自主性不断增强的技术特征相适应。

AI安全发展的六大趋势

综合1.0、2.0和3.0，可以看到近两年AI安全发展呈现出几条较为清晰的主线：

一是从内容安全走向行为安全。 安全治理重点由模型输出内容进一步扩展到智能体的规划、工具调用和实际执行行为。

二是从模型安全走向系统安全。 安全对象由模型本身扩展到Agent、Memory、Tool、Skill、身份、权限和运行环境。

三是从静态护栏走向动态治理。 安全控制由模型调用前后的内容过滤，进一步延伸到整个任务执行过程中的动态策略执行。

四是从训练数据安全走向认知供应链安全。 数据安全范围由训练数据扩展到知识库、网页、搜索结果、工具返回数据和长期记忆。

五是从一次评估走向持续保障。 安全评测由上线前测试逐步扩展到持续红队、实时监控、日志审计、版本回归和异常处置。

六是从网络安全走向网络物理安全。 随着具身智能发展，AI安全治理正在由数字空间进一步进入现实物理环境。

落地重点

如果延续2.0“分类分级+技术护栏+运行管控”的思路，3.0最需要补充的是智能体运行时安全。

首先，应继续按照应用场景、智能化水平和应用规模开展风险定级，同时增加对智能体可访问数据、可调用工具、系统权限、联网能力和自主执行能力的评估。

其次，应将安全边界由模型扩展到Agent全链路，重点建设独立身份、最小权限、动态凭证、工具与Skill来源校验、Memory隔离、代码执行沙箱、网络访问控制和资源调用限制。

最后，应建立智能体运行时监控和人工接管机制，对任务轨迹、工具调用、文件操作和网络访问进行全量记录，对高风险操作设置人工审批，并具备暂停、终止、回滚和安全恢复能力。

从企业安全建设角度看，3.0并未削弱2.0提出的分类分级、AIGC可追溯、供应链安全、数据保护和三级测评体系，而是在这些能力之上增加了智能体身份、权限、工具、记忆和运行时行为控制。

换言之，过去的AI安全体系仍然有效，但其覆盖范围需要从“模型调用链”扩展到“智能体执行链”。

AI安全正在进入运行时治理阶段

从2024年的1.0、2025年的2.0到2026年的3.0，人工智能安全治理框架的演进与AI能力扩展基本同步。

1.0主要建立风险分类和基础治理体系，2.0进一步强化应用分类分级、AIGC可追溯和分层测评，3.0则明显将治理重点延伸至智能体、具身智能和自主行为安全。

其背后的逻辑并不复杂：随着AI从生成、推理继续发展到记忆、规划、工具调用、自主执行和物理操作，安全问题也必须由模型层逐步扩展到系统层和运行时。

未来AI安全需要回答的核心问题，已经不再只是“模型是否安全”，而是“一个拥有模型、记忆、工具和权限的智能系统，能否始终在授权范围内稳定、可控地运行”。

这也是《人工智能安全治理框架3.0》相较前两版最值得关注的变化。

参考资料：

《人工智能安全治理框架》1.0，全国网络安全标准化技术委员会，2024年9月。 《人工智能安全治理框架2.0》，全国网络安全标准化技术委员会、国家计算机网络应急技术处理协调中心，2025年9月。 《人工智能安全治理框架3.0》，全国网络安全标准化技术委员会，2026年9月。

点击下方阅读原文获取参考资料原文文档。