从4份征求意见稿到“总则+行业”：AI应用安全标准体系正在成形（网安标委，2026.9）

2026年9月15日，全国网络安全标准化技术委员会秘书处正式发布4项人工智能应用安全实践指南：

《人工智能应用安全指引 总则》 《人工智能应用安全指引 教育》 《人工智能应用安全指引 卫生健康》 《人工智能应用安全指引 广播电视和网络视听》

后台回复“标准”或者点击下方“阅读原文”获取原始文档

如果只看文件数量，这和今年1月似乎没有什么不同——当时网安标委同样一次性发布了4份征求意见稿。

但两批文件放在一起看，会发现其背后的体系已经发生明显变化。

今年1月的组合是：

总则 + 训练数据安全 + 用户使用安全 + 广播电视行业

到了9月，正式发布的组合则变成：

总则 + 教育 + 卫生健康 + 广播电视和网络视听

其中，《个人用户使用人工智能服务安全指南》已经在此前独立正式发布；而教育、卫生健康等新的行业文件开始快速补充进来。

这意味着，网安标委正在逐渐形成一套更加清晰的人工智能应用安全体系：

以《总则》作为通用安全底座，再按照教育、医疗、广电、金融、政务、应急管理等行业分别制定具体规则。

换句话说，人工智能安全治理开始从“围绕模型和若干专项风险制定规则”，进入到“总则+行业”的应用安全阶段。

01 《总则》

AI应用安全的通用底座

四份文件中，《总则》仍然处于统领位置。

但与年初征求意见稿相比，正式版的定位更加明确：它管理的对象并不是一个孤立的大模型，而是一个从立项、开发、上线到退役的完整人工智能应用系统。

整份文件可以概括成：

5项基本原则 + 7个生命周期阶段 + 2套分级机制 + 3类工程安全能力 + 1条控制底线

▎5项基本原则：从价值宣示进一步收敛到安全治理

正式版提出五项人工智能应用安全基本原则：

相比年初版本，正式版实际上进一步强化了“工程治理”色彩。

核心逻辑已经非常接近传统安全工程：

发现风险
↓
判断风险有多大
↓
配置对应安全能力
↓
测试是否有效
↓
持续监测变化。

▎7个生命周期阶段：安全不再只是“上线前测一次”

《总则》把人工智能应用完整划分成七个阶段：

前期规划
↓
设计开发
↓
验证确认
↓
部署
↓
运行和监控
↓
持续验证评估
↓
退役下线

这七个阶段分别解决不同问题。

其中“退役下线”尤其容易被忽视。

正式版甚至明确要求，对模型文件、训练数据、权重文件、超参数配置、训练脚本、推理服务配置以及业务数据进行安全处置，原则上应确保无法被恢复或重新加载。

这说明AI安全已经开始覆盖完整的资产生命周期，而不是只关心模型在线运行期间。

▎2套分级机制：不仅系统要分级，建设方也要“够资格”

《总则》最值得关注的一项制度设计，是把两个等级联系起来：

第一套：AI应用安全分级

根据风险发生概率和影响严重程度，将AI应用划分成：

低安全风险

一般安全风险

较大安全风险

重大安全风险

特别重大安全风险

并采用“就高从严”原则确定最终等级。

第二套：安全能力成熟度

除了判断AI应用有多危险，还需要评估建设部署方和运行管理方有没有能力管理这么危险的AI。

正式版要求相关主体的人工智能安全能力成熟度原则上不得低于其承担应用的安全等级。这实际上建立了一条很重要的治理逻辑：

高风险AI不仅要有更强的安全措施，也不能交给安全能力不足的组织运行。

▎3类新的工程安全能力：护栏、注入攻击、执行链路

正式版部署章节中有一句非常值得注意：

采用安全护栏等安全防护技术手段，识别拦截违法不良内容、防范提示词注入攻击、防止执行链路失控。

这句话实际上覆盖了三层不同风险：

前两年大模型安全更多关注第一层，而“防止执行链路失控”进入《总则》，意味着标准已经开始适应Agent和工具调用型AI系统，安全问题正在从模型会不会“说错话”逐渐扩展为AI会不会“做错事”。

▎1条底线：最终控制权必须属于人

正式版延续并强化了几类安全机制：一键接管、版本回退、紧急关停、备用系统切换。

尤其涉及物理空间和人员安全时，还要求设置方便人工操作的停止机制。

所以，《总则》最终还是落到一条最核心的治理底线：AI可以越来越自主，但最终控制权不能脱离人类。

02 《教育》

核心是AI可以拥有多大的教育权力

教育文件是这次新增的两个重点行业指南之一。

它没有按照模型类型或者技术架构划分，而是沿着教育实际活动，将AI分成五种典型角色：

智能助教、智能助学、智能助研、智能助管、智能助评

在此之前，文件首先建立了4套通用安全机制。

▎4套通用机制

其中最重要的一句话是：

人工智能应用坚持辅助角色定位，不能作为教学、评价、决策、研究的主体。

这句话基本确定了整个教育文件的治理基调。

▎智能助教：可以帮老师，但不能替老师

智能助教主要覆盖备课、课堂互动、答疑、作业批改和教学分析。

文件重点限制三件事：

第一，AI不能替代真实师生互动。教师仍然需要主导课堂，并负责AI输出内容的审核。

第二，不能不分场景直接给完整答案。系统应支持按照年龄、学科和任务调整输出层级，优先提供解题思路
↓
方法提示
↓
分步引导，而不是直接输出最终答案。

第三，主观评价必须人工复核。作文、开放性问题、主观作业等，不应直接采用AI评分结果。

▎智能助学：不同年龄，AI使用权不同

教育文件首次非常明确地区分了不同学段。其中：

• 小学阶段不应独自使用开放式内容生成功能
• 初中阶段可适度进行逻辑探究
• 高中阶段可结合原理进行探究
• 高等教育阶段可在教师规定范围内自主使用

同时还要求提供：

使用时长、使用频率、夜间使用限制、拟人化互动限制以及异常提醒。

这说明未成年人AI治理开始从单纯“内容过滤”，进一步进入到使用方式和交互强度管理。

▎智能助研：科研的“核心智力活动”不能外包给AI

智能助研的要求相对严格。

AI可以用于文献检索、资料整理、文字润色等辅助工作。

但研究选题、核心设计、数据解读、论点撰写等关键环节应由研究者本人完成。

文件进一步明确：

严禁使用人工智能直接生成项目申报材料、论文或研究报告。

同时要求区分AI生成的模拟数据和真实实验数据，禁止用AI伪造实验数据、访谈或者证据。

所以这一部分真正划定的是AI可以提高科研效率，但不能替代研究者承担科研主体责任。

▎智能助管：AI不能直接决定学生的重要权益

在学生管理、学籍、人事、资源分配、学位授予等重大管理活动中：

不能直接执行AI结论，必须经过人工决议。

对于数字画像、异常识别和学生风险预警，也不能直接给学生贴负面标签。

被预警或被处置对象还需要具备人工复核、纠错和撤回机制。

这一要求非常重要，因为教育AI的风险已经从“回答错误”扩展到了：

算法评价会不会影响一个学生未来的机会。

▎智能助评：越影响个人权益，人工介入要求越高

智能助评重点关注稳定性、准确性、公平性和可解释性。

文件明确提出，不应将AI用于：

固化标签、歧视性对待、处分、淘汰、升学限制、资格取消等惩罚性或排斥性决定。

对于升学推荐、奖学金评定、学位授予、绩效考核、职称评审等重大权益事项，则要求人工审核人员：

批准、否决或调整AI评价结果。

所以《教育》的底层逻辑其实非常清晰：AI距离人的重大权益越近，它拥有的最终决策权就应该越少。

03 《卫生健康》

把AI风险真正做成“场景×生命周期×等级”

卫生健康文件是这四份文件里结构最完整、风险治理色彩最强的一份。

它直接建立了一个三维框架：

X轴：应用场景 Y轴：应用生命周期 Z轴：风险等级

文件第3页的“总体框架图”把这三个维度组合在了一起。

这意味着一个医疗AI到底需要什么安全措施，不再只看“它是不是医疗AI”，而需要同时判断：用在哪里？运行到了哪个阶段？出错的后果有多严重？

▎8项总体原则

卫生健康文件提出了8项原则：

数据安全与隐私保护

增进人类福祉和公共利益

保护人类自主性

透明与可解释

公平与包容

风险分类分级

责任问责

敏捷和可持续

其中最重要的一项仍然是：医生拥有最终临床控制权。人工智能只能作为辅助工具，不能替代医生承担专业判断和伦理责任。

▎医生主导 + 患者知情：建立“双重控制”

医疗AI安全不是只控制系统，还同时控制医生和患者两侧。

医生侧：AI给出的诊断建议、治疗方案、临床决策结果需要医生结合病史和患者具体情况审核，对于低置信度结果，还应强制人工复核。

患者侧：患者需要知道AI是否参与诊疗、参与到什么程度、使用了哪些数据、有哪些风险，而且患者有权拒绝AI辅助。

这实际上形成了一个“双保险”：AI不能绕开医生，也不能绕开患者。

▎5类应用场景

卫生健康文件把主要应用划分为五类：

不同场景的容错空间完全不同。

例如患者智能问答，如果识别到急救征兆，需要：停止AI问答
↓
显著提示风险
↓
转人工或者急诊。

涉及处方药或用药调整，则要求执业药师复核。

这就是典型的：风险达到某个阈值后，AI自动退出决策链。

▎5级风险：真正按“后果”管理AI

附录A进一步把医疗AI划分为：

特别重大风险

重大风险

较大风险

一般风险

低风险

风险评估主要看四个维度：

例如：

高度自主运行，并且AI输出直接驱动高风险诊疗行为，错误可能造成死亡、不可逆伤害或公共卫生危机，就可能属于特别重大风险。

如果只是一般健康科普、行政办公，与实际诊疗无直接关系，则可能属于低风险。

这套思路其实非常有代表性：真正决定AI风险等级的，不是模型参数有多少，而是它被授予了多大的行动权，以及错误最终能够造成多大的现实影响。

04 《广播电视和网络视听》

从内容生成一直管到传播和客服

广播电视和网络视听是年初就已经出现的行业文件，也是目前场景化程度很高的一份。

它没有按照“模型、数据、算法”展开，而是直接沿真实业务流程划成四段：

策划创作
↓
制作播出
↓
传输覆盖
↓
集成分发

和年初征求意见版相比，正式版明显已经进一步进入真实业务操作。

▎策划创作：内容审核从“生成后检查”前移到创作流程

这一阶段关注：剧本、脚本、新闻辅助生产、人物设计、音乐、关键帧等。

核心安全措施包括：全量自动筛查 + 可信信源 + 人工多级审核 + 全生命周期日志。

其中涉及关键事实、政策表述、统计数据和引用内容，需要通过可信信源进行核验；

同时建立初审
↓
复审
↓
终审多级人工审核。

这意味着AI内容治理不再只是上线前跑一次检测器，而是被嵌入创作流程。

▎制作播出：历史内容不能让AI“脑补”

正式版对AI修复历史影像提出了非常明确的原则：

修旧如旧 + 最小干预。

修复必须依托原始档案和可靠史料，不应在缺乏史料支撑的情况下进行推断性生成。同时，修复、上色、扩图都应避免引入原始资料不存在的信息。

这里监管真正防范的是：技术上的“增强”，最终变成对历史事实的“再创作”。

▎内容生成有明确红线

正式文件还明确提出几项高风险边界：

• 不应使用AI生成时政类新闻
• 数字虚拟人不能从事时政新闻类播音主持
• 未经授权不得仿冒他人形象和声音
• 训练许可不能自动推定为对生成结果拥有复制、改编、发布或者传播权

最后一条尤其值得注意。

它实际上区分了“我可以用你的作品训练模型”和“我可以拿生成结果去复制、改编和传播”这两种完全不同的权利关系。

▎生成内容标识进入完整传播链

正式版不仅要求生成内容添加标识，还要求：

显式标识和元数据隐式标识在制作、播出、媒资管理和节目传播过程中不得被删除。

同时提出采用完整性校验、传播链路检测、数字水印等技术，提高标识经过转码、剪辑、跨平台传播之后仍然能够被识别和追溯。

所以生成内容标识开始从“内容发布时贴一个标签”，变成了真正的内容溯源体系。

▎传输覆盖：AI只能提建议，不能直接控制系统

在传输覆盖环节，AI可以帮助知识问答、故障分析、运行维护建议。

但正式版明确要求：

AI生成的故障处置策略只能作为参考建议，不直接执行。

同时：

• 未经审核的外部数据源不能使用
• 只有验证后的解决方案才能进入知识库
• AI建议还需要带知识库溯源信息

这是非常典型的执行权限控制：AI可以思考，但不能直接掌握关键系统操作权。

▎集成分发：客服开始按照“Agent”方式管理

集成分发阶段覆盖：内容推荐、广告、客服、系统运维、终端人机交互等。

其中智能客服部分很有意思。

正式版明确要求：

• 不能自动修改账户、订单、支付状态
• 资金和合同终止等操作转人工
• 只能访问公开知识库
• 回复应绑定知识库原文
• 知识库匹配置信度不足时停止回复并转人工
• 新会话需要清空历史缓存

这已经明显不只是传统的“客服内容安全”，它管理的是AI到底可以查询什么、操作什么、记住什么，以及什么时候必须停止自主处理。

一套共同的安全逻辑

虽然教育、医疗和广播电视完全是三个不同的行业，但它们实际上正在遵循非常相似的治理结构。

可以概括成：

人工智能应用安全= 生命周期治理 × 风险分级 × 行业场景 × 权限控制 × 人类最终控制

其中出现频率最高的不是某一种具体安全技术，而是几个共同原则。

这可能比任何一条单独的技术要求都更值得关注。

从“模型安全”到“AI拥有多少权力”

过去讨论大模型安全，我们经常围绕几个问题：

数据有没有问题？ 模型会不会幻觉？ 能不能被越狱？ 会不会生成违规内容？

而这批文件越来越多地在回答另一组问题：

AI能看到什么？ AI能调用什么？ AI能决定什么？ AI能直接执行什么？ 什么情况下必须交还给人？

这其实正是AI从ChatBot走向Agent、从互联网应用进入医疗、教育、金融和政务以后必然出现的问题。

今年7月发布的《智能体部署使用安全指引》已经开始把安全范围扩展到技能、插件、文件访问、网络连接、高风险操作、长期记忆、日志和凭证管理，并进一步要求组织建立智能体资产登记、审批和未授权智能体发现能力。

智能体五阶段生命周期框架：TC260 首份 Agent 部署使用安全指引解读（2026.7）

而今天正式发布的《总则》又把安全护栏、提示词注入、执行链路失控直接写进了通用AI应用安全要求。

把这些文件连起来看，趋势就非常清楚了：

人工智能安全的核心对象，正在从“模型输出什么”，逐渐变成“一个AI系统在真实世界中被允许拥有多大的能力和权限”。

这也是“人工智能应用安全”与传统“大模型内容安全”最大的区别。

写在最后

从1月的4份征求意见稿，到9月正式发布的“总则+教育+卫生健康+广播电视”，变化并不只是增加了两个行业文件。

更重要的是，一套人工智能应用安全治理体系开始成形：

• 《总则》负责生命周期、风险分级和共性安全能力
• 行业指南负责把这些原则翻译成真实业务规则
• 风险越高，AI自主权限越低
• 越接近人的重大权益和现实世界操作，人类最终控制要求越强

如果说大模型刚刚兴起时，安全工作的重点还是“如何让模型不要生成危险内容”，那么进入Agent和行业应用阶段之后，问题已经逐渐变成：

我们究竟准备把多少权力交给AI？

而从目前这一系列文件来看，答案也正在越来越清楚：

AI可以辅助判断、提高效率、自动完成大量低风险任务，但真正影响人身安全、重大权益、资金资产和关键系统的最终决策权与控制权，仍然必须掌握在人手中。