跳到正文
25 分钟阅读

TC260-005:中国式AI应用伦理框架

2026年5月19日,TC260发布《人工智能应用伦理安全指引 1.0》。

2026/05/19

2026年5月19日,TC260发布《人工智能应用伦理安全指引 1.0》。

图片

下载地址:https://moanju.org/reports/

这份文件的重点不只是“AI要安全”,而是把治理对象从模型、算法、数据、内容,进一步推向了“AI应用活动”本身:

谁在开发,谁在提供,谁在使用,AI进入什么场景,影响哪些人,是否保留人类控制,是否能够停止和追溯,是否会改变公共秩序、社会信任和个体认知。

它更像是一份面向AI应用时代的伦理安全底座,也是一套带有鲜明中国治理语境的AI应用框架。

图片

AI治理开始进入“应用伦理安全”阶段

过去几年,围绕人工智能的治理讨论,更多集中在几个相对明确的对象上。

一类是算法治理,比如推荐算法、排序算法、自动化决策。另一类是内容治理,比如生成式人工智能输出违法不良信息、虚假信息、侵权内容、深度伪造内容。还有一类是数据治理,比如训练数据来源、个人信息保护、数据泄露和数据滥用。

这些问题依然重要,但随着生成式人工智能、智能体、行业大模型和AI办公系统加速落地,一个新的问题正在变得更加突出:当AI不再只是生成一段文本,而是进入企业流程、公共服务、金融活动、知识生产、情感陪伴、社会治理甚至自动执行任务时,我们该如何评价它的安全性?

TC260-005《人工智能应用伦理安全指引 1.0》回答的正是这个问题。

这份文件没有把伦理安全理解成抽象的价值宣言,而是把它放在“人工智能应用活动”中讨论。文件将人工智能应用定义为在利益相关方场景中运行、用于实现预期结果的人工智能使用方式;同时将人工智能应用伦理安全界定为,在处理人工智能与人、社会、自然之间关系时,从安全影响角度应保障的伦理价值和秩序。

这个定义很重要。它意味着AI伦理安全的关注对象,已经不只是模型本身,而是模型进入真实场景之后形成的完整应用关系。模型回答是否安全,只是其中一部分;AI系统如何被部署、如何被使用、如何影响人、如何改变组织流程、如何触达公共秩序,都会进入伦理安全的评价范围。

这也解释了为什么这份文件叫“人工智能应用伦理安全指引”,而不是单纯叫“人工智能伦理原则”或“人工智能安全规范”。它关注的是应用,是AI被嵌入现实世界之后产生的安全后果。

这是一份原则性文件,但会影响后续合规口径

从文件定位看,TC260-005是一份技术文件。它明确说明,本文件是原则性、参考性技术文件;涉及个人信息、自动化决策、内容标识、算法治理、知识产权等事项时,应与现行法律法规和部门规章协调适用。

这意味着它并不是直接新增一套强制性监管规则,也不是企业今天不满足某一条,明天就会被处罚。它更像是一份“软治理框架”,为后续行业自律、伦理审查、安全评估、企业合规、监管判断提供共同语言。

真正值得关注的是,这类文件往往会改变行业对“AI应用是否安全”的判断方式。

过去,一个AI产品做安全合规,通常会优先证明几件事:有没有违法不良内容过滤,有没有个人信息保护措施,有没有生成内容标识,有没有算法备案或模型备案,有没有安全评测报告。

而按照这份指引的框架,未来还会多出一组更上位的问题:这个AI应用是否会削弱人的自主判断?是否会让用户过度依赖?是否可能造成群体歧视?是否会影响公共资源分配?是否在关键环节保留人工干预?用户是否能够拒绝、干预、停止使用?发生事故后是否可以追溯?弱势群体是否能够理解和使用?

这些问题不像传统网络安全漏洞那样可以简单扫描出来,也不像内容安全那样可以只靠关键词或分类模型解决。它们需要产品设计、业务流程、风险评估和技术防护共同配合。

这正是“应用伦理安全”的复杂之处。

图片

六类影响:AI风险不再只是“输出错了”

文件第四章列出了人工智能应用可能带来的六类伦理安全影响:人类主导权影响、公共秩序影响、个体认知与社会价值影响、社会分化和歧视影响、生命健康与基本权益影响、可持续生态影响。

这六类影响,基本构成了中国式AI应用伦理框架的风险版图。

第一类是人类主导权影响。它关注的是AI行为是否超出人类预设、理解和控制范围,以及关键节点是否缺少监督、干预和纠偏。放在今天的语境下,这一点最直接对应智能体和自主系统。过去的大模型主要是回答问题,风险集中在输出内容;现在的Agent可以调用工具、访问系统、执行任务、操作数据,一旦缺少控制点,风险就会从“说错话”升级为“做错事”。

第二类是公共秩序影响。AI进入社会运行和行为决策之后,可能影响行为规范、市场秩序和社会信任。比如AI用于招聘筛选、信贷评估、舆情分发、公共服务分配、交易撮合,它带来的就不是单个用户体验问题,而是社会系统中的规则问题。一个模型偏差,可能会在大规模自动化流程中被放大,最终影响公平竞争和公共信任。

第三类是个体认知与社会价值影响。文件提到,AI普遍应用形成的新社会环境,可能带来人类过度依赖、个体与现实社会脱节等问题。这个表述很有现实针对性。AI搜索、AI陪伴、AI导师、AI心理咨询、AI社交助手正在改变人的信息获取、情绪安抚和社会交往方式。风险不一定表现为一次具体的违规输出,而可能表现为长期的认知退化、判断外包、情感依赖和现实连接弱化。

第四类是社会分化和歧视影响。AI应用可能对不同群体产生差异化影响,放大偏见与歧视,造成结构性不利后果。这里的重点不只是模型是否生成歧视性语言,而是AI应用的结果是否让某些群体处于更不利的位置。比如老年人是否无法使用AI政务服务,残障人士是否无法理解安全提示,某些地区、职业、年龄群体是否在自动化决策中被不合理排除。

第五类是生命健康与基本权益影响。文件将生命健康、人身安全、人格尊严、隐私、财产、劳动等基本权益都纳入了影响范围,也提到对组织合法权益、国家安全、公共安全可能产生危害。这意味着医疗、交通、金融、就业、教育、公共治理等高风险场景,都会成为AI伦理安全审查的重点。

第六类是可持续生态影响。它关注不合理的技术路线选择和应用模式可能带来的系统性生态压力。这里可以理解为,AI应用不能只追求规模、速度和算力堆叠,还要考虑能源消耗、重复建设、资源浪费以及人与自然的可持续发展。

这六类影响背后有一个共同逻辑:AI安全已经从“模型内部风险”扩展到“社会外部性风险”。模型本身只是风险源之一,真正的问题发生在AI与人、组织、制度、资源和环境发生关系之后。

九项原则:一套带有中国语境的AI伦理安全坐标系

文件第五章提出了九项伦理安全原则,包括增进人类福祉、尊重生命权利、坚持公平公正、合理控制风险、保持公开透明、保护隐私安全、确保可控可信、敏捷共治、普惠共享。

图片

这些原则并不陌生。很多国际AI治理文件中也会提到人类福祉、公平、透明、隐私、可控、问责等概念。但TC260-005的特点在于,它把这些原则放进了中国的治理语境中重新组织。

比如增进人类福祉不仅强调以人为本、智能向善,也明确提到保护个人劳动就业权利,事先评估并防范AI应用可能引发的就业替代或失业风险。这说明AI伦理安全并不只看技术风险,也看技术扩散后对劳动结构和社会稳定的影响。

尊重生命权利强调生命至上、尊严优先,要求保障人的自主决策、维护个人主体性、避免过度依赖。这个原则对AI情感陪伴、AI医疗建议、AI教育辅导、AI养老服务尤其重要。AI可以辅助人,但不能让人把判断权、选择权和生活主体性完全交出去。

合理控制风险和“确保可控可信共同构成了文件中最强的安全底线。前者强调发展和安全并重,审慎开展对国家安全、公共安全、生命健康产生重大影响的AI应用;后者强调人工智能应用的主导权归属人类,在关键环节设置人类控制机制,建立应急处置与人工干预机制。对Agent产品来说,这几乎可以直接翻译成一套工程要求:权限要可控,行为要可审计,关键动作要确认,异常状态要能中止,事故发生后要能复盘。

敏捷共治和“普惠共享”则体现出另一层政策含义。AI治理不能只依赖单一主体,也不能因为技术壁垒和封闭排他进一步拉大数字鸿沟。文件还提到鼓励模型、工具组件、评测基准等技术开源,同时提升开源生态安全能力。这个表述比较平衡,它没有简单把开源视为风险,也没有无条件鼓励开放,而是把开源创新和安全能力建设放在一起看。

最能体现“中国式AI应用伦理框架”的,是通用指引中提到的“以集体主义、人的全面发展等原则为基础,构建符合中国国情和文化传统的伦理规范体系”。

这句话是理解文件的关键,它说明TC260-005并不是照搬西方AI伦理原则,而是在强调中国语境下的伦理秩序:个人权益要保护,公共利益也要维护;技术创新要鼓励,社会秩序也要保障;AI能力要发展,人类主体性和人的全面发展也不能被削弱。

伦理安全被拆成三类责任

这份文件的落地价值,集中体现在第六章。它没有只停留在原则层面,而是把伦理安全指引拆成通用指引、应用开发指引、服务提供指引和应用使用指引

这种结构非常重要。它说明AI应用伦理安全不是某一个部门、某一种角色、某一个环节的责任,而是贯穿开发、部署、运营和使用全过程。

应用开发者来说,文件强调要在开发阶段统筹考虑伦理安全,识别满足伦理要求的安全开发需求,避免单纯以性能或效率目标驱动迭代开发与优化改进。它还特别要求审慎开发具备高度自主性的AI应用,重点评估失控风险以及对产业和社会的影响。

这对大模型和Agent开发团队很有启发。过去很多产品迭代会把任务完成率、响应速度、自动化程度作为核心指标。但在伦理安全框架下,自动化程度越高,越需要配套控制机制。一个Agent不是越自主越好,而是要看它在什么场景自主、拥有多大权限、是否有人工确认、错误后能否恢复、用户能否理解它的行为边界。

文件还要求开发者正确看待“幻觉”等问题,对缺乏依据或者存在较大不确定性的输出作出必要管控和提示。这里实际上把大模型幻觉从技术缺陷提升到了应用伦理安全问题。因为在知识生产、医疗咨询、金融建议、法律辅助等场景中,幻觉不只是回答错误,还可能误导判断、损害权益、破坏信任。

服务提供者来说,文件强调要理性引导社会认知服务能力与边界,及时提示可能风险,避免对使用者造成误导。对于涉及国家安全、社会公共权益、组织和个人重大生命财产安全的服务,AI宜仅承担辅助决策作用,不提供直接决策依据。

这句话在高风险场景中非常关键。它给AI系统的角色划了一条边界:在重大权益场景中,AI可以辅助判断,但不宜成为最终决策者。最终责任仍然应由人和组织承担。

文件还要求服务提供者以清楚明确且便于操作的方式,向使用者提供拒绝、干预及停止使用AI服务的机制,并尽量避免提供用户无法便捷停止的AI服务。

这对Agent和自动化系统尤其重要。未来判断一个AI应用是否可控,不能只看后台有没有审计日志,也要看用户前台是否真的能暂停、拒绝、退出和接管。可控性必须被产品化,而不是停留在制度文件里。

应用使用者来说,文件也提出了责任要求。用户需要正确认知AI,增强对虚假、错误、误导性内容的识别能力,避免过度依赖和沉迷;同时不得借助AI误导、骚扰、操纵他人,不得利用AI伪造身份、仿冒权威主体,也不得使用AI实施攻击、破坏、盗窃等违法违规行为。

这说明AI伦理安全不是单向监管企业,也包含用户侧的AI素养和使用责任。随着AI工具门槛下降,普通用户同样可能成为风险放大器。AI越普及,使用者责任越重要。

可控性会成为核心安全指标

如果把这份文件放在Agent时代来看,它的价值会更加明显。

生成式AI早期的风险,主要集中在模型输出层面。比如有没有生成违法不良内容,有没有泄露隐私,有没有产生幻觉,有没有被越狱。围绕这些风险,行业形成了输入检测、输出检测、安全代答、红队测试、模型对齐等一系列能力。

但Agent带来的风险路径更长。一个Agent接到任务后,可能会拆解目标、检索资料、调用工具、访问数据库、发送邮件、修改文件、提交代码、执行支付、操作业务系统。此时安全风险不再只发生在“输入—模型—输出”的链路中,而是发生在“目标—规划—工具调用—权限使用—状态变化—结果反馈”的完整执行链路里。

TC260-005中反复强调的人类主导权、人工干预、应急处置、停止机制、事故追溯,正好对应Agent安全的核心问题。

图片

一个真正符合伦理安全要求的Agent系统,至少应该回答几个问题:它能做什么,不能做什么;它调用了哪些工具,访问了哪些数据;它什么时候必须请求人类确认;它做错事后如何停止和回滚;它的执行过程能不能被审计;用户是否知道自己正在接受AI服务;服务提供者是否能在异常情况下快速接管。

这些问题背后,是AI应用安全从“内容审核”走向“行为治理”。

内容审核解决的是AI说什么,行为治理解决的是AI做什么。对Agent而言,后者会成为更关键的安全命题。

合规材料要从“模型证明”升级为“应用证明”

这份文件对企业最现实的影响,是会改变AI应用落地时的合规表达方式。

过去企业介绍AI应用安全,常见说法是模型经过安全评测、具备内容过滤能力、支持敏感词拦截、满足隐私保护要求。但在应用伦理安全框架下,这些还不够。

企业需要证明的不只是模型安全,还包括应用目的正当、场景边界清晰、风险评估充分、关键环节可控、用户权利可保障、事故责任可追溯。

比如一个面向政务服务的AI助手,需要说明它是否只提供咨询辅助,是否会影响公共资源分配,用户是否能够质疑和复核结果,是否存在老年人和残障人士使用障碍。

一个面向金融活动的AI系统,需要说明它是否影响个人财产权益、交易机会和交易条件,关键规则是否清晰,结果是否可复核,责任是否可追溯,是否会影响公平竞争和市场秩序。

一个面向知识生产的AI工具,需要说明关键结论是否可验证,引用和署名是否规范,是否尊重知识产权和成果归属边界。

一个面向企业内部办公的Agent,需要说明它能访问哪些数据,能执行哪些动作,权限是否最小化,操作是否留痕,敏感任务是否需要人工确认,用户能否随时停止。

所以,未来企业AI应用的安全合规材料,可能会从“模型安全评估报告”升级为“AI应用伦理安全影响评估报告”。报告里不仅要有模型测试结果,还要有场景说明、用户影响、风险分级、控制措施、应急机制、追溯机制和持续改进机制。

这也给AI安全公司带来了新的产品机会。

输入输出风险检测仍然是基础能力,但它会被纳入更大的AI应用安全治理体系。围绕TC260-005,可以进一步发展出伦理安全影响评估、Agent行为审计、工具调用安全、权限边界管理、人工干预机制、事故追溯、弱势群体可用性评估、AI素养提示、数据使用透明化等产品模块。

AI安全不再只是模型前后的一道护栏,而会逐渐变成AI应用的控制平面。

给中国AI应用落地划出“发展与安全”的中间道路

TC260-005最值得关注的地方,在于它没有简单把AI应用视为风险源,也没有把伦理安全做成空泛口号。

它承认AI对社会、生产、生活的重构性影响,也强调AI能够推动经济、社会、生态发展。但同时,它要求AI应用必须在人的主导下运行,必须尊重生命权利和基本权益,必须关注公平、隐私、透明、可控和普惠,必须防止技术滥用、恶意利用和盲目应用。

这是一条典型的中国式AI治理路径:鼓励发展,但发展要进入秩序;支持创新,但创新不能脱离责任;强调效率,但效率不能压倒人的主体性和公共利益。

从这个意义上看,《人工智能应用伦理安全指引 1.0》不是一份单纯的伦理倡议,而是一份面向AI应用时代的治理框架。它把AI安全的边界,从模型、数据和内容,推向了真实应用中的人、组织、社会和自然。

未来,评价一个AI应用是否成熟,不能只看它能不能完成任务,也要看它是否能够在正确的边界内完成任务。不能只看它是否聪明,也要看它是否可控、透明、公平、可追溯。不能只看它提升了多少效率,也要看它有没有损害人的主体性、公共秩序和基本权益。

AI应用真正进入社会之后,安全问题最终会回到一个更基本的问题:技术能力越强,越需要回答它为谁服务、由谁控制、出了问题由谁负责。

这正是TC260-005试图建立的中国式AI应用伦理框架。


同专题推荐

查看专题