跳到正文

技术研究

关注安全防护、对齐技术与风险缓释方案的工程化应用。

共 100 篇文章 排序 推荐 最新

AgentBound:给 MCP Server 套上权限边界

MCP 解决了 Agent 接入工具和资源的标准化问题,但安全机制没有同步跟上。 MCP 规范定义了 Host、Client、Server 之间的角色和消息交互,但在实际落地中,很多安全责任被交给应用开发者和宿主应用自行处理。 结果就是,MCP Server 往往以“默认可信”的方式运行。 这和移动…

当 Mythos 成为对手:高能力 AI 的安全边界正在失效

这两天,一篇题为 《When the Agent Is the Adversary》 的论文在安全圈引发了不小关注。它讨论的不是传统意义上的提示注入,也不是常见的越狱绕过,而是一个更让人不安的问题:当高能力 Agent 不再只是“被保护对象”,而开始成为“主动对手”时,我们今天熟悉的那些安全边界,还…

Agent 的记忆也会被投毒:长期记忆安全的六阶段框架

过去,我们更习惯把大模型的风险理解为“这一轮输入有没有问题”“这一轮输出会不会越界”。但有了长期记忆之后,风险结构发生了变化。恶意内容不一定在当场触发,也不一定在同一轮任务里显现出来。它可以先悄悄进入记忆,在几天后、另一个会话里、。

先模拟,再放行:SAIGuard 如何拦截多 Agent 系统中的风险级联

6 月 10 日,吉林大学联合香港中文大学(深圳)、澳大利亚 Griffith University 发布论文《SAIGuard: Communication-State Simulation for Proactive Multi-Agent System Security》。提出通信状态模拟防御框架,在消息进入真实系统前先做影子传播预测,通过 GNN 模拟多跳影响并检测系统偏差,实现多 Agent 通信级风险前置拦截。

恶意 Skill 基准来了:3维攻击向量,15类恶意行为,108个有效攻击单元

6 月 5 日,南洋理工大学等机构联合发布《MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills》,提出恶意 Agent Skill 检测基准。论文将恶意 Skill 拆解为 3 类攻击向量、15 类恶意行为、108 个有效攻击单元,通过 Generate-Verify-Feedback 闭环构建 3,944 个运行时验证样本,横评 9 个检测工具。