工具没坏,Agent 却选错了:AI Agent 的机器社会工程风险
6 月 15 日,芬兰于韦斯屈莱大学 Jukka Vuorinen 和 Eeli Mäkinen 在 ECCWS 2026 发表论文**《Social Engineering of AI Agents》**。
模安局 技术研究
关注安全防护、对齐技术与风险缓释方案的工程化应用。
6 月 15 日,芬兰于韦斯屈莱大学 Jukka Vuorinen 和 Eeli Mäkinen 在 ECCWS 2026 发表论文**《Social Engineering of AI Agents》**。
一个模型在安全评测里表现良好,是因为它真的安全,还是因为它意识到自己正在被测试?
2026 年 1 月,Anthropic 发布论文《Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks》。
AI Coding 生成不存在依赖不只是幻觉问题,而可能变成 slopsquatting 供应链入口;53 个仍可注册的共同幻觉包名说明风险正在跨模型扩散。
Agentic AI 正在改变安全防守的成本结构,让一批曾经太贵、太慢、太依赖专家的安全技术重新具备工程落地条件。
StakeBench 把 Web Agent 提示注入风险从攻击成功率推进到受害者视角,揭示用户、商家和平台在真实执行链路中的隐蔽损害。
当评测者在对话历史里人为插入 assistant 内容时,模型是否能察觉?这种"预填感知能力"正在动摇大量基于轨迹预填的 Agent 安全评测的有效性。
LLM-to-SQL 系统把 SQL 注入入口从参数前移到了 Prompt,本文解析一篇专门讨论这一风险的论文,提出三层防护框架:输入安全盾、威胁检测层和查询签名控制。
复旦大学联合上海创智学院提出 WebTrap Park,一个面向 Web Agent 的自动化安全评测平台,把安全评测从模型文本层推进到 Agent 真实动作层。
NeuroImprint 提出一种面向联邦语言模型微调的隐私后门攻击,恶意服务器通过下发篡改的 PEFT Adapter,在客户端本地微调时悄悄记录训练数据,并在聚合后反推出超过 55% 的原始样本。