SafeReview：AI 论文评审系统的攻防共演训练框架

https://arxiv.org/pdf/2604.26506

静态防御不够，因为攻击会进化

作者认为，隐藏提示注入的问题不能只靠固定规则、固定检测器或固定系统提示解决。原因是攻击文本会不断变化：

• 它可以直接命令模型，也可以写得像论文里的正常论述；

• 可以放在摘要后，也可以放在方法、实验或结论里；

• 可以强烈要求加分，也可以更隐蔽地引导审稿模型“关注贡献”“弱化局限”。

论文明确指出，长篇学术文档本身给检测带来了困难，因为恶意提示可能只是很长文本中的局部片段。

所以 SafeReview 的基本思想是：不要只训练一个“见过旧攻击”的防御器，而是训练一个会不断生成新攻击的攻击模型，再用这些新攻击反过来训练防御模型。换句话说，这是一种攻防共演训练。

SafeReview 的方法：攻防共演

SafeReview 框架里有两个核心角色：

• 第一个是Generator / Attacker，论文中主要使用 Qwen3-4B-Instruct，让它生成针对审稿系统的注入文本。

• 第二个是Defender / Reviewer，论文中使用 DeepReviewer-14B，让它在被注入文本干扰的情况下仍然保持正常评审能力。

攻击模型通过GRPO强化学习优化，防御模型通过DPO偏好优化增强。

它的训练流程可以理解为四步。

• 第一步，拿一篇正常论文，让攻击模型生成一段注入文本。

• 第二步，把这段文本插入到论文的某个位置，比如摘要后、方法前、结论前或结论后。

• 第三步，让当前的审稿模型分别评审干净论文和被攻击论文，比较分数是否被操纵。

• 第四步，用这个差异训练攻击模型，同时把“干净评审结果优于被操纵评审结果”构造成偏好数据，再训练防御模型。论文中的算法 1 就是这个迭代过程。

这里最关键的是攻击奖励函数，攻击者不只是追求“让某一篇论文分数变高”，还追求破坏整体排序。论文用 Spearman 相关系数衡量模型评分与真实评分之间的排序一致性，攻击者希望降低这种一致性，同时提高被攻击论文的评分。

这点很重要，因为论文录用本质上是一个排序问题。很多会议不是简单判断一篇论文“绝对好不好”，而是在有限名额下选择排名靠前的论文。如果攻击能让低质量论文在排序中上升，就可能挤掉本该录用的论文。

实验设置

论文的训练数据来自 NeurIPS 2024 的 500 篇论文，接受和拒稿比例为 1:1，并且移除了作者、机构、致谢、代码链接等身份信息。

评测则放在 DeepReview-13k 测试集上，也就是说训练和测试来自不同分布，作者试图避免只记住某个会议的写作风格。

模型配置上，攻击器主要是 Qwen3-4B-Instruct，防御器是 DeepReviewer-14B；为了测试跨架构泛化，作者还用了 Llama-3.2-3B-Instruct 作为另一种攻击模型。

训练资源是 8 张 80G H100，GRPO 和 DPO batch size 都设为 8。

这说明 SafeReview 不是一个轻量级规则方案，而是偏训练型、平台型的防御框架。

它更适合有自有模型、可微调模型、有评测数据和红队训练流水线的组织。

实验结果

论文先验证了一个基础事实：多个 LLM 审稿系统都会被隐藏提示影响。

在 100 篇随机抽样的 ICLR 2025 论文上，作者嵌入了诱导审稿模型忽略缺点、提高评分的句子。结果显示，平均评分从 5.72 上升到 7.33，平均上涨 1.61 分；贡献分从 3.07 上升到 3.74，平均上涨 0.67 分。Gemini-2.0-Flash-Thinking 的评分膨胀尤其明显，上升了 4.26 分。

DeepReviewer-14B 在这些模型里原本相对稳健，普通攻击下评分只上涨 0.31 分、贡献分上涨 0.13 分，所以论文选择它作为主要防御对象。这个选择有一定合理性：如果能在本来就相对稳健的模型上继续提升，说明方法不是只在弱模型上有效。

在主实验里，SafeReview 在 GRPO 优化攻击下取得了更好的排序保持能力。

表 2 中，SafeReview 的 Spearman 达到 0.409，而静态 DPO 是 0.343，DeepReview 原始模型是 0.354；也就是说，SafeReview 在强攻击下更能保持论文质量排序。

论文同时报告 SafeReview 的 FPR 约为 38% 到 39% 左右，低于静态防御和原始模型，不过这里表 2、正文和表 3 的 FPR 数字存在轻微不一致，表 2 写的是 39.1%，正文和表 3 写的是 38.2%。

这个结果的意义是：SafeReview 并没有把问题完全解决，但它比静态 DPO 更抗自适应攻击。换句话说，它证明了“攻防共演”比“一次性拿攻击样本训练一下”更有效。

和其他防御相比

论文把 SafeReview 和几类防御做了比较，包括在系统提示里加入反注入指令的 System Defense、基于检测器的 PromptGuard，以及 SecAlign 这类偏好优化方法。

结果显示，System Defense 的 FPR 仍然高达 43.6%，说明简单告诉模型“不要被注入文本影响”并不足以应对复杂攻击。PromptGuard 在这个场景下更极端，FNR 达到 100%，也就是把所有论文都挡掉了；作者认为原因是长篇学术文档里，攻击片段只占很小比例，轻量检测器很难处理这种长上下文任务。

这个对产品设计很有启发。

很多安全方案喜欢在模型外面加一个“提示词注入检测器”，但长文档、长网页、长邮件场景下，检测器很容易出现两种问题：要么漏掉局部注入，要么过度拦截正常内容。

SafeReview 的价值在于，它不是把防御完全寄托在外置检测器上，而是直接训练评审模型在被污染输入中保持任务目标。

跨模型泛化

论文还用了 Llama-3.2-3B-Instruct 生成攻击，测试 SafeReview 是否只是在记住 Qwen 攻击器的风格。

结果显示，SafeReview 在 Llama 攻击下仍然取得最高 Spearman，约为 0.392，FPR 为 37.0%，优于 DeepReview 和 SecAlign。作者据此认为，SafeReview 学到的不是某个生成器的表面特征，而是更一般的 adversarial prompt 特征。

不过这个结论需要谨慎。

Qwen 和 Llama 都是开源指令模型，攻击类型也主要是 instruction-style prompt injection。它确实证明了一定程度的跨架构泛化，但还不能说明能防住更隐蔽的语义操纵、多模态隐藏文本、LaTeX/HTML 隐形文本、引用区投毒或图表中的指令注入。

训练动态

论文进一步分析了 DPO 训练步数的影响。

随着训练从 step 10 到 step 40，接受率从 64% 下降到 31%，Spearman 从 0.352 提升到 0.409 后又略降到 0.391，准确率则从 0.59 提升到 0.63。

作者认为 step 30 附近效果较好，因为此时 Spearman 最高；step 40 虽然接受率更低，但排序质量开始下降。

这说明安全训练不是越多越好。训练太少，模型仍然容易被攻击；训练太多，模型可能变得过度保守，影响正常评审排序。

这和内容安全护栏里的“安全性—可用性”权衡非常像：拒答率太低会放过风险，拒答率太高会损害正常用户体验。

公平性分析

一个很现实的问题是，很多优秀论文的写法本来就比较自信。如果防御模型学会了“看到强烈正面表述就降分”，那会误伤正常论文。

论文专门做了分析，发现 SafeReview 在 benign 输入上的 Spearman 基本保持不变，从 0.366 到 0.365；F1 从 0.526 提升到 0.576，主要由召回率提升带来。

在被攻击论文里，SafeReview 对 accepted papers 的 Spearman 从 0.013 提升到 0.154，对 rejected papers 从 0.346 提升到 0.387。

作者据此认为，SafeReview 没有简单惩罚“自信写作”，而是在一定程度上区分了正常学术表达和对抗性诱导。

这个分析方向是对的，但结果仍然不能说非常强。accepted papers 的 Spearman 从 0.013 到 0.154，虽然相对提升很大，但绝对值仍然不高。这说明模型在攻击环境下恢复了一部分排序能力，但离可靠自动审稿还有距离。

启发

我觉得这篇论文最值得关注的地方，不是它做出了一个可以直接上线的 AI 审稿系统，而是提出了一个更普遍的安全范式：

凡是 LLM 要对输入材料做评价，输入材料就不能被当成单纯数据，它同时可能是攻击面。

这对 AI 安全产品很重要。

过去很多安全产品把 Prompt Injection 当成 Agent 调用工具时的问题，但这篇论文说明，只要模型承担“裁判”角色，攻击也会出现。审稿模型是裁判，风控模型也是裁判，内容审核模型也是裁判，招聘筛选模型也是裁判，代码审查模型也是裁判。只要被评估对象可以夹带自然语言，就可能夹带影响裁判的指令。

SafeReview 给出的产品化启发有三点。

**第一，评估类系统不能只靠系统提示词。**系统提示词可以作为基础约束，但它挡不住自适应攻击。论文里的 System Defense 已经说明，单纯在系统提示里加反注入说明，面对强攻击时仍然 FPR 很高。

第二，安全评测应该引入动态攻击生成器。静态测试集只能覆盖已知攻击，攻防共演可以不断生成新样本，逼迫防御模型学习更稳定的判别边界。这和大模型安全红队、越狱样本自动生成、Agent 攻击模拟，本质上是一套思路。

**第三，指标不能只看“是否检测到注入”。**在审稿场景里，最关键的是排序是否被破坏、低质量材料是否被错误放行、高质量材料是否被误伤。论文使用 Spearman、FPR、FNR、Accuracy 等指标，比单纯检测准确率更贴近真实业务目标。

局限性

作者自己也承认，SafeReview 目前主要验证在计算机科学论文场景，攻击类型也集中在 instruction-style prompt injection。它还没有覆盖多模态投稿、不同审稿模型之间的攻击迁移、专有 API 模型无法微调时的防御方案，也没有充分验证更隐蔽的非指令式语义扰动。

从工程角度看，还有一个很大的问题：SafeReview 依赖对 Defender 模型做 DPO 微调。如果真实系统使用 GPT、Claude、Gemini 这类闭源 API 审稿模型，就很难直接复现这套训练闭环。论文也提到，对于 proprietary API-based reviewers，未来可能要探索 prompt-based defense 或 output filtering，但这类方案大概率达不到端到端训练的效果。

另外，SafeReview 的绝对防御效果还没有到“放心上线”的程度。强攻击下 FPR 仍在 38% 到 39% 左右，说明仍有大量本该拒绝的论文可能被错误接受。它更像是一个重要方向验证，而不是生产级解决方案。

写在最后

这篇论文的意义在于，它把 AI 审稿系统里的隐藏提示注入问题明确建模成一个攻击者和防御者持续共演的安全问题。

它提醒我们，未来所有“AI 评审、AI 审核、AI 打分、AI 排序”系统，都需要把被评估内容当成不可信输入来处理；真正可靠的防御也不能只停留在提示词和外置检测器，而要进入训练、评测、红队和业务指标联动的闭环。