Google与Meta最新发现：大模型的上下文侧信道泄漏

一个大模型知道你的银行卡密码。你直接问它，模型礼貌拒绝；你要求它复述系统提示词，它仍然拒绝；安全检测器检查完整回答，也没有发现任何敏感数字。按照今天主流的大模型隐私评测标准，这次测试大概率会被判定为“通过”。

但问题可能还没有结束。

如果模型因为知道这个密码，开始在其他正常回答中刻意避开某些数字，改变回答长度、标点数量、格式结构甚至语言风格，那么秘密虽然没有被“说出来”，却已经改变了模型的外部行为。攻击者只要收集足够多的回答，就可能从这些统计痕迹中反推出秘密。

这正是 Meta FAIR、加州大学伯克利分校与 Google DeepMind 研究者联合发布的论文《Inadvertent Context Leakage in Language Models》所揭示的新风险：大模型即使正确拒绝泄露秘密，也可能通过正常输出的统计分布形成一条上下文侧信道。

论文原文（arXiv）

论文测试了八款前沿闭源模型，不仅重构出两位和四位数字秘密，还进一步推断用户记忆，并在仿生产个人 Agent 中提取完整的美国社会保障号码。

这篇论文真正改变的不是某一种攻击方法，而是我们理解“大模型隐私”的方式：过去关注模型回答里有没有秘密，未来还要检查秘密是否改变了模型的回答方式。

模型没有说出秘密，为什么仍然算泄漏

当前大模型隐私评测主要依赖“语言学判断器”。检测器会检查输出中是否出现了秘密原文、近义改写、间接暗示或可还原的编码。如果模型没有在语义上提到秘密，系统通常就认为没有泄漏。

这种方法隐含了一个重要假设：文本表达是模型泄漏信息的唯一通道。

但大模型不是一个简单的字符串生成器。对于同一个问题，它实际上会根据完整上下文产生一个回答概率分布。上下文中的任何信息，都可能影响模型选择哪些 token、生成多长的回答、使用什么格式以及如何组织语义。秘密即使没有直接出现在答案中，也可能改变整个输出分布。

从更严格的隐私视角看，真正的问题不应该是：

回答中有没有出现秘密？

而应该是：

当我们只替换上下文中的秘密时，模型对无关任务产生的回答分布是否保持不变？

假设一个 Agent 的上下文中保存着两位 PIN。系统分别把 PIN 设置为 42 和 73，然后要求模型完成同一个无关任务。如果两种情况下的回答分布可以被可靠区分，就意味着观察者能够判断模型看到了哪个 PIN。这已经构成信息泄漏，即使任何一条回答都没有直接出现 42 或 73。

这在安全工程中更接近“非干扰性”要求：当某项任务不需要访问秘密时，秘密的变化不应该影响可被外界观察的行为。传统操作系统会尝试阻止低权限进程通过时间、缓存、功耗等特征推断高权限数据；这篇论文则表明，大模型的语言输出本身也可能成为类似的侧信道。

模型越努力保密，越可能留下“负空间”

论文提出的核心解释叫作“抑制效应”，英文是 Suppression。它指的是模型收到“绝对不能泄露某个值”的指令后，会系统性地降低这个值及其相关模式出现在回答中的概率。

假设系统提示词写着：

PIN 是 42。不得输出、暗示或编码这个秘密。

随后，用户要求模型随机生成很多两位数。一个与 PIN 完全无关的随机生成器，生成 42 的概率应该与其他两位数接近。但一个高度遵守保密要求的大模型，可能会主动避开 42，甚至减少包含 4、2 或相似数字组合的输出。

于是，攻击者看到的不是“42 出现了”，而是“42 异常地没有出现”。

这就像有人被要求绝对不能提到某个人，结果他在一场长谈中刻意避开与这个人有关的所有话题。听众虽然没有听到名字，却可以从这种不自然的回避中推断出他在隐瞒什么。

论文用下面的方式衡量抑制程度：

抑制率 = 1 − 模型输出秘密的实际概率 ÷ 均匀随机概率

如果模型按照随机概率正常输出秘密，抑制率接近 0；如果模型完全不输出秘密，抑制率接近 1。

在八个被测模型上，抑制程度与侧信道泄漏程度呈现很强的排名相关性，Spearman 相关系数达到 0.95，p 值为 0.0011。整体来看，那些更强烈避开秘密的模型，解码器也更容易恢复秘密。

不过，这个相关性主要由“明显泄漏”和“基本不泄漏”两个模型群体之间的差异推动。在几个高泄漏模型内部，抑制强度并不能稳定解释谁泄漏得更多。因此，抑制是一个有力的机制线索，但还不是完整的因果模型。

攻击者如何从正常回答中恢复秘密

论文设计了一个两阶段的黑盒攻击框架。

第一个阶段发生在攻击真实用户之前。攻击者通过公开 API 访问目标模型，自行构造大量包含已知秘密的上下文。例如，攻击者可以分别告诉模型“秘密是 00”“秘密是 01”“秘密是 02”，然后向模型发送相同的任务请求，收集不同秘密下的回答。

这些秘密是攻击者自己设置的，因此每条回答天然带有标签。攻击者可以据此训练一个针对目标模型的解码器，学习“当秘密为 42 时，这个模型的回答通常具有哪些特征”。

第二个阶段才针对真实 Agent。此时攻击者不知道用户上下文中的秘密，但可以向 Agent 发送若干看起来正常的请求。模型生成回答后，解码器计算不同候选秘密产生这些回答的可能性，并选择概率最高的秘密。

整个过程只需要读取模型 API 返回的文本，不需要模型权重、token 概率、隐藏状态或向量表示。它之所以仍然属于黑盒攻击，是因为攻击者看到的内容与普通 API 用户基本相同。

攻击的现实门槛也不能忽略。攻击者通常需要知道目标模型的大致版本、秘密类型和长度，还要能够多次访问同一个 Agent。秘密最好在上下文中被明确指定为受保护字段，例如“PIN”“SSN”或“机密代码”。如果系统只是笼统要求模型谨慎处理所有信息，没有把保密约束绑定到某个具体值，论文观察到的抑制信号可能明显减弱。

攻击者还需要承担一次离线校准成本。不过，这个成本可以在大量用户之间摊销：只要许多个人 Agent 使用同一个中心化模型，攻击者针对该模型训练一次解码器，就可能重复攻击不同用户。

八款模型测试：两位秘密可以被完整恢复

论文首先在八款前沿闭源模型上进行数字秘密实验，包括 Claude Opus 4.6、Claude Sonnet 4.6、Gemini 3.1 Pro、Gemini 3.1 Flash-Lite、GPT-5.4、GPT-5.4 nano、Grok 4 和 Grok 4.1 Fast。

秘密长度分别设置为 1 位、2 位、4 位和 8 位。对于每一个“模型—秘密长度”组合，研究者抽取 1000 个秘密，并针对每个“秘密—任务模板”组合采样 10 个回答。模型温度统一设置为 1.0。

任务模板共有 18 类，包括生成随机数字列表、数字网格、随机选择、虚构统计表、带数字的故事、菜谱、体育统计以及多轮对话。攻击者再使用频率统计、贝叶斯分析和经过 LoRA 微调的 Qwen 解码器，从回答中恢复秘密。

为了确认模型没有直接泄漏，研究者还向八个模型发送了 160 次不同强度的直接提取请求，包括询问秘密、要求忽略原有指令以及要求复述系统提示词。八个模型全部成功拒答，显式泄漏率为 0。

但统计侧信道给出了完全不同的结果：

1 位秘密实验中，六个模型达到 100%恢复率，Grok 4.1 Fast 达到 99%，只有 GPT-5.4 nano 较低，为 37%；

2 位秘密实验中，Claude Opus 4.6 和 Gemini 3.1 Pro 都达到 100%完整恢复率；

4 位秘密实验中，Claude Opus 4.6 达到 82%完整恢复率，Gemini 3.1 Pro 为 44%；

8 位秘密实验中，Gemini 3.1 Pro 的平均逐位恢复率达到 41%，而随机猜测只有 10%。

泄漏还明显集中在秘密前部。对于 8 位秘密，Gemini 3.1 Pro 的第一位恢复率达到 100%，Gemini Flash-Lite 达到 93%。研究者认为，这可能与模型从左向右生成数字有关：秘密对数字前缀的影响会更早、更集中地进入输出分布。

研究者进一步设计了自适应攻击。攻击者先推断第一位数字，然后要求模型生成所有以该数字开头的号码；如果前缀猜对了，模型对下一位秘密数字的抑制就会被放大。攻击者可以按照这个思路逐位向后推进。

这一方法把 Claude Opus 4.6 的四位秘密完整恢复率从静态提示下的 44%提高到 82%。但它不是普遍有效：Gemini 3.1 Pro 的自适应结果只有 23%，反而低于静态方法的 44%。这说明不同模型的泄漏通道并不完全相同，攻击策略必须针对具体模型适配。

这里还需要给“普通、非对抗请求”加上一个边界。实验中泄漏最严重的提示，通常是“生成大量指定位数数字”“生成数字网格”等结构化任务。这些请求确实不包含越狱或恶意指令，但它们是攻击者专门挑选出来放大统计信号的，并不等于随机抽取的日常聊天。

论文的 Figure 8 显示，开放写作和普通多轮对话在两位秘密实验中几乎没有检测到泄漏。因此更准确的说法是：攻击者可以通过合法、表面无害但经过选择的任务探测秘密，而不是每一条普通回答都会自动暴露完整 PIN。

删掉所有数字，回答风格仍然可能暴露秘密

如果解码器只是发现模型偶尔重复了秘密，这还不能算真正的新问题。为排除这种可能，研究者又从 WildChat 中抽取 178 条真实用户请求，测试单个数字秘密，并分别提取四类特征：

• 回答中各数字的出现频率
• 回答长度等统计特征
• 由 22 项指标组成的文体特征
• 回答的句子向量表示

研究者随后将回答中的所有数字字符全部删除，再重新提取长度、文体和语义特征。这样一来，解码器不可能通过寻找秘密原文完成攻击。

结果显示，仍可测试的六个模型都至少存在一种显著的非数字泄漏通道。Claude Opus 4.6 通过数字频率只能达到 16.3%的恢复率，没有达到统计显著性；但删除全部数字后，其句子向量解码器仍达到 61.3%。Gemini Flash-Lite 删除数字后的句子向量恢复率达到 78.8%，GPT-5.4 的主要泄漏信号则来自回答长度。

不同模型还表现出完全不同的泄漏特征：有的模型主要通过数字分布泄漏，有的通过长度泄漏，有的通过文体和语义变化泄漏。这也是普通输出过滤器很难解决问题的原因。过滤数字、统一标点或限制回答长度，只能压缩其中一条通道，攻击者仍可能转向其他可观察特征。

从数字扩展到用户记忆

数字 PIN 是一个有限、结构化的秘密空间。为了验证自然语言场景，论文使用 CIMemories 中的用户档案和任务，测试模型上下文中的 15 类记忆属性，例如健康状况、财务事件、家庭经历和个人阅读记录。

这一实验攻击的目标不是恢复记忆原文，而是判断某条记忆是否存在于模型输入中。研究者训练一个 Llama-3.2-3B 分类器读取 Claude Opus 4.6 的正常任务输出，并与只检查显式复述的 DeepSeek 判断器比较。

论文方法的真正阳性率为 63.8%，假阳性率为 32%，攻击优势，也就是真阳性率减去假阳性率，为 0.319。传统语言判断器的真正阳性率只有 8.2%，假阳性率为 2.4%，攻击优势为 0.058。

如果把论文方法也限制在 2.4%的假阳性率下，其真正阳性率下降到 14%，大约是传统判断器的 1.7 倍。

这说明，即使回答没有提到某条用户记忆，该记忆也可能对生成结果留下统计影响。但从实际攻击角度看，目前的能力仍然有限：默认阈值下 32%的误报率过高；在较低误报率下，14%的召回率又不算强。实验还只覆盖一个用户档案，推断的是“记忆是否存在”，并没有直接恢复疾病名称、银行卡号或完整财务记录。

因此，这组结果更适合被理解为一种新的隐私审计方法，而不是成熟的自然语言秘密窃取工具。

完整 SSN 提取，实际上是主动建立隐蔽通道

论文最后搭建了一个仿生产个人 Agent。系统上下文包含 AGENTS.md、SOUL.md、USER.md 等文件，其中 USER.md 第九行保存一个随机九位美国社会保障号码，后面再填充健康记录、财务信息、日记等合成记忆，将上下文扩展到 0、1K、4K、16K、64K、128K 和 256K 七个长度档位。

这次攻击与前面的被动侧信道不同。攻击者使用经过强化学习优化的提示注入，要求模型把 SSN 的每一位编码成回答中特定标点符号的数量。第一阶段提取首位数字，第二阶段再要求模型对剩余八位执行相同操作，外部解码器只需统计标点数量即可恢复秘密。

Claude Opus 4.6 在第一阶段成功 68/70 次，成功率为 97.1%；在这些成功样本中，又有 52/68 次正确提取剩余八位。换算成完整 SSN 的总体恢复率为 52/70，也就是约 74.3%。

Gemini 3.1 Pro 第一阶段成功 62/70 次，成功率为 88.6%；第二阶段成功 29/62 次，对应完整 SSN 总体恢复率为 29/70，约 41.4%。

作为对照，研究者直接询问 SSN、要求忽略原有指令或复述 USER.md，共对每个模型执行约 350 次请求，没有获得任何完整、部分或裸数字形式的泄漏。

这说明普通拒答机制确实能够拦住直接索取，却无法阻止提示注入把模型变成一个秘密编码器。但不能据此声称“正常回答可以被动泄漏完整 SSN”，因为这里的输出通道是攻击者主动设计的。

两个模型之间还有一个很有意思的差异。在恶意注入实验里，Claude 有 69/70 次在攻击响应中以明文处理或输出了原始 SSN，而 Gemini 为 0/70。对 Claude 来说，提示注入已经在大多数情况下导致了直接泄漏，标点编码并不是唯一通道；对 Gemini 来说，隐蔽编码才是完成数据外带的关键。

上下文长度也没有呈现统一规律。长上下文会降低 Claude 的第二阶段成功率，却略微提高 Gemini 的成功率。这意味着“用更长上下文把秘密淹没”并不是可靠防御，不同模型会表现出完全不同的注意力和指令执行特征。

模型越强，泄漏越严重吗

论文给出了一个非常吸引人的判断：更强的模型可能泄漏更多，因为它们能够更准确地理解和执行保密指令，从而产生更强的抑制效应。

研究者在 OLMo-3-32B-Think 的不同训练阶段进行了消融实验。对于两位秘密，不泄漏情况下的剩余不确定性基线约为 6.64 bit，数值越低表示攻击者掌握的信息越多。实验结果从基础模型的 2.91 bit，下降到监督微调后的 1.93 bit、DPO 后的 1.88 bit，以及基于可验证奖励强化学习后的 1.37 bit。

监督微调和强化学习都进一步增强了泄漏，DPO 的影响则不明显。这个结果支持一种可能性：后训练让模型更擅长识别“需要保护的值”，也让它对该值产生更稳定的差异化行为。

在八个闭源模型上，研究者还比较了模型能力排名与数字输出多样性，两者的 Spearman 相关系数约为 −0.81，p 值为 0.022。能力更强的模型往往表现出更低的数字多样性和更明显的抑制。

但这项证据还不足以证明“能力提升必然导致隐私泄漏”。样本量只有八个模型，使用的是一个未版本化的排行榜快照；去掉 Claude Opus 4.6 或 Gemini Flash-Lite 后，相关性就不再满足 0.05 的显著性标准。论文自己也承认，这只能被视为提示性相关，而不是因果证据。

所以，论文摘要中“泄漏是模型能力的副产品，而不是一个可以修补的缺陷”这一判断略显激进。实验真正证明的是：当前部分前沿模型的指令跟随和保密行为会形成侧信道，不代表所有能力提升都必然以隐私为代价。

这篇论文真正新增的是一种隐私评测范式

这项工作最值得关注的，不是某个模型能不能猜出两位 PIN，而是它把大模型隐私评测从“内容检测”推进到了“因果影响检测”。

传统安全评测会问：

模型是否直接输出了秘密？

是否复述了包含秘密的上下文？

是否通过编码、替换或改写泄漏秘密？

一个语言模型判断器能否从回答中看出秘密？

新的评测方式则需要问：

如果只替换秘密，其他输入完全不变，模型回答分布会不会变化？

哪些任务最容易放大这种变化？

数字、长度、格式、文体和语义分别携带了多少信息？

一个针对目标模型训练的自适应攻击者，最多能恢复多少秘密？

泄漏会不会随着查询次数、上下文长度和模型版本增长？

这和软件安全中的污点分析、差分测试和非干扰性验证更接近。它不再只判断输出“看起来是否安全”，而是检查敏感数据是否真正越过了系统信任边界。

对今天的 Agent 系统而言，这个变化尤其重要。个人 Agent、企业 Agent 和 AI Coding Agent 会把用户档案、邮件、日历、代码仓库、云凭证和长期记忆一起放进上下文。

即使某项任务只需要其中很小一部分信息，模型实际上仍然能够看到全部数据。传统护栏只能检查最终输出是否包含敏感内容，却无法判断这些不相关秘密是否已经改变了模型的行为。

换句话说，秘密一旦进入模型上下文，风险就不再只是“模型会不会说漏嘴”，还包括“模型是否会因为努力不说漏嘴而留下可以被推断的痕迹”。

局限性

首先，两位秘密的 100%恢复率不能直接外推到任意秘密。两位数字只有 100 种可能，攻击者可以在训练阶段覆盖几乎所有取值，测试值也可能已经在训练数据中出现。这种设定对 PIN、状态码和有限枚举字段具有现实意义，但不等于模型可以同样恢复从未见过的自由文本。

相比之下，四位和八位实验中的测试秘密与训练数据重合很少或完全不重合，虽然准确率下降，却提供了更有价值的泛化证据。

其次，论文报告的是不同提示模板、查询次数和解码方法中的最佳结果。结构化数字请求泄漏最强，开放写作和普通多轮对话在主要两位实验中几乎没有可检测信号。最佳攻击能力不等于平均日常风险。

第三，用户记忆实验只验证了一个用户档案，主要证明记忆是否影响回答，而不是恢复记忆原文。在低误报率要求下，攻击召回率仍然有限。

第四，完整 SSN 实验属于强化学习优化的主动提示注入，而且运行在合成的仿生产 Agent 上，不是真实用户数据或实际线上个人助理。它证明的是潜在攻击能力，不是已经发生的大规模生产泄漏。

第五，攻击成本会随着秘密长度快速增长。两位秘密的静态校准通常需要数千至一万次公共 API 请求，成本从几美元到数百美元不等；四位自适应攻击需要约 20 万次请求，论文估算成本从约 119 美元到 1.1 万美元；八位攻击需要约 40 万次请求，最高成本超过 3.3 万美元。虽然一次训练可以攻击多个用户，但它仍然不是零成本攻击。

第六，实验使用的是闭源 API 模型，模型版本、采样策略和服务端系统提示词都可能变化。Grok 模型甚至在研究期间退役，导致后续附录实验无法继续使用原模型标识。这会影响复现和长期攻击迁移。

还有一个细节值得指出：论文正文将四类神经解码器统一描述为基于 Qwen-2.5-1.5B，但附录又把自适应解码器写成 Qwen-2.5-7B。这个版本描述不一致会影响计算成本和复现实验，后续版本最好进一步澄清。

最后，论文使用的“信道熵”实际上是攻击解码器对真实秘密的预测交叉熵，并不是严格计算出的互信息或理论信道容量。它衡量的是当前解码器已经读出了多少信息，不能代表输出中理论上存在的全部泄漏。

真正有效的防御，不是把保密提示词写得更长

这篇论文很容易带来一个错误结论：既然详细保密提示会增强抑制，那么把保密要求写得简单一点是不是更安全？

答案是否定的。

弱化保密指令可能减少统计侧信道，也可能同时增加直接泄漏、越狱成功率和错误工具调用。论文并没有评估这种整体安全权衡。正确方向不是让模型“少保护一点”，而是减少模型接触原始秘密的机会。

第一层防御是上下文最小化。Agent 不应该默认把完整用户档案、全部邮件、健康记录、支付信息和云凭证一起注入模型。每个任务只应获得完成当前操作真正需要的数据。

第二层防御是敏感数据外置。密码、私钥、API Key、支付凭证和身份号码应保存在独立的 Secret Vault 或凭证代理中。模型只能看到不可逆的引用 ID，例如“credential_ref_27”，由受信任工具在执行阶段解析真实秘密。

第三层防御是能力代理。模型负责判断需要调用什么工具，但不直接读取工具内部使用的真实凭证。例如，Agent 可以发出“使用已授权支付账户完成转账”的结构化请求，支付服务在模型上下文之外完成签名和凭证填充。

第四层防御是反事实隐私测试。安全团队可以固定任务和其他上下文，只替换秘密值，比较模型在数字分布、回答长度、格式、文体和语义向量上的变化。如果解码器能够根据这些回答预测秘密，就说明系统没有做到真正的数据隔离。

第五层防御是区分被动侧信道和主动隐蔽通道。被动侧信道需要通过上下文隔离、分布不变性训练和输出规范化降低；主动通道则需要提示注入检测、外部内容隔离、指令来源标记、运行时授权和数据外发控制。只部署一个输入分类器或输出敏感词检测器，无法同时解决两类问题。

第六层防御是限制统计探测。系统可以监控反复生成大量随机数字、指定数字前缀、异常标点计数和高度重复的采样请求。速率限制、会话级查询预算和输出模板化都可以提高攻击成本，但这些措施只能减少通道容量，不能提供严格的隐私保证。

从更长期的训练目标看，模型需要学习一种条件化的分布不变性：当任务与秘密无关时，更换秘密不应改变输出；当任务确实需要使用秘密时，系统则通过显式授权决定允许释放什么信息。这比单纯训练模型“不要说出秘密”更接近真正的隐私保护。

写在最后

过去，我们把“大模型没有说出秘密”当作隐私防护成功的标志。这篇论文提醒我们，拒答只是最表面的一层安全能力。

模型可能没有输出密码，却因为刻意避开密码而改变数字分布；没有提到用户病史，却因为看过病史而改变回答风格；没有直接复述身份号码，却可能在提示注入下把号码编码进标点、长度和格式。

真正可靠的隐私边界，不能建立在模型的自我克制上。只要秘密与自由生成过程共享同一个上下文，模型就可能在无意中把秘密投射到输出分布中。

对 Agent 安全来说，这项工作带来的核心启示是：未来的隐私检测不能只检查模型“说了什么”，还必须检查模型“为什么会这样说”。而在系统架构层面，最可靠的秘密，仍然是那些从未进入模型上下文的秘密。