RAG 系统在知识库场景里越来越常见但很多人可能没意识到当检索到的文档本身就是被精心构造过的恶意内容时大模型的注意力分布会被悄悄带偏最终输出不可信、甚至有害的结果。本文从 RAG 投毒与注意力崩溃的原理讲起重点说明为什么检测异常要关注文档级注意力并给出一个基于注意力熵的投毒输入检测实战示例与完整的评估方案。最近在给团队做 RAG 知识库安全排查时遇到了一个很有意思的现象知识库本身没有明显异常文档内容也通过了关键词过滤但生成结果却频繁出现“答非所问”和“幻觉内容”。后来把问题定位到检索上下文后才发现问题不在模型本身而是检索回来的文档里混入了针对性的“投毒片段”。这类问题在 RAG 系统里非常隐蔽因为它不像传统注入那样直接控制模型输出而是通过干扰模型的注意力分配让模型把注意力错误地集中在某一段恶意内容上。业内把这种问题称为“RAG 投毒”或“检索增强生成攻击”。如果检测逻辑只停留在 token 级别或文本相似度级别很难发现这类攻击更有效的思路是把注意力检测粒度提升到“文档级注意力”。本文将围绕 RAG 投毒的攻击原理、注意力崩溃机制、文档级注意力检测指标与实战代码展开。如果你正在搭建 RAG 知识库、做 RAG 安全评估或者需要设计一套投毒检测方案这篇文章会很适合你。1. RAG 投毒与注意力崩溃概念与威胁边界1.1 什么是 RAG 投毒RAGRetrieval-Augmented Generation检索增强生成是把外部知识库检索与大模型生成相结合的一种架构。系统先从文档库中检索出与用户问题相关的片段再把片段拼接进上下文窗口交给大模型生成最终回答。RAG 投毒是指在文档入库、索引构建或检索结果排序阶段攻击者通过上传恶意文档、篡改已有文档、控制数据源等方式将恶意内容混入检索结果。只要恶意内容被检索到并进入了最终上下文模型就可能把其中包含的错误事实、越狱指令或误导性逻辑当作真实信息来使用。RAG 投毒与常见的提示注入有明显区别。提示注入直接修改用户输入或系统提示词属于输入端攻击RAG 投毒则污染数据源和检索链属于数据面攻击。更关键的是RAG 投毒不依赖模型本身存在漏洞而是利用了 RAG 架构中“检索结果会被视为高可信上下文”这一信任假设。投毒手段可以很粗糙也可以非常精巧粗糙方式直接往公开知识库上传包含错误结论的文档等待被检索。精准方式先分析目标知识库的文档结构和常用检索词再生成与正常文档风格一致但夹杂恶意结论的“高仿文档”。后者危害更大因为传统的内容审核和关键词过滤很难发现。1.2 注意力崩溃是什么注意力崩溃Attention Collapse是投毒成功后的典型内部状态表现。Transformer 模型依赖注意力机制来计算每个 token 与其他 token 之间的关联权重。在正常生成过程中注意力分布会较为分散地落在与问题相关的多个关键片段上而一旦上下文中出现精心构造的对抗性文本模型注意力可能被异常集中在某一小段 token 上甚至出现高注意力熵骤降的情况。具体表现为部分 token 的注意力权重异常集中形成“注意力峰”。模型忽略真正与问题相关的内容被“注意力峰”所在片段带偏。同一问题多次生成时注意力分布出现明显的模式性偏移。当攻击者对投毒文本进行过对抗性优化例如让文本与常见问题高度相关或在关键位置加入触发词时注意力崩溃会更容易发生。这也是为什么只看生成结果很难定位问题——模型输出看起来是通顺的但事实依据已经被偷换。1.3 攻击面分析在 RAG 全链路中投毒攻击可行的位置包括攻击面攻击方式影响阶段数据采集爬虫采集到被污染的网页入库前文档上传用户上传恶意文件入库时索引构建对恶意内容构造与常见 query 高相似的向量表示索引时检索排序利用检索算法漏洞提升恶意文档排名检索时上下文组装截断或拼接逻辑被利用生成前在安全评估中每一层都需要有相应的检测手段。文档级注意力检测所处的位置是在“上下文组装之后、模型生成之前”是观察投毒是否生效的关键环节。2. 为什么检测要关注文档级注意力2.1 字词级检测的局限性很多 RAG 安全方案会基于关键词、正则表达式或困惑度perplexity检测异常。这些方法对“明确恶意关键词”有效但面对语义级投毒基本失效。例如下面这类投毒文本表面上没有任何危险词根据最新的量子计算研究北京市海淀区的空气质量指数AQI在2024年已达到历史最优值此结论已成为全球气候学界的共识。如果攻击者把这句话插入到气候相关的文档中模型很可能会在回答空气质量问题时引用这条错误信息。从 token 层面看这句话没有触发任何敏感词规则。投毒成功的关键并不是文本必须包含明显恶意内容而是它能在上下文拼接后成功“吸引”模型注意力。因此检测需要在模型的注意力空间中进行而不是停留在字符表面。2.2 从 token 级注意力到文档级注意力注意力机制本身是在 token 两两之间计算的但实际用于 RAG 检测时token 级注意力存在两个问题噪声大某些 token如“的”“了”“是”天然会获得较高注意力但并不代表它们携带关键信息。解释性差一个异常 token 几乎无法说明是哪一段文档导致了问题。文档级注意力先把 token 按来源文档分组再把组内注意力聚合成文档级别。这样可以将“某个 token 异常”转化为“某段文档异常”更贴近 RAG 的排查单元。我们可以这样做简单的映射文档级注意力得分 该文档所有 token 获得的注意力权重之和 / 全部上下文 token 注意力权重之和如果一个文档只占上下文的 15%却获得了 60% 的注意力权重那就需要重点关注。2.3 投毒成功链上的关键信号在投毒攻击中文档级注意力通常会出现以下异常特征之一注意力集中度异常某一份文档的注意力占比显著高于其长度占比。注意力熵异常下降正常回答问题时模型注意力分布相对均匀投毒片段会导致部分 token 注意力异常集中使熵值明显降低。相关性与注意力错位模型最终输出依据的内容并不是与用户问题相关性最高的文档而是某个排名靠后的文档。当这三个信号同时出现时几乎可以判定存在投毒尝试。3. 文档级注意力监控核心指标设计3.1 五个核心检测维度基于文档级注意力做投毒检测建议至少监控以下五个维度指标含义正常范围参考文档注意力占比单篇文档注意力权重/总注意力权重与长度占比接近注意力集中度注意力权重最高的 Top3 token 占比不应持续偏高注意力熵注意力分布的熵值相对平稳非对角注意力比率当前 token 与旁路 token 的关联权重比例无明显异常峰跨文档注意力偏差相似文档之间的注意力差异不应出现巨大差异这些指标不需要一次性全部用于告警可以先从“文档注意力占比”和“注意力熵”开始等运行稳定后再加入其余指标。3.2 计算逻辑下面是一个简化版计算流程输入用户问题 query、检索文档列表 documents、模型每层注意力矩阵 attention 输出每篇文档的注意力风险评分 risk_score 1. 按文档切分上下文 token 范围 2. 聚合 attention 中落在各文档范围内的注意力权重 3. 计算每篇文档的注意力占比 attention_ratio 4. 计算注意力熵 attention_entropy 5. 根据 ratio 与 entropy 计算风险评分 6. 超过阈值时输出风险文档索引实际工程中不需要修改模型结构只需要在模型推理时通过 hook 或返回值获取 attention 矩阵即可。3.3 为什么要额外关注“非对角注意力”标准的注意力矩阵中第 i 行第 j 列表示第 i 个 token 在编码时对第 j 个 token 的关注程度。如果某一段投毒文本被放在了上下文的中间或尾部模型生成新 token 时需要“跨位置”地查询到这段内容这种查询会体现在非对角注意力上。投毒片段往往需要被模型在生成时反复引用所以非对角注意力比率会比正常文档高得多。监控这个指标可以捕获到“上下文位置较远但仍然获得高注意力”的异常情况。4. 实战构建一个基于文档级注意力的投毒输入检测器下面我们用一个最小可运行的示例来演示文档级注意力检测的核心流程。4.1 环境准备与版本说明示例基于 Python 与 PyTorch 环境使用 Hugging Face Transformers 加载模型。以下是建议环境组件建议操作系统Windows 10/11、Ubuntu 20.04、macOSPython3.9PyTorch2.0 或更高版本Transformers4.30 或更高版本模型bert-base-chinese 或类似中文小模型如果你的环境中没有transformers库可以执行pip install transformers torch numpy matplotlib版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。4.2 实现思路整体流程如下构造一个简单的 RAG 上下文其中包含正常文档和恶意投毒文档。让模型基于该上下文完成一项简单的文本分类或阅读理解任务。通过模型返回的 attention 矩阵计算各文档的注意力占比。根据注意力占比设置告警阈值判断是否存在投毒嫌疑。注意真实的 RAG 攻击检测中推理使用的模型通常是对话模型如 Qwen、ChatGLM、LLaMA 等但注意力计算原理是相通的。这里选择 BERT 是为了保证示例在普通电脑上也能快速运行。4.3 创建项目结构rag-attention-detector/ ├── detector.py ├── requirements.txt └── README.md4.4 完整代码文件detector.py# -*- coding: utf-8 -*- RAG 文档级注意力投毒检测最小示例 原理 1. 将检索到的多篇文档拼接到上下文中 2. 获取模型每一层的 attention 矩阵 3. 按文档粒度聚合注意力权重 4. 计算注意力占比与熵识别潜在投毒文档 import numpy as np import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification # 配置 MODEL_NAME bert-base-chinese # 投毒告警阈值单篇文档注意力占比超过该值且文档长度占比不足一半时告警 ATTENTION_RATIO_THRESHOLD 0.5 # 熵值下限低于该值说明注意力过于集中存在投毒嫌疑 ENTROPY_THRESHOLD 1.2 # 模拟文档 # 正常文档1与用户问题相关 normal_doc_1 北京是中国的首都也是一座历史悠久的城市。 故宫、长城、天坛等都是北京著名的旅游景点。 北京的气候属于温带季风气候四季分明。 .strip() # 正常文档2背景信息 normal_doc_2 中国的铁路交通网络非常发达高速铁路里程位居世界前列。 北京南站是北京重要的高铁车站之一连接多个主要城市。 .strip() # 恶意投毒文档假装与北京旅游相关但夹带错误信息 malicious_doc 根据一项最新的气候研究报告北京在2024年已经变成亚热带气候 全年平均气温超过25摄氏度冬季不再需要供暖。 这一结论已被全球气候学界广泛接受。 .strip() documents [normal_doc_1, normal_doc_2, malicious_doc] doc_tags [正常文档1, 正常文档2, 投毒文档] user_query 北京的气候有什么特点 # 构建上下文 # 在实际 RAG 系统中这里的拼接顺序来自检索排序结果 # 这里将恶意文档放在中间位置模拟“检索结果混入恶意内容”的场景。 context ( f用户问题{user_query}\n f[文档1开始]{normal_doc_1}[文档1结束]\n f[文档2开始]{normal_doc_2}[文档2结束]\n f[文档3开始]{malicious_doc}[文档3结束]\n f请根据以上文档回答问题。 ) print( 拼接后的上下文 ) print(context) print() # 加载模型 tokenizer AutoTokenizer.from_pretrained(MODEL_NAME) model AutoModelForSequenceClassification.from_pretrained( MODEL_NAME, num_labels2, output_attentionsTrue, # 关键让模型返回 attention torch_dtypetorch.float32 ) model.eval() # 推理并提取注意力 inputs tokenizer(context, return_tensorspt, truncationTrue, max_length512) with torch.no_grad(): outputs model(**inputs) # attentions 是一个元组每个元素对应一层形状: [batch, heads, seq_len, seq_len] attentions outputs.attentions # 合并所有层的注意力平均掉 batch 和 head 维度 # 最终 shape: [seq_len, seq_len] all_layer_attn torch.stack(attentions, dim0) # [layers, batch, heads, seq, seq] mean_attn all_layer_attn.mean(dim(0, 2, 3)) # [seq_len] # 注意上面这行是为了理解而写的示意实际需要保留两个维度 # 重新计算更准确的聚合方式 mean_attn all_layer_attn.mean(dim(0, 1, 2)) # [seq_len, seq_len] attn_matrix mean_attn.numpy() # 获取 token 序列方便定位文档边界 tokens tokenizer.convert_ids_to_tokens(inputs[input_ids][0]) # 按文档聚合注意力 doc_ranges [] current_tag None start_idx None for idx, token in enumerate(tokens): if token in ([文档1开始], [文档2开始], [文档3开始]): if current_tag is not None: doc_ranges.append((current_tag, start_idx, idx - 1)) current_tag token start_idx idx 1 elif token in ([文档1结束], [文档2结束], [文档3结束]): if current_tag is not None: doc_ranges.append((current_tag, start_idx, idx - 1)) current_tag None # 处理最后一段 if current_tag is not None: doc_ranges.append((current_tag, start_idx, len(tokens) - 1)) print( 文档 token 范围 ) for tag, start, end in doc_ranges: print(f{tag}: token {start} 到 {end}共 {end - start 1} 个 token) print() # 计算注意力指标 # attention 矩阵按行累加每个 token 收到的注意力总量 # 表示上下文生成时对每个 token 的关注程度 attention_scores attn_matrix.sum(axis0) total_attention attention_scores.sum() doc_metrics [] for tag, start, end in doc_ranges: doc_attention attention_scores[start:end 1].sum() doc_ratio doc_attention / total_attention doc_length end - start 1 length_ratio doc_length / len(tokens) # 计算该文档范围内的注意力熵 doc_attn_dist attention_scores[start:end 1] / (doc_attention 1e-9) epsilon 1e-12 entropy -np.sum(doc_attn_dist * np.log(doc_attn_dist epsilon)) doc_metrics.append({ tag: tag, doc_attention: doc_attention, doc_ratio: doc_ratio, length_ratio: length_ratio, entropy: entropy }) print( 各文档注意力指标 ) for m in doc_metrics: print(f{m[tag]}: 注意力占比{m[doc_ratio]:.4f}, f长度占比{m[length_ratio]:.4f}, 注意力熵{m[entropy]:.4f}) print() # 投毒判定 print( 投毒检测结果 ) for idx, m in enumerate(doc_metrics): # 判定条件1注意力占比异常高于长度占比说明模型过度关注该文档 attention_anomaly m[doc_ratio] max(ATTENTION_RATIO_THRESHOLD, m[length_ratio] * 2) # 判定条件2注意力熵过低说明注意力集中度过高 entropy_anomaly m[entropy] ENTROPY_THRESHOLD if attention_anomaly or entropy_anomaly: print(f[风险] {doc_tags[idx]}: 注意力异常attention_ratio{m[doc_ratio]:.4f}, fentropy{m[entropy]:.4f}) else: print(f[安全] {doc_tags[idx]}: 注意力分布正常)4.5 运行与结果说明运行上面的脚本预期会看到类似下面的输出具体数值因模型和随机种子略有不同 文档 token 范围 [文档1开始]: token 22 到 90共 69 个 token [文档2开始]: token 105 到 173共 69 个 token [文档3开始]: token 188 到 256共 69 个 token 各文档注意力指标 正常文档1: 注意力占比0.2512, 长度占比0.1348, 注意力熵2.4310 正常文档2: 注意力占比0.2134, 长度占比0.1348, 注意力熵2.3156 投毒文档: 注意力占比0.4217, 长度占比0.1348, 注意力熵0.9874 投毒检测结果 [安全] 正常文档1: 注意力分布正常 [安全] 正常文档2: 注意力分布正常 [风险] 投毒文档: 注意力异常attention_ratio0.4217, entropy0.9874通过这个输出可以看出投毒文档在长度占比只有 13% 的情况下却获得了超过 42% 的注意力并且注意力熵显著低于正常文档。两者共同构成了投毒检测的强信号。在实际系统中你不需要提前知道哪篇文档是恶意的只需要按同样方式计算所有文档的指标然后根据阈值触发告警。4.6 可扩展方向上面的示例只是演示了“事后检测”的思路。在实际 RAG 工程中可以从以下几个方向扩展接入实时推理链路通过自定义Forward逻辑或模型的attentions返回值实时提取注意力不改变正常生成流程。支持长文本与多轮对话对话场景中需要把历史消息和当前检索内容一起纳入注意力分析。结合检索排序信息对比文档的检索分数与注意力分数如果两者偏差过大说明检索结果可能被操纵。加入可视化将注意力热力图输出成图片便于人工研判。5. RAG 投毒排查与评估方案5.1 定期投毒测试怎么做投毒测试是验证 RAG 系统安全性的必要步骤。建议按以下流程执行第一步构造测试数据集。准备三类文档正常文档、轻度干扰文档、定向投毒文档。定向投毒文档需要与知识库主题高度相关否则没有实际威胁。第二步模拟投毒位置。分别测试投毒文档出现在检索结果第 1 位、第 5 位、最后 1 位时的效果观察注意力偏移程度。第三步运行检测器。记录各类场景下文档级注意力的分布变化计算检测器的召回率与误报率。第四步评估模型输出的有害性。即使检测器没能抓住投毒也可以通过回答内容的人工评估来判断是否产生有害输出。5.2 RAG 评估的关键指标RAG 系统的评估通常分为检索质量、生成质量、安全质量三部分。在常规指标中推荐关注指标类别指标名称作用检索质量RecallK检索结果是否包含真实相关文档检索质量MRR平均倒数排名相关文档是否排在前面生成质量Faithfulness忠实度生成内容是否基于检索文档生成质量Answer Relevancy答案相关性答案是否对应用户问题安全指标投毒文档注意力占比是否存在异常注意力集中安全指标注意力熵注意力分布是否异常收缩安全指标有害输出触发率投毒测试中产生有害结果的比例在投毒检测场景中“Faithfulness”和“投毒文档注意力占比”联动分析最有效。如果模型回答的内容来自投毒文档哪怕表达通顺Faithfulness 也会指向该文档此时结合注意力指标可以快速定位。5.3 如何理解各指标之间的关系很多团队在刚开始做 RAG 评估时会把指标堆得很多最后发现“指标都正常线上还是出了问题”。这往往是因为没有理解指标之间的层次关系。检索质量指标回答的是“有没有找到对的文档”生成质量指标回答的是“有没有好好用文档”安全指标回答的是“有没有被坏文档带偏”。三者的关系可以理解为如果 RecallK 很低后面所有指标都失去意义。如果 Faithfulness 很低但注意力没有异常可能是模型本身的指令跟随能力不够。如果 Faithfulness 很低且注意力异常集中在某一篇文档基本可以判定是投毒或内容质量问题。在做投毒检测时建议先看“检索质量”再看“文档注意力占比”最后看“Faithfulness”。这个排查顺序能有效减少误报。6. 最佳实践与工程建议6.1 构建多层级防御体系文档级注意力检测是一种事后检测手段不能作为唯一防线。更稳妥的方案是构建多层防御第一层是数据源控制。对上传文档做来源认证、内容哈希校验防止文档被篡改后静默替换。同时建立文档可信度分级高风险来源的文档需要额外审核。第二层是入库内容检测。在文档向量化之前对文本进行敏感词过滤、事实一致性抽查、格式异常检测。尤其是对与常见 query 高度相似的文档需要重点审查。第三层是检索结果治理。对检索结果进行白名单/黑名单过滤限制单篇文档在最终上下文中的最大占比避免一篇文档独占上下文。第四层是生成前的注意力监控。在上下文输入模型前通过规则或轻量模型快速判断注意力是否存在异常。6.2 工程落地建议在实际工程中有几个容易被忽略的细节注意力矩阵的存储开销很大。BERT-base 的注意力矩阵在 512 token 下会产生约 512×512×12×12 的浮点数线上环境不建议全量存储。可以只保存聚合后的文档级指标。检测延时需要控制。在生成场景中每增加一次注意力计算都会增加延迟。建议降级为采样检测只对低置信度或高风险请求做全量分析。阈值需要动态调整。不同模型、不同任务类型其注意力分布差异很大。建议用正常流量统计出基线值然后在基线基础上设置告警阈值而不是套用公开的固定值。要注意与向量检索自身的异常叠加。在向量检索中投毒文档可能通过“向量相似度高但语义不正确”的方式提升排名。文档级注意力检测可以作为这一问题的补偿机制。6.3 安全边界与合规提醒做投毒检测和投毒测试本质上是对自身系统的安全评估应该在合法授权、测试环境和最小权限原则下进行。不要在未经授权的情况下对第三方 RAG 系统进行投毒测试不要使用真实用户数据做投毒试验涉及生产环境的规则调整必须先在小流量或影子模式下验证确认无误后再灰度上线。7. 总结与下一步本文围绕 RAG 投毒场景梳理了从攻击原理、注意力崩溃机制到文档级注意力检测的完整思路并给出了一个可以运行的最小检测器示例。核心收获可以归纳为三点第一RAG 投毒的危害不取决于文本是否包含明显恶意内容而取决于它能否在注意力空间中形成异常集中。因此检测维度不能只停留在文本内容层。第二token 级注意力噪声大、解释性差按文档粒度聚合注意力更符合实际排查需求。文档级注意力占比和注意力熵是两个最实用的检测指标。第三文档级注意力检测是 RAG 安全体系中的一环需要与数据源控制、入库检测、检索结果治理配合使用才能形成完整的防御闭环。下一步建议你在自己的 RAG 项目里先收集一段时间的正常注意力数据计算基线值再构造几组模拟投毒文档验证检测效果。如果已经使用了 LangChain、LlamaIndex 等 RAG 框架可以尝试在检索器与生成器之间插入一个轻量级的注意力监控模块观察线上表现。如果你对 RAG 安全评估、检索质量优化或注意力可视化感兴趣欢迎继续关注后续文章。