Mechanistic Interpretability 论文盘点从 circuits 到表示分析系列AI 论文盘点 / 技术趋势日期2026-07-15适合读者机器学习、NLP、AI safety、可解释性和深度学习系统方向研究生关注模型内部机制与可靠评测的工程读者检索日期2026-07-15目录研究背景为什么 MI 在大模型时代更难也更重要核心科学问题近一年论文路线图代表论文分组解读方法对比表实验与 benchmark 如何看可复现性与数据问题局限与争议适合研究生继续做的选题总结参考资料研究背景为什么 MI 在大模型时代更难也更重要可解释 AI 很早就有 saliency map、attention visualization、probe、feature attribution 等方法。但 MI 的野心更接近“逆向工程”找到模型内部实际执行计算的结构。经典脉络可以从 Transformer Circuits 系列读起Anthropic/OpenAI 研究者在《A Mathematical Framework for Transformer Circuits》中把 attention head、residual stream、MLP 写成可分析的计算组件随后 induction head 工作展示了 Transformer 如何通过特定注意力头实现上下文内复制和模式续写toy model of superposition 则解释了为什么神经网络会把多个语义特征压进同一组神经元或方向里。大模型让这个问题变得更紧迫。模型越强越可能在医学、代码、科学推理和 agent 场景中被委托更高风险任务但模型内部表示也更分布式、更上下文依赖、更难靠单个 neuron 解释。2023 年的《Towards Monosemanticity》把 dictionary learning 引入小型 Transformer尝试从激活中学习“更单义”的稀疏特征2024 年 Anthropic 在 Claude 3 Sonnet 上扩展了这种路线展示了可以在大模型中找到与概念、拒答、代码、偏见、欺骗等行为相关的特征。到 2025 年《Circuit Tracing: Revealing Computational Graphs in Language Models》和 Anthropic 的《On the Biology of a Large Language Model》把焦点进一步推向“从特征到计算图”不仅要找出单个特征还要描述特征之间如何通过模型权重和激活形成因果链。核心科学问题第一什么算“机制”一个 attention head 关注某些 token一个 SAE feature 对某类文本激活一个 probe 可以线性读出实体属性这些都只是相关性证据。MI 更强的目标是如果把这个内部变量 patch、ablate、clamp 或 steer输出行为会按机制假设改变。机制应当能支持反事实干预。第二表示是否可分解superposition 观点认为神经网络常把超过维度数量的特征压进有限表示空间。单个 neuron 不一定对应单个概念单个概念也可能分散在多个方向。SAE 的承诺是把激活分解为稀疏 feature codes但 SAE 学到的 feature 是否稳定、是否真正对应模型使用的因果变量仍然需要 benchmark 和干预验证。第三电路如何跨层组合早期 induction head 很适合做教学样例因为路径相对短、功能相对明确。真实 LLM 行为往往涉及多层 residual stream、MLP 读写、attention routing、token position、上下文条件和解码策略。一个解释若只定位到“某层某头重要”还远不能说明完整计算。第四解释如何评测自然语言解释容易让人产生理解错觉。MI 评测需要回答解释能否预测 unseen prompts 上的行为能否通过干预改变行为能否压缩模型行为而保留关键输出能否定位失败案例SAEBench 和 AxBench 这类新 benchmark 正是在试图把“特征好不好”转化为可重复测量的问题。近一年论文路线图1. 从特征可视化到 circuit tracing。2025 年的 circuit tracing 工作把 SAE/transcoder 特征、局部替代模型和 attribution graph 结合起来目标是给出语言模型内部从输入 token 到输出预测的计算图。它的意义不只是“画图更好看”而是把 feature-level 解释推进到 graph-level 机制假设。需要注意的是这类图仍然依赖所选替代模型、阈值、归因规则和人工解释不能自动等同于真实因果机制。2. SAE 进入 benchmark 阶段。2024 年以后SAE 从少量概念展示进入基础设施化阶段Gemma Scope 发布面向 Gemma 2 的开放 SAE 资源Neuronpedia 提供特征浏览、解释、搜索和干预实验界面2025 年 SAEBench 提出系统评测套件比较 reconstruction、sparsity、feature interpretability、downstream behavior 等维度。随后一些论文开始质疑SAE benchmark 是否可靠随机初始化或不充分训练的模型上是否也能学到看似可解释特征这些质疑把方向从“展示漂亮特征”拉回到实验设计。3. Steering 与表示分析重新合流。线性方向、activation steering、representation engineering 不是传统 MI 的全部但它们提供了一个强干预接口如果一个方向真的编码某类属性那么加减该方向应当可控地改变输出。AxBench 这类评测把 steering、control 和 interpretability 放在一起比较也让研究者意识到可控不等于可解释解释也不一定带来更好的控制。4. 自动化和工具链成为研究对象。TransformerLens、nnsight、Neuronpedia、SAELens、Circuit Tracer 等工具降低了实验门槛。与此同时自动电路发现、LLM 生成 neuron/feature 解释、自动评分 explanation quality 也变得常见。工具越强越需要警惕“自动解释流水线”把相关性、可视化和自然语言描述包装成过度确定的结论。5. 2026 年的争议集中在可迁移性和可靠性。截至 2026-07-15可见的新论文更多在追问SAE 解释能否跨模型、跨数据集、跨层稳定benchmark 分数是否与人类理解一致自动发现的 feature/circuit 是否真的有 causal faithfulness这些问题比单个 feature demo 更适合成为研究生课题。代表论文分组解读A. Transformer circuits从组件分解到可命名电路Transformer Circuits 的基础工作把 Transformer 拆成 residual stream 中的信息读写。attention head 可以被看成把某些 token 的值向量写入当前位置MLP 可以被看成 key-value memory 或非线性特征变换不同层通过 residual stream 叠加信息。这个框架的价值在于它给了研究者一套“看模型内部计算”的语言。Induction head 是这条线最著名的成功案例之一。模型在序列中看到A ... B ... A时某些 head 会从前一个A后面的 token 复制信息帮助预测第二个A后面的续写。这类工作说明 MI 可以发现可复用机制而不是只做事后可视化。但 induction head 也提醒我们能解释一个简洁机制不代表能解释所有复杂行为。B. Causal tracing 与 activation patching把解释变成干预假设Activation patching 的基本思想是对同一个模型运行 clean prompt 和 corrupted prompt把某层某位置的激活从 clean run 替换到 corrupted run观察输出是否恢复。如果恢复说明该激活携带了任务相关信息。Causal tracing、path patching、attribution patching、ACDC 等方法在不同粒度上扩展了这个想法定位层、头、MLP、路径或子图。这类方法的优点是直接它问的是“内部变量是否导致行为变化”。缺点也很现实。patching 结果依赖 prompt pair 设计、metric 选择、干预粒度和是否引入 out-of-distribution 激活。一个组件被 patch 后有效可能说明它参与机制也可能只是它携带了可替代信息。好的论文通常会做多组 prompt、负对照、随机对照、跨模型复现并报告失败样例。C. SAE、transcoder 与 dictionary learning从 neuron 到 featureSAE 把某层激活x编码成稀疏向量h再从h重构x。如果训练成功h中的单个 feature 可能比原始 neuron 更单义例如某个 feature 对括号、某类语言、代码模式、拒答语气或地名上下文强激活。Transcoder 则更进一步尝试学习从一层激活到后一层或某个模块输出的稀疏可解释映射。这条路线的强处是规模化SAE 可以一次性产生大量候选特征支持搜索、浏览和人工标注。Neuronpedia 使这种探索更加工程化Gemma Scope 则提供了开放模型上的 SAE 资源方便不同团队复现和比较。风险在于“feature naming”很容易过度解释。一个 feature 的高激活样例看起来像某个概念不代表它只表示这个概念也不代表模型在任务中实际使用它。D. Circuit tracing把特征连成计算图2025 年 Anthropic 的 circuit tracing 路线试图回答一个更难的问题如果 SAE 给出的是局部 feature那么这些 feature 如何通过模型权重和激活相互影响最终导致输出论文和技术报告使用 attribution graph 描述特征之间的影响路径并在案例中分析模型对事实、推理、拒答等行为的内部计算。它的重要性在于把 MI 从“特征目录学”推进到“机制图谱学”。但读这类结果要非常谨慎图中的边来自归因或局部近似不等于完整因果证明图的可读性受到阈值和筛选影响人工解释仍然参与很深。最稳妥的读法是把 circuit graph 当成可检验假设生成器再用干预和外部任务验证。E. 表示方向、steering 与控制表示分析常用线性 probe、PCA/CCA、logit lens、activation steering 等工具。它们能快速回答某层是否线性编码某个属性也能通过加减方向改变模型输出风格或事实倾向。Representation engineering 的一系列工作说明在 LLM 内部存在可操作的方向能影响诚实性、情感、拒答、毒性、偏好等行为。这条线和 MI 的关系有张力。它提供了清晰的干预接口但未必给出完整机制。一个 steering direction 有效可能只是利用了模型的局部控制面板而不是解释了模型如何产生该行为。AxBench 等评测有价值正是因为它把 steering success、control specificity 和 interpretability evidence 放到同一个实验框架中比较。方法对比表路线主要对象典型证据代表资源 / 论文主要风险Transformer circuitsattention head、MLP、residual stream可命名电路、路径分析、手工验证Mathematical Framework, Induction Heads成功案例可能偏小难扩展到复杂行为Activation patching / causal tracing层、位置、头、路径激活clean/corrupted 干预恢复行为Causal Tracing, ACDC, path patchingprompt pair 和 metric 选择影响很大SAE / dictionary learning稀疏 feature、特征字典重构、稀疏性、高激活样例、干预Towards Monosemanticity, Gemma Scope, SAEBenchfeature 命名过度解释benchmark 尚不稳定Circuit tracing / attribution graphfeature 之间的计算图feature graph、边归因、局部干预Circuit Tracing, On the Biology of a LLM图结构依赖近似和阈值未必完整因果表示方向 / steering线性方向、probe、activation edit控制效果、属性读出、反事实编辑Representation Engineering, AxBench可控不等于可解释可能缺少机制闭环实验与 benchmark 如何看读 MI 论文时不建议只看漂亮可视化或几个 anecdote。至少要问七个问题。第一解释的对象是什么是单个 neuron、SAE feature、attention head、MLP channel、residual direction还是跨层 circuit粒度不同证据要求也不同。第二是否有因果干预仅展示高激活样例或相关性曲线不够。更强证据包括 ablation、patching、feature clamping、direction steering、path intervention以及干预后对任务 metric 的影响。第三是否有负对照例如随机 feature、随机方向、随机层、无关 prompt、同频率但不同语义的 token。没有负对照时很难判断解释是不是由数据分布或模型普遍敏感性造成。第四benchmark 是否测到了真正目标SAEBench 关注 SAE 的多维质量AxBench 关注 steering/control/alignment 风格任务但任何 benchmark 都会诱导优化。分数提升不一定代表解释更接近真实机制需要结合人工审阅和干预实验。第五是否跨模型、跨层、跨数据复现一个机制如果只在单一模型、单一 prompt family、单一 layer 上成立结论应当收窄。跨 Pythia、Gemma、Llama、Claude 等模型的可复现性更有说服力但闭源模型会限制核验。第六是否报告失败样例好的 MI 论文应该展示解释失效的情形feature polysemantic、patching 不稳定、steering 产生副作用、circuit graph 漏掉路径。失败样例比只展示成功图更能帮助后续研究。第七是否区分“人类可读”和“模型实际使用”一个 feature 名称可以帮助人理解但名字不是机制本身。真正关键的是该 feature 在模型计算中是否有可测影响。可复现性与数据问题MI 的复现难点主要在细节。Patching 实验需要明确模型版本、tokenizer、prompt pair、层和位置索引、logit metric、采样设置SAE 需要报告训练语料、激活缓存、层位、hidden expansion、稀疏惩罚、dead feature 处理、重构误差和训练步数circuit tracing 需要说明 attribution graph 构造、阈值、局部近似和人工筛选流程。数据也很敏感。解释一个事实回忆机制时prompt 的措辞、实体频率、训练语料污染都会影响结果解释安全相关行为时公开 prompt 可能触发模型策略差异解释代码或数学能力时tokenization 和格式细节会改变激活路径。因此本文没有写“某方法达到 SOTA”这类容易过期的结论。对于 benchmark 结果、仓库状态、模型覆盖范围和在线平台功能出版前应以论文主页、GitHub release、OpenReview 或 arXiv 最新版本人工核验。局限与争议第一MI 还没有可靠的“显微镜”。SAE、probe、patching、attribution graph 都是工具而不是保证真相的仪器。工具会带来自己的偏差。第二特征可能不是自然概念。人类倾向于给 feature 起名字但模型内部变量可能混合语义、语法、位置、频率和任务策略。polysemanticity 不是例外而可能是高效表示的一部分。第三解释和控制可能分离。一个方向能 steer 模型不代表它解释了模型为何输出一个 circuit graph 能解释某些样例不代表它能稳定控制所有相关行为。第四规模化会稀释人工理解。大模型可能有上千万候选 feature。即使工具能自动生成解释人类也不可能逐一审阅。未来需要更好的抽样、审计、层级组织和错误发现机制。第五AI safety 语境容易高估 MI 的短期能力。MI 对发现风险机制很有潜力但目前还不能保证大型模型没有隐藏目标、欺骗策略或未知失败路径。把 MI 当作安全论证的一部分是合理的把它当作完整安全证明则过早。适合研究生继续做的选题SAE feature 的因果评测协议不仅评估重构和稀疏性还要求 feature ablation、feature swap、跨 prompt family 和负对照。跨模型 circuit 复现在同一任务上比较 Pythia、Gemma、Llama 等开源模型研究相似行为是否由相似路径实现。解释失败样例数据集收集 feature 命名错误、patching 假阳性、steering 副作用、benchmark 分数与人工判断冲突的案例。自动 circuit discovery 的可信度校准让算法输出机制图的同时输出不确定性并用预注册干预实验验证。MI 与形式化验证结合把发现的电路或表示方向转化为可测试规范例如某些安全 feature 被激活时是否必须触发拒答路径。多模态模型的机制解释研究视觉 token、语言 token 和 cross-attention 之间的因果路径避免只把文本 LLM 方法直接套到 VLM。总结Mechanistic Interpretability 正在从小型 circuits demo 走向大模型内部机制工程。2025-2026 年最值得关注的变化是研究对象从单个 neuron/head 扩展到 SAE feature、transcoder、attribution graph 和 benchmark研究方法从“可视化解释”转向“可干预、可复现、可审计的机制假设”。这条路线的前景很大但不宜被漂亮图谱冲昏头脑。对科研读者来说最有价值的判断标准仍然朴素解释是否能预测新样例是否经得起干预是否有负对照是否承认失败如果答案是否定的它最多是一个有趣可视化如果答案逐步变成肯定MI 才可能成为理解和治理大模型的核心科学工具。参考资料检索日期2026-07-15。以下优先列出论文、官方研究页、项目主页和工具文档模型覆盖、代码仓库状态、benchmark 排名和在线平台功能均可能变化出版前建议再次人工核验。Elhage et al.,A Mathematical Framework for Transformer Circuits, Transformer Circuits, 2021. https://transformer-circuits.pub/2021/framework/index.htmlOlsson et al.,In-context Learning and Induction Heads, Transformer Circuits, 2022. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.htmlElhage et al.,Toy Models of Superposition, Transformer Circuits, 2022. https://transformer-circuits.pub/2022/toy_model/index.htmlBricken et al.,Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Transformer Circuits, 2023. https://transformer-circuits.pub/2023/monosemantic-features/index.htmlTempleton et al.,Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Transformer Circuits / Anthropic, 2024. https://transformer-circuits.pub/2024/scaling-monosemanticity/index.htmlMarks et al.,Circuit Tracing: Revealing Computational Graphs in Language Models, Transformer Circuits, 2025. https://transformer-circuits.pub/2025/attribution-graphs/methods.htmlAnthropic,On the Biology of a Large Language Model, 2025. https://transformer-circuits.pub/2025/attribution-graphs/biology.htmlAnthropic,Tracing the Thoughts of a Large Language Model, 2025. https://www.anthropic.com/research/tracing-thoughts-language-modelMeng et al.,Locating and Editing Factual Associations in GPT, NeurIPS 2022 / project page. https://rome.baulab.info/Conmy et al.,Towards Automated Circuit Discovery for Mechanistic Interpretability, NeurIPS 2023. https://arxiv.org/abs/2304.14997Wang et al.,Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small, ICLR 2023. https://arxiv.org/abs/2211.00593Bills et al.,Language Models Can Explain Neurons in Language Models, OpenAI, 2023. https://openai.com/index/language-models-can-explain-neurons-in-language-models/Google DeepMind,Gemma Scope: helping the safety community shed light on the inner workings of language models, 2024. https://deepmind.google/discover/blog/gemma-scope-helping-the-safety-community-shed-light-on-the-inner-workings-of-language-models/Bloom,Neuronpedia: Interactive Reference and Tooling for Mechanistic Interpretability, project page, 2024-2026. https://www.neuronpedia.org/Karvonen et al.,SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability, arXiv, 2025. https://arxiv.org/abs/2503.09532Wu et al.,AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders, arXiv, 2025. https://arxiv.org/abs/2501.17148Chanin,Are Sparse Autoencoder Benchmarks Reliable?, arXiv, 2026. https://arxiv.org/abs/2605.18229Heap et al.,Automated Interpretability Metrics Do Not Distinguish Trained and Random Transformers, arXiv, 2025, revised 2026. https://arxiv.org/abs/2501.17727Huben et al.,Sparse Autoencoders Find Highly Interpretable Directions in Language Models, ICLR 2024. https://openreview.net/forum?idF76bwRSLeKNanda and Bloom,TransformerLens, documentation and repository. https://github.com/TransformerLensOrg/TransformerLensnnsight team,nnsight: interpreting and manipulating the internals of deep learning models, documentation. https://nnsight.net/Sharkey et al.,Mechanistic Interpretability for AI Safety: A Review, arXiv / TMLR, 2025. https://arxiv.org/abs/2404.14082
Mechanistic Interpretability 论文盘点从 circuits 到表示分析系列AI 论文盘点 / 技术趋势日期2026-07-15适合读者机器学习、NLP、AI safety、可解释性和深度学习系统方向研究生关注模型内部机制与可靠评测的工程读者检索日期2026-07-15目录研究背景为什么 MI 在大模型时代更难也更重要核心科学问题近一年论文路线图代表论文分组解读方法对比表实验与 benchmark 如何看可复现性与数据问题局限与争议适合研究生继续做的选题总结参考资料研究背景为什么 MI 在大模型时代更难也更重要可解释 AI 很早就有 saliency map、attention visualization、probe、feature attribution 等方法。但 MI 的野心更接近“逆向工程”找到模型内部实际执行计算的结构。经典脉络可以从 Transformer Circuits 系列读起Anthropic/OpenAI 研究者在《A Mathematical Framework for Transformer Circuits》中把 attention head、residual stream、MLP 写成可分析的计算组件随后 induction head 工作展示了 Transformer 如何通过特定注意力头实现上下文内复制和模式续写toy model of superposition 则解释了为什么神经网络会把多个语义特征压进同一组神经元或方向里。大模型让这个问题变得更紧迫。模型越强越可能在医学、代码、科学推理和 agent 场景中被委托更高风险任务但模型内部表示也更分布式、更上下文依赖、更难靠单个 neuron 解释。2023 年的《Towards Monosemanticity》把 dictionary learning 引入小型 Transformer尝试从激活中学习“更单义”的稀疏特征2024 年 Anthropic 在 Claude 3 Sonnet 上扩展了这种路线展示了可以在大模型中找到与概念、拒答、代码、偏见、欺骗等行为相关的特征。到 2025 年《Circuit Tracing: Revealing Computational Graphs in Language Models》和 Anthropic 的《On the Biology of a Large Language Model》把焦点进一步推向“从特征到计算图”不仅要找出单个特征还要描述特征之间如何通过模型权重和激活形成因果链。核心科学问题第一什么算“机制”一个 attention head 关注某些 token一个 SAE feature 对某类文本激活一个 probe 可以线性读出实体属性这些都只是相关性证据。MI 更强的目标是如果把这个内部变量 patch、ablate、clamp 或 steer输出行为会按机制假设改变。机制应当能支持反事实干预。第二表示是否可分解superposition 观点认为神经网络常把超过维度数量的特征压进有限表示空间。单个 neuron 不一定对应单个概念单个概念也可能分散在多个方向。SAE 的承诺是把激活分解为稀疏 feature codes但 SAE 学到的 feature 是否稳定、是否真正对应模型使用的因果变量仍然需要 benchmark 和干预验证。第三电路如何跨层组合早期 induction head 很适合做教学样例因为路径相对短、功能相对明确。真实 LLM 行为往往涉及多层 residual stream、MLP 读写、attention routing、token position、上下文条件和解码策略。一个解释若只定位到“某层某头重要”还远不能说明完整计算。第四解释如何评测自然语言解释容易让人产生理解错觉。MI 评测需要回答解释能否预测 unseen prompts 上的行为能否通过干预改变行为能否压缩模型行为而保留关键输出能否定位失败案例SAEBench 和 AxBench 这类新 benchmark 正是在试图把“特征好不好”转化为可重复测量的问题。近一年论文路线图1. 从特征可视化到 circuit tracing。2025 年的 circuit tracing 工作把 SAE/transcoder 特征、局部替代模型和 attribution graph 结合起来目标是给出语言模型内部从输入 token 到输出预测的计算图。它的意义不只是“画图更好看”而是把 feature-level 解释推进到 graph-level 机制假设。需要注意的是这类图仍然依赖所选替代模型、阈值、归因规则和人工解释不能自动等同于真实因果机制。2. SAE 进入 benchmark 阶段。2024 年以后SAE 从少量概念展示进入基础设施化阶段Gemma Scope 发布面向 Gemma 2 的开放 SAE 资源Neuronpedia 提供特征浏览、解释、搜索和干预实验界面2025 年 SAEBench 提出系统评测套件比较 reconstruction、sparsity、feature interpretability、downstream behavior 等维度。随后一些论文开始质疑SAE benchmark 是否可靠随机初始化或不充分训练的模型上是否也能学到看似可解释特征这些质疑把方向从“展示漂亮特征”拉回到实验设计。3. Steering 与表示分析重新合流。线性方向、activation steering、representation engineering 不是传统 MI 的全部但它们提供了一个强干预接口如果一个方向真的编码某类属性那么加减该方向应当可控地改变输出。AxBench 这类评测把 steering、control 和 interpretability 放在一起比较也让研究者意识到可控不等于可解释解释也不一定带来更好的控制。4. 自动化和工具链成为研究对象。TransformerLens、nnsight、Neuronpedia、SAELens、Circuit Tracer 等工具降低了实验门槛。与此同时自动电路发现、LLM 生成 neuron/feature 解释、自动评分 explanation quality 也变得常见。工具越强越需要警惕“自动解释流水线”把相关性、可视化和自然语言描述包装成过度确定的结论。5. 2026 年的争议集中在可迁移性和可靠性。截至 2026-07-15可见的新论文更多在追问SAE 解释能否跨模型、跨数据集、跨层稳定benchmark 分数是否与人类理解一致自动发现的 feature/circuit 是否真的有 causal faithfulness这些问题比单个 feature demo 更适合成为研究生课题。代表论文分组解读A. Transformer circuits从组件分解到可命名电路Transformer Circuits 的基础工作把 Transformer 拆成 residual stream 中的信息读写。attention head 可以被看成把某些 token 的值向量写入当前位置MLP 可以被看成 key-value memory 或非线性特征变换不同层通过 residual stream 叠加信息。这个框架的价值在于它给了研究者一套“看模型内部计算”的语言。Induction head 是这条线最著名的成功案例之一。模型在序列中看到A ... B ... A时某些 head 会从前一个A后面的 token 复制信息帮助预测第二个A后面的续写。这类工作说明 MI 可以发现可复用机制而不是只做事后可视化。但 induction head 也提醒我们能解释一个简洁机制不代表能解释所有复杂行为。B. Causal tracing 与 activation patching把解释变成干预假设Activation patching 的基本思想是对同一个模型运行 clean prompt 和 corrupted prompt把某层某位置的激活从 clean run 替换到 corrupted run观察输出是否恢复。如果恢复说明该激活携带了任务相关信息。Causal tracing、path patching、attribution patching、ACDC 等方法在不同粒度上扩展了这个想法定位层、头、MLP、路径或子图。这类方法的优点是直接它问的是“内部变量是否导致行为变化”。缺点也很现实。patching 结果依赖 prompt pair 设计、metric 选择、干预粒度和是否引入 out-of-distribution 激活。一个组件被 patch 后有效可能说明它参与机制也可能只是它携带了可替代信息。好的论文通常会做多组 prompt、负对照、随机对照、跨模型复现并报告失败样例。C. SAE、transcoder 与 dictionary learning从 neuron 到 featureSAE 把某层激活x编码成稀疏向量h再从h重构x。如果训练成功h中的单个 feature 可能比原始 neuron 更单义例如某个 feature 对括号、某类语言、代码模式、拒答语气或地名上下文强激活。Transcoder 则更进一步尝试学习从一层激活到后一层或某个模块输出的稀疏可解释映射。这条路线的强处是规模化SAE 可以一次性产生大量候选特征支持搜索、浏览和人工标注。Neuronpedia 使这种探索更加工程化Gemma Scope 则提供了开放模型上的 SAE 资源方便不同团队复现和比较。风险在于“feature naming”很容易过度解释。一个 feature 的高激活样例看起来像某个概念不代表它只表示这个概念也不代表模型在任务中实际使用它。D. Circuit tracing把特征连成计算图2025 年 Anthropic 的 circuit tracing 路线试图回答一个更难的问题如果 SAE 给出的是局部 feature那么这些 feature 如何通过模型权重和激活相互影响最终导致输出论文和技术报告使用 attribution graph 描述特征之间的影响路径并在案例中分析模型对事实、推理、拒答等行为的内部计算。它的重要性在于把 MI 从“特征目录学”推进到“机制图谱学”。但读这类结果要非常谨慎图中的边来自归因或局部近似不等于完整因果证明图的可读性受到阈值和筛选影响人工解释仍然参与很深。最稳妥的读法是把 circuit graph 当成可检验假设生成器再用干预和外部任务验证。E. 表示方向、steering 与控制表示分析常用线性 probe、PCA/CCA、logit lens、activation steering 等工具。它们能快速回答某层是否线性编码某个属性也能通过加减方向改变模型输出风格或事实倾向。Representation engineering 的一系列工作说明在 LLM 内部存在可操作的方向能影响诚实性、情感、拒答、毒性、偏好等行为。这条线和 MI 的关系有张力。它提供了清晰的干预接口但未必给出完整机制。一个 steering direction 有效可能只是利用了模型的局部控制面板而不是解释了模型如何产生该行为。AxBench 等评测有价值正是因为它把 steering success、control specificity 和 interpretability evidence 放到同一个实验框架中比较。方法对比表路线主要对象典型证据代表资源 / 论文主要风险Transformer circuitsattention head、MLP、residual stream可命名电路、路径分析、手工验证Mathematical Framework, Induction Heads成功案例可能偏小难扩展到复杂行为Activation patching / causal tracing层、位置、头、路径激活clean/corrupted 干预恢复行为Causal Tracing, ACDC, path patchingprompt pair 和 metric 选择影响很大SAE / dictionary learning稀疏 feature、特征字典重构、稀疏性、高激活样例、干预Towards Monosemanticity, Gemma Scope, SAEBenchfeature 命名过度解释benchmark 尚不稳定Circuit tracing / attribution graphfeature 之间的计算图feature graph、边归因、局部干预Circuit Tracing, On the Biology of a LLM图结构依赖近似和阈值未必完整因果表示方向 / steering线性方向、probe、activation edit控制效果、属性读出、反事实编辑Representation Engineering, AxBench可控不等于可解释可能缺少机制闭环实验与 benchmark 如何看读 MI 论文时不建议只看漂亮可视化或几个 anecdote。至少要问七个问题。第一解释的对象是什么是单个 neuron、SAE feature、attention head、MLP channel、residual direction还是跨层 circuit粒度不同证据要求也不同。第二是否有因果干预仅展示高激活样例或相关性曲线不够。更强证据包括 ablation、patching、feature clamping、direction steering、path intervention以及干预后对任务 metric 的影响。第三是否有负对照例如随机 feature、随机方向、随机层、无关 prompt、同频率但不同语义的 token。没有负对照时很难判断解释是不是由数据分布或模型普遍敏感性造成。第四benchmark 是否测到了真正目标SAEBench 关注 SAE 的多维质量AxBench 关注 steering/control/alignment 风格任务但任何 benchmark 都会诱导优化。分数提升不一定代表解释更接近真实机制需要结合人工审阅和干预实验。第五是否跨模型、跨层、跨数据复现一个机制如果只在单一模型、单一 prompt family、单一 layer 上成立结论应当收窄。跨 Pythia、Gemma、Llama、Claude 等模型的可复现性更有说服力但闭源模型会限制核验。第六是否报告失败样例好的 MI 论文应该展示解释失效的情形feature polysemantic、patching 不稳定、steering 产生副作用、circuit graph 漏掉路径。失败样例比只展示成功图更能帮助后续研究。第七是否区分“人类可读”和“模型实际使用”一个 feature 名称可以帮助人理解但名字不是机制本身。真正关键的是该 feature 在模型计算中是否有可测影响。可复现性与数据问题MI 的复现难点主要在细节。Patching 实验需要明确模型版本、tokenizer、prompt pair、层和位置索引、logit metric、采样设置SAE 需要报告训练语料、激活缓存、层位、hidden expansion、稀疏惩罚、dead feature 处理、重构误差和训练步数circuit tracing 需要说明 attribution graph 构造、阈值、局部近似和人工筛选流程。数据也很敏感。解释一个事实回忆机制时prompt 的措辞、实体频率、训练语料污染都会影响结果解释安全相关行为时公开 prompt 可能触发模型策略差异解释代码或数学能力时tokenization 和格式细节会改变激活路径。因此本文没有写“某方法达到 SOTA”这类容易过期的结论。对于 benchmark 结果、仓库状态、模型覆盖范围和在线平台功能出版前应以论文主页、GitHub release、OpenReview 或 arXiv 最新版本人工核验。局限与争议第一MI 还没有可靠的“显微镜”。SAE、probe、patching、attribution graph 都是工具而不是保证真相的仪器。工具会带来自己的偏差。第二特征可能不是自然概念。人类倾向于给 feature 起名字但模型内部变量可能混合语义、语法、位置、频率和任务策略。polysemanticity 不是例外而可能是高效表示的一部分。第三解释和控制可能分离。一个方向能 steer 模型不代表它解释了模型为何输出一个 circuit graph 能解释某些样例不代表它能稳定控制所有相关行为。第四规模化会稀释人工理解。大模型可能有上千万候选 feature。即使工具能自动生成解释人类也不可能逐一审阅。未来需要更好的抽样、审计、层级组织和错误发现机制。第五AI safety 语境容易高估 MI 的短期能力。MI 对发现风险机制很有潜力但目前还不能保证大型模型没有隐藏目标、欺骗策略或未知失败路径。把 MI 当作安全论证的一部分是合理的把它当作完整安全证明则过早。适合研究生继续做的选题SAE feature 的因果评测协议不仅评估重构和稀疏性还要求 feature ablation、feature swap、跨 prompt family 和负对照。跨模型 circuit 复现在同一任务上比较 Pythia、Gemma、Llama 等开源模型研究相似行为是否由相似路径实现。解释失败样例数据集收集 feature 命名错误、patching 假阳性、steering 副作用、benchmark 分数与人工判断冲突的案例。自动 circuit discovery 的可信度校准让算法输出机制图的同时输出不确定性并用预注册干预实验验证。MI 与形式化验证结合把发现的电路或表示方向转化为可测试规范例如某些安全 feature 被激活时是否必须触发拒答路径。多模态模型的机制解释研究视觉 token、语言 token 和 cross-attention 之间的因果路径避免只把文本 LLM 方法直接套到 VLM。总结Mechanistic Interpretability 正在从小型 circuits demo 走向大模型内部机制工程。2025-2026 年最值得关注的变化是研究对象从单个 neuron/head 扩展到 SAE feature、transcoder、attribution graph 和 benchmark研究方法从“可视化解释”转向“可干预、可复现、可审计的机制假设”。这条路线的前景很大但不宜被漂亮图谱冲昏头脑。对科研读者来说最有价值的判断标准仍然朴素解释是否能预测新样例是否经得起干预是否有负对照是否承认失败如果答案是否定的它最多是一个有趣可视化如果答案逐步变成肯定MI 才可能成为理解和治理大模型的核心科学工具。参考资料检索日期2026-07-15。以下优先列出论文、官方研究页、项目主页和工具文档模型覆盖、代码仓库状态、benchmark 排名和在线平台功能均可能变化出版前建议再次人工核验。Elhage et al.,A Mathematical Framework for Transformer Circuits, Transformer Circuits, 2021. https://transformer-circuits.pub/2021/framework/index.htmlOlsson et al.,In-context Learning and Induction Heads, Transformer Circuits, 2022. https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.htmlElhage et al.,Toy Models of Superposition, Transformer Circuits, 2022. https://transformer-circuits.pub/2022/toy_model/index.htmlBricken et al.,Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, Transformer Circuits, 2023. https://transformer-circuits.pub/2023/monosemantic-features/index.htmlTempleton et al.,Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet, Transformer Circuits / Anthropic, 2024. https://transformer-circuits.pub/2024/scaling-monosemanticity/index.htmlMarks et al.,Circuit Tracing: Revealing Computational Graphs in Language Models, Transformer Circuits, 2025. https://transformer-circuits.pub/2025/attribution-graphs/methods.htmlAnthropic,On the Biology of a Large Language Model, 2025. https://transformer-circuits.pub/2025/attribution-graphs/biology.htmlAnthropic,Tracing the Thoughts of a Large Language Model, 2025. https://www.anthropic.com/research/tracing-thoughts-language-modelMeng et al.,Locating and Editing Factual Associations in GPT, NeurIPS 2022 / project page. https://rome.baulab.info/Conmy et al.,Towards Automated Circuit Discovery for Mechanistic Interpretability, NeurIPS 2023. https://arxiv.org/abs/2304.14997Wang et al.,Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small, ICLR 2023. https://arxiv.org/abs/2211.00593Bills et al.,Language Models Can Explain Neurons in Language Models, OpenAI, 2023. https://openai.com/index/language-models-can-explain-neurons-in-language-models/Google DeepMind,Gemma Scope: helping the safety community shed light on the inner workings of language models, 2024. https://deepmind.google/discover/blog/gemma-scope-helping-the-safety-community-shed-light-on-the-inner-workings-of-language-models/Bloom,Neuronpedia: Interactive Reference and Tooling for Mechanistic Interpretability, project page, 2024-2026. https://www.neuronpedia.org/Karvonen et al.,SAEBench: A Comprehensive Benchmark for Sparse Autoencoders in Language Model Interpretability, arXiv, 2025. https://arxiv.org/abs/2503.09532Wu et al.,AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders, arXiv, 2025. https://arxiv.org/abs/2501.17148Chanin,Are Sparse Autoencoder Benchmarks Reliable?, arXiv, 2026. https://arxiv.org/abs/2605.18229Heap et al.,Automated Interpretability Metrics Do Not Distinguish Trained and Random Transformers, arXiv, 2025, revised 2026. https://arxiv.org/abs/2501.17727Huben et al.,Sparse Autoencoders Find Highly Interpretable Directions in Language Models, ICLR 2024. https://openreview.net/forum?idF76bwRSLeKNanda and Bloom,TransformerLens, documentation and repository. https://github.com/TransformerLensOrg/TransformerLensnnsight team,nnsight: interpreting and manipulating the internals of deep learning models, documentation. https://nnsight.net/Sharkey et al.,Mechanistic Interpretability for AI Safety: A Review, arXiv / TMLR, 2025. https://arxiv.org/abs/2404.14082
