1. 从“一团乱麻”到“精准聚焦”为什么我们需要注意力机制想象一下你正在一个嘈杂的咖啡馆里和朋友聊天。周围有咖啡机的轰鸣、邻桌的谈笑、背景音乐但你依然能清晰地听到朋友说的每一个字。你的大脑并没有平等地处理所有传入耳朵的声音而是自动地、悄无声息地将“注意力”聚焦在了朋友的声音上同时抑制了其他噪音。这就是生物注意力机制最直观的体现。在深度学习尤其是处理序列数据如自然语言、时间序列的领域我们长期面临一个类似的“咖啡馆困境”。传统的循环神经网络RNN及其变体LSTM、GRU在处理一个句子时就像一个记忆力有限的人必须按顺序从左到右或从右到左一个字一个字地读并且试图用一个固定大小的“记忆细胞”来记住前面所有的信息。当句子很长时开头的信息在传递到句尾时可能已经变得非常微弱甚至被“遗忘”了。这就是著名的长程依赖问题。更重要的是RNN这种“顺序处理”的方式天然难以并行计算导致训练效率低下。那么有没有一种方法能让模型在处理一个词时直接“看到”句子中所有其他的词并且能动态地决定应该更“关注”哪些词呢这就是Self-Attention自注意力机制诞生的核心动机。它摒弃了RNN的顺序依赖允许模型在处理序列中任何一个位置时直接计算该位置与序列中所有位置包括它自己的关联程度。这种关联程度就是“注意力分数”。通过这个分数模型可以动态地、有选择地从整个序列中聚合信息。简单来说Self-Attention让模型拥有了“一眼望穿”整个序列并从中提取最相关部分的能力。它不再是一个被动的、顺序的“读者”而是一个主动的、全局的“审视者”。这个根本性的转变不仅极大地缓解了长程依赖问题还因其高度可并行化的矩阵运算特性为利用GPU等硬件进行大规模高效训练打开了大门。2017年谷歌在《Attention Is All You Need》论文中提出的Transformer模型正是以Self-Attention为核心构建块彻底革新了自然语言处理领域并迅速席卷了计算机视觉、语音识别等多个AI分支。2. 拆解Self-Attention三步走理解其工作原理理解了“为什么需要”之后我们来看看Self-Attention“具体怎么做”。它的计算过程可以清晰地分为三步构建查询、键和值计算注意力分数加权求和得到输出。我们用一个极其简化的例子来贯穿说明。假设我们有一个包含两个词的微型句子“猫 吃”。为了便于计算我们假设每个词用一个二维向量表示实际中维度通常是512或768等。“猫”的词向量[1, 0]“吃”的词向量[0, 1]2.1 第一步构建Q, K, V查询、键、值这是Self-Attention最精妙的设计之一。模型为输入序列中的每个词都生成三个新的向量Query查询、Key键、Value值。这三个向量是通过对原始的输入词向量进行线性变换即乘以一个可学习的权重矩阵得到的。Query可以理解为“我要寻找什么”。当模型处理“吃”这个词时它的Query向量就代表着“吃”这个动作需要寻找什么样的信息比如寻找动作的发出者“谁”。Key可以理解为“我拥有什么”。序列中每个词的Key向量代表着这个词能提供什么样的信息。比如“猫”的Key向量可能编码了“我是一个名词是动物是主语候选”等信息。Value可以理解为“我的实际内容”。这是最终被聚合的信息本身。在简单的语义层面Value可以和原始词向量很接近但经过了另一层变换。为什么需要三个这借鉴了信息检索系统的思想。在一个搜索引擎里你输入的问题就是Query网页的标题/摘要可以看作是Key而网页的完整内容就是Value。系统通过计算你的Query和每个网页Key的匹配度相关性来决定从每个网页的Value中抽取多少信息呈现给你。在我们的例子中假设经过简单的权重矩阵为了演示我们使用单位矩阵和微小调整实际中是随机初始化并学习的我们得到对于“猫”Q1 [1, 0],K1 [1, 0],V1 [1, 0]对于“吃”Q2 [0, 1],K2 [0, 1],V2 [0, 1]2.2 第二步计算注意力分数与权重这一步的目标是计算“当前词”以其Query为代表与“序列中所有词”以其Key为代表的相关性。计算方式通常是取Query和Key的点积Dot-Product。点积越大说明两个向量的方向越相似相关性越高。我们来计算当以“吃”为当前词时它对“猫”和“吃”自己的注意力分数分数(吃-猫) Q2 · K1[0,1] · [1,0] 01 10 0分数(吃-吃) Q2 · K2[0,1] · [0,1] 00 11 1得到原始分数[0, 1]后为了稳定梯度我们会对其进行缩放除以Key向量维度的平方根这里维度dk2平方根约1.414缩放后为[0, 0.707]然后通过Softmax函数进行归一化将分数转化为和为1的概率分布即注意力权重。Softmax([0, 0.707]) ≈[0.33, 0.67]这个结果非常直观它表示当模型处理“吃”这个词时它分配了约33%的注意力给“猫”67%的注意力给“吃”自己。这符合语法常识“吃”这个动词需要关注它的主语“谁”吃同时也需要关注自身的信息。2.3 第三步加权求和得到输出最后一步我们用第二步得到的注意力权重对各个词的Value向量进行加权求和从而得到“吃”这个词经过Self-Attention处理后的新表示。输出(吃) 0.33 *V1 0.67 *V2 0.33*[1,0] 0.67*[0,1][0.33, 0.67]看新的向量[0.33, 0.67]不再是一个单纯的“吃”的向量[0,1]而是融合了“猫”的部分信息[1,0]。这个新向量蕴含了“吃”这个动作及其与主语“猫”的关系信息。同理我们也可以计算“猫”的新表示你会发现它也会从“吃”那里获得一些信息比如它是一个正在执行“吃”这个动作的实体。通过这三步Self-Attention完成了一次信息交换序列中的每个词都根据与所有词的相关性从全局收集信息更新了自身的表示。这个过程对所有词是同时、独立进行的完美支持并行计算。3. 从单头到多头为什么需要多个“注意力头”在上一节的例子中我们只进行了一次注意力计算。这被称为“单头注意力”。然而在Transformer中使用的是“多头注意力”。这就像我们人类在理解一句话时可以同时从多个角度去关注它。例如对于“苹果公司发布了新款手机”这句话头1可能关注“实体-关系”苹果公司-发布-手机头2可能关注“修饰属性”新款-手机头3可能关注“指代与领域”苹果是水果还是公司结合上下文确定为科技公司。多头注意力的工作机制如下将输入词向量的维度d_model例如512分割成h个头例如8个头每个头维度为512/864。对每个头独立地使用一套不同的Q, K, V权重矩阵进行线性变换然后在各自的64维子空间内进行上一节所述的三步计算。这样我们会得到h个不同注意力视角下的输出向量每个维度是d_model/h。将这h个输出向量在特征维度上拼接起来得到一个d_model维的向量。最后再通过一个线性变换层整合来自不同头的信息。这样设计的好处是什么增强模型容量不同的头可以学习到不同类型的依赖关系。有的头可能专门捕捉句法关系如主谓一致有的头可能关注近距离共现词汇有的头可能负责长程指代。提供类似集成学习的效果多个头从不同子空间捕捉信息使模型表示更加鲁棒和全面。计算效率的权衡虽然头变多了但每个头处理的维度降低了。总计算量与单头注意力处理高维向量的复杂度是相近的但表达能力更强。在实际代码中多头注意力通过矩阵运算被高效地实现为一次完成而非真正的循环h次。其核心公式可以简洁地表示为MultiHead(Q, K, V) Concat(head1, head2, ..., headh) * WO其中headi Attention(Q * WQi, K * WKi, V * WVi)WQ_i, WK_i, WV_i, WO都是可学习的参数矩阵。注意一个常见的误解是多头一定比单头“好”。在实际中头的数量h是一个需要调的超参数。头数过多可能导致每个头分到的维度太小无法有效学习到有用的模式反而增加过拟合风险。通常d_model能被h整除且h与d_model的大小保持一个合理的比例如512维对应8个头。4. Self-Attention的变体、优势与固有局限Self-Attention并非只有点积这一种形式它在不同的场景下衍生出了多种变体也并非完美无缺。4.1 常见的注意力变体缩放点积注意力这就是我们上面介绍的标准形式在点积后除以sqrt(dk)。这是最常用、效果也通常最好的形式。加性注意力在早期Seq2Seq模型中常用。它通过一个前馈神经网络来计算Query和Key的兼容性分数。其表达能力强但计算开销比点积注意力大。相对位置注意力标准Self-Attention本身是“置换不变”的即打乱输入顺序输出的集合不变只是顺序跟着打乱它本身不包含位置信息。为了注入序列的顺序信息Transformer引入了“位置编码”。而相对位置注意力则更进一步在计算注意力分数时显式地加入词与词之间的相对距离偏置能更好地建模局部和相对位置关系在像T5、DeBERTa等模型中表现优异。4.2 Self-Attention的核心优势强大的长程依赖建模能力一步计算直接关联序列中任意两个位置彻底解决了RNN的长程衰减问题。极高的并行计算效率核心运算是矩阵乘法非常适合在GPU/TPU等硬件上并行加速训练速度远超RNN。模型可解释性我们可以可视化注意力权重矩阵看到模型在处理一个词时具体“关注”了哪些词这为理解模型决策提供了一扇窗口尽管需要谨慎解读。4.3 Self-Attention的固有局限与挑战计算和内存开销巨大计算注意力矩阵需要O(n^2)的时间和空间复杂度n为序列长度。对于超长文本如一本书、一篇长论文这几乎是不可承受的。这是限制Transformer直接处理长文本的主要瓶颈。位置信息依赖外部注入Self-Attention本身不包含顺序信息必须依靠额外添加的“位置编码”来告知模型词的顺序。位置编码的设计如正弦余弦、可学习参数、相对位置对模型性能有直接影响。对局部结构感知较弱虽然能捕捉全局关系但对像n-gram这类严格的局部连续模式其感知不如CNN那样直接和强健。当然模型可以通过学习来弥补这一点。为了应对O(n^2)的复杂度业界提出了大量的高效注意力变体它们可以大致分为以下几类稀疏注意力不让每个词都关注所有词而是只关注一个预设的、稀疏的窗口如局部窗口、空洞窗口、全局记忆词等。BigBird、Longformer是代表。线性化注意力通过数学变换如核函数将注意力计算分解为线性复杂度的形式。Linformer、Performer是代表。递归/分层注意力将长序列分层或分块先在块内计算注意力再在块间计算注意力降低整体复杂度。5. 超越NLPSelf-Attention的跨界应用启示Self-Attention的魅力在于其通用性。它本质上是一种基于相似度的信息聚合机制这个思想可以迁移到任何具有“元素集”和“关系”的场景。计算机视觉Vision Transformer将图像分割成一个个图像块每个块视为一个“词”然后送入Transformer进行编码。Self-Attention让模型能够捕捉图像中任意两个区域之间的远程依赖例如理解一只猫的尾巴和猫的头部的关联这在卷积神经网络中需要很深的层叠才能实现。语音识别在语音序列中Self-Attention可以同时关注整个语音片段更好地建模语音帧之间的长时上下文提升识别准确率如Conformer模型。推荐系统将用户的历史交互序列点击、购买等视为一个序列使用Self-Attention来捕捉用户兴趣的动态演变和不同物品之间的复杂关系。图神经网络图中的节点可以看作序列元素节点之间的关系通过注意力权重来动态学习比固定的邻接矩阵更加灵活如Graph Attention Network。多模态学习处理图像和文本的配对数据时可以使用交叉注意力让文本中的词去关注图像中相关的区域或者反过来从而实现细粒度的模态对齐。一个重要的实操心得是当你面临一个涉及“集合”或“序列”并且需要挖掘其中元素间复杂、动态关系的问题时Self-Attention很可能是一个值得尝试的强大工具。它的核心思想——通过计算元素间的相似度来动态加权聚合信息——是一种非常通用和强大的建模范式。从我个人的实践经验来看理解Self-Attention关键不在于死记硬背公式而在于深刻领会其“动态路由信息”的思想。在编码时不妨多使用调试工具输出中间层的注意力权重矩阵进行可视化观察模型在不同任务、不同层究竟关注了什么。你会发现在较低的层注意力模式可能更偏向于句法和局部共现而在较高的层注意力可能更多地捕捉语义角色和长程的语义关联。这种观察对于调试模型、分析失败案例非常有帮助。例如如果你发现模型在某个任务上表现不佳而注意力图显示它完全没有关注到那些关键的信息词那么问题可能出在特征提取或数据本身而不是后续的复杂网络结构。
1. 从“一团乱麻”到“精准聚焦”为什么我们需要注意力机制想象一下你正在一个嘈杂的咖啡馆里和朋友聊天。周围有咖啡机的轰鸣、邻桌的谈笑、背景音乐但你依然能清晰地听到朋友说的每一个字。你的大脑并没有平等地处理所有传入耳朵的声音而是自动地、悄无声息地将“注意力”聚焦在了朋友的声音上同时抑制了其他噪音。这就是生物注意力机制最直观的体现。在深度学习尤其是处理序列数据如自然语言、时间序列的领域我们长期面临一个类似的“咖啡馆困境”。传统的循环神经网络RNN及其变体LSTM、GRU在处理一个句子时就像一个记忆力有限的人必须按顺序从左到右或从右到左一个字一个字地读并且试图用一个固定大小的“记忆细胞”来记住前面所有的信息。当句子很长时开头的信息在传递到句尾时可能已经变得非常微弱甚至被“遗忘”了。这就是著名的长程依赖问题。更重要的是RNN这种“顺序处理”的方式天然难以并行计算导致训练效率低下。那么有没有一种方法能让模型在处理一个词时直接“看到”句子中所有其他的词并且能动态地决定应该更“关注”哪些词呢这就是Self-Attention自注意力机制诞生的核心动机。它摒弃了RNN的顺序依赖允许模型在处理序列中任何一个位置时直接计算该位置与序列中所有位置包括它自己的关联程度。这种关联程度就是“注意力分数”。通过这个分数模型可以动态地、有选择地从整个序列中聚合信息。简单来说Self-Attention让模型拥有了“一眼望穿”整个序列并从中提取最相关部分的能力。它不再是一个被动的、顺序的“读者”而是一个主动的、全局的“审视者”。这个根本性的转变不仅极大地缓解了长程依赖问题还因其高度可并行化的矩阵运算特性为利用GPU等硬件进行大规模高效训练打开了大门。2017年谷歌在《Attention Is All You Need》论文中提出的Transformer模型正是以Self-Attention为核心构建块彻底革新了自然语言处理领域并迅速席卷了计算机视觉、语音识别等多个AI分支。2. 拆解Self-Attention三步走理解其工作原理理解了“为什么需要”之后我们来看看Self-Attention“具体怎么做”。它的计算过程可以清晰地分为三步构建查询、键和值计算注意力分数加权求和得到输出。我们用一个极其简化的例子来贯穿说明。假设我们有一个包含两个词的微型句子“猫 吃”。为了便于计算我们假设每个词用一个二维向量表示实际中维度通常是512或768等。“猫”的词向量[1, 0]“吃”的词向量[0, 1]2.1 第一步构建Q, K, V查询、键、值这是Self-Attention最精妙的设计之一。模型为输入序列中的每个词都生成三个新的向量Query查询、Key键、Value值。这三个向量是通过对原始的输入词向量进行线性变换即乘以一个可学习的权重矩阵得到的。Query可以理解为“我要寻找什么”。当模型处理“吃”这个词时它的Query向量就代表着“吃”这个动作需要寻找什么样的信息比如寻找动作的发出者“谁”。Key可以理解为“我拥有什么”。序列中每个词的Key向量代表着这个词能提供什么样的信息。比如“猫”的Key向量可能编码了“我是一个名词是动物是主语候选”等信息。Value可以理解为“我的实际内容”。这是最终被聚合的信息本身。在简单的语义层面Value可以和原始词向量很接近但经过了另一层变换。为什么需要三个这借鉴了信息检索系统的思想。在一个搜索引擎里你输入的问题就是Query网页的标题/摘要可以看作是Key而网页的完整内容就是Value。系统通过计算你的Query和每个网页Key的匹配度相关性来决定从每个网页的Value中抽取多少信息呈现给你。在我们的例子中假设经过简单的权重矩阵为了演示我们使用单位矩阵和微小调整实际中是随机初始化并学习的我们得到对于“猫”Q1 [1, 0],K1 [1, 0],V1 [1, 0]对于“吃”Q2 [0, 1],K2 [0, 1],V2 [0, 1]2.2 第二步计算注意力分数与权重这一步的目标是计算“当前词”以其Query为代表与“序列中所有词”以其Key为代表的相关性。计算方式通常是取Query和Key的点积Dot-Product。点积越大说明两个向量的方向越相似相关性越高。我们来计算当以“吃”为当前词时它对“猫”和“吃”自己的注意力分数分数(吃-猫) Q2 · K1[0,1] · [1,0] 01 10 0分数(吃-吃) Q2 · K2[0,1] · [0,1] 00 11 1得到原始分数[0, 1]后为了稳定梯度我们会对其进行缩放除以Key向量维度的平方根这里维度dk2平方根约1.414缩放后为[0, 0.707]然后通过Softmax函数进行归一化将分数转化为和为1的概率分布即注意力权重。Softmax([0, 0.707]) ≈[0.33, 0.67]这个结果非常直观它表示当模型处理“吃”这个词时它分配了约33%的注意力给“猫”67%的注意力给“吃”自己。这符合语法常识“吃”这个动词需要关注它的主语“谁”吃同时也需要关注自身的信息。2.3 第三步加权求和得到输出最后一步我们用第二步得到的注意力权重对各个词的Value向量进行加权求和从而得到“吃”这个词经过Self-Attention处理后的新表示。输出(吃) 0.33 *V1 0.67 *V2 0.33*[1,0] 0.67*[0,1][0.33, 0.67]看新的向量[0.33, 0.67]不再是一个单纯的“吃”的向量[0,1]而是融合了“猫”的部分信息[1,0]。这个新向量蕴含了“吃”这个动作及其与主语“猫”的关系信息。同理我们也可以计算“猫”的新表示你会发现它也会从“吃”那里获得一些信息比如它是一个正在执行“吃”这个动作的实体。通过这三步Self-Attention完成了一次信息交换序列中的每个词都根据与所有词的相关性从全局收集信息更新了自身的表示。这个过程对所有词是同时、独立进行的完美支持并行计算。3. 从单头到多头为什么需要多个“注意力头”在上一节的例子中我们只进行了一次注意力计算。这被称为“单头注意力”。然而在Transformer中使用的是“多头注意力”。这就像我们人类在理解一句话时可以同时从多个角度去关注它。例如对于“苹果公司发布了新款手机”这句话头1可能关注“实体-关系”苹果公司-发布-手机头2可能关注“修饰属性”新款-手机头3可能关注“指代与领域”苹果是水果还是公司结合上下文确定为科技公司。多头注意力的工作机制如下将输入词向量的维度d_model例如512分割成h个头例如8个头每个头维度为512/864。对每个头独立地使用一套不同的Q, K, V权重矩阵进行线性变换然后在各自的64维子空间内进行上一节所述的三步计算。这样我们会得到h个不同注意力视角下的输出向量每个维度是d_model/h。将这h个输出向量在特征维度上拼接起来得到一个d_model维的向量。最后再通过一个线性变换层整合来自不同头的信息。这样设计的好处是什么增强模型容量不同的头可以学习到不同类型的依赖关系。有的头可能专门捕捉句法关系如主谓一致有的头可能关注近距离共现词汇有的头可能负责长程指代。提供类似集成学习的效果多个头从不同子空间捕捉信息使模型表示更加鲁棒和全面。计算效率的权衡虽然头变多了但每个头处理的维度降低了。总计算量与单头注意力处理高维向量的复杂度是相近的但表达能力更强。在实际代码中多头注意力通过矩阵运算被高效地实现为一次完成而非真正的循环h次。其核心公式可以简洁地表示为MultiHead(Q, K, V) Concat(head1, head2, ..., headh) * WO其中headi Attention(Q * WQi, K * WKi, V * WVi)WQ_i, WK_i, WV_i, WO都是可学习的参数矩阵。注意一个常见的误解是多头一定比单头“好”。在实际中头的数量h是一个需要调的超参数。头数过多可能导致每个头分到的维度太小无法有效学习到有用的模式反而增加过拟合风险。通常d_model能被h整除且h与d_model的大小保持一个合理的比例如512维对应8个头。4. Self-Attention的变体、优势与固有局限Self-Attention并非只有点积这一种形式它在不同的场景下衍生出了多种变体也并非完美无缺。4.1 常见的注意力变体缩放点积注意力这就是我们上面介绍的标准形式在点积后除以sqrt(dk)。这是最常用、效果也通常最好的形式。加性注意力在早期Seq2Seq模型中常用。它通过一个前馈神经网络来计算Query和Key的兼容性分数。其表达能力强但计算开销比点积注意力大。相对位置注意力标准Self-Attention本身是“置换不变”的即打乱输入顺序输出的集合不变只是顺序跟着打乱它本身不包含位置信息。为了注入序列的顺序信息Transformer引入了“位置编码”。而相对位置注意力则更进一步在计算注意力分数时显式地加入词与词之间的相对距离偏置能更好地建模局部和相对位置关系在像T5、DeBERTa等模型中表现优异。4.2 Self-Attention的核心优势强大的长程依赖建模能力一步计算直接关联序列中任意两个位置彻底解决了RNN的长程衰减问题。极高的并行计算效率核心运算是矩阵乘法非常适合在GPU/TPU等硬件上并行加速训练速度远超RNN。模型可解释性我们可以可视化注意力权重矩阵看到模型在处理一个词时具体“关注”了哪些词这为理解模型决策提供了一扇窗口尽管需要谨慎解读。4.3 Self-Attention的固有局限与挑战计算和内存开销巨大计算注意力矩阵需要O(n^2)的时间和空间复杂度n为序列长度。对于超长文本如一本书、一篇长论文这几乎是不可承受的。这是限制Transformer直接处理长文本的主要瓶颈。位置信息依赖外部注入Self-Attention本身不包含顺序信息必须依靠额外添加的“位置编码”来告知模型词的顺序。位置编码的设计如正弦余弦、可学习参数、相对位置对模型性能有直接影响。对局部结构感知较弱虽然能捕捉全局关系但对像n-gram这类严格的局部连续模式其感知不如CNN那样直接和强健。当然模型可以通过学习来弥补这一点。为了应对O(n^2)的复杂度业界提出了大量的高效注意力变体它们可以大致分为以下几类稀疏注意力不让每个词都关注所有词而是只关注一个预设的、稀疏的窗口如局部窗口、空洞窗口、全局记忆词等。BigBird、Longformer是代表。线性化注意力通过数学变换如核函数将注意力计算分解为线性复杂度的形式。Linformer、Performer是代表。递归/分层注意力将长序列分层或分块先在块内计算注意力再在块间计算注意力降低整体复杂度。5. 超越NLPSelf-Attention的跨界应用启示Self-Attention的魅力在于其通用性。它本质上是一种基于相似度的信息聚合机制这个思想可以迁移到任何具有“元素集”和“关系”的场景。计算机视觉Vision Transformer将图像分割成一个个图像块每个块视为一个“词”然后送入Transformer进行编码。Self-Attention让模型能够捕捉图像中任意两个区域之间的远程依赖例如理解一只猫的尾巴和猫的头部的关联这在卷积神经网络中需要很深的层叠才能实现。语音识别在语音序列中Self-Attention可以同时关注整个语音片段更好地建模语音帧之间的长时上下文提升识别准确率如Conformer模型。推荐系统将用户的历史交互序列点击、购买等视为一个序列使用Self-Attention来捕捉用户兴趣的动态演变和不同物品之间的复杂关系。图神经网络图中的节点可以看作序列元素节点之间的关系通过注意力权重来动态学习比固定的邻接矩阵更加灵活如Graph Attention Network。多模态学习处理图像和文本的配对数据时可以使用交叉注意力让文本中的词去关注图像中相关的区域或者反过来从而实现细粒度的模态对齐。一个重要的实操心得是当你面临一个涉及“集合”或“序列”并且需要挖掘其中元素间复杂、动态关系的问题时Self-Attention很可能是一个值得尝试的强大工具。它的核心思想——通过计算元素间的相似度来动态加权聚合信息——是一种非常通用和强大的建模范式。从我个人的实践经验来看理解Self-Attention关键不在于死记硬背公式而在于深刻领会其“动态路由信息”的思想。在编码时不妨多使用调试工具输出中间层的注意力权重矩阵进行可视化观察模型在不同任务、不同层究竟关注了什么。你会发现在较低的层注意力模式可能更偏向于句法和局部共现而在较高的层注意力可能更多地捕捉语义角色和长程的语义关联。这种观察对于调试模型、分析失败案例非常有帮助。例如如果你发现模型在某个任务上表现不佳而注意力图显示它完全没有关注到那些关键的信息词那么问题可能出在特征提取或数据本身而不是后续的复杂网络结构。
查找前驱后继)
