👨‍⚕️主页： gis分享者👨‍⚕️感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅!👨‍⚕️收录于专栏：AI大模型原理和应用面试题文章目录一、🍀回答重点二、🍀扩展知识三、🍀补充知识3.1 ☘️基本工作原理3.2 ☘️遮蔽矩阵类型3.3 ☘️具体实现机制3.4 ☘️数学原理3.5 ☘️不同场景的应用3.6 ☘️实际代码示例3.7 ☘️高级遮蔽技术3.8 ☘️性能优化技巧3.9 ☘️总结一、🍀回答重点**注意力遮蔽（Attention Masking）**在Transformer模型中是指在计算注意力得分时，抑制一些不相关的或无效的输入。简单来说，注意力遮蔽会用来防止注意力机制在处理序列数据时关注到序列中不该被关注的位置。例如，在语言模型中，我们通常使用这种技术来防止模型在生成下一个词时参考到未来的词语。在自注意力机制中，计算每个词的注意力权重时，我们会对词与词之间的相关性进行打分。注意力遮蔽会产生一个遮蔽矩阵，这个矩阵会把不相关的词的打分值置为负无穷（通常是 -inf），这样在经过Softmax处理后，它们的注意力权重也会变得极其接近零，从而实现屏蔽无效词语的目的。二、🍀扩展知识1）类型与应用：注意力遮蔽主要有几种类型：填充遮蔽（Padding Masking）：用于遮蔽序列中的填充值，以避免这些值对注意力计算产生影响。在处理变长序列时，通常需要对序列进行填充，使其达到一致的长度。这个时候，你可以使用填充遮蔽来确保填充值不会干扰模型的训练。未来遮蔽（Future Masking）：在训练生成任务时，比如语言模型中的自回归生成，用于