注意力机制是啥有哪些分类从我个人角度来说觉得先了解其诞生与发展之后再总结下。1 诞生与发展1.1 思想萌芽期1990s视觉与认知的“硬注意力”核心领域计算机视觉 (CV)本质模拟人类视觉的选择性聚焦属于硬注意力Hard Attention。里程碑事件1998年 Itti 模型基于颜色、亮度等低层特征计算视觉显著性Saliency Map这是注意力思想在计算模型中的最早落地。2014年 RAM使用 RNN 强化学习预测下一个“注视点”是硬注意力在深度学习中的典型代表。特点规则驱动、不可微分、训练困难主要用于解决“看哪里”的问题。1.2 技术成熟期2014-2016NLP 的“软注意力”核心领域自然语言处理 (NLP)本质解决序列建模的信息瓶颈属于软注意力Soft Attention。里程碑事件2014年 Bahdanau Attention首次在 Encoder-Decoder 框架中引入可微分的对齐机制让解码器动态关注编码器的不同部分。2015年 Luong Attention优化了计算方式如 Dot-Product确立了软注意力作为标准组件的地位。特点数据驱动、可微分、端到端学习解决了“如何加权”的问题。1.3 范式革命期2017-至今Transformer 与“自注意力”核心领域NLP → CV反哺本质抛弃归纳偏置实现全局关系建模核心是自注意力Self-Attention。里程碑事件2017年 Transformer提出 Multi-Head Self-Attention证明无需 RNN/CNN 即可处理长程依赖统一了软/自注意力机制。2020年 Vision Transformer (ViT)将图像切分为 Patch 序列首次将纯 Transformer 应用于 CV 并达到 SOTA完成从 NLP 到 CV 的范式迁移。特点并行计算、全局感受野、架构大一统。2 总结注意力机制始于 CV 的视觉模拟硬注意力成于 NLP 的序列对齐软注意力最终通过 Transformer 的自注意力实现跨模态统一。从硬注意力机制开始探索到软注意力机制再到如今的自注意力机制。可知道人类科技文明就是这样众多人类探索者前赴后继的探索推动了整个科技文明的前进这是不以你我的意志为转移的发展规律。2.1 注意力机制是一种思想不局限于特定模型。transformer只是这种思想中分支——自注意力机制——的实现之一。2.2 仿人学说白了就是把人的注意力机制让神经网络实现。这就是仿人学呀2.3 分类硬注意力机制个人理解类似于权重分配非0即1该抛弃的彻底抛弃很硬也叫局部注意力机制。软注意力机制也叫全局注意力机制。不再是硬注意力的非0即1而是全部都有权重0-1之间。自注意力机制输入各项内部推举各个的重要性的机制。这里人类的行为方式之一就是注意力你行走看景都会锁定一点老师上课时常说“注意力集中”就是这样AI的研究又会回归到人类大脑的研究。每个人都有自己的关注点都是自己从小到大形成的自己的规则——“做自己”说的就是不会因外物影响自己的一套规则——一套关注点规则。另外人类的注意力是实时变化的。而且个人有个人的关注点都是长年累月形成的。