语言模型与Transformer架构语言模型 (Language Model, LM)是自然语言处理的核心，其根本任务是计算一个词序列（即一个句子）出现的概率。P(s) = 每个词出现概率连乘，直接计算不可能引入马尔可夫假设，单个词出现概率只与上一个词有关基本上两步：P(第一个词)，P(第一个词基础上第二个词)依次类推累乘两大缺陷：数据稀疏（没见过的算不了），泛化不行（无法理解类似词汇）用连续的向量来表词的前馈神经网络构造语义空间：用向量来表示词简称词向量汇聚而成的向量空间映射：基于上下文学习
语言模型与Transformer架构语言模型 (Language Model, LM)是自然语言处理的核心，其根本任务是计算一个词序列（即一个句子）出现的概率。P(s) = 每个词出现概率连乘，直接计算不可能引入马尔可夫假设，单个词出现概率只与上一个词有关基本上两步：P(第一个词)，P(第一个词基础上第二个词)依次类推累乘两大缺陷：数据稀疏（没见过的算不了），泛化不行（无法理解类似词汇）用连续的向量来表词的前馈神经网络构造语义空间：用向量来表示词简称词向量汇聚而成的向量空间映射：基于上下文学习
