Word2Vec

Word2Vec 是需要训练的模型它和我们平时调用 ChatGPT 那种现成预训练好的大模型 API完全不同。一、它训练的是什么Word2Vec 本质是一个浅层神经网络目标不是做分类或生成而是把每个词学成一个稠密向量embedding使得语义相近的词在向量空间里距离更近。它有两种训练架构CBOW连续词袋用上下文词预测中心词。Skip-gram用中心词预测上下文词。你代码里这句就是在训练model word2vec.Word2Vec(sentences, vector_size100, window3, min_count1)这里sentences你的segment_*.txt分词语料就是训练数据。模型从随机初始化开始在语料上反复迭代调整神经网络参数最终让每个词对应一个 100 维向量。二、为什么必须训练词向量不是算出来的而是从数据中学出来的。同一个词如孙悟空在不同语料里学到的向量会不同——在《西游记》里它和唐僧/猪八戒接近在另一本小说里可能和别的词接近。训练就是最小化预测上下文的损失函数反向传播更新词向量权重。迭代越多、语料越大向量质量越好。你代码里model2.save(./models/word2Vec.model)就是把训练好的参数词向量矩阵持久化到磁盘下次用Word2Vec.load()直接加载不必重训。三、和预训练大模型的区别Word2Vec现代大模型如 GPT是否要训练要在自己的语料上训通常直接用厂商训好的学什么只学词 → 向量映射学语言生成、理解等通用能力参数量很小词数 × 向量维度巨大 billions 级产物一张词向量查找表能对话/生成的模型所以Word2Vec 是模型但它小且通常需要在你自己的语料上训练才能得到贴合该语料的词向量。训练完得到的.model文件就是那张词 → 向量的表之后similarity/most_similar都是在这张表上做向量运算不再训练。补充一点如果你不想自己训也可以下载别人训好的中文 Word2Vec 模型直接load来用——那就变成用现成的了。但课程里这一步的用意正是让你亲手从《西游记》语料训出一个专属词向量模型。