尧图网站建设 
08 分类微调：把 GPT 变成垃圾邮件分类器系列第 8 篇。到现在为止，我们的 GPT 只会"生成文本"。这一篇开始微调——让预训练模型适配特定任务。首先是最简单也最实用的形态：分类微调，用 GPT 做垃圾邮件识别。对应《从零构建大模型》第 6 章：微调策略、数据集准备、替换输出头、冻结层、训练与准确率评估。1. 为什么预训练模型不能直接做分类？预训练 GPT 的输出是下一个 token 的概率分布（50,257 类），输出层是一个巨大的 token 头。而垃圾邮件分类只需要输出2 个标签（spam / not spam）。直接把"下一个词"的任务硬当分类用，既不高效也不对路。微调的思路是：保留预训练学到的"语言理解能力"，只把顶部的输出层换成任务需要的分类头，再用带标签数据训练。一个关键前提：微调必须在预训练之后进行。预训练教给模型"语言长什么样"，微调教给模型"怎么用语 08 分类微调：把 GPT 变成垃圾邮件分类器
08 分类微调：把 GPT 变成垃圾邮件分类器系列第 8 篇。到现在为止，我们的 GPT 只会"生成文本"。这一篇开始微调——让预训练模型适配特定任务。首先是最简单也最实用的形态：分类微调，用 GPT 做垃圾邮件识别。对应《从零构建大模型》第 6 章：微调策略、数据集准备、替换输出头、冻结层、训练与准确率评估。1. 为什么预训练模型不能直接做分类？预训练 GPT 的输出是下一个 token 的概率分布（50,257 类），输出层是一个巨大的 token 头。而垃圾邮件分类只需要输出2 个标签（spam / not spam）。直接把"下一个词"的任务硬当分类用，既不高效也不对路。微调的思路是：保留预训练学到的"语言理解能力"，只把顶部的输出层换成任务需要的分类头，再用带标签数据训练。一个关键前提：微调必须在预训练之后进行。预训练教给模型"语言长什么样"，微调教给模型"怎么用语