1. 为什么个人开发者现在值得认真做一次 LLM 全流程实践过去两年大模型相关的讨论几乎被“千亿参数”“万卡集群”“融资新闻”这类词占满普通开发者很容易产生一种错觉这东西跟我没关系我连一张 A100 都摸不到。但真实情况恰恰相反——个人开发者做 LLM 全流程实践的最佳窗口期就是现在。原因有三点我一条条说。第一开源权重和工具链已经足够成熟。GPT-2、GPT-Neo、Pythia、Qwen 小尺寸系列、Llama 系的小参数版本都能在单卡消费级显卡上跑起来。你不需要从零发明 Transformer只需要理解它的数据流然后动手改。第二领域适配的性价比极高。一个 1B 到 7B 的基座模型经过几千到几万条高质量领域数据的继续预训练加指令微调在垂直任务上完全能打过一个通用大模型而且推理成本低到可以自己扛。第三硬件门槛被大幅拉低。一张 RTX 3090 的 24GB 显存配合混合精度、梯度检查点、LoRA 这些技术足以完成一次完整的“预训练小模型 领域适配”闭环。这篇内容就是围绕这条链路展开的从预训练的基本原理和最小可行实现到领域适配的数据构造、训练策略、评测方法再到 RTX 3090 上的显存与速度调优。我假设你有一点 Python 和 PyTorch 基础但没真正训过语言模型。全文会给出可以直接抄的配置、参数计算过程和踩坑记录目标是你读完能自己跑一遍而不是只收藏。提示本文所有实践均基于公开可获取的开源模型与数据集训练过程完全在本地单卡环境完成不涉及任何需要特殊网络条件或敏感用途的内容。2. 先把概念理清楚预训练、微调、领域适配到底在做什么2.1 从 GPT-2 说起一个“预测下一个词”的模型为什么能干活GPT-2 的结构其实不复杂一堆 Transformer Decoder Block 堆叠每个 Block 里有自注意力Self-Attention和前馈网络FFN加上残差连接和 LayerNorm。它的训练目标只有一个——自回归语言建模也就是给定前面的 token预测下一个 token 的概率分布。损失函数就是交叉熵。很多人第一次看会觉得“就这预测下一个词能有什么用”关键在于当语料足够大、模型足够深时为了把下一个词预测准模型被迫学会了语法、事实关联、推理模式甚至一些世界知识。这就是所谓的涌现能力的朴素解释。GPT-2 有 124M、355M、774M、1.5B 几个尺寸个人实践建议从 124M 起步跑通全流程后再上 355M 或更大。这里必须解释一个高频概念LLM 的 token 三个点——key、query、value。在自注意力里每个 token 的向量会被三个不同的线性层投影成 Query我在找什么、Key我是谁、Value我能提供什么。然后用 Query 和所有 Key 做点积算相似度softmax 归一化后作为权重对 Value 加权求和。你可以把它理解成一次“信息检索”当前词发出一个查询去历史里找最相关的信息然后把这些信息聚合回来。理解这一点后面调模型结构、改注意力掩码时就不会懵。2.2 预训练和领域适配的分工别把两件事混为一谈预训练是从随机初始化开始用海量通用语料训练出一个“什么都懂一点”的基座。领域适配是在这个基座之上用特定领域的数据继续训练让它“更懂某一行的黑话和逻辑”。领域适配又分两种继续预训练Continual Pre-training, CPT还是用语言建模目标但语料换成领域文本比如医学论文、法律条文、工业日志。目的是让模型吸收领域词汇和表达习惯。指令微调Supervised Fine-Tuning, SFT用“指令-回答”配对数据训练让模型学会按人类期望的格式输出。目的是对齐行为而不是灌知识。个人开发者最容易犯的错是拿几千条问答数据直接做 SFT然后抱怨模型“不懂领域知识”。正确的顺序是先 CPT 灌知识再 SFT 调行为。如果数据量实在少可以只做 SFT但效果上限会明显低一截。2.3 为什么选 GPT-2 而不是直接上大模型做实验从工程学习角度GPT-2 有几个不可替代的优势结构经典、代码实现多、社区教程全、单卡能训、训练过程可观测。你在 GPT-2 上踩过的每一个坑——loss 不下降、梯度爆炸、显存溢出、过拟合——在更大的模型上都会以同样的形式出现只是规模不同。先用小模型把流程和直觉建立起来再迁移到大模型是成本最低的路径。RTX 3090 的 24GB 显存跑 124M 模型的全参数预训练绰绰有余跑 355M 也够用这就是它的价值。3. 环境搭建与 RTX 3090 显存预算的硬核算账3.1 软件栈选择PyTorch Transformers Accelerate 的最小组合我的建议是不要一上来就上 DeepSpeed 或 Megatron那些是给多卡大规模训练用的单卡场景反而增加调试成本。最小可用组合是# 建议 Python 3.10CUDA 12.1 对应的 PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers datasets accelerate evaluate pip install bitsandbytes # 需要 8bit 优化器或量化时用 pip install wandb # 可选但强烈建议训练曲线可视化太重要了版本上Transformers 建议 4.40 以上因为新版的Trainer对梯度检查点、混合精度的支持更顺。accelerate用来做设备管理和混合精度比手写autocast省心。3.2 显存到底花在哪一次完整的显存预算计算很多人显存爆了不知道为什么其实显存占用可以拆成四块模型参数、梯度、优化器状态、激活值。以 GPT-2 124M约 1.24 亿参数为例做全参数训练项目精度占用计算显存模型参数FP32124M × 4 字节约 496 MB梯度FP32124M × 4 字节约 496 MBAdam 优化器状态FP32124M × 8 字节一阶二阶动量约 992 MB激活值FP16与 batch、序列长度相关约 2-6 GB合计约 4-8 GB看起来 24GB 很宽裕对吧但如果你把序列长度拉到 1024、batch size 开到 16激活值会迅速膨胀。激活值是显存杀手因为它和层数、batch、序列长度都成正比。解决办法就是梯度检查点Gradient Checkpointing用计算换显存把中间激活值丢掉反向传播时重算。开启后激活值能降 60% 以上代价是训练速度慢约 20%-30%。3.3 混合精度与优化器选择省显存又不掉精度的组合拳混合精度AMP的核心是前向和反向用 FP16/BF16 算参数更新用 FP32 存。这样显存和带宽都省速度还快。RTX 3090 支持 BF16 吗严格说 3090 是 Ampere 架构BF16 支持不完整实测用 FP16 GradScaler 更稳。配置如下from torch.cuda.amp import autocast, GradScaler scaler GradScaler() with autocast(dtypetorch.float16): outputs model(**batch) loss outputs.loss scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()优化器方面Adam 显存占用大可以用AdamW 8bitbitsandbytes 提供优化器状态从 8 字节/参数降到 2 字节/参数124M 模型能省约 750MB。或者用Adafactor它把二阶动量做低秩分解显存更省但收敛有时不如 AdamW 稳。我的经验是小模型用 AdamW 8bit大模型或显存紧张用 Adafactor。注意开启梯度检查点后模型里所有requires_grad的中间变量都会被重算所以如果你的模型有 dropout 或随机性操作要确保训练模式正确否则重算结果和第一次不一致会导致梯度错误。4. 预训练实操从零训一个 GPT-2 级别的小模型4.1 数据准备语料清洗、分词与打包成训练样本预训练数据决定了模型的上限。个人实践不建议一上来就爬全网先用公开数据集比如中文可以用维基百科 dump、开源书籍语料英文可以用 OpenWebText 的子集。数据清洗至少做三件事去重用 MinHash 或简单的哈希去重、去乱码过滤非目标语言字符比例过高的行、去超短行少于 20 个字符的句子通常没价值。分词用 GPT-2 的 BPE tokenizer 即可中文场景可以换成中文 BPE 或 SentencePiece。关键步骤是把长文本拼成固定长度的序列from transformers import GPT2Tokenizer from datasets import load_dataset tokenizer GPT2Tokenizer.from_pretrained(gpt2) tokenizer.pad_token tokenizer.eos_token def tokenize_and_pack(examples): # 把所有文本拼起来再按 block_size 切块 concatenated .join(examples[text]) tokens tokenizer(concatenated, return_tensorspt).input_ids[0] # 丢弃尾部不足一块的部分 total (len(tokens) // block_size) * block_size tokens tokens[:total].view(-1, block_size) return {input_ids: tokens.tolist(), labels: tokens.tolist()} block_size 512 dataset load_dataset(wikitext, wikitext-103-raw-v1, splittrain) dataset dataset.map(tokenize_and_pack, batchedTrue, batch_size1000, remove_columns[text])这里labels和input_ids相同因为语言建模的标签就是输入右移一位HuggingFace 的模型内部会自动做 shift。block_size选 512 是 3090 上的平衡点1024 会明显吃显存。4.2 模型配置124M 参数的具体结构参数GPT-2 small 的配置是12 层、12 个注意力头、隐藏维度 768、FFN 中间维度 3072、最大位置编码 1024、词表 50257。用 Transformers 直接from transformers import GPT2Config, GPT2LMHeadModel config GPT2Config( vocab_size50257, n_positions1024, n_embd768, n_layer12, n_head12, resid_pdrop0.1, embd_pdrop0.1, attn_pdrop0.1, ) model GPT2LMHeadModel(config) print(sum(p.numel() for p in model.parameters()) / 1e6) # 约 124M如果你想训更小的做快速实验把n_layer降到 6、n_embd降到 512参数量约 40M单卡几分钟就能跑一个 epoch非常适合调流程。4.3 训练循环与关键超参学习率、warmup、batch 的取舍预训练的超参比微调更敏感。我的经验配置学习率1e-4 到 3e-4小模型可以高一点大模型要低。Warmup总步数的 1%-5%防止初期梯度爆炸。Batch size受显存限制用梯度累积模拟大 batch。比如实际 batch 4累积 8 次等效 batch 32。权重衰减0.01只对权重矩阵生效LayerNorm 和 bias 不衰减。梯度裁剪1.0必开语言模型梯度偶尔会飙。from transformers import TrainingArguments, Trainer args TrainingArguments( output_dir./gpt2-pretrain, per_device_train_batch_size4, gradient_accumulation_steps8, learning_rate2e-4, warmup_steps500, max_steps50000, lr_scheduler_typecosine, weight_decay0.01, max_grad_norm1.0, fp16True, gradient_checkpointingTrue, logging_steps50, save_steps2000, report_towandb, ) trainer Trainer(modelmodel, argsargs, train_datasetdataset) trainer.train()gradient_checkpointingTrue在 Trainer 里会自动处理但要注意它会和use_cache冲突训练时模型会自动关掉 cache这是正常的。4.4 训练过程监控loss 曲线怎么看、什么时候该停预训练的 loss 曲线应该是平滑下降的。如果出现以下情况说明有问题loss 突然飙升多半是学习率太大或数据里有异常样本检查梯度范数。loss 长期不降学习率太小、数据质量差、或者模型初始化有问题。训练 loss 降但验证 loss 升过拟合小模型在重复数据上很容易这样需要加数据或加 dropout。我一般会同时看训练 loss 和验证 loss验证集用留出的 1% 数据。当验证 loss 连续几个 epoch 不降时就可以停。124M 模型在 wikitext-103 上跑 5 万步左右验证 loss 能到 3.2 附近再往下收益递减。实操心得预训练最耗时的不是训练本身而是数据准备和调试。我第一次跑的时候因为没做去重模型把某段文本背下来了验证 loss 虚低后来加了 MinHash 去重才正常。数据质量永远比模型大小重要。5. 领域适配让基座模型真正懂你的行业5.1 领域数据构造从原始文本到 CPT 语料的三步法领域适配的第一步是搞到领域文本。来源可以是公开论文、行业报告、技术文档、论坛问答。拿到原始文本后做三步格式统一全部转成纯文本去掉 HTML 标签、页眉页脚、参考文献编号。领域过滤用关键词或分类器筛掉不相关的内容。比如做医疗领域就保留含医学术语的段落。质量分级把文本按来源可信度分级高质量数据可以重复采样低质量数据只过一遍。CPT 的数据格式和预训练一样还是拼成固定长度序列。数据量上个人实践建议至少 100MB 到 1GB 的领域文本太少模型学不到东西太多训练时间扛不住。5.2 继续预训练 vs 指令微调数据量、目标、效果差异维度继续预训练 CPT指令微调 SFT数据形式纯文本指令-回答配对数据量大MB-GB 级小千-万条训练目标语言建模条件生成主要作用灌领域知识对齐输出行为学习率1e-5 到 5e-51e-5 到 2e-5训练轮数1-3 epoch2-5 epoch我的建议是如果领域文本充足先做 CPT再做 SFT如果只有问答数据直接 SFT但要在 prompt 里尽量多塞领域背景知识。5.3 LoRA 与全参数微调显存、效果、适用场景对比全参数微调更新所有参数效果上限高但显存占用大124M 模型全参微调约需 6-8GB355M 约需 12-16GB。LoRA只训练低秩旁路矩阵显存占用极低124M 模型 LoRA 微调 2GB 就够而且可以多个 LoRA 权重切换。from peft import LoraConfig, get_peft_model lora_config LoraConfig( r8, lora_alpha32, target_modules[c_attn], # GPT-2 的注意力投影层 lora_dropout0.1, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 通常只有原参数的 0.5%-2%LoRA 的r是秩越大容量越强但参数越多8 到 32 是常用范围。lora_alpha一般设为r的 2-4 倍。实测下来在领域问答任务上LoRA 微调能达到全参微调 90% 以上的效果但显存和时间省一大半。个人开发者优先用 LoRA。5.4 领域适配的评测别只看 loss要看任务指标领域适配后光看 loss 不够要设计任务级评测。比如领域问答准备 100 条领域问题人工或模型打分。术语理解让模型解释领域术语看是否准确。生成质量让模型写一段领域文本评估流畅度和专业性。我一般会做一个简单的 A/B 对比基座模型 vs 适配后模型在同一批 prompt 上生成人工盲评。这个流程虽然土但比任何自动指标都可靠。6. 常见问题与排查技巧实录6.1 显存溢出OOM的六种排查路径OOM 是单卡训练最常见的报错。按以下顺序排查降 batch size最直接先降到 1 看还爆不爆。开梯度检查点激活值降 60% 以上。缩短序列长度从 1024 降到 512激活值减半。换 8bit 优化器优化器状态省 75%。用 LoRA可训练参数降到 1% 以下。检查是否有内存泄漏比如在循环里不断累积 tensor用torch.cuda.empty_cache()辅助。6.2 loss 不下降或震荡的五个原因学习率太大loss 震荡或飙升降 10 倍试试。warmup 太短初期梯度爆炸加长 warmup。数据有问题标签错位、空样本、重复样本。梯度裁剪没开语言模型必开。模型初始化异常检查是否加载了预训练权重。6.3 生成结果重复、胡言乱语的调参方案生成阶段的问题多半是解码策略导致现象原因调整重复输出贪心解码陷入循环用 top-k 或 top-p 采样胡言乱语温度太高降 temperature 到 0.7-0.9太保守温度太低升 temperature 或加 top-p输出太短eos 概率高加 repetition_penaltyoutputs model.generate( input_ids, max_new_tokens200, do_sampleTrue, top_k50, top_p0.95, temperature0.8, repetition_penalty1.1, )6.4 训练速度慢的优化清单开fp16或bf16。用DataLoader的num_workers预取数据。把数据预处理结果缓存到磁盘避免每次重新 tokenize。用torch.compilePyTorch 2.0能提速 10%-30%。减少 logging 和 checkpoint 频率。踩坑记录我曾经因为save_steps设成 100每 100 步存一次模型结果 IO 把训练速度拖慢了一半。后来改成 2000 步存一次速度立刻正常。checkpoint 不是越勤越好。7. 从实践到扩展个人开发者还能往哪走跑通预训练加领域适配这条链路后你会发现很多方向可以延伸。比如把训练好的模型用 ONNX 导出做本地推理部署或者接入 RAG 架构用检索增强弥补模型知识不足再或者尝试 GraphRAG 这类结合知识图谱的方案让模型在专业问答上更可靠。这些都不是必须的但每一个都能让你的项目从“能跑”变成“好用”。我个人在实际操作中的体会是个人开发者做 LLM 最大的优势不是算力而是对垂直场景的理解深度。大厂做通用模型你做某个细分领域的专家模型用几千条高质量数据就能做出差异化。RTX 3090 这张卡在今天看不算新但它足以支撑你完成从数据到模型到评测的完整闭环。真正稀缺的从来不是显卡而是愿意把流程走完一遍的人。