从去年开始我一直在一个开源仓库里泡着名字就叫ai-engineering-from-scratch。第一次看到这个项目标题时我愣了一下心里想的是又一个人工智能大杂烩点进去才发现完全不是那么回事。它解决的不是“怎么调一个 API 做聊天机器人”而是“一个普通开发者如何在没有现成 AI 组件库的前提下从数学和代码的最底层亲手搭出一个人工智能系统”。今天这篇总结我想把我在这个仓库里学到的东西、踩过的坑、以及对“从零开始”这四个字的真实理解完整地拆给你看。如果你是刚转行想做 AI 工程、被各种高层框架弄得一头雾水的开发者或者已经在用现成工具做推理但总觉得哪里缺了一块这篇内容应该正是你需要的。我会绕开那些“五小时学会大模型”的速成幻觉用文章和代码给你展示一套真正能落地的知识体系以及我自己在实践中的真实路径。1. 项目标题拆解“AI 工程”到底在讲什么1.1 “from scratch”并不等于“重复造轮子”很多人听到“从零开始写 AI”第一反应是神经网络的源码我都要自己写反向传播也自己推那岂不是找工作之前先把自己熬秃这里有一个很关键的误解。所谓from scratch并不意味着你拒绝所有工具而是你要有能力在工具失效、或者没有现成工具的时候自己把底层逻辑补出来。我在这个项目里理解了更准确的分层第一层你能够手动实现线性回归、逻辑回归、一个两层的 MLP并且清楚梯度下降每一步在做什么第二层你能读懂 Transformer 的注意力机制源码而不只是调transformers库里的from_pretrained第三层你能独立搭建简单的训练 pipeline、实现数据加载与预处理并完成评估闭环。这套能力组合在业界叫“AI 工程”而不是“AI 调包”。它要求你像一个工程师对待编译原理那样对待模型——不一定要重新发明但要完全理解。这个仓库就是沿着这样一条“手写基石→理解架构→搭建应用”的路径来组织的正好解决了我在自学阶段最头疼的问题知识碎片化。看了一百篇博客不如踏实跑通一个从零手写的 5 层网络。1.2 为什么需要这样一套知识体系如果你只关心“怎么用”当下确实有太多开箱即用的选择。Hugging Face的 pipeline 可以让你几行代码完成情感分析LangChain把 RAG、Agent 串起来也不过是配置几个参数。但这类工具在工程落地时很容易碰到天花板推理速度太慢你只知道加 batch size 却不理解为什么有时反而变慢显存爆炸你找不到是哪一层激活值消耗最大微调效果不理想你连该调学习率还是调整层数都判断不了。我过去带队面试 AI 工程师时最常用的一道题不是让候选者背 ResNet 结构而是拿一个 MacBook让他现场把最基本的前向传播写出来。结果出乎意料地让人沉默。很多人能写出漂亮的 PyTorch 训练循环却不知道张量在内存中是怎么排布的。这说明一个共同的问题大家的基础知识是悬浮的不够扎实。而ai-engineering-from-scratch这个项目正是针对这一痛点——把地基重新打好从线性代数、概率统计、微积分与 Python 实现的交叉点切入在你熟悉的代码之上重建数学直觉。2. 核心细节解析这份路线图里藏着哪些“硬核”内容2.1 从线性代数到自动求导数学到底要学到什么程度只要聊到 AI 工程线性代数是绕不开的第一座山。但这里有个常见误区不是要把矩阵论刷成满分而是要建立“形状直觉”。整个神经网络的训练本质就是若干次张量Tensor的变形与运算。项目的第一个核心模块就是帮你建立这种直觉。比如矩阵乘法(A B)能成立的条件是 A 的最后一维等于 B 的倒数第二维。听起来很简单但要真正做到条件反射需要大量的手写练习。项目中的做法非常“暴力”——不让你第一周就上 PyTorch而是用纯 Python 的列表推导式去实现矩阵乘法。当你亲眼看到三层 for 循环慢慢被优化成向量化点积时你对为什么 GPU 适合矩阵运算的理解会比读十篇科普都深。在这个阶段还要弄明白一个关键概念雅可比矩阵。反向传播算法中梯度从输出层向输入层流动每经过一个节点就要与局部导数相乘。这个“相乘”在高维空间里本质就是矩阵与向量的乘法。很多人写代码时感觉自己懂了但一旦问“为什么链式法则在向量化下依然成立”就答不上来。我建议你把 2x2 矩阵的例子在草稿纸上手动推一遍再用代码验证。这是整个项目里最值得花时间的 20 个小时。2.2 概率统计为什么语言模型本质上是一个概率分布当项目进展到语言模型部分时一个核心知识点重新浮出水面条件概率。大语言模型的一切“智能”本质上都是在执行P(next_token | previous_tokens)的估计。所谓的生成不过是依据当前概率分布做采样。你不需要成为概率论专家但要能写出并解释以下几个核心公式贝叶斯定理P(A|B) P(B|A) * P(A) / P(B)交叉熵损失L -Σ y_i * log(p_i)它来自最大似然估计困惑度PPL exp(cross_entropy_loss)用于评估语言模型在这个基础上项目会引导你亲手搭建一个基于 n-gram 的极简语言模型。虽然它在现代大模型面前显得原始但这个模型能让你直观看到条件概率是如何被统计出来的、平滑方法如 add-k smoothing解决什么问题。我建议你自己写一个双字母bigram模型然后用它生成一段风格模仿文本。当你看到“the the and of and”这种愚蠢输出时你就真正理解了“参数不足”和“数据稀疏”意味着什么——这种理解会成为以后你评估大模型幻觉问题的底层直觉。2.3 Python 工程化不只是写通代码而是写可维护的代码AI 工程和算法研究的区别在于工程化。这个仓库花了大量篇幅讲Python 工程化包括类型标注、数据类dataclass、配置管理如 dataclasses YAML、单元测试。我初次看时不以为意直到自己动手重构手写模型代码才发现工程化的价值。举个例子如果你用dict传递配置参数嵌套三层的配置会让你调试到崩溃。而用dataclass定义ModelConfig和TrainConfigIDE 自动补全让你少犯 80% 的手滑错误。再用task_queue或简单的 shell 脚本串起整个训练流程你就能理解 MLOps 中“pipeline”这个概念最朴素的形态。项目里有一套完整的测试推荐对DataLoader测试 batch 形状对loss测试梯度下降后 loss 是否下降对tokenizer测试编解码一致性。这些测试不是为了凑覆盖率而是为了保证你后面改代码时的安全感。我在复现的过程中悟出一个道理没有测试的 AI 项目改着改着就疯了。2.4 从感知机到 Transformer 的完整演进路径项目主体不直接跳跃到 Transformer而是沿用了神经网络发展的经典路径感知机——理解线性边界多层感知机MLP——引入隐藏层与非线性激活卷积神经网络CNN——理解局部感受野与参数共享循环神经网络RNN/LSTM——理解序列建模与时序依赖注意力机制Attention——理解动态权重分配Transformer——理解并行化与全局依赖建模当你沿着这条路走一遍后你会发现在 Transformer 里出现的Q、K、V并非什么玄学。它不过是一种“基于内容寻址”的加权平均机制。先从 RNN 的隐状态传递理解“顺序处理”的效率瓶颈再看到 Attention 直接计算任意两个位置之间的关联你就能明白为什么 Transformer 能并行、能处理长序列。项目里还配了一个小练习手写一个单头注意力打分函数。用 NumPy 实现softmax(Q K.T / sqrt(d_k)) V看看每一步的张量形状是怎么变化的。这种练习做完之后你再读多头注意力的源码会发现阻力小太多。因为所谓多头无非就是把d_model维度切成了几份各算各的注意力再拼回去。3. 实操过程我是怎么把这个项目“啃”下来的3.1 制定一个可执行的三阶段计划拿到仓库之后我没有按顺序从头看到尾而是根据目标制定了一个三阶段冲刺计划。如果你和我一样兼顾工作与学习我建议你参考我的节奏不要把战线拉得太长否则前期内容还没消化后面就给忘了。第一阶段第 1~2 周数学与 Python 基础复盘。我把线性代数和概率论的关键章节配合小代码练习过了一遍。不追求刷题量但保证每个公式都有代码对应。每天投入大概 1.5 小时周末翻倍。第二阶段第 3~6 周手写神经网络。我用纯 NumPy 写了 MLP、CNN 前向与反向传播然后用了 PyTorch 自动求导对比结果。通过对比我深刻理解了框架帮我们做了什么以及哪些地方需要自己干预比如梯度裁剪、梯度累积。第三阶段第 7~10 周Transformer 从原理到实现。在 NumPy 层面实现了一个用于加法运算的极简 Transformer然后迁移到 PyTorch 生态中。最后做了一个基于 GPT-2 小模型的文本生成玩具。3.2 关键步骤从 NumPy 到 PyTorch 的“翻译练习”这里有一个特别推荐的实操方法翻译练习。先用 NumPy 手写一个组件再用 PyTorch 复现同样功能的组件最后把两者的输出做数值对比。例如实现一个Layer Normalization# NumPy 实现 def layer_norm_numpy(x, gamma, beta, eps1e-5): mean x.mean(axis-1, keepdimsTrue) var x.var(axis-1, keepdimsTrue) normalized (x - mean) / np.sqrt(var eps) return gamma * normalized beta # PyTorch 实现用于对比 import torch import torch.nn as nn torch.manual_seed(42) x_torch torch.randn(2, 3, 4) ln nn.LayerNorm(4) y_torch ln(x_torch) x_np x_torch.numpy() gamma ln.weight.detach().numpy() beta ln.bias.detach().numpy() y_np layer_norm_numpy(x_np, gamma, beta) print(最大误差:, np.abs(y_torch.detach().numpy() - y_np).max()) # 通常情况下这个误差应该在 1e-6 级别当这个误差小于1e-5时你基本可以确信自己的实现思路和官方一致。不要小看这类练习它把“看懂了”变成“做对了”。3.3 环境配置与实验管理心得工欲善其事必先利其器。在整个实操过程中我的环境配置经历了三次迭代教训深刻。一开始我用全局 Python 环境结果不同项目的依赖互相打架后来老老实实上了poetry。如果你不想折腾至少也要用venv隔离开。我的推荐配置是Python 3.11 PyTorch 2.x NumPy 1.26 Jupyter Lab。Jupyter Lab用来做逐行探索非常方便但正式训练脚本一定要写成.py文件方便复用和版本管理。项目里会把实验结果记录在一个简单的CSV文件中列名包括model_type、lr、batch_size、epochs、final_loss、accuracy等。千万不要只在终端里看一下输出就完事。你会发现当你把几次调整的超参和结果放在同一个表格里时很多规律会自己浮现出来。比如我就在表里发现当学习率从3e-4降到1e-4时小模型的收敛虽然变慢但最终 loss 更低泛化也更好。这种感觉比看任何论文里的结论都来得真切。3.4 如何手写一个极简 GPT 训练循环到了 Transformer 阶段from scratch的含金量就体现出来了。这里我给出一个极简但完整的训练循环框架你可以在此基础上扩展数据加载和评估逻辑import torch import torch.nn as nn from torch.optim import AdamW def train_step(model, optimizer, batch, device): x, y batch x, y x.to(device), y.to(device) logits model(x) # 假设内部已经封装了词嵌入和位置编码 loss nn.functional.cross_entropy( logits.view(-1, logits.size(-1)), y.view(-1) ) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) optimizer.step() return loss.item() device torch.device(cuda if torch.cuda.is_available() else cpu) model MinimalGPT(vocab_size256, d_model64, n_heads4, n_layers2).to(device) optimizer AdamW(model.parameters(), lr3e-4) for step, batch in enumerate(train_dataloader): loss train_step(model, optimizer, batch, device) if step % 100 0: print(fStep {step}, Loss {loss:.4f})注意训练循环里的clip_grad_norm_。我最初总觉得这是可有可无的直到一次训练中 loss 突然跳到 NaN才体会到梯度爆炸的可怕。一个小技巧如果 loss 出现 NaN先不要调学习率先检查输入数据是否包含异常值再看要不要降低学习率。如果都没问题再检查你手写的反向传播里有没有除以零。4. 常见问题与排查技巧实录4.1 数学一看到就头疼怎么办这是大多数想入门 AI 工程的人遇到的第一道坎。我在项目实践中发现一个很有效的应对方法以代码为准反向补数学。不要先学完一本线性代数再动手写代码而是先写一个简单的前向传播当代码报错说维度不匹配时你再回头去查矩阵乘法的规则。带着问题学效率至少翻倍。举个例子你在实现(B, T, C)形状的张量与(C, C)权重矩阵相乘时搞清楚einsum符号btc,co-bto算一遍比你死记torch.matmul的规则管用得多。学习数学的过程本质上和学习编程一样是通过反馈循环来建立直觉的。我特别建议新手准备一个“笨办法”笔记本把每个公式用最朴素的方式展开一次比如把 2x2 矩阵乘法的九个数字全部手算出来再写代码验证。你会发现90% 的“看不懂”其实发生在概念转换的瞬间而不是数学本身有多难。4.2 能跑通代码但一换数据集就失效这是工程落地中最令人崩溃的问题你的模型在练习集上表现完美一到新数据上就拉胯。根本原因通常是两个一个是过拟合一个是数据分布不一致。过拟合的经典特征是训练 loss 不断下降验证 loss 不降反升。解决办法不外乎正则化、数据增强、早停。但我要强调一点在from scratch的项目中模型容量一开始不要设计得过大。我试过用一个小模型配合较强正则效果反而比直接上大模型更稳定也更加容易调试。数据分布不一致的问题则隐蔽得多。比如你训练文本生成模型时训练语料全是英文新闻但应用场景是中文客服对话那无论你怎么调参效果都不会好。这时候需要回到数据层面去检查预处理、tokenizer 词表覆盖度而不要盲目调整模型结构。4.3 手写反向传播时梯度怎么查都是错的这个坑我至少踩了三天。手写反向传播最容易出错的地方是维度搞错或者某个操作忘了链式法则中的一项。解决办法只有一个——数值梯度检查。用中心差分法近似梯度和你的解析梯度做对比def numerical_gradient(f, x, eps1e-6): grad np.zeros_like(x) it np.nditer(x, flags[multi_index], op_flags[readwrite]) while not it.finished: idx it.multi_index old_val x[idx] x[idx] old_val eps fx_plus f(x) x[idx] old_val - eps fx_minus f(x) grad[idx] (fx_plus - fx_minus) / (2 * eps) x[idx] old_val it.iternext() return grad只要相对误差小于1e-5基本就说明反向传播正确。这个“数值梯度检查”技巧是调试手写神经网络时最值得信赖的朋友比肉眼盯公式靠谱太多。4.4 显存不够有哪些立竿见影的压缩手段在训练 Transformer 时最常见的抱怨就是“显存不够”。先别急着换更大的卡按照性价比从高到低操作一遍减小batch_size必要时配合梯度累积效果等价降低序列长度比如先用 256 token 长度跑通再逐步增长使用梯度检查点gradient_checkpointing用时间换显存关闭不需要的梯度存储将模型参数转为bfloat16混合精度在实现层面torch.utils.checkpoint是一个非常便捷的工具。它在前向传播时不保存中间激活值而是在反向传播时重新计算从而大幅降低显存占用。我实测下来序列长度从 512 提到 1024 时显存直接翻了一倍多启用梯度检查点后才勉强压回去。当然代价是训练时间变长但至少在有限硬件上能跑起来了。5. 避坑清单与我的实操建议5.1 别一上来就看源码要带着问题去读项目仓库或者开源模型里都有大量优质源码但直接通读源码是效率最低的学习方式。你应该带着具体的问题去读代码。比如“为什么这里要做 reshape”“为什么 mask 要加在 softmax 之前”在我实践后总结的最佳路径是先看论文/博客了解思想再用自己的话写伪代码最后对照源码检查自己遗漏了什么。以多头注意力为例先理解“多头”是为了让模型在不同子空间里学习不同关系再看代码里d_model // n_heads的维度切分你才会有“原来如此”的顿悟。5.2 善用“小规模调试”策略训练大模型是一个非常昂贵的试错过程。我的习惯是先在极小规模上调试vocab_size100、d_model16、n_layers1batch 数量不超过 20。用小规模数据跑通完整的训练和评估流程后再逐步扩展到接近真实的规模。有一次我用小规模调试发现 loss 不下降排查了半天最终定位到是学习率过大加上权重初始化不合理导致梯度消失。这种问题在大规模训练中很容易被淹没在长长的日志里。有了小规模调试这一步我的整个实验周期缩短了至少三分之一。5.3 搭建一个简单的实验记录模板在项目早期你就应该建立一个统一的实验记录模板不要等跑了几十组实验后才后悔。模板可以非常简单experiment_name: mlp-mnist-baseline model: type: MLP hidden_dim: 128 num_layers: 2 data: dataset: MNIST batch_size: 64 augment: false train: epochs: 10 lr: 0.001 optimizer: AdamW scheduler: cosine result: final_train_loss: 0.012 final_val_acc: 0.971 notes: 首次跑通验证流程无误这看起来微不足道但当你同时追踪 20 个实验时它就是你的记忆外挂。那些看起来是 AI 工程师“标配”的严谨习惯常常就是在这样的细节里练出来的。6. 这个项目还能往哪些方向延伸如果你按上述路径完整走完你已经超越了大多数只会调包的人。下一步可以有多个延伸方向。一是往推理工程方向走学习 ONNX 导出、TensorRT 加速、量化INT8/FP16让模型跑得更快、占得更少。二是往大规模分布式训练方向走理解数据并行、模型并行、张量并行的区别与适用场景尝试用 DeepSpeed 或 FSDP 跑一次多卡训练。三是往 AI 应用框架方向走把训练好的小模型包装成一个带 API 的服务再加上外挂知识库做一个最简的 RAG 应用。我个人的体会是ai-engineering-from-scratch这个仓库最大的价值不是它包含多少代码而是它重新校正了学习 AI 的正确姿势不要被炫目的应用迷惑也不要被复杂的数学吓退而是一层一层揭开面纱把每个环节都亲手验证一遍。这样的学习过程也许不够快但一定足够扎实。如果你正在这条路上摸索希望这篇总结能帮你少走一些弯路。最后再分享一个小技巧准备一个 git 仓库记录你每天的练习哪怕只是十几行代码半年后回看你会感激那个一直在跑通小实验、慢慢建立知识体系的自己。