1. 从“笔记”到“工程”为什么你需要一份自己的动手学深度学习笔记如果你在搜索引擎里敲下“李沐 动手学深度学习”大概率会看到铺天盖地的笔记、代码、思维导图。很多人包括几年前的我自己都曾陷入一个误区以为把李沐老师的视频看一遍把书上的代码敲一遍再整理一份漂亮的笔记就算是“学完了”。但很快你会发现面对一个真实的数据集或者一个稍微变形的模型需求时脑子里依然一片空白那些看过的公式、跑过的Demo好像都隔着一层毛玻璃。问题出在哪里我认为核心在于学习路径的错位。李沐老师的课程和书籍其价值在于提供了一个权威、系统且高度工程化的知识框架。它像一张精心绘制的地图告诉你从A点到B点有哪些主干道、地标是什么。但大多数人的笔记只是把这张地图又临摹了一遍甚至只是拍了个照。真正的学习是拿着这张地图亲自去走一遍记录下哪里在修路需要绕行哪个岔路口容易走错以及沿途有哪些地图上没有标注的补给站。所以一份有价值的“动手学深度学习笔记”绝不应该是对原书内容的复述或摘要。它应该是一个动态的、个人化的、面向问题解决的工程日志。它的核心目标不是“记录知识”而是“内化能力”。今天我想分享的就是如何构建这样一份属于你自己的、能真正带你“动手”并“学会”的深度学习笔记体系。这不是一份现成的笔记而是一套方法论和工具箱帮助你将李沐老师这座宝库真正转化为你解决问题的能力。2. 笔记体系的顶层设计告别收藏夹建立知识工作流在开始记第一行笔记之前我们需要先搭建一个高效的系统。这个系统不是为了美观而是为了确保你在未来需要某个知识点时能在10秒内找到它并且看到你当时实践的全部上下文。2.1 工具选型一切为了可追溯和可执行我不推荐任何单一的、封闭的笔记软件。一个高效的深度学习笔记体系应该是多个工具的组合各司其职代码仓库GitHub / Gitee这是你所有可执行代码的归宿。为《动手学深度学习》的每个章节创建一个独立的Jupyter Notebook文件例如d2l_ch03_linear_regression.ipynb。不要仅仅复制书上的代码而要做以下事情逐行注释用你自己的话解释每一行关键代码在做什么特别是那些涉及张量形状变换、梯度计算的地方。实验记录在Notebook的Markdown单元格里记录你调整超参数学习率、批量大小的过程和结果。用# 实验1: lr0.01, batch_size32, loss...这样的格式。错误与修复把运行中遇到的报错信息完整粘贴进来并在下面写下你的排查思路和最终解决方案。这是最宝贵的经验。知识管理软件Obsidian / Logseq这是你连接概念、记录思考的大脑外挂。我强烈推荐使用支持“双向链接”和“图谱视图”的工具。每章一个核心笔记创建如“线性回归”、“多层感知机”、“卷积神经网络”这样的笔记。内容不是抄书而是回答几个问题这个技术的核心思想是什么用类比它解决了什么问题它的关键公式或结构是什么它最常见的应用场景是什么建立概念网络当你写到“梯度下降”时用双链[[梯度下降]]链接到另一篇专门讲优化算法的笔记。在“卷积神经网络”笔记中链接到“池化层”、“ReLU”。久而久之你会形成自己的知识图谱一眼看清概念间的关联。记录“啊哈”时刻随时创建一个名为“闪念笔记”的文档记录你突然想通的问题比如“原来Dropout在训练和预测时的行为不同是因为要保证期望一致”事后把这些闪念整理到对应的核心笔记中。实验追踪工具Weights Biases, TensorBoard, 或简单的Excel当你开始做自己的小项目时必须系统化地追踪实验。记录每一次运行的模型结构、超参数、训练损失/准确率曲线、验证集性能、甚至硬件资源消耗。这能帮你科学地比较不同方案而不是凭感觉。2.2 笔记内容的三层结构从理解到创造你的笔记内容应该分为三个层次层层递进第一层原理解析与代码复现层。对应李沐课程/书籍的每一节。目标确保自己真的懂了而不是“觉得懂了”。做法“费曼”一下在知识管理软件里假装要把这个概念讲给一个高中生听。你会怎么比喻例如卷积核就像一个小滤镜在图片上滑动着提取边缘特征。手动推导对于像梯度下降更新公式、反向传播链式法则这样的核心推导不要只看找张纸或在iPad上亲手推一遍。把推导过程拍照或画图插入笔记。代码“破坏”与重构运行完书上的代码后故意“破坏”它。比如把线性回归的损失函数从平方误差改成绝对值误差看看会发生什么把Softmax函数的手动实现和框架自带函数的结果对比一下。通过制造错误和对比来加深理解。第二层专题深入与横向对比层。当学完几个相关章节后需要做横向整理。例如优化器专题整理SGD、Momentum、Adam、RMSProp的公式、直观理解、优缺点和适用场景。用同一个简单模型如MLP在Fashion-MNIST上跑一遍所有这些优化器把损失曲线放在一张图里对比记录到实验追踪工具中。CNN结构演进整理LeNet, AlexNet, VGG, GoogLeNet, ResNet的核心创新点、网络结构图可以画简图、以及为什么这种创新有效解决梯度消失、降低参数等。损失函数大全对比交叉熵损失、均方误差、Huber损失等在分类、回归、鲁棒性任务上的不同表现。第三层项目驱动与问题解决层。这是将知识转化为能力的关键。不要等学完所有内容才开始。比如学完CNN基础后立刻找一个Kaggle上的入门竞赛如“猫狗大战”或自己定义一个任务如用手机拍100张不同植物的叶子照片做分类。用这个项目笔记来记录完整流水线数据收集与清洗 - 数据增强 - 模型选择与搭建 - 训练与调试 - 评估与分析。聚焦“坑”与“解”这个过程中你遇到的所有问题都是笔记的精华。比如“我的数据集太小模型过拟合严重尝试了数据增强和Dropout发现Dropout率设为0.5时验证集准确率提升明显。” “学习率初始设为0.1导致梯度爆炸改用学习率预热Learning Rate Warmup后稳定收敛。”3. 核心学习环节的笔记实战以“线性回归”和“CNN”为例让我们把上面的方法论套用到两个具体章节中看看笔记应该怎么记。3.1 以“线性回归”为例打通从数学到代码的任督二脉线性回归是入门第一道坎很多人觉得简单就跳过了但这里蕴含着深度学习最基础的思想。在你的代码Notebook (d2l_ch03_linear_regression.ipynb) 中你应该这样做数据生成部分# 原书代码生成数据集 def synthetic_data(w, b, num_examples): X torch.normal(0, 1, (num_examples, len(w))) y torch.matmul(X, w) b y torch.normal(0, 0.01, y.shape) return X, y.reshape((-1, 1)) true_w torch.tensor([2, -3.4]) true_b 4.2 features, labels synthetic_data(true_w, true_b, 1000) # 【你的笔记】思考与实验 # 1. 为什么要给 y 添加噪声 torch.normal(0, 0.01, y.shape) # - 答为了模拟真实世界数据中的观测误差或随机扰动。完全纯净的数据会让模型学习过于“完美”缺乏鲁棒性。 # - 实验尝试把噪声标准差从0.01改为0.1和0.5观察生成的数据点散点图变化以及后续模型学习到的 w 和 b 与真实值的偏差。 # 2. y.reshape((-1, 1)) 的作用是什么 # - 答确保 labels 是一个列向量 (n, 1)而不是一维数组 (n,)。这在后续计算损失如均方误差时形状匹配更不容易出错。 # - 实验去掉 reshape看看后续训练时会不会报错或出现意想不到的结果。模型定义部分# 原书代码初始化参数 w torch.normal(0, 0.01, size(2, 1), requires_gradTrue) b torch.zeros(1, requires_gradTrue) # 【你的笔记】思考 # 1. 为什么 w 用正态分布初始化而 b 用零初始化 # - w 初始化打破对称性。如果全零初始化同一层的所有神经元在梯度下降时会获得相同的更新导致学习效率低下。小随机数是为了避免初始梯度太大或太小。 # - b 初始化通常可以用零。因为偏置项的学习不依赖于输入零初始化是常见且安全的做法。 # 2. requires_gradTrue 是生命线务必理解只有设置了该参数的张量PyTorch才会在反向传播时追踪并计算其梯度。忘记设置是初学者常犯的错误。训练循环部分# 【你的笔记】深度拆解训练循环 for epoch in range(num_epochs): for X, y in data_iter: # 前向传播 l loss(net(X, w, b), y) # 计算损失 # 反向传播 l.backward() # 关键自动计算所有 requires_gradTrue 的张量w, b关于损失 l 的梯度 # 梯度下降 sgd([w, b], lr, batch_size) # 用梯度更新参数 # 梯度清零 w.grad.zero_() b.grad.zero_() # 你必须搞清楚的几个“为什么” # 1. l.backward() 到底做了什么 # - 它从损失 l 这个标量出发利用链式法则反向计算所有参与计算 l 的、且 requires_gradTrue 的变量的梯度并将结果累加到变量的 .grad 属性中。 # 2. 为什么要在 optimizer.step() 之前调用 optimizer.zero_grad()或手动 .zero_() # - 因为梯度是累加的。如果不清零下一次 l.backward() 计算出的梯度会与上一次的梯度相加这完全不是我们想要的标准梯度下降行为。这是一个必坑点 # 3. 小批量梯度下降 (Mini-batch) 的优势是什么 # - 对比批量梯度下降用全部数据算一次梯度计算开销大内存可能装不下。 # - 对比随机梯度下降用一个样本梯度估计噪声大收敛不稳定。 # - 小批量是折中方案利用GPU并行能力且梯度估计相对稳定。在你的知识管理软件如Obsidian中创建一篇名为“线性回归”的笔记内容应包括核心思想类比想象你在调整收音机的两个旋钮w1, w2和一个底噪按钮b直到声音最清晰损失最小。梯度就是告诉你每个旋钮该往哪个方向拧、拧多少的“提示音”。关键公式与代码映射预测$\hat{y} Xw b$ -def net(X, w, b): return torch.matmul(X, w) b损失MSE$L \frac{1}{n}\sum (\hat{y} - y)^2$ -def squared_loss(y_hat, y): return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2梯度更新$w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}$ -w - lr * w.grad / batch_size与后续知识的链接[[自动微分]][[优化器]][[多层感知机]]线性回归是单层神经网络。3.2 以“卷积神经网络CNN”为例从结构理解到视觉化调试CNN是深度学习在视觉领域的基石记笔记的重点在于理解其“层次化特征提取”的直观含义。在代码Notebook中除了跑通LeNet更要做以下扩展实验可视化卷积核与特征图import torchvision import matplotlib.pyplot as plt # 获取一个预训练模型的第一个卷积层权重 model torchvision.models.resnet18(pretrainedTrue) first_conv_weights model.conv1.weight.data.cpu().numpy() # 形状: [out_channels, in_channels, kH, kW] # 可视化卷积核 fig, axes plt.subplots(8, 8, figsize(12, 12)) # 假设out_channels64这里以8x8网格显示前64个 for i, ax in enumerate(axes.flat): # 对于RGB输入每个卷积核有3个通道这里取各通道均值或分别显示 kernel first_conv_weights[i].mean(axis0) # 取各通道均值得到一个2D核 ax.imshow(kernel, cmapgray) ax.axis(off) plt.suptitle(Visualization of First Conv Layer Filters (Averaged over RGB channels)) plt.show() # 【你的笔记】观察与思考 # 你看到了什么可能会看到不同方向的边缘检测器如横线、竖线、斜线以及一些斑点检测器。 # 这说明网络最底层自动学习到了类似传统图像处理中“手工特征”的东西但它是从数据中学来的。理解池化层的“不变性”# 实验对同一张图片进行微小平移观察池化层前后的特征图变化 input_image torch.randn(1, 1, 28, 28) # 模拟一个MNIST图像 conv_layer torch.nn.Conv2d(1, 4, kernel_size3, padding1) pool_layer torch.nn.MaxPool2d(kernel_size2, stride2) feature_map conv_layer(input_image) pooled_map pool_layer(feature_map) # 模拟平移将输入图像向右下角各平移一个像素用零填充边缘 shifted_image torch.nn.functional.pad(input_image[:, :, :-1, :-1], (1, 0, 1, 0), modeconstant, value0) feature_map_shifted conv_layer(shifted_image) pooled_map_shifted pool_layer(feature_map_shifted) # 计算差异 diff_feature (feature_map - feature_map_shifted).abs().mean().item() diff_pooled (pooled_map - pooled_map_shifted).abs().mean().item() print(f平移后卷积层特征图平均差异: {diff_feature:.4f}) print(f平移后池化层特征图平均差异: {diff_pooled:.4f}) # 【你的笔记】结论 # 通常会发现 diff_pooled diff_feature。这说明池化层尤其是最大池化提供了一定的平移不变性Translation Invariance。 # 因为微小平移可能不会改变局部区域的最大值。这是CNN能容忍图像中目标位置变化的重要原因之一。在知识管理软件中你的“卷积神经网络”笔记应该包括核心概念类比卷积层就像用一组不同形状的探照灯卷积核在图像上滑动每个探照灯负责寻找一种特定的图案如边缘、角点。池化层就像在看完一个区域后只记住这个区域里最显眼的那个特征最大池化或者这个区域的平均印象平均池化。这样做既降低了数据量又让网络不那么关心特征精确的位置。通道每个卷积核产生一个“特征图”通道。多个卷积核就像多个专家有的专看纹理有的专看颜色有的专看形状它们从同一张图像里解读出不同的信息。经典网络结构对比表网络核心创新点解决的问题关键结构/技巧你的理解/比喻LeNet开创CNN架构手写数字识别Conv - Pool - Conv - Pool - FC经典的“特征提取分类”流水线雏形AlexNet深度加深使用ReLU、Dropout图像分类性能飞跃5个卷积层3个全连接层ReLU激活Dropout数据增强证明了“深度”和“有效的非线性激活”的重要性VGG使用更小的3x3卷积核堆叠构建更深的、规整的网络重复的 3x3 conv 模块网络深度达16/19层“小核深网”比“大核浅网”更有效参数更少非线性更强GoogLeNetInception模块多尺度并行处理提升性能的同时控制计算量并行使用1x1, 3x3, 5x5卷积和池化并用1x1卷积降维“分头行动再汇总”让网络在同一层选择不同感受野的特征ResNet残差连接跳跃连接解决极深网络的梯度消失/爆炸和退化问题H(x) F(x) x的短路连接“如果这层学不到新东西那至少别忘了我输入是啥”让训练超深网络成为可能链接[[反向传播]][[Batch Normalization]][[ResNet]][[目标检测]]。4. 跨越“知道”与“做到”的鸿沟项目驱动的笔记升华学完基础章节后必须通过项目来整合知识。这里以一个经典入门项目“使用CNN进行Fashion-MNIST分类”为例展示项目笔记该如何写。项目笔记结构在知识管理软件中创建“项目Fashion-MNIST分类”笔记4.1 项目定义与基线模型目标使用PyTorch构建一个CNN模型在Fashion-MNIST数据集上达到超过90%的测试准确率。基线模型首先复现一个类似LeNet的简单CNN。class BaselineCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 6, 5) # 输入通道1输出通道6卷积核5x5 self.pool nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.fc1 nn.Linear(16 * 4 * 4, 120) # 这里需要根据输入尺寸计算 self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) x self.pool(F.relu(self.conv2(x))) x torch.flatten(x, 1) # 展平 x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x初始结果训练10个epoch后测试准确率约88%。笔记记录“基线模型表现尚可但未达到目标。观察训练曲线发现训练集准确率很快接近100%但验证集在88%左右徘徊可能存在轻微过拟合。”4.2 迭代优化与实验记录这是笔记的核心价值所在。你需要像科学家记录实验日志一样记录每一次尝试。实验编号修改点假设/理由训练结果验证集准确率分析与结论Exp-01基线模型-88.2%基准Exp-02增加数据增强随机水平翻转、随机旋转±10度增加数据多样性减轻过拟合89.5%有效提升了约1.3%。说明数据增强对这个小数据集有帮助。Exp-03在卷积层后加入BatchNorm层稳定训练加速收敛有一定正则化效果90.1%目标达成收敛更快验证准确率突破90%。BN层效果显著。Exp-04在全连接层加入Dropout (p0.5)进一步防止过拟合89.7%准确率略有下降。可能因为模型本身不复杂过拟合不严重Dropout反而丢弃了有用信息。Exp-05使用更深的网络如简化版VGG增加模型容量学习更复杂特征91.5%准确率进一步提升但训练时间明显增加。需要权衡精度与效率。Exp-06优化器从SGD改为Adam自适应学习率可能收敛更好90.8%收敛速度更快初期准确率上升猛最终精度与Exp-03相当。Adam在默认参数下通常是不错的选择。在笔记中你需要详细记录Exp-03的关键代码修改和思考# 修改后的模型加入了BatchNorm class ImprovedCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 6, 5) self.bn1 nn.BatchNorm2d(6) # 在卷积后、激活前加入BN self.pool nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.bn2 nn.BatchNorm2d(16) # 同上 self.fc1 nn.Linear(16 * 4 * 4, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool(F.relu(self.bn1(self.conv1(x)))) # 顺序Conv - BN - ReLU - Pool x self.pool(F.relu(self.bn2(self.conv2(x)))) x torch.flatten(x, 1) x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x # 【笔记】为什么BatchNorm通常放在卷积之后、激活函数之前 # 主流做法是 Conv - BN - ReLU。因为BN的作用是规范化“卷积输出”的分布使其均值为0、方差为1。 # 如果在ReLU之后做BNReLU会砍掉一半的负数导致分布不是对称的再进行归一化的效果可能打折扣。 # 但这不是绝对的有些研究也探讨过其他顺序但 Conv-BN-ReLU 是经过实践检验的稳定选择。4.3 错误排查记录最宝贵的经验在项目中你一定会遇到各种报错。把这些错误和解决方案记录下来价值连城。错误1RuntimeError: size mismatch, m1: [a x b], m2: [c x d]场景在修改网络结构后运行到全连接层时出错。排查过程错误信息指向矩阵乘法的维度不匹配。检查self.fc1 nn.Linear(16 * 4 * 4, 120)中的16 * 4 * 4。打印出卷积池化后、展平前的特征图x的形状print(x.shape)。发现是[batch_size, 16, 5, 5]而不是预期的[batch_size, 16, 4, 4]。根因输入图像是28x28经过conv1(5x5)-pool(2x2)-conv2(5x5)-pool(2x2)后特征图尺寸计算错误。正确计算应为((28-51)/2) - 12((12-51)/2) - 4。哦我忘了conv1后没有padding所以第一次卷积后尺寸是24不是12。重新计算((28-51)24)-pool后12-((12-51)8)-pool后4。所以最终尺寸是[batch, 16, 4, 4]我的代码是对的等等我打印出来的形状是[..., 5, 5]。最终发现原来我使用的数据集预处理时默认做了padding2为了保持尺寸但我忘记了所以输入实际上是32x32。重新计算((32-51)28)-pool后14-((14-51)10)-pool后5。Bingo解决方案将全连接层输入改为16 * 5 * 5。经验教训永远不要凭记忆写死全连接层的输入尺寸应该让代码自动计算# 在 __init__ 中先不定义fc1 self.conv_layers nn.Sequential(...) # 在 forward 中或单独一个方法里计算 with torch.no_grad(): dummy_input torch.randn(1, 1, 28, 28) # 或你的实际输入尺寸 dummy_output self.conv_layers(dummy_input) fc_input_features dummy_output.numel() // dummy_output.shape[0] self.fc1 nn.Linear(fc_input_features, 120)5. 笔记的长期维护与进阶构建你的深度学习知识库一份好的笔记是活的需要持续更新和维护。定期回顾与重构每学完一个大的模块如“循环神经网络”或“注意力机制”回头审视之前的笔记。你会发现当初费解的概念现在一目了然。这时用更精炼的语言重写那些部分并补充上新的理解。例如学完Transformer后再回头看RNN和LSTM的笔记可以加上一句“RNN/LSTM的顺序处理是Transformer出现前的主流但其并行化困难。Transformer的自注意力机制彻底解决了长距离依赖和并行计算的问题。”建立“常见问题FAQ”与“技巧清单”FAQ在知识库中建立一个FAQ笔记记录你反复遇到的问题。例如“加载预训练模型时size mismatch怎么办”、“训练时loss变成NaN的可能原因有哪些”、“GPU内存不够OOM的排查思路是什么”。每个问题下面附上你找到的解决方案和参考链接。技巧清单另一篇笔记记录各种实用技巧。例如“调试技巧使用torchsummary库一键打印模型结构和参数数量。”、“性能技巧在DataLoader中设置pin_memoryTrue和num_workers 0以加速GPU数据加载。”、“可视化技巧用torchviz绘制计算图理解反向传播。”从消费者到生产者当你积累到一定程度尝试输出。可以是在个人博客上写一篇技术文章在GitHub上发布一个整理好的、带有丰富注释的《动手学深度学习》代码库或者录制一个短视频讲解某个难点。“教”是最好的学。为了输出你会被迫把知识组织得更有逻辑、更清晰这个过程会极大地巩固你的理解。最终你的“动手学深度学习笔记”将不再是一堆静态的文件而是一个与你共同成长的、个性化的深度学习知识引擎。它始于李沐但远不止于李沐。它记录了你从困惑到理解、从模仿到创造的全部路径。当有一天你面对一个全新的问题能熟练地从这个知识库中调取相关的概念、代码片段和避坑经验并组合成解决方案时你就真正“动手学会”深度学习了。这条路没有捷径唯有点滴积累而一份用心的笔记就是你最好的同行者。
1. 从“笔记”到“工程”为什么你需要一份自己的动手学深度学习笔记如果你在搜索引擎里敲下“李沐 动手学深度学习”大概率会看到铺天盖地的笔记、代码、思维导图。很多人包括几年前的我自己都曾陷入一个误区以为把李沐老师的视频看一遍把书上的代码敲一遍再整理一份漂亮的笔记就算是“学完了”。但很快你会发现面对一个真实的数据集或者一个稍微变形的模型需求时脑子里依然一片空白那些看过的公式、跑过的Demo好像都隔着一层毛玻璃。问题出在哪里我认为核心在于学习路径的错位。李沐老师的课程和书籍其价值在于提供了一个权威、系统且高度工程化的知识框架。它像一张精心绘制的地图告诉你从A点到B点有哪些主干道、地标是什么。但大多数人的笔记只是把这张地图又临摹了一遍甚至只是拍了个照。真正的学习是拿着这张地图亲自去走一遍记录下哪里在修路需要绕行哪个岔路口容易走错以及沿途有哪些地图上没有标注的补给站。所以一份有价值的“动手学深度学习笔记”绝不应该是对原书内容的复述或摘要。它应该是一个动态的、个人化的、面向问题解决的工程日志。它的核心目标不是“记录知识”而是“内化能力”。今天我想分享的就是如何构建这样一份属于你自己的、能真正带你“动手”并“学会”的深度学习笔记体系。这不是一份现成的笔记而是一套方法论和工具箱帮助你将李沐老师这座宝库真正转化为你解决问题的能力。2. 笔记体系的顶层设计告别收藏夹建立知识工作流在开始记第一行笔记之前我们需要先搭建一个高效的系统。这个系统不是为了美观而是为了确保你在未来需要某个知识点时能在10秒内找到它并且看到你当时实践的全部上下文。2.1 工具选型一切为了可追溯和可执行我不推荐任何单一的、封闭的笔记软件。一个高效的深度学习笔记体系应该是多个工具的组合各司其职代码仓库GitHub / Gitee这是你所有可执行代码的归宿。为《动手学深度学习》的每个章节创建一个独立的Jupyter Notebook文件例如d2l_ch03_linear_regression.ipynb。不要仅仅复制书上的代码而要做以下事情逐行注释用你自己的话解释每一行关键代码在做什么特别是那些涉及张量形状变换、梯度计算的地方。实验记录在Notebook的Markdown单元格里记录你调整超参数学习率、批量大小的过程和结果。用# 实验1: lr0.01, batch_size32, loss...这样的格式。错误与修复把运行中遇到的报错信息完整粘贴进来并在下面写下你的排查思路和最终解决方案。这是最宝贵的经验。知识管理软件Obsidian / Logseq这是你连接概念、记录思考的大脑外挂。我强烈推荐使用支持“双向链接”和“图谱视图”的工具。每章一个核心笔记创建如“线性回归”、“多层感知机”、“卷积神经网络”这样的笔记。内容不是抄书而是回答几个问题这个技术的核心思想是什么用类比它解决了什么问题它的关键公式或结构是什么它最常见的应用场景是什么建立概念网络当你写到“梯度下降”时用双链[[梯度下降]]链接到另一篇专门讲优化算法的笔记。在“卷积神经网络”笔记中链接到“池化层”、“ReLU”。久而久之你会形成自己的知识图谱一眼看清概念间的关联。记录“啊哈”时刻随时创建一个名为“闪念笔记”的文档记录你突然想通的问题比如“原来Dropout在训练和预测时的行为不同是因为要保证期望一致”事后把这些闪念整理到对应的核心笔记中。实验追踪工具Weights Biases, TensorBoard, 或简单的Excel当你开始做自己的小项目时必须系统化地追踪实验。记录每一次运行的模型结构、超参数、训练损失/准确率曲线、验证集性能、甚至硬件资源消耗。这能帮你科学地比较不同方案而不是凭感觉。2.2 笔记内容的三层结构从理解到创造你的笔记内容应该分为三个层次层层递进第一层原理解析与代码复现层。对应李沐课程/书籍的每一节。目标确保自己真的懂了而不是“觉得懂了”。做法“费曼”一下在知识管理软件里假装要把这个概念讲给一个高中生听。你会怎么比喻例如卷积核就像一个小滤镜在图片上滑动着提取边缘特征。手动推导对于像梯度下降更新公式、反向传播链式法则这样的核心推导不要只看找张纸或在iPad上亲手推一遍。把推导过程拍照或画图插入笔记。代码“破坏”与重构运行完书上的代码后故意“破坏”它。比如把线性回归的损失函数从平方误差改成绝对值误差看看会发生什么把Softmax函数的手动实现和框架自带函数的结果对比一下。通过制造错误和对比来加深理解。第二层专题深入与横向对比层。当学完几个相关章节后需要做横向整理。例如优化器专题整理SGD、Momentum、Adam、RMSProp的公式、直观理解、优缺点和适用场景。用同一个简单模型如MLP在Fashion-MNIST上跑一遍所有这些优化器把损失曲线放在一张图里对比记录到实验追踪工具中。CNN结构演进整理LeNet, AlexNet, VGG, GoogLeNet, ResNet的核心创新点、网络结构图可以画简图、以及为什么这种创新有效解决梯度消失、降低参数等。损失函数大全对比交叉熵损失、均方误差、Huber损失等在分类、回归、鲁棒性任务上的不同表现。第三层项目驱动与问题解决层。这是将知识转化为能力的关键。不要等学完所有内容才开始。比如学完CNN基础后立刻找一个Kaggle上的入门竞赛如“猫狗大战”或自己定义一个任务如用手机拍100张不同植物的叶子照片做分类。用这个项目笔记来记录完整流水线数据收集与清洗 - 数据增强 - 模型选择与搭建 - 训练与调试 - 评估与分析。聚焦“坑”与“解”这个过程中你遇到的所有问题都是笔记的精华。比如“我的数据集太小模型过拟合严重尝试了数据增强和Dropout发现Dropout率设为0.5时验证集准确率提升明显。” “学习率初始设为0.1导致梯度爆炸改用学习率预热Learning Rate Warmup后稳定收敛。”3. 核心学习环节的笔记实战以“线性回归”和“CNN”为例让我们把上面的方法论套用到两个具体章节中看看笔记应该怎么记。3.1 以“线性回归”为例打通从数学到代码的任督二脉线性回归是入门第一道坎很多人觉得简单就跳过了但这里蕴含着深度学习最基础的思想。在你的代码Notebook (d2l_ch03_linear_regression.ipynb) 中你应该这样做数据生成部分# 原书代码生成数据集 def synthetic_data(w, b, num_examples): X torch.normal(0, 1, (num_examples, len(w))) y torch.matmul(X, w) b y torch.normal(0, 0.01, y.shape) return X, y.reshape((-1, 1)) true_w torch.tensor([2, -3.4]) true_b 4.2 features, labels synthetic_data(true_w, true_b, 1000) # 【你的笔记】思考与实验 # 1. 为什么要给 y 添加噪声 torch.normal(0, 0.01, y.shape) # - 答为了模拟真实世界数据中的观测误差或随机扰动。完全纯净的数据会让模型学习过于“完美”缺乏鲁棒性。 # - 实验尝试把噪声标准差从0.01改为0.1和0.5观察生成的数据点散点图变化以及后续模型学习到的 w 和 b 与真实值的偏差。 # 2. y.reshape((-1, 1)) 的作用是什么 # - 答确保 labels 是一个列向量 (n, 1)而不是一维数组 (n,)。这在后续计算损失如均方误差时形状匹配更不容易出错。 # - 实验去掉 reshape看看后续训练时会不会报错或出现意想不到的结果。模型定义部分# 原书代码初始化参数 w torch.normal(0, 0.01, size(2, 1), requires_gradTrue) b torch.zeros(1, requires_gradTrue) # 【你的笔记】思考 # 1. 为什么 w 用正态分布初始化而 b 用零初始化 # - w 初始化打破对称性。如果全零初始化同一层的所有神经元在梯度下降时会获得相同的更新导致学习效率低下。小随机数是为了避免初始梯度太大或太小。 # - b 初始化通常可以用零。因为偏置项的学习不依赖于输入零初始化是常见且安全的做法。 # 2. requires_gradTrue 是生命线务必理解只有设置了该参数的张量PyTorch才会在反向传播时追踪并计算其梯度。忘记设置是初学者常犯的错误。训练循环部分# 【你的笔记】深度拆解训练循环 for epoch in range(num_epochs): for X, y in data_iter: # 前向传播 l loss(net(X, w, b), y) # 计算损失 # 反向传播 l.backward() # 关键自动计算所有 requires_gradTrue 的张量w, b关于损失 l 的梯度 # 梯度下降 sgd([w, b], lr, batch_size) # 用梯度更新参数 # 梯度清零 w.grad.zero_() b.grad.zero_() # 你必须搞清楚的几个“为什么” # 1. l.backward() 到底做了什么 # - 它从损失 l 这个标量出发利用链式法则反向计算所有参与计算 l 的、且 requires_gradTrue 的变量的梯度并将结果累加到变量的 .grad 属性中。 # 2. 为什么要在 optimizer.step() 之前调用 optimizer.zero_grad()或手动 .zero_() # - 因为梯度是累加的。如果不清零下一次 l.backward() 计算出的梯度会与上一次的梯度相加这完全不是我们想要的标准梯度下降行为。这是一个必坑点 # 3. 小批量梯度下降 (Mini-batch) 的优势是什么 # - 对比批量梯度下降用全部数据算一次梯度计算开销大内存可能装不下。 # - 对比随机梯度下降用一个样本梯度估计噪声大收敛不稳定。 # - 小批量是折中方案利用GPU并行能力且梯度估计相对稳定。在你的知识管理软件如Obsidian中创建一篇名为“线性回归”的笔记内容应包括核心思想类比想象你在调整收音机的两个旋钮w1, w2和一个底噪按钮b直到声音最清晰损失最小。梯度就是告诉你每个旋钮该往哪个方向拧、拧多少的“提示音”。关键公式与代码映射预测$\hat{y} Xw b$ -def net(X, w, b): return torch.matmul(X, w) b损失MSE$L \frac{1}{n}\sum (\hat{y} - y)^2$ -def squared_loss(y_hat, y): return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2梯度更新$w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}$ -w - lr * w.grad / batch_size与后续知识的链接[[自动微分]][[优化器]][[多层感知机]]线性回归是单层神经网络。3.2 以“卷积神经网络CNN”为例从结构理解到视觉化调试CNN是深度学习在视觉领域的基石记笔记的重点在于理解其“层次化特征提取”的直观含义。在代码Notebook中除了跑通LeNet更要做以下扩展实验可视化卷积核与特征图import torchvision import matplotlib.pyplot as plt # 获取一个预训练模型的第一个卷积层权重 model torchvision.models.resnet18(pretrainedTrue) first_conv_weights model.conv1.weight.data.cpu().numpy() # 形状: [out_channels, in_channels, kH, kW] # 可视化卷积核 fig, axes plt.subplots(8, 8, figsize(12, 12)) # 假设out_channels64这里以8x8网格显示前64个 for i, ax in enumerate(axes.flat): # 对于RGB输入每个卷积核有3个通道这里取各通道均值或分别显示 kernel first_conv_weights[i].mean(axis0) # 取各通道均值得到一个2D核 ax.imshow(kernel, cmapgray) ax.axis(off) plt.suptitle(Visualization of First Conv Layer Filters (Averaged over RGB channels)) plt.show() # 【你的笔记】观察与思考 # 你看到了什么可能会看到不同方向的边缘检测器如横线、竖线、斜线以及一些斑点检测器。 # 这说明网络最底层自动学习到了类似传统图像处理中“手工特征”的东西但它是从数据中学来的。理解池化层的“不变性”# 实验对同一张图片进行微小平移观察池化层前后的特征图变化 input_image torch.randn(1, 1, 28, 28) # 模拟一个MNIST图像 conv_layer torch.nn.Conv2d(1, 4, kernel_size3, padding1) pool_layer torch.nn.MaxPool2d(kernel_size2, stride2) feature_map conv_layer(input_image) pooled_map pool_layer(feature_map) # 模拟平移将输入图像向右下角各平移一个像素用零填充边缘 shifted_image torch.nn.functional.pad(input_image[:, :, :-1, :-1], (1, 0, 1, 0), modeconstant, value0) feature_map_shifted conv_layer(shifted_image) pooled_map_shifted pool_layer(feature_map_shifted) # 计算差异 diff_feature (feature_map - feature_map_shifted).abs().mean().item() diff_pooled (pooled_map - pooled_map_shifted).abs().mean().item() print(f平移后卷积层特征图平均差异: {diff_feature:.4f}) print(f平移后池化层特征图平均差异: {diff_pooled:.4f}) # 【你的笔记】结论 # 通常会发现 diff_pooled diff_feature。这说明池化层尤其是最大池化提供了一定的平移不变性Translation Invariance。 # 因为微小平移可能不会改变局部区域的最大值。这是CNN能容忍图像中目标位置变化的重要原因之一。在知识管理软件中你的“卷积神经网络”笔记应该包括核心概念类比卷积层就像用一组不同形状的探照灯卷积核在图像上滑动每个探照灯负责寻找一种特定的图案如边缘、角点。池化层就像在看完一个区域后只记住这个区域里最显眼的那个特征最大池化或者这个区域的平均印象平均池化。这样做既降低了数据量又让网络不那么关心特征精确的位置。通道每个卷积核产生一个“特征图”通道。多个卷积核就像多个专家有的专看纹理有的专看颜色有的专看形状它们从同一张图像里解读出不同的信息。经典网络结构对比表网络核心创新点解决的问题关键结构/技巧你的理解/比喻LeNet开创CNN架构手写数字识别Conv - Pool - Conv - Pool - FC经典的“特征提取分类”流水线雏形AlexNet深度加深使用ReLU、Dropout图像分类性能飞跃5个卷积层3个全连接层ReLU激活Dropout数据增强证明了“深度”和“有效的非线性激活”的重要性VGG使用更小的3x3卷积核堆叠构建更深的、规整的网络重复的 3x3 conv 模块网络深度达16/19层“小核深网”比“大核浅网”更有效参数更少非线性更强GoogLeNetInception模块多尺度并行处理提升性能的同时控制计算量并行使用1x1, 3x3, 5x5卷积和池化并用1x1卷积降维“分头行动再汇总”让网络在同一层选择不同感受野的特征ResNet残差连接跳跃连接解决极深网络的梯度消失/爆炸和退化问题H(x) F(x) x的短路连接“如果这层学不到新东西那至少别忘了我输入是啥”让训练超深网络成为可能链接[[反向传播]][[Batch Normalization]][[ResNet]][[目标检测]]。4. 跨越“知道”与“做到”的鸿沟项目驱动的笔记升华学完基础章节后必须通过项目来整合知识。这里以一个经典入门项目“使用CNN进行Fashion-MNIST分类”为例展示项目笔记该如何写。项目笔记结构在知识管理软件中创建“项目Fashion-MNIST分类”笔记4.1 项目定义与基线模型目标使用PyTorch构建一个CNN模型在Fashion-MNIST数据集上达到超过90%的测试准确率。基线模型首先复现一个类似LeNet的简单CNN。class BaselineCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 6, 5) # 输入通道1输出通道6卷积核5x5 self.pool nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.fc1 nn.Linear(16 * 4 * 4, 120) # 这里需要根据输入尺寸计算 self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool(F.relu(self.conv1(x))) x self.pool(F.relu(self.conv2(x))) x torch.flatten(x, 1) # 展平 x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x初始结果训练10个epoch后测试准确率约88%。笔记记录“基线模型表现尚可但未达到目标。观察训练曲线发现训练集准确率很快接近100%但验证集在88%左右徘徊可能存在轻微过拟合。”4.2 迭代优化与实验记录这是笔记的核心价值所在。你需要像科学家记录实验日志一样记录每一次尝试。实验编号修改点假设/理由训练结果验证集准确率分析与结论Exp-01基线模型-88.2%基准Exp-02增加数据增强随机水平翻转、随机旋转±10度增加数据多样性减轻过拟合89.5%有效提升了约1.3%。说明数据增强对这个小数据集有帮助。Exp-03在卷积层后加入BatchNorm层稳定训练加速收敛有一定正则化效果90.1%目标达成收敛更快验证准确率突破90%。BN层效果显著。Exp-04在全连接层加入Dropout (p0.5)进一步防止过拟合89.7%准确率略有下降。可能因为模型本身不复杂过拟合不严重Dropout反而丢弃了有用信息。Exp-05使用更深的网络如简化版VGG增加模型容量学习更复杂特征91.5%准确率进一步提升但训练时间明显增加。需要权衡精度与效率。Exp-06优化器从SGD改为Adam自适应学习率可能收敛更好90.8%收敛速度更快初期准确率上升猛最终精度与Exp-03相当。Adam在默认参数下通常是不错的选择。在笔记中你需要详细记录Exp-03的关键代码修改和思考# 修改后的模型加入了BatchNorm class ImprovedCNN(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 6, 5) self.bn1 nn.BatchNorm2d(6) # 在卷积后、激活前加入BN self.pool nn.MaxPool2d(2, 2) self.conv2 nn.Conv2d(6, 16, 5) self.bn2 nn.BatchNorm2d(16) # 同上 self.fc1 nn.Linear(16 * 4 * 4, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool(F.relu(self.bn1(self.conv1(x)))) # 顺序Conv - BN - ReLU - Pool x self.pool(F.relu(self.bn2(self.conv2(x)))) x torch.flatten(x, 1) x F.relu(self.fc1(x)) x F.relu(self.fc2(x)) x self.fc3(x) return x # 【笔记】为什么BatchNorm通常放在卷积之后、激活函数之前 # 主流做法是 Conv - BN - ReLU。因为BN的作用是规范化“卷积输出”的分布使其均值为0、方差为1。 # 如果在ReLU之后做BNReLU会砍掉一半的负数导致分布不是对称的再进行归一化的效果可能打折扣。 # 但这不是绝对的有些研究也探讨过其他顺序但 Conv-BN-ReLU 是经过实践检验的稳定选择。4.3 错误排查记录最宝贵的经验在项目中你一定会遇到各种报错。把这些错误和解决方案记录下来价值连城。错误1RuntimeError: size mismatch, m1: [a x b], m2: [c x d]场景在修改网络结构后运行到全连接层时出错。排查过程错误信息指向矩阵乘法的维度不匹配。检查self.fc1 nn.Linear(16 * 4 * 4, 120)中的16 * 4 * 4。打印出卷积池化后、展平前的特征图x的形状print(x.shape)。发现是[batch_size, 16, 5, 5]而不是预期的[batch_size, 16, 4, 4]。根因输入图像是28x28经过conv1(5x5)-pool(2x2)-conv2(5x5)-pool(2x2)后特征图尺寸计算错误。正确计算应为((28-51)/2) - 12((12-51)/2) - 4。哦我忘了conv1后没有padding所以第一次卷积后尺寸是24不是12。重新计算((28-51)24)-pool后12-((12-51)8)-pool后4。所以最终尺寸是[batch, 16, 4, 4]我的代码是对的等等我打印出来的形状是[..., 5, 5]。最终发现原来我使用的数据集预处理时默认做了padding2为了保持尺寸但我忘记了所以输入实际上是32x32。重新计算((32-51)28)-pool后14-((14-51)10)-pool后5。Bingo解决方案将全连接层输入改为16 * 5 * 5。经验教训永远不要凭记忆写死全连接层的输入尺寸应该让代码自动计算# 在 __init__ 中先不定义fc1 self.conv_layers nn.Sequential(...) # 在 forward 中或单独一个方法里计算 with torch.no_grad(): dummy_input torch.randn(1, 1, 28, 28) # 或你的实际输入尺寸 dummy_output self.conv_layers(dummy_input) fc_input_features dummy_output.numel() // dummy_output.shape[0] self.fc1 nn.Linear(fc_input_features, 120)5. 笔记的长期维护与进阶构建你的深度学习知识库一份好的笔记是活的需要持续更新和维护。定期回顾与重构每学完一个大的模块如“循环神经网络”或“注意力机制”回头审视之前的笔记。你会发现当初费解的概念现在一目了然。这时用更精炼的语言重写那些部分并补充上新的理解。例如学完Transformer后再回头看RNN和LSTM的笔记可以加上一句“RNN/LSTM的顺序处理是Transformer出现前的主流但其并行化困难。Transformer的自注意力机制彻底解决了长距离依赖和并行计算的问题。”建立“常见问题FAQ”与“技巧清单”FAQ在知识库中建立一个FAQ笔记记录你反复遇到的问题。例如“加载预训练模型时size mismatch怎么办”、“训练时loss变成NaN的可能原因有哪些”、“GPU内存不够OOM的排查思路是什么”。每个问题下面附上你找到的解决方案和参考链接。技巧清单另一篇笔记记录各种实用技巧。例如“调试技巧使用torchsummary库一键打印模型结构和参数数量。”、“性能技巧在DataLoader中设置pin_memoryTrue和num_workers 0以加速GPU数据加载。”、“可视化技巧用torchviz绘制计算图理解反向传播。”从消费者到生产者当你积累到一定程度尝试输出。可以是在个人博客上写一篇技术文章在GitHub上发布一个整理好的、带有丰富注释的《动手学深度学习》代码库或者录制一个短视频讲解某个难点。“教”是最好的学。为了输出你会被迫把知识组织得更有逻辑、更清晰这个过程会极大地巩固你的理解。最终你的“动手学深度学习笔记”将不再是一堆静态的文件而是一个与你共同成长的、个性化的深度学习知识引擎。它始于李沐但远不止于李沐。它记录了你从困惑到理解、从模仿到创造的全部路径。当有一天你面对一个全新的问题能熟练地从这个知识库中调取相关的概念、代码片段和避坑经验并组合成解决方案时你就真正“动手学会”深度学习了。这条路没有捷径唯有点滴积累而一份用心的笔记就是你最好的同行者。
)
