1. 项目缘起为什么从MNIST开始你的PyTorch之旅如果你刚接触深度学习面对PyTorch、TensorFlow这些框架感觉像面对一个装满精密零件的工具箱不知从何下手。我的建议是别急着去造火箭先从拧螺丝开始。而MNIST手写数字识别就是那颗最经典、最标准的“螺丝”。这个项目几乎成了深度学习界的“Hello World”不是因为它简单到无聊恰恰相反它麻雀虽小五脏俱全。你能在这里面接触到数据加载、模型定义、训练循环、评估测试这一整套标准流程而且计算资源要求极低用CPU也能在几分钟内跑出不错的结果。我见过太多新手一上来就想搞图像生成、大语言模型结果在环境配置、复杂概念和漫长的训练等待中耗尽热情最后不了了之。从MNIST开始你能快速获得正反馈看到模型从乱猜准确率10%到基本能认准确率98%以上的整个过程这种成就感是持续学习最好的燃料。2. 环境搭建避开那些“看起来简单”的坑在真正写代码之前把环境搭对、搭稳能避免后面80%的莫名错误。很多人觉得安装就是pip install torch一行命令的事但实际踩的坑可能比写代码还多。2.1 PyTorch安装选对版本一步到位去PyTorch官网你会看到一个用来自动生成安装命令的配置器。这里的选择至关重要直接关系到你能不能调用GPU加速。核心就三样PyTorch版本、你的操作系统、CUDA版本。首先版本选择对于入门我强烈建议选择当前官网推荐的、最新的稳定版Stable。新版本通常修复了更多bug有更好的文档和社区支持。不要为了“稳定”而去选择一个很老的版本那可能会遇到依赖库不兼容的问题。其次CUDA版本这是决定能否使用GPU的关键。CUDA是NVIDIA的并行计算平台。打开你的命令行输入nvidia-smi在输出信息里找到“CUDA Version”这一项。这个版本号是你的显卡驱动最高能支持的CUDA版本。比如显示“12.4”意味着你可以安装≤12.4的CUDA。然后你需要在系统里实际安装一个≤此版本的CUDA Toolkit比如11.8或12.1。最后在PyTorch安装器上选择与你安装的CUDA Toolkit版本匹配的选项。如果没GPU或不想用就选“CPU”版本。注意经常有人问“我显卡是Intel Arc怎么装PyTorch”对于Intel独立显卡目前PyTorch的GPU加速主要依赖CUDANVIDIA和ROCmAMD。Intel显卡的加速需要通过Intel的扩展库如Intel Extension for PyTorch, IPEX来实现配置更为复杂。入门阶段如果你的电脑是Intel Arc显卡我建议先使用CPU版本的PyTorch完成学习等熟悉基础后再研究GPU加速的配置。最后复制命令安装在官网选好配置后它会给你一行pip或conda命令。我推荐使用conda因为它能更好地处理环境隔离和依赖冲突。打开Anaconda Prompt如果你装了Miniconda或Anaconda先创建一个独立环境是个好习惯conda create -n pytorch_mnist python3.9 conda activate pytorch_mnist然后粘贴官网生成的conda install命令进行安装。安装完成后在Python里跑一下import torch; print(torch.__version__); print(torch.cuda.is_available())确保导入成功并且如果装了GPU版这里能返回True。2.2 配套工具选一个顺手的“编辑器”代码写在哪Jupyter Notebook非常适合这种探索性、教程类的学习。它能分段运行代码即时看到结果和图表对于理解数据、调试模型特别友好。你可以通过conda install jupyter安装然后jupyter notebook启动。当然如果你习惯用PyCharm、VSCode这类集成开发环境IDE也完全没问题它们对代码提示、调试的支持更强大。选择你用得最顺手的一个即可。3. 数据准备理解你的“原料”MNIST模型像厨师数据就是食材。不了解食材做不出好菜。MNIST数据集包含6万张训练图和1万张测试图每张都是28x28像素的灰度手写数字0-9。3.1 下载与加载利用torchvision省时省力手动下载数据集然后读取那是十年前的做法了。PyTorch的torchvision库提供了现成的接口。但这里有个常见坑点网络下载失败。因为数据集源站在国外直接下载可能会非常慢甚至超时。import torch from torchvision import datasets, transforms # 定义一个数据转换管道 transform transforms.Compose([ transforms.ToTensor(), # 将PIL图像或NumPy数组转换为PyTorch张量 (Tensor) transforms.Normalize((0.1307,), (0.3081,)) # 标准化这里的均值0.1307和标准差0.3081是MNIST数据集的全局统计值 ]) # 尝试下载并加载训练集和测试集 try: train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) except Exception as e: print(f下载失败: {e}) print(请尝试) print(1. 检查网络连接特别是能否访问外网。) print(2. 手动下载搜索‘MNIST数据集下载’通常可以找到四个.gz文件train-images-idx3-ubyte.gz等。) print(3. 下载后放入 ‘./data/MNIST/raw/’ 目录下再次运行代码程序会检测到本地文件而跳过下载。)transforms.ToTensor()做了两件重要的事第一把图像数据从[0, 255]的整数范围转换到[0.0, 1.0]的浮点数范围这对神经网络训练更友好第二改变了数据的维度从原始的高度宽度变成了通道数高度宽度。MNIST是灰度图所以通道数是1。transforms.Normalize则进行标准化减去均值再除以标准差可以让数据分布更集中加速模型收敛。这里的(0.1307,)和(0.3081,)是预先计算好的MNIST全局像素均值和标准差。3.2 数据可视化看一眼你的数据在投入训练前花几分钟看看数据长什么样这是很好的习惯能帮你发现数据加载是否出错。import matplotlib.pyplot as plt # 从训练集中取一个批次的数据样本 figure plt.figure(figsize(8, 8)) cols, rows 5, 5 for i in range(1, cols * rows 1): sample_idx torch.randint(len(train_dataset), size(1,)).item() img, label train_dataset[sample_idx] # img的形状现在是[1, 28, 28]需要去掉通道维度才能用matplotlib显示 img img.squeeze() # 变成[28, 28] ax figure.add_subplot(rows, cols, i) ax.set_title(label) ax.axis(off) ax.imshow(img, cmapgray) plt.show()运行这段代码你会看到一个5x5的网格显示25个随机的手写数字及其标签。这能直观确认数据加载正确同时也能感受到手写数字的多样性有的工整有的潦草理解我们任务的挑战性。3.3 制作数据加载器DataLoader的作用数据集Dataset存储了所有样本和标签但我们训练时通常不是一次把所有数据扔进模型而是分成一小批一小批batch地喂进去。这样做有两个好处一是对内存更友好二是批数据计算出的梯度带有一定的噪声这种噪声有时反而能帮助模型跳出局部最优解找到更好的解。DataLoader就是干这个的。from torch.utils.data import DataLoader batch_size 64 # 一个常见的起始值不大不小 train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse)这里的关键参数是shuffle。训练时一定要shuffleTrue打乱顺序防止模型学到数据顺序带来的偏见。测试时用shuffleFalse保证每次评估的顺序一致结果可复现。batch_size可以调整太大会占用更多内存太小可能导致梯度更新不稳定。64是一个不错的起点。4. 模型构建设计你的第一个神经网络现在来到核心部分构建模型。对于MNIST这种28x28的较小图像一个简单的卷积神经网络CNN就足够了。CNN能自动提取图像的局部特征如边缘、角点比全连接网络Dense Network效果更好、参数更少。4.1 网络结构设计从输入到输出的旅程我们来搭建一个经典的LeNet-5简化版。理解每一层的输入输出形状变化是掌握CNN的关键。import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 第一个卷积层输入通道1灰度图输出通道32卷积核3x3 self.conv1 nn.Conv2d(in_channels1, out_channels32, kernel_size3, padding1) # 第二个卷积层输入通道32输出通道64卷积核3x3 self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) # 最大池化层窗口2x2步长2 self.pool nn.MaxPool2d(kernel_size2, stride2) # 第一个全连接层输入维度是多少我们需要计算一下 # 经过两次[卷积-池化]后特征图大小变化28x28 - (池化)14x14 - (池化)7x7 # 此时特征图的通道数是64所以展平后的向量长度是 64 * 7 * 7 3136 self.fc1 nn.Linear(64 * 7 * 7, 128) # 全连接层输出128维 self.fc2 nn.Linear(128, 10) # 输出层10个类别数字0-9 # Dropout层用于防止过拟合训练时随机“丢弃”一部分神经元 self.dropout nn.Dropout(p0.5) def forward(self, x): # x 的形状: [batch_size, 1, 28, 28] x self.pool(F.relu(self.conv1(x))) # - [batch_size, 32, 14, 14] x self.pool(F.relu(self.conv2(x))) # - [batch_size, 64, 7, 7] # 将特征图展平成一维向量为全连接层做准备 x x.view(-1, 64 * 7 * 7) # - [batch_size, 3136] x self.dropout(F.relu(self.fc1(x))) # - [batch_size, 128] # 输出层不需要ReLU激活函数因为后面会接CrossEntropyLoss它内部包含了LogSoftmax x self.fc2(x) # - [batch_size, 10] return x # 实例化模型 model Net() print(model)逐行解释nn.Conv2d: 卷积层核心是学习一组滤波器卷积核在图像上滑动进行特征提取。padding1是为了保持卷积后特征图的空间尺寸不变当kernel_size3时。nn.MaxPool2d: 池化层进行下采样减少数据量同时保留主要特征增强模型对微小位移的鲁棒性。nn.Linear: 全连接层将学习到的特征映射到最终的分类空间。F.relu: 激活函数引入非线性让网络能够拟合复杂函数。这里使用函数式调用方式。nn.Dropout: 正则化技术随机让一部分神经元失活强迫网络学习更鲁棒的特征减轻过拟合。注意它只在训练时起作用在模型评估model.eval()时会自动关闭。x.view(-1, 64*7*7): 这是改变张量形状的操作。-1表示让PyTorch自动计算这个维度的大小通常是batch_size。这一步将四维的[batch, channel, height, width]张量拉平成二维的[batch, features]以便输入全连接层。为什么是两次池化后得到7x7初始输入是28x28。第一次卷积padding1后还是28x28池化窗口2步长2后变成14x14。第二次卷积后14x14再次池化后变成7x7。这是一个经典的空间尺寸减半过程。4.2 模型参数量与设备转移我们可以快速看一下这个模型有多少参数total_params sum(p.numel() for p in model.parameters()) print(f模型总参数量: {total_params:,})这个数字大概在几十万量级对于MNIST任务来说完全足够也保证了训练速度。接下来如果有GPU我们需要把模型和数据都放到GPU上以利用其并行计算能力加速训练。device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device}) model model.to(device)这一步很重要。模型定义在CPU上通过.to(device)将其参数和缓冲区转移到指定设备。之后每一个输入模型的张量也需要通过.to(device)转移到同一个设备上否则会报错。5. 训练循环让模型从“猜”到“认”这是整个流程中最像“炼丹”的部分。我们需要定义损失函数告诉模型它错得有多离谱、优化器告诉模型如何改正错误然后在一个循环中反复迭代。5.1 定义损失函数与优化器对于十分类任务交叉熵损失Cross-Entropy Loss是标准选择。在PyTorch中nn.CrossEntropyLoss已经将LogSoftmax和NLLLoss结合好了所以我们的模型输出层不需要再加Softmax。优化器负责根据损失函数的梯度来更新模型的参数。Adam优化器是当前最流行、默认效果往往不错的选择它自适应地调整每个参数的学习率。import torch.optim as optim criterion nn.CrossEntropyLoss() # 损失函数 optimizer optim.Adam(model.parameters(), lr0.001) # 优化器学习率设为0.001学习率lr是一个超参数控制每次参数更新的步长。太大可能导致训练震荡甚至发散太小则训练缓慢。0.001或0.0001是常见的起始值。5.2 编写训练与评估函数为了让代码更清晰我们把训练一个epoch和评估测试集的过程写成函数。def train_one_epoch(model, device, train_loader, optimizer, criterion, epoch): model.train() # 将模型设置为训练模式启用Dropout等 running_loss 0.0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) # 数据转移到设备 optimizer.zero_grad() # **关键步骤**清空上一轮计算的梯度 output model(data) # 前向传播得到预测输出 loss criterion(output, target) # 计算损失 loss.backward() # 反向传播计算梯度 optimizer.step() # 优化器根据梯度更新参数 # 统计信息 running_loss loss.item() _, predicted output.max(1) # 获取预测类别最大值的索引 total target.size(0) correct predicted.eq(target).sum().item() # 每处理一定批次的数据打印一次进度 if batch_idx % 100 0: print(fTrain Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} f({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}) avg_loss running_loss / len(train_loader) accuracy 100. * correct / total print(f\n训练集平均损失: {avg_loss:.4f}, 准确率: {accuracy:.2f}%) return avg_loss, accuracy def evaluate(model, device, test_loader, criterion): model.eval() # 将模型设置为评估模式关闭Dropout等 test_loss 0.0 correct 0 total 0 with torch.no_grad(): # **关键步骤**关闭梯度计算节省内存和计算资源 for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() # 累加损失 _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() avg_loss test_loss / len(test_loader) accuracy 100. * correct / total print(f测试集平均损失: {avg_loss:.4f}, 准确率: {accuracy:.2f}%\n) return avg_loss, accuracy几个关键点解释model.train()和model.eval()这会影响像Dropout、BatchNorm这样的层在训练和推理时的不同行为。训练时必须用.train()评估时必须用.eval()。optimizer.zero_grad()PyTorch的梯度是累加的。如果不清零下一次loss.backward()时梯度会与上一次的梯度相加这绝对不是我们想要的。所以每次计算新梯度前必须清零。with torch.no_grad()在评估模型时我们不需要计算梯度因为不更新参数。这个上下文管理器能显著减少内存消耗并加速计算。output.max(1)output的形状是[batch_size, 10]max(1)表示在第1个维度类别维度上取最大值返回最大值和其索引。我们只需要索引predicted它代表了模型预测的数字。5.3 启动训练与保存模型现在把一切串起来开始真正的训练循环。num_epochs 10 # 训练轮数可以调整 train_losses, train_accs [], [] test_losses, test_accs [], [] for epoch in range(1, num_epochs 1): print(f\n--- Epoch {epoch}/{num_epochs} ---) train_loss, train_acc train_one_epoch(model, device, train_loader, optimizer, criterion, epoch) test_loss, test_acc evaluate(model, device, test_loader, criterion) train_losses.append(train_loss) train_accs.append(train_acc) test_losses.append(test_loss) test_accs.append(test_acc) # 训练完成后保存模型的状态字典 torch.save(model.state_dict(), mnist_cnn_model.pth) print(模型已保存为 mnist_cnn_model.pth)运行这段代码你会看到控制台开始滚动输出显示每个epoch的训练损失、准确率以及测试集上的表现。理想情况下训练损失和测试损失都应该逐渐下降训练准确率和测试准确率逐渐上升并且两者差距不大如果测试准确率远低于训练准确率可能是过拟合。保存模型使用torch.save(model.state_dict(), ...)。state_dict()是一个Python字典包含了模型的所有可学习参数权重和偏置。保存这个比保存整个模型对象更轻量、更灵活。6. 结果分析与模型调优从“能用”到“好用”训练完成后我们得到了一个准确率可能超过98%的模型。但这还不够我们需要分析它并知道如何让它变得更好。6.1 可视化训练过程绘制损失和准确率曲线能直观看出模型的学习情况。import matplotlib.pyplot as plt epochs_range range(1, num_epochs 1) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(epochs_range, train_losses, b-, labelTraining Loss) plt.plot(epochs_range, test_losses, r-, labelTest Loss) plt.xlabel(Epochs) plt.ylabel(Loss) plt.title(Training and Test Loss) plt.legend() plt.grid(True) plt.subplot(1, 2, 2) plt.plot(epochs_range, train_accs, b-, labelTraining Accuracy) plt.plot(epochs_range, test_accs, r-, labelTest Accuracy) plt.xlabel(Epochs) plt.ylabel(Accuracy (%)) plt.title(Training and Test Accuracy) plt.legend() plt.grid(True) plt.tight_layout() plt.show()如何解读曲线理想情况两条损失曲线都平稳下降最后趋于平缓两条准确率曲线都平稳上升最后趋于平缓且训练和测试的最终值很接近。过拟合训练损失持续下降训练准确率持续上升但测试损失在某个点后开始上升测试准确率停滞甚至下降。这意味着模型把训练数据的噪声也学进去了泛化能力变差。解决办法增加Dropout比率、增加数据增强、简化模型结构、使用更早的停止训练Early Stopping。欠拟合训练和测试的损失/准确率都很早就停滞在一个不理想的水平。这意味着模型能力不足无法捕捉数据中的模式。解决办法增加模型复杂度更多层、更多通道、训练更长时间、减少正则化强度。6.2 查看模型在哪些数字上容易出错光看总体准确率不够我们还需要一个混淆矩阵Confusion Matrix来查看模型在各个类别上的具体表现。from sklearn.metrics import confusion_matrix import seaborn as sns import numpy as np model.eval() all_preds [] all_targets [] with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) _, preds output.max(1) all_preds.extend(preds.cpu().numpy()) all_targets.extend(target.cpu().numpy()) cm confusion_matrix(all_targets, all_preds) plt.figure(figsize(10, 8)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsrange(10), yticklabelsrange(10)) plt.xlabel(Predicted Label) plt.ylabel(True Label) plt.title(Confusion Matrix on Test Set) plt.show()混淆矩阵的对角线数字越大越好表示预测正确。非对角线的数字表示预测错误。比如你可能会发现模型容易把“9”预测成“4”或者把“5”预测成“6”。这能给你提供调优的线索是不是某些数字的写法本身就很像是不是训练数据中某些类别的样本太少6.3 加载模型进行单张图片预测保存的模型如何用我们来演示加载模型并对一张新的图片从测试集中取一张进行预测。# 加载保存的模型参数 loaded_model Net() # 必须先实例化一个结构相同的模型 loaded_model.load_state_dict(torch.load(mnist_cnn_model.pth, map_locationdevice)) loaded_model loaded_model.to(device) loaded_model.eval() # 别忘了切换到评估模式 # 从测试集中取一张图片 sample_data, sample_label test_dataset[0] # 给数据增加一个batch维度因为模型输入要求是 [batch, channel, height, width] sample_data sample_data.unsqueeze(0).to(device) with torch.no_grad(): output loaded_model(sample_data) prediction output.argmax(dim1).item() print(f真实标签: {sample_label}) print(f模型预测: {prediction}) # 可视化这张图片 plt.imshow(sample_data.cpu().squeeze(), cmapgray) plt.title(fTrue: {sample_label}, Pred: {prediction}) plt.axis(off) plt.show()unsqueeze(0)是在最前面增加一个维度将[1,28,28]变成[1,1,28,28]表示batch_size为1。argmax(dim1)在类别维度上取最大值索引即得到预测的数字。7. 进阶思考与优化方向当你跑通整个流程并达到一个不错的准确率后可以尝试以下方向来深化理解或提升效果7.1 超参数调优我们之前用的学习率0.001、批大小64、Dropout率0.5都是经验值。你可以系统地调整它们观察对结果的影响。学习率尝试0.01, 0.001, 0.0001。通常可以使用学习率调度器如torch.optim.lr_scheduler.StepLR在训练过程中动态降低学习率。批大小尝试32, 64, 128。更小的batch可能带来更好的泛化性能但训练更慢、更震荡更大的batch训练更稳定、更快但可能泛化稍差。优化器除了Adam可以试试SGD随机梯度下降特别是配合动量momentum和学习率衰减有时在更精细的调参下能取得比Adam更好的最终效果。网络结构增加卷积层深度或通道数或者加入BatchNorm层nn.BatchNorm2d来加速训练并提升稳定性。7.2 数据增强这是提升模型泛化能力、防止过拟合的利器。对于图像任务可以在训练时对图像进行随机变换生成“新”的训练样本。torchvision.transforms提供了很多工具。from torchvision import transforms # 增强版的训练数据转换 train_transform transforms.Compose([ transforms.RandomRotation(10), # 随机旋转 ±10度 transforms.RandomAffine(degrees0, translate(0.1, 0.1)), # 随机平移 transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 测试集不要做数据增强只用最基本的转换 test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])然后用train_transform重新创建训练集的DataLoader。这样模型在每个epoch看到的同一张图片都可能略有不同强迫它学习更本质的特征而不是记住像素点的精确位置。7.3 尝试不同的网络架构LeNet只是一个开始。你可以尝试更现代的架构比如在torchvision.models里有一些经典的CNN模型虽然它们是为ImageNet设计的但你可以修改最后的全连接层来适配10分类。更重要的是理解这些架构的设计思想比如VGG的堆叠小卷积核、ResNet的残差连接。7.4 编写更工程化的代码把模型定义、训练循环、工具函数分别放到不同的.py文件里。使用argparse库来管理命令行参数如epoch数、学习率、批大小。使用TensorBoard或Weights Biases等工具来更美观、更实时地记录和可视化训练过程。这些实践在真正的项目开发中至关重要。跑完这个完整的MNIST项目你收获的不仅仅是一个能识别数字的程序而是一套完整的深度学习项目工作流。下次当你面对一个新的图像分类任务时你会发现流程是相通的准备数据、构建模型、训练评估、调优分析。变化的只是数据本身、模型复杂度和一些超参数。这才是入门教程真正想带给你的东西——一把能打开深度学习大门的钥匙。
1. 项目缘起为什么从MNIST开始你的PyTorch之旅如果你刚接触深度学习面对PyTorch、TensorFlow这些框架感觉像面对一个装满精密零件的工具箱不知从何下手。我的建议是别急着去造火箭先从拧螺丝开始。而MNIST手写数字识别就是那颗最经典、最标准的“螺丝”。这个项目几乎成了深度学习界的“Hello World”不是因为它简单到无聊恰恰相反它麻雀虽小五脏俱全。你能在这里面接触到数据加载、模型定义、训练循环、评估测试这一整套标准流程而且计算资源要求极低用CPU也能在几分钟内跑出不错的结果。我见过太多新手一上来就想搞图像生成、大语言模型结果在环境配置、复杂概念和漫长的训练等待中耗尽热情最后不了了之。从MNIST开始你能快速获得正反馈看到模型从乱猜准确率10%到基本能认准确率98%以上的整个过程这种成就感是持续学习最好的燃料。2. 环境搭建避开那些“看起来简单”的坑在真正写代码之前把环境搭对、搭稳能避免后面80%的莫名错误。很多人觉得安装就是pip install torch一行命令的事但实际踩的坑可能比写代码还多。2.1 PyTorch安装选对版本一步到位去PyTorch官网你会看到一个用来自动生成安装命令的配置器。这里的选择至关重要直接关系到你能不能调用GPU加速。核心就三样PyTorch版本、你的操作系统、CUDA版本。首先版本选择对于入门我强烈建议选择当前官网推荐的、最新的稳定版Stable。新版本通常修复了更多bug有更好的文档和社区支持。不要为了“稳定”而去选择一个很老的版本那可能会遇到依赖库不兼容的问题。其次CUDA版本这是决定能否使用GPU的关键。CUDA是NVIDIA的并行计算平台。打开你的命令行输入nvidia-smi在输出信息里找到“CUDA Version”这一项。这个版本号是你的显卡驱动最高能支持的CUDA版本。比如显示“12.4”意味着你可以安装≤12.4的CUDA。然后你需要在系统里实际安装一个≤此版本的CUDA Toolkit比如11.8或12.1。最后在PyTorch安装器上选择与你安装的CUDA Toolkit版本匹配的选项。如果没GPU或不想用就选“CPU”版本。注意经常有人问“我显卡是Intel Arc怎么装PyTorch”对于Intel独立显卡目前PyTorch的GPU加速主要依赖CUDANVIDIA和ROCmAMD。Intel显卡的加速需要通过Intel的扩展库如Intel Extension for PyTorch, IPEX来实现配置更为复杂。入门阶段如果你的电脑是Intel Arc显卡我建议先使用CPU版本的PyTorch完成学习等熟悉基础后再研究GPU加速的配置。最后复制命令安装在官网选好配置后它会给你一行pip或conda命令。我推荐使用conda因为它能更好地处理环境隔离和依赖冲突。打开Anaconda Prompt如果你装了Miniconda或Anaconda先创建一个独立环境是个好习惯conda create -n pytorch_mnist python3.9 conda activate pytorch_mnist然后粘贴官网生成的conda install命令进行安装。安装完成后在Python里跑一下import torch; print(torch.__version__); print(torch.cuda.is_available())确保导入成功并且如果装了GPU版这里能返回True。2.2 配套工具选一个顺手的“编辑器”代码写在哪Jupyter Notebook非常适合这种探索性、教程类的学习。它能分段运行代码即时看到结果和图表对于理解数据、调试模型特别友好。你可以通过conda install jupyter安装然后jupyter notebook启动。当然如果你习惯用PyCharm、VSCode这类集成开发环境IDE也完全没问题它们对代码提示、调试的支持更强大。选择你用得最顺手的一个即可。3. 数据准备理解你的“原料”MNIST模型像厨师数据就是食材。不了解食材做不出好菜。MNIST数据集包含6万张训练图和1万张测试图每张都是28x28像素的灰度手写数字0-9。3.1 下载与加载利用torchvision省时省力手动下载数据集然后读取那是十年前的做法了。PyTorch的torchvision库提供了现成的接口。但这里有个常见坑点网络下载失败。因为数据集源站在国外直接下载可能会非常慢甚至超时。import torch from torchvision import datasets, transforms # 定义一个数据转换管道 transform transforms.Compose([ transforms.ToTensor(), # 将PIL图像或NumPy数组转换为PyTorch张量 (Tensor) transforms.Normalize((0.1307,), (0.3081,)) # 标准化这里的均值0.1307和标准差0.3081是MNIST数据集的全局统计值 ]) # 尝试下载并加载训练集和测试集 try: train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) except Exception as e: print(f下载失败: {e}) print(请尝试) print(1. 检查网络连接特别是能否访问外网。) print(2. 手动下载搜索‘MNIST数据集下载’通常可以找到四个.gz文件train-images-idx3-ubyte.gz等。) print(3. 下载后放入 ‘./data/MNIST/raw/’ 目录下再次运行代码程序会检测到本地文件而跳过下载。)transforms.ToTensor()做了两件重要的事第一把图像数据从[0, 255]的整数范围转换到[0.0, 1.0]的浮点数范围这对神经网络训练更友好第二改变了数据的维度从原始的高度宽度变成了通道数高度宽度。MNIST是灰度图所以通道数是1。transforms.Normalize则进行标准化减去均值再除以标准差可以让数据分布更集中加速模型收敛。这里的(0.1307,)和(0.3081,)是预先计算好的MNIST全局像素均值和标准差。3.2 数据可视化看一眼你的数据在投入训练前花几分钟看看数据长什么样这是很好的习惯能帮你发现数据加载是否出错。import matplotlib.pyplot as plt # 从训练集中取一个批次的数据样本 figure plt.figure(figsize(8, 8)) cols, rows 5, 5 for i in range(1, cols * rows 1): sample_idx torch.randint(len(train_dataset), size(1,)).item() img, label train_dataset[sample_idx] # img的形状现在是[1, 28, 28]需要去掉通道维度才能用matplotlib显示 img img.squeeze() # 变成[28, 28] ax figure.add_subplot(rows, cols, i) ax.set_title(label) ax.axis(off) ax.imshow(img, cmapgray) plt.show()运行这段代码你会看到一个5x5的网格显示25个随机的手写数字及其标签。这能直观确认数据加载正确同时也能感受到手写数字的多样性有的工整有的潦草理解我们任务的挑战性。3.3 制作数据加载器DataLoader的作用数据集Dataset存储了所有样本和标签但我们训练时通常不是一次把所有数据扔进模型而是分成一小批一小批batch地喂进去。这样做有两个好处一是对内存更友好二是批数据计算出的梯度带有一定的噪声这种噪声有时反而能帮助模型跳出局部最优解找到更好的解。DataLoader就是干这个的。from torch.utils.data import DataLoader batch_size 64 # 一个常见的起始值不大不小 train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue) test_loader DataLoader(test_dataset, batch_sizebatch_size, shuffleFalse)这里的关键参数是shuffle。训练时一定要shuffleTrue打乱顺序防止模型学到数据顺序带来的偏见。测试时用shuffleFalse保证每次评估的顺序一致结果可复现。batch_size可以调整太大会占用更多内存太小可能导致梯度更新不稳定。64是一个不错的起点。4. 模型构建设计你的第一个神经网络现在来到核心部分构建模型。对于MNIST这种28x28的较小图像一个简单的卷积神经网络CNN就足够了。CNN能自动提取图像的局部特征如边缘、角点比全连接网络Dense Network效果更好、参数更少。4.1 网络结构设计从输入到输出的旅程我们来搭建一个经典的LeNet-5简化版。理解每一层的输入输出形状变化是掌握CNN的关键。import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 第一个卷积层输入通道1灰度图输出通道32卷积核3x3 self.conv1 nn.Conv2d(in_channels1, out_channels32, kernel_size3, padding1) # 第二个卷积层输入通道32输出通道64卷积核3x3 self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) # 最大池化层窗口2x2步长2 self.pool nn.MaxPool2d(kernel_size2, stride2) # 第一个全连接层输入维度是多少我们需要计算一下 # 经过两次[卷积-池化]后特征图大小变化28x28 - (池化)14x14 - (池化)7x7 # 此时特征图的通道数是64所以展平后的向量长度是 64 * 7 * 7 3136 self.fc1 nn.Linear(64 * 7 * 7, 128) # 全连接层输出128维 self.fc2 nn.Linear(128, 10) # 输出层10个类别数字0-9 # Dropout层用于防止过拟合训练时随机“丢弃”一部分神经元 self.dropout nn.Dropout(p0.5) def forward(self, x): # x 的形状: [batch_size, 1, 28, 28] x self.pool(F.relu(self.conv1(x))) # - [batch_size, 32, 14, 14] x self.pool(F.relu(self.conv2(x))) # - [batch_size, 64, 7, 7] # 将特征图展平成一维向量为全连接层做准备 x x.view(-1, 64 * 7 * 7) # - [batch_size, 3136] x self.dropout(F.relu(self.fc1(x))) # - [batch_size, 128] # 输出层不需要ReLU激活函数因为后面会接CrossEntropyLoss它内部包含了LogSoftmax x self.fc2(x) # - [batch_size, 10] return x # 实例化模型 model Net() print(model)逐行解释nn.Conv2d: 卷积层核心是学习一组滤波器卷积核在图像上滑动进行特征提取。padding1是为了保持卷积后特征图的空间尺寸不变当kernel_size3时。nn.MaxPool2d: 池化层进行下采样减少数据量同时保留主要特征增强模型对微小位移的鲁棒性。nn.Linear: 全连接层将学习到的特征映射到最终的分类空间。F.relu: 激活函数引入非线性让网络能够拟合复杂函数。这里使用函数式调用方式。nn.Dropout: 正则化技术随机让一部分神经元失活强迫网络学习更鲁棒的特征减轻过拟合。注意它只在训练时起作用在模型评估model.eval()时会自动关闭。x.view(-1, 64*7*7): 这是改变张量形状的操作。-1表示让PyTorch自动计算这个维度的大小通常是batch_size。这一步将四维的[batch, channel, height, width]张量拉平成二维的[batch, features]以便输入全连接层。为什么是两次池化后得到7x7初始输入是28x28。第一次卷积padding1后还是28x28池化窗口2步长2后变成14x14。第二次卷积后14x14再次池化后变成7x7。这是一个经典的空间尺寸减半过程。4.2 模型参数量与设备转移我们可以快速看一下这个模型有多少参数total_params sum(p.numel() for p in model.parameters()) print(f模型总参数量: {total_params:,})这个数字大概在几十万量级对于MNIST任务来说完全足够也保证了训练速度。接下来如果有GPU我们需要把模型和数据都放到GPU上以利用其并行计算能力加速训练。device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device}) model model.to(device)这一步很重要。模型定义在CPU上通过.to(device)将其参数和缓冲区转移到指定设备。之后每一个输入模型的张量也需要通过.to(device)转移到同一个设备上否则会报错。5. 训练循环让模型从“猜”到“认”这是整个流程中最像“炼丹”的部分。我们需要定义损失函数告诉模型它错得有多离谱、优化器告诉模型如何改正错误然后在一个循环中反复迭代。5.1 定义损失函数与优化器对于十分类任务交叉熵损失Cross-Entropy Loss是标准选择。在PyTorch中nn.CrossEntropyLoss已经将LogSoftmax和NLLLoss结合好了所以我们的模型输出层不需要再加Softmax。优化器负责根据损失函数的梯度来更新模型的参数。Adam优化器是当前最流行、默认效果往往不错的选择它自适应地调整每个参数的学习率。import torch.optim as optim criterion nn.CrossEntropyLoss() # 损失函数 optimizer optim.Adam(model.parameters(), lr0.001) # 优化器学习率设为0.001学习率lr是一个超参数控制每次参数更新的步长。太大可能导致训练震荡甚至发散太小则训练缓慢。0.001或0.0001是常见的起始值。5.2 编写训练与评估函数为了让代码更清晰我们把训练一个epoch和评估测试集的过程写成函数。def train_one_epoch(model, device, train_loader, optimizer, criterion, epoch): model.train() # 将模型设置为训练模式启用Dropout等 running_loss 0.0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) # 数据转移到设备 optimizer.zero_grad() # **关键步骤**清空上一轮计算的梯度 output model(data) # 前向传播得到预测输出 loss criterion(output, target) # 计算损失 loss.backward() # 反向传播计算梯度 optimizer.step() # 优化器根据梯度更新参数 # 统计信息 running_loss loss.item() _, predicted output.max(1) # 获取预测类别最大值的索引 total target.size(0) correct predicted.eq(target).sum().item() # 每处理一定批次的数据打印一次进度 if batch_idx % 100 0: print(fTrain Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} f({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}) avg_loss running_loss / len(train_loader) accuracy 100. * correct / total print(f\n训练集平均损失: {avg_loss:.4f}, 准确率: {accuracy:.2f}%) return avg_loss, accuracy def evaluate(model, device, test_loader, criterion): model.eval() # 将模型设置为评估模式关闭Dropout等 test_loss 0.0 correct 0 total 0 with torch.no_grad(): # **关键步骤**关闭梯度计算节省内存和计算资源 for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() # 累加损失 _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() avg_loss test_loss / len(test_loader) accuracy 100. * correct / total print(f测试集平均损失: {avg_loss:.4f}, 准确率: {accuracy:.2f}%\n) return avg_loss, accuracy几个关键点解释model.train()和model.eval()这会影响像Dropout、BatchNorm这样的层在训练和推理时的不同行为。训练时必须用.train()评估时必须用.eval()。optimizer.zero_grad()PyTorch的梯度是累加的。如果不清零下一次loss.backward()时梯度会与上一次的梯度相加这绝对不是我们想要的。所以每次计算新梯度前必须清零。with torch.no_grad()在评估模型时我们不需要计算梯度因为不更新参数。这个上下文管理器能显著减少内存消耗并加速计算。output.max(1)output的形状是[batch_size, 10]max(1)表示在第1个维度类别维度上取最大值返回最大值和其索引。我们只需要索引predicted它代表了模型预测的数字。5.3 启动训练与保存模型现在把一切串起来开始真正的训练循环。num_epochs 10 # 训练轮数可以调整 train_losses, train_accs [], [] test_losses, test_accs [], [] for epoch in range(1, num_epochs 1): print(f\n--- Epoch {epoch}/{num_epochs} ---) train_loss, train_acc train_one_epoch(model, device, train_loader, optimizer, criterion, epoch) test_loss, test_acc evaluate(model, device, test_loader, criterion) train_losses.append(train_loss) train_accs.append(train_acc) test_losses.append(test_loss) test_accs.append(test_acc) # 训练完成后保存模型的状态字典 torch.save(model.state_dict(), mnist_cnn_model.pth) print(模型已保存为 mnist_cnn_model.pth)运行这段代码你会看到控制台开始滚动输出显示每个epoch的训练损失、准确率以及测试集上的表现。理想情况下训练损失和测试损失都应该逐渐下降训练准确率和测试准确率逐渐上升并且两者差距不大如果测试准确率远低于训练准确率可能是过拟合。保存模型使用torch.save(model.state_dict(), ...)。state_dict()是一个Python字典包含了模型的所有可学习参数权重和偏置。保存这个比保存整个模型对象更轻量、更灵活。6. 结果分析与模型调优从“能用”到“好用”训练完成后我们得到了一个准确率可能超过98%的模型。但这还不够我们需要分析它并知道如何让它变得更好。6.1 可视化训练过程绘制损失和准确率曲线能直观看出模型的学习情况。import matplotlib.pyplot as plt epochs_range range(1, num_epochs 1) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(epochs_range, train_losses, b-, labelTraining Loss) plt.plot(epochs_range, test_losses, r-, labelTest Loss) plt.xlabel(Epochs) plt.ylabel(Loss) plt.title(Training and Test Loss) plt.legend() plt.grid(True) plt.subplot(1, 2, 2) plt.plot(epochs_range, train_accs, b-, labelTraining Accuracy) plt.plot(epochs_range, test_accs, r-, labelTest Accuracy) plt.xlabel(Epochs) plt.ylabel(Accuracy (%)) plt.title(Training and Test Accuracy) plt.legend() plt.grid(True) plt.tight_layout() plt.show()如何解读曲线理想情况两条损失曲线都平稳下降最后趋于平缓两条准确率曲线都平稳上升最后趋于平缓且训练和测试的最终值很接近。过拟合训练损失持续下降训练准确率持续上升但测试损失在某个点后开始上升测试准确率停滞甚至下降。这意味着模型把训练数据的噪声也学进去了泛化能力变差。解决办法增加Dropout比率、增加数据增强、简化模型结构、使用更早的停止训练Early Stopping。欠拟合训练和测试的损失/准确率都很早就停滞在一个不理想的水平。这意味着模型能力不足无法捕捉数据中的模式。解决办法增加模型复杂度更多层、更多通道、训练更长时间、减少正则化强度。6.2 查看模型在哪些数字上容易出错光看总体准确率不够我们还需要一个混淆矩阵Confusion Matrix来查看模型在各个类别上的具体表现。from sklearn.metrics import confusion_matrix import seaborn as sns import numpy as np model.eval() all_preds [] all_targets [] with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) _, preds output.max(1) all_preds.extend(preds.cpu().numpy()) all_targets.extend(target.cpu().numpy()) cm confusion_matrix(all_targets, all_preds) plt.figure(figsize(10, 8)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsrange(10), yticklabelsrange(10)) plt.xlabel(Predicted Label) plt.ylabel(True Label) plt.title(Confusion Matrix on Test Set) plt.show()混淆矩阵的对角线数字越大越好表示预测正确。非对角线的数字表示预测错误。比如你可能会发现模型容易把“9”预测成“4”或者把“5”预测成“6”。这能给你提供调优的线索是不是某些数字的写法本身就很像是不是训练数据中某些类别的样本太少6.3 加载模型进行单张图片预测保存的模型如何用我们来演示加载模型并对一张新的图片从测试集中取一张进行预测。# 加载保存的模型参数 loaded_model Net() # 必须先实例化一个结构相同的模型 loaded_model.load_state_dict(torch.load(mnist_cnn_model.pth, map_locationdevice)) loaded_model loaded_model.to(device) loaded_model.eval() # 别忘了切换到评估模式 # 从测试集中取一张图片 sample_data, sample_label test_dataset[0] # 给数据增加一个batch维度因为模型输入要求是 [batch, channel, height, width] sample_data sample_data.unsqueeze(0).to(device) with torch.no_grad(): output loaded_model(sample_data) prediction output.argmax(dim1).item() print(f真实标签: {sample_label}) print(f模型预测: {prediction}) # 可视化这张图片 plt.imshow(sample_data.cpu().squeeze(), cmapgray) plt.title(fTrue: {sample_label}, Pred: {prediction}) plt.axis(off) plt.show()unsqueeze(0)是在最前面增加一个维度将[1,28,28]变成[1,1,28,28]表示batch_size为1。argmax(dim1)在类别维度上取最大值索引即得到预测的数字。7. 进阶思考与优化方向当你跑通整个流程并达到一个不错的准确率后可以尝试以下方向来深化理解或提升效果7.1 超参数调优我们之前用的学习率0.001、批大小64、Dropout率0.5都是经验值。你可以系统地调整它们观察对结果的影响。学习率尝试0.01, 0.001, 0.0001。通常可以使用学习率调度器如torch.optim.lr_scheduler.StepLR在训练过程中动态降低学习率。批大小尝试32, 64, 128。更小的batch可能带来更好的泛化性能但训练更慢、更震荡更大的batch训练更稳定、更快但可能泛化稍差。优化器除了Adam可以试试SGD随机梯度下降特别是配合动量momentum和学习率衰减有时在更精细的调参下能取得比Adam更好的最终效果。网络结构增加卷积层深度或通道数或者加入BatchNorm层nn.BatchNorm2d来加速训练并提升稳定性。7.2 数据增强这是提升模型泛化能力、防止过拟合的利器。对于图像任务可以在训练时对图像进行随机变换生成“新”的训练样本。torchvision.transforms提供了很多工具。from torchvision import transforms # 增强版的训练数据转换 train_transform transforms.Compose([ transforms.RandomRotation(10), # 随机旋转 ±10度 transforms.RandomAffine(degrees0, translate(0.1, 0.1)), # 随机平移 transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 测试集不要做数据增强只用最基本的转换 test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ])然后用train_transform重新创建训练集的DataLoader。这样模型在每个epoch看到的同一张图片都可能略有不同强迫它学习更本质的特征而不是记住像素点的精确位置。7.3 尝试不同的网络架构LeNet只是一个开始。你可以尝试更现代的架构比如在torchvision.models里有一些经典的CNN模型虽然它们是为ImageNet设计的但你可以修改最后的全连接层来适配10分类。更重要的是理解这些架构的设计思想比如VGG的堆叠小卷积核、ResNet的残差连接。7.4 编写更工程化的代码把模型定义、训练循环、工具函数分别放到不同的.py文件里。使用argparse库来管理命令行参数如epoch数、学习率、批大小。使用TensorBoard或Weights Biases等工具来更美观、更实时地记录和可视化训练过程。这些实践在真正的项目开发中至关重要。跑完这个完整的MNIST项目你收获的不仅仅是一个能识别数字的程序而是一套完整的深度学习项目工作流。下次当你面对一个新的图像分类任务时你会发现流程是相通的准备数据、构建模型、训练评估、调优分析。变化的只是数据本身、模型复杂度和一些超参数。这才是入门教程真正想带给你的东西——一把能打开深度学习大门的钥匙。
)
