循环神经网络RNN和长短期记忆网络LSTM是处理文本、语音、时序预测等序列数据时最常碰到的两个模型。在 PyTorch 里实现它们并不复杂但很多人第一次跑的时候会把大量时间耗在维度报错、loss 不降和 NaN 上面。这一篇我按自己的实战顺序把这两类模型拆开讲先理解核心公式再用 PyTorch 内置模块跑通最小示例最后补上训练和调参要避开的坑。适合已经会用 PyTorch 搭建全连接网络或 CNN、但还没有系统跑过序列模型的读者。1. 先用一句话说清 RNN 和 LSTM 解决什么问题1.1 标准 RNN 是怎么处理序列的RNN 的工作方式可以理解成一个人逐字阅读文本每次只看一个词同时把前面看过的内容压缩成一个固定长度的隐藏状态然后带着这个状态去看下一个词。这个隐藏状态就是网络在当前时间步的“记忆”。核心公式里当前时间步的隐藏状态 h_t 由当前输入 x_t 和上一个隐藏状态 h_prev 共同决定h_t tanh(x_t * W_ih^T b_ih h_{t-1} * W_hh^T b_hh)PyTorch 的nn.RNN封装的就是这套计算。和全连接网络不同RNN 的所有时间步共享同一组权重所以不管输入序列多长模型的参数量都不会随着长度增长。这是它相比普通神经网络最大的特点。举个例子预测下一个词时输入“今天天气很”这五个字网络会逐个读入“今”“天”“天”“气”“很”。当读到“很”的时候隐藏状态里已经浓缩了前面四个字的信息再结合“很”本身网络就能预测下一个字大概率是“好”“热”“冷”这类形容词。这种“边读边记”的方式是处理变长序列的基础思路。1.2 梯度消失是 RNN 的最大短板理论上RNN 应该能把很早期的信息通过隐藏状态一路带到后面。但实际训练时标准 RNN 在长序列上的表现往往不如预期核心原因是梯度消失。反向传播时梯度需要沿着时间步往前传。如果每一步的导数值小于 1经过几十个时间步后梯度会接近 0网络无法更新也就学不到“很久之前”的信息。反过来如果每一步的导数值大于 1梯度还可能爆炸训练直接发散。这就是为什么后来出现了 LSTM。LSTM 用一套门控机制让信息可以选择性通过给梯度提供更稳的传播路径从而缓解标准 RNN 的梯度消失问题。1.3 什么场景优先考虑 LSTM需要捕捉长期依赖、序列长度中等或偏长、数据是文本或时间序列时优先考虑 LSTM。情感分类、机器翻译、语音识别、电力负荷预测、股价走势预测这类任务都属于典型场景。但我也要泼一盆冷水LSTM 并不总是比 RNN 好。如果序列很短比如只有三五个时间步标准 RNN 往往更快精度也不差。如果序列特别长或者数据量非常大LSTM 的顺序计算会成为瓶颈这时通常要转向 GRU 或 Transformer。选模型之前先想清楚数据长度和依赖距离。2. PyTorch 环境准备装错版本等于白跑2.1 安装前先确认版本搭配RNN/LSTM 本身对 PyTorch 版本不算挑剔但如果你要用 GPU 加速最好在安装前确认 Python 版本、PyTorch 版本、CUDA 驱动和显卡驱动之间的对应关系。我一般会用 Anaconda 创建独立环境避免把系统自带的 Python 弄乱conda create -n rnn_lstm python3.10 conda activate rnn_lstm接下来安装 PyTorch。不要直接复制网上很久以前给出来的命令因为 PyTorch 安装命令会根据 CPU 还是 GPU、CUDA 版本是多少而不同。正确做法是打开 PyTorch 官网的安装选择器选好自己的系统和驱动版本复制生成的那条命令。安装完成后用两行代码验证最基础的环境是否正常import torch print(torch.__version__) print(torch.cuda.is_available())如果输出torch.cuda.is_available()是False说明 PyTorch 没有识别到 CUDA。这不一定是代码问题先查显卡驱动、CUDA 驱动和 PyTorch 版本是否匹配。如果在服务器上安装还要确认当前用户对 CUDA 目录是否有可执行权限。2.2 GPU 不够也完全能跑但要把预期调低如果你只有 CPU或者一张 4GB 显存的旧显卡不用一上来就放弃。RNN/LSTM 在小数据集上CPU 也能跑只是每个 epoch 会明显更慢。我的建议是第一轮先把hidden_size设为 32 或 64batch_size设为 16序列长度截断在 50 以内。先用一个小配置验证代码逻辑再决定要不要加大。不要一上来就把hidden_size拉到 512在 CPU 上跑一个 5000 样本的文本任务那会等到失去耐心。如果使用 GPU 训练经常还要看显存占用。序列任务里显存大头通常是中间缓存不是模型参数。你可以在训练时用命令查看显存使用如果接近显存上限优先减小batch_size或序列长度不要直接换更大的模型。2.3 固定随机种子是复现前提序列模型训练本身有随机性如果不固定随机种子同样的代码每次跑出来的 loss 曲线可能差很多。这不是模型代码写错了而是初始化权重、数据打乱顺序不一样。我通常在训练脚本的最前面统一固定三个随机源import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed)这就是为什么很多时候你看网上复现帖子代码一模一样但跑出来的结果对不上。不是帖子造假是随机种子和数据顺序不同。调参之前先固定种子。3. 标准 RNN 实战从核心公式到 nn.RNN3.1 先理解时间步、隐藏状态和序列维度假设输入序列是 x_1, x_2, ..., x_T每个 x_t 是一个 input_size 维的向量。RNN 从初始隐藏状态 h_0 开始在每个时间步 t 计算新的隐藏状态 h_t同时根据需要输出一个预测结果。在 PyTorch 的nn.RNN里默认激活函数是tanh也可以改成relu需要在构造时指定nonlinearityrelu。tanh通常更稳因为输出被限制在 [-1,1] 之间梯度不容易爆炸。理解维度是这一步最关键的事。PyTorch RNN 的输入通常有两种排列方式batch_firstFalse时输入形状是[seq_len, batch, input_size]batch_firstTrue时输入形状是[batch, seq_len, input_size]。新手建议直接使用batch_firstTrue这样在打印张量形状时更直观后续接Linear层也不容易搞混维度顺序。3.2 nn.RNN 最小示例下面是一个最简单的 RNN Demo。输入是 4 个样本每个样本 10 个时间步每个时间步 8 维特征import torch import torch.nn as nn rnn nn.RNN( input_size8, hidden_size16, num_layers1, batch_firstTrue ) x torch.randn(4, 10, 8) # [batch, seq_len, input_size] out, h_n rnn(x) print(out.shape) # 期望 [4, 10, 16] print(h_n.shape) # 期望 [1, 4, 16]这里有两个返回结果out是最后一个隐藏层在每个时间步的输出形状是[batch, seq_len, hidden_size]h_n是最后一个时间步的隐藏状态形状是[num_layers, batch, hidden_size]。也就是说out[:, -1, :]和h_n[-1]的内容是一致的都代表每个样本在最后一步的隐藏状态。3.3 手写一个 RNN 单元验证公式理解只看封装 API 很难真正理解 RNN。我建议你像我一样用 PyTorch 内部权重手动算一个时间步再把结果和nn.RNN自动算的对比。先创建一个带随机权重的 RNNrnn nn.RNN(input_size8, hidden_size16, batch_firstTrue) x torch.randn(4, 10, 8) out, h_n rnn(x)接着手动实现一步def custom_rnn_step(x_t, h_prev, rnn_cell): weight_ih rnn_cell.weight_ih_l0 weight_hh rnn_cell.weight_hh_l0 bias_ih rnn_cell.bias_ih_l0 bias_hh rnn_cell.bias_hh_l0 h_t torch.tanh( x_t weight_ih.t() bias_ih h_prev weight_hh.t() bias_hh ) return h_t h0 torch.zeros(4, 16) h1 custom_rnn_step(x[:, 0, :], h0, rnn) print(torch.allclose(h1, out[:, 0, :], atol1e-6))如果输出True说明你手动算的第一步和 PyTorch 内置 RNN 完全一致。这一步做完你再看 LSTM 的公式会更轻松。4. LSTM 实战门控机制和 nn.LSTM 用法4.1 LSTM 比标准 RNN 多了什么标准 RNN 只有一条隐藏状态 h 在向后传LSTM 多了一条细胞状态 c。可以把 c 想象成一条传送带它保存长期信息h 则是当前时间步的输出状态。LSTM 用三个门控来控制信息流动遗忘门决定从上一时刻的细胞状态里丢掉多少信息输入门决定当前时间步的新信息写入多少输出门决定最终从细胞状态中提取多少信息给隐藏状态。因为这套机制LSTM 在反向传播时给梯度提供了更稳定的路径训练长序列时不容易出现标准 RNN 的梯度消失问题。代价是参数更多、计算更慢。4.2 nn.LSTM 最小示例PyTorch 里nn.LSTM的用法和nn.RNN几乎一样只是返回值多一个细胞状态c_nlstm nn.LSTM( input_size8, hidden_size16, num_layers1, batch_firstTrue ) x torch.randn(4, 10, 8) out, (h_n, c_n) lstm(x) print(out.shape) # [4, 10, 16] print(h_n.shape) # [1, 4, 16] print(c_n.shape) # [1, 4, 16]out是最后一个隐藏层在每个时间步的输出h_n是最后一个时间步的隐藏状态c_n是最后一个时间步的细胞状态。如果你只需要最后的输出通常取out[:, -1, :]或者直接取h_n[-1]。4.3 跑一个正弦波预测小实验RNN vs LSTM为了直观看到 LSTM 的长处我建议你做一个最小对比用sin函数生成 10000 个点用前 20 步预测第 21 步。输入形状是[batch, seq_len, 1]标签沿时间往后移一步。核心训练代码长这样model nn.LSTM(input_size1, hidden_size32, num_layers1, batch_firstTrue) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.MSELoss() for epoch in range(50): model.train() optimizer.zero_grad() out, _ model(x) # out: [batch, seq_len, hidden_size] pred out[:, -1, :] # 取最后一个时间步的隐藏状态 loss loss_fn(pred, y) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step()在我本机跑下来的结果是LSTM 收敛更稳损失曲线没有明显突跳标准 RNN 在同样学习率下偶尔会跳到 NaN。短序列上两者差距不大序列越长LSTM 的稳定性优势越明显。你跑出来的具体数值可能不完全一样但大概方向应该类似。要注意这里pred和y的形状必须对齐。如果你使用out整个序列去计算损失标签也要是一个完整的序列形状常见报错就是形状不匹配。5. 训练序列模型的四个高频坑和排查方法5.1 输入维度搞错这是序列模型最常见的坑。全连接层输入是二维[batch, feature]RNN/LSTM 输入是三维。如果使用batch_firstTrue输入必须是[batch, seq_len, input_size]。很多人拿到一维数据直接x.unsqueeze(-1)变成[batch, seq_len, 1]这很容易漏掉 batch 维度。报错信息里如果出现RuntimeError: Expected 3D tensor, got 2D先打印x.shape确认最后一维是不是input_size。如果是文本数据字符串要先转成索引再通过 embedding 层变成稠密向量。很多人以为 input_size 是词典大小直接把样本长度传进去这也会错。5.2 隐状态初始化和传递nn.RNN和nn.LSTM不传隐状态时PyTorch 会默认初始化为 0。如果你按批次训练每个 batch 重新从 0 开始通常没有问题。但如果你想把一个很长的序列切成多个段让模型记住前一段的信息就要手动把上一个 batch 的h_n传给下一个 batch。这里最容易出问题的是梯度链太长。正确做法是取出来之后detach()再传入避免梯度跨 batch 累加导致显存和梯度都爆炸。h_n h_n.detach()如果 loss 突然变成 NaN可以先检查有没有在跨 batch 传隐状态时忘记 detach。5.3 损失函数维度和标签对齐分类任务里nn.CrossEntropyLoss要求输入形状是[batch, num_classes]标签形状是[batch]。如果是序列标注每个时间步都有输出需要把输出 reshape 成[batch * seq_len, num_classes]标签也对应 reshape。回归任务相对简单但也要注意pred和y的最后维度一致。如果报错信息是Expected input batch_size X to match target batch_size Y不要急着改模型先打印两个张量的 shape对比 batch、seq_len、feature 分别差在哪。5.4 梯度爆炸和 NaNRNN 和 LSTM 训练时出现 NaN通常是梯度爆炸或学习率过大。排查顺序是先看输入数据是否包含 NaN 或 inf再看学习率是否太大在backward()之后打印梯度范数使用梯度裁剪限制梯度最大值。我通常会在优化器更新前加一行nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)如果梯度范数大于 10大概率是学习率太高先把学习率调到 1e-4 试试。不要一上来就换损失函数或改模型结构。5.5 变长序列和 padding文本任务里同一个 batch 的句子长度往往不同常规做法是补 0 到相同长度。但如果你直接拿 padding 后的序列输入 LSTM模型会把 padding 部分也当成真实内容训练结果会有偏差。更稳妥的做法是使用nn.utils.rnn.pack_padded_sequence和pad_packed_sequence告诉 RNN 哪些位置是 padding。这里最容易踩的坑是数据必须按序列长度降序排列否则 pack 之后的结果是错的。不过在入门阶段我建议先避开变长序列。可以把数据切成长度一致的片段比如统一截断到 50 或 100先把固定长度的流程跑通再处理 padding 优化效率。5.6 一条通用排查链路遇到问题不要先改代码结构和网络层按下面顺序查打印输入和标签的形状检查数据里是否有 NaN 或 inf看 loss 在最初几个 step 是否下降打印梯度范数确认是否爆炸检查隐状态形状和 batch 维度缩小数据量先跑 100 条样本确认逻辑没问题再全量训练。这条顺序帮我排掉了大部分问题尤其是前两步经常能省下一个小时。6. 参数调优和升级方向从 LSTM 到 GRU 再到 Transformer6.1 一组稳妥的默认参数序列模型调参不是越复杂越好。我常用的起点配置是参数推荐值建议hidden_size128数据量小时用 32 或 64num_layers12 层起步要配 dropoutbatch_size32显存不足降到 16learning_rate1e-3用 Adam 优化器dropout0单层 LSTM 不需要多层建议 0.3clip_grad_norm1.0训练开始阶段建议加上epochs20小数据 50 到 100 个 epoch 也行注意不要盲目加num_layers。层数加多以后模型参数量增大训练变慢小数据集上一不小心就过拟合。我见过很多新手把num_layers设为 4结果 loss 反而不降最后回到 1 层反而好了。6.2 数据量小时可以试试 GRUGRU 可以理解为 LSTM 的低配版只有两个门重置门和更新门没有独立的细胞状态。它的参数比 LSTM 更少训练更快在小数据集和 CPU 环境下经常不输 LSTM。PyTorch 里用nn.GRU和nn.LSTM几乎一样gru nn.GRU(input_size8, hidden_size16, num_layers1, batch_firstTrue) out, h_n gru(x)注意nn.GRU返回的是out, h_n没有细胞状态。如果数据量只有几千条我建议先跑 GRU效果差不了太多但调参速度会快很多。等你确定模型结构能跑通再换成 LSTM 做对比。6.3 长序列和大规模场景考虑 TransformerLSTM 的问题在于必须按时间步顺序计算序列越长越慢。Transformer 通过自注意力机制直接计算任意两个位置之间的关系可以并行处理整个序列在长文本、大规模语料上更有优势。但 Transformer 并不是银弹。它的显存占用更高需要更多数据训练也不一定稳。如果序列只有几十个时间步LSTM 完全够用如果序列到达几百或上千且你有足够 GPU 资源可以试试nn.TransformerEncoder或nn.MultiheadAttention。对小项目来说强行上 Transformer 只会增加代码复杂度和调试成本。6.4 我的最终建议如果你刚入门序列模型先跑通一个固定长度的短序列任务。LSTM 是一个比标准 RNN 更稳妥的选择但不代表它所有方面都更好。先把输入形状、输出形状、隐状态这三个核心点吃透再考虑变长序列、mask、打包填充、注意力机制这些进阶内容。踩过几次坑之后我发现很多问题不是模型能力不够而是前置环境和输入材料没有处理干净。序列模型尤其明显数据形状错一个维度loss 就不降padding 没有 mask训练再久也没有意义。先从小样例开始跑稳了再扩大规模这是我最想留给读者的一句话。