简介面向csv时序数据分类场景这套基于双向LSTMBidirectional LSTM的可运行工程适合具备一定Python基础、想快速上手深度学习时序分类的开发者或学生。压缩包共30个文件包含26个csv示例数据集、2个Python训练/测试脚本、1个txt环境说明和1份docx需求文档整体仅1.81MB轻量易用其中训练与测试脚本覆盖数据读取、模型构建、训练评估完整流程csv数据可灵活替换验证。已有406人学习下载尤其适用于课程实验、毕业设计或入门调参练习。通过源码可理解双向LSTM在时序特征提取中的应用方式并可直接在Anaconda、Python3.8、Tensorflow2.5环境中运行避免从零搭建环境的繁琐快速获得完整可用方案。1. csv时序数据分类 lstm解决的是哪类问题适合谁我经手过不少这类需求设备上采回来的电流、振动、温度数据存成 CSV三个字段、几万行客户说“你帮我分一下类”可能是判断设备当前属于哪档工况也可能是识别这段波形正常还是异常。csv时序数据分类 lstm 这个标题说的就是一件事把 CSV 文件里按时间顺序排列的多维数据交给 LSTM 网络做分类输出离散标签。LSTM 的价值在于它天然处理带时间依赖的序列跟普通全连接网络拿单行特征做分类是两套思路。这篇文章适合两类人一是刚把 CSV 读进来但不知道怎样构造监督样本的初学者二是已经用传统机器学习跑过分类、被时序数据泄漏折腾过、想换 LSTM 试水的从业者。下面我按自己复盘过的完整链路来讲从数据清洗到窗口切分再到网络结构和训练避坑每个步骤都能直接照抄。2. CSV 时序数据的读取与预处理pandas 清洗、时间对齐与归一化时机2.1 用 pandas 读 CSV 的三个翻车点编码、表头与时间列CSV 读取看起来是小事但时序数据在这里翻车的概率远高于普通表格。最常见的是编码问题工业软件导出的 CSV 经常是 GBK 或者带 BOM 的 UTF-8直接pd.read_csv读出来中文列名全是乱码。我一般会在读取时加上encoding参数用 try 去探测而不是读进来之后再对着乱码猜。import pandas as pd def load_time_series_csv(path): for enc in (utf-8-sig, gbk, latin1): try: df pd.read_csv(path, encodingenc) break except UnicodeDecodeError: continue return df df load_time_series_csv(sensor_data.csv) print(df.dtypes) print(df.head())这段代码逐个尝试三种常见编码utf-8-sig能正确去掉 BOM 头gbk覆盖国内大多数工业软件的默认导出latin1是最后兜底任何编码都不会抛异常代价只是中文显示乱。对时序分类来说乱码不影响数值列但会干扰你辨认列名所以编码这一步值得认真处理。读取之后立即看dtypes和head()重点检查时间列有没有被读成 object 类型——这是时序 CSV 最隐蔽的坑时间列变成字符串后续排序、重采样、滑窗全部会失效。2.2 时间戳解析与缺失值先对齐时间轴再决定插值还是丢弃时间列被读成字符串之后第一件事就是把它转成 pandas 的 datetime 类型。很多厂家的时间格式五花八门比如2024/05/11 08:30:12.456或者带时区的 ISO 字符串pd.to_datetime的默认解析经常不认要么报错要么全部变成 NaT。常见做法是显式传format参数遇到混合格式就加errorscoerce把解析失败的行转成 NaT再统一处理。df[timestamp] pd.to_datetime( df[timestamp], format%Y/%m/%d %H:%M:%S.%f, errorscoerce, ) df df.dropna(subset[timestamp]).sort_values(timestamp).reset_index(dropTrue)格式串%Y/%m/%d %H:%M:%S.%f对应上面那种带毫秒的日期如果日志里没有毫秒去掉尾部的.%f即可。errorscoerce不会让程序中断但代价是你必须知道自己有多少行被丢弃。时序分类里丢弃少量坏行通常可以接受如果一次丢几千行大概率是格式串写错了而不是数据本身脏。排序后reset_index也很关键后续滑动窗口依赖连续的行号索引不连续容易写出 bug。缺失值处理要按时间轴来做。常用interpolate(methodlinear)做线性插值或者用ffill()向前填充但插值只适用于物理量缓慢变化、缺失段又不长的场景。如果某项特征断了一整分钟插出来的就是假数据模型会把这种“故障特征”学进权重里。我的一般做法是缺失比例超过 30% 的特征整列丢掉缺失在 5% 以内的列才用相邻点插值。这个阈值不是论文里来的是排障排出来的经验值你可以参考。2.3 归一化的时机先按时间切分再 fit 训练段这一步是整个预处理里最重要也最容易被忽略的。很多人一口气把 CSV 全读进来MinMaxScaler().fit_transform(df)一把梭然后再划分训练集和测试集——这个顺序必须改。归一化用到了全量数据的 min/max 或 mean/std测试集的统计信息已经混进了训练过程这就是数据泄漏。LSTM 对输入尺度敏感泄漏的后果是验证集准确率虚高上线后一换新数据立刻打回原形。from sklearn.preprocessing import MinMaxScaler split_time df[timestamp].quantile(0.8) train_df df[df[timestamp] split_time].copy() test_df df[df[timestamp] split_time].copy() feature_cols [current, vibration, temperature] scaler MinMaxScaler(feature_range(0, 1)) train_df[feature_cols] scaler.fit_transform(train_df[feature_cols]) test_df[feature_cols] scaler.transform(test_df[feature_cols])split_time按时间分位点来定比如取训练区间的第 80 百分位作为切点。注意fit_transform只出现在训练集上测试集只用transform这是时序数据泄漏检查里最容易被逮住的一条。MinMaxScaler和StandardScaler都能用如果特征本身分布比较集中比如振动幅值本来就在 0 附近波动用 MinMax 更直观如果特征里有明显的长尾比如偶尔出现尖峰电流StandardScaler 会更稳。原则就一句话归一化的参数只能来自训练段。3. 用滑动窗口把 CSV 切成 LSTM 样本窗口长度与步长的选择逻辑3.1 为什么时序分类要滑动窗口而不直接拿单行做分类因为 LSTM 看到的是一个序列而不是一个点。单个传感器读数几乎没有分类语义电流第 1000 个点是 12.3A单看这个数值分不出设备是在启动还是在稳定运行但只要给模型看从第 900 点到第 1100 点这一段趋势信息就出来了——上升斜率、波动幅度、周期形态这些都是分类的判别依据。所以标准做法是把 CSV 转成窗口序列, 标签的监督学习样本。给 CSV 里的每一行打标签然后切出固定长度的窗口窗口的最后一个时刻的标签就是这个样本的标签。这样构造出来的样本一个是一个彼此之间相对独立才能送进 DataLoader 做 batch 训练。3.2 滑动窗口切分代码window、stride 与标签的取法import numpy as np def create_sequences(df, features, label_col, window, stride1): xs, ys [], [] values df[features].values labels df[label_col].values n len(df) for start in range(0, n - window 1, stride): end start window xs.append(values[start:end]) ys.append(labels[end - 1]) return np.array(xs), np.array(ys) X, y create_sequences(train_df, feature_cols, label, window128, stride1) print(X.shape, y.shape)参数说明window是每个样本包含的时间步数stride是窗口滑动的步长features是要输入模型的特征列。注意标签取的是end - 1也就是窗口最后一个时刻的标签这是时序分类里最常用的取法因为窗口终点代表“当前时刻”模型只能用当前及过去的信息去预测当前状态不能把未来的标签搬进来。stride1是最推荐的默认值。窗口重叠不会造成信息泄漏因为每个样本内部的时序顺序是完整的代价只是样本量变大训练变慢。数据量不大几万行以内时直接 stride1 就好。如果数据量大到训练无法接受再逐步调大 stride但要注意类别边界附近的样本可能会因为跨窗口而被跳过导致少数类样本进一步减少。3.3 训练集、验证集、测试集的划分按时间块切不要随机打乱时序数据划分有个铁律不能用sklearn.model_selection.train_test_split的默认 shuffle 行为。原因很直接如果随机打乱了训练集里会出现测试集时间段的片段模型相当于提前见过“未来”验证分数就是假的。这不是学术洁癖是上线之后必翻车的问题。正确做法是按时间连续切块。常见比例是前 70% 时间区间做训练中间 15% 做验证最后 15% 做测试。验证集用于 early stopping 和调参测试集只在模型完全定稿后评估一次。注意这里的“时间区间”是按时间段切不是按行数切因为采样可能不均匀。train_df df[df[timestamp] train_cut].copy() val_df df[(df[timestamp] train_cut) (df[timestamp] val_cut)].copy() test_df df[df[timestamp] val_cut].copy()这三个集合构造样本的方式相同都走create_sequences但要注意如果 strided 窗口跨越了不同集合的边界比如训练段的最后一个窗口延伸到了验证段的时间这会产生轻微泄漏。所以切成三个块之后每个块单独做滑窗窗口不从块的末尾往后延。边界上丢掉几个窗口样本不影响全局。3.4 窗口长度怎么定周期优先其次是采样率窗口长度是这类任务里影响最大的超参数之一。拍脑袋不可取但没有通用公式只能从业务角度推算。如果信号有明确周期比如 50Hz 工频振动、转轴每转一圈 200 个采样点那窗口至少覆盖 1 到 2 个周期如果不知道周期就先取一个业务上合理的时长比如“过去 10 秒内的数据”再乘以采样率得到点数。sampling_rate 10 # Hz即每秒钟 10 个采样点 window_seconds 10 window sampling_rate * window_seconds # 100窗口太短瞬态特征被截断模型只能看到局部抖动窗口太长大量无关的历史内容混进来反而稀释了关键特征。后面第 5 章我会讲一个窗口敏感性实验的做法那才是定窗口最靠谱的方式这里先记住一个起点从业务上的一个完整周期或者一个完整动作时长开始再翻倍、减半去做对比。4. LSTM 分类模型结构与 PyTorch 实现输入维度、隐藏状态与分类头4.1 为什么选 LSTM而不是全连接或者 Transformer全连接网络处理 CSV 表格数据时是把每一行当成独立样本特征之间没有先后顺序所以它天然不适合拿来做时序分类。Transformer 理论上是更强的序列模型但它的参数量大对数据量的要求高几万条样本很难训出稳定的结果。LSTM 正好卡在中间门控机制能捕捉几百步内的长程依赖参数规模相对可控训练技巧成熟是时序分类任务的默认基线。还有一个实用层面的理由LSTM 的输入输出结构对“窗口样本”这类三维数据batch, seq_len, features非常友好PyTorch 里几乎不需要做维度变换直接喂进去就能跑。换成 Transformer 还要加位置编码、调注意力头数调试成本高一个量级。所以我一般建议先用 LSTM 跑通基线确认任务可学再想要不要上更复杂的结构。4.2 模型定义从input_size到输出层import torch import torch.nn as nn class LSTMClassifier(nn.Module): def __init__(self, input_size, hidden_size, num_layers, num_classes, dropout0.3): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout if num_layers 1 else 0.0, ) self.classifier nn.Sequential( nn.Linear(hidden_size, hidden_size // 2), nn.ReLU(), nn.Dropout(dropout), nn.Linear(hidden_size // 2, num_classes), ) def forward(self, x): out, (h_n, _) self.lstm(x) last out[:, -1, :] return self.classifier(last)nn.LSTM的两个关键参数input_size是每个时间步的特征数量对应 CSV 里选出来的feature_cols的长度hidden_size是隐藏状态的维度一般取 32 到 256 之间需要根据样本量调整batch_firstTrue让输入张量形状是(batch, seq_len, features)这跟我们create_sequences出来的 X 形状直接对应。num_layers2是常见的折中——层数太深小数据集上容易过拟合而且训练明显变慢。forward里的out是所有时间步的隐藏状态形状是(batch, seq_len, hidden_size)out[:, -1, :]取最后一个时间步的输出作为整个序列的压缩表示。对分类任务来说这个最后一个时间步的隐藏状态理论上已经编码了前面所有时间步的信息所以不需要像序列生成那样处理每个时刻的输出。4.3 为什么取最后一个时间步而不是 h_n有人会直接用h_n[-1]作为最后一步的隐藏状态这里有个细节值得注意。out[:, -1, :]和h_n[-1]在最简单的情况下值是一样的但h_n[-1]的形状是(batch, hidden_size)它只代表最后一层的最终隐藏状态而out[:, -1, :]是最后一层在所有时间步中最后一个步长的输出。两者数值相等但语义上一个来自输出序列一个来自隐藏状态读者容易混淆。代码里统一用out[:, -1, :]语义更清晰后面接全连接层也顺手。如果要加双向 LSTM把 LSTM 参数里加bidirectionalTrue那么hidden_size会翻倍——每个方向各一份输出然后拼接所以你接全连接层时输入维度要改成hidden_size * 2。双向的优点是每个时间步既能看过去也能看未来但这是序列级分类而不是在线预测时可以用的技巧如果目标是实时判断当前状态比如设备在线监测用了双向就等于作弊这一点务必想清楚。4.4 损失函数、优化器与一个最小的训练循环多分类任务用nn.CrossEntropyLoss这个损失函数内部自带 softmax所以模型最后一层不用额外加激活函数。标签用 LongTensor形状是(batch,)每一个值是类别的索引。优化器用 Adam初始学习率1e-3配合ReduceLROnPlateau在验证集 loss 不降时降学习率是这类任务里最稳的组合。from torch.utils.data import TensorDataset, DataLoader X_train torch.tensor(X_train, dtypetorch.float32) y_train torch.tensor(y_train, dtypetorch.long) train_loader DataLoader( TensorDataset(X_train, y_train), batch_size64, shuffleTrue, ) model LSTMClassifier(input_size3, hidden_size64, num_layers2, num_classes4) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() for epoch in range(50): model.train() for xb, yb in train_loader: optimizer.zero_grad() logits model(xb) loss loss_fn(logits, yb) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0) optimizer.step() # 每个 epoch 结束后在验证集上算 loss 和准确率用于 early stoppingbatch_size64是起步值显存不够就降到 32数据量太小也可以降到 16shuffleTrue在这里是允许的因为窗口样本本身就是按时间切出来的它们之间已经失去了连续时间上的依赖随机打乱反而有助于训练稳定性这跟前面“按时间划分数据集”是两码事不要混淆。clip_grad_norm_是 LSTM 训练的保命操作后面避坑章里单独讲。5. 训练 csv 时序分类模型最容易踩的 5 个坑泄漏、不均衡与过拟合5.1 归一化泄漏验证集准确率虚高的元凶现象训练完成后验证集准确率 98%模型换到一段新采集的数据上准确率直接掉到 60%。原因归一化时用了全部数据包括未来数据的 min/max 或 mean/std测试段的统计信息提前参与了训练模型看到的特征范围是“被打过招呼”的。解决严格按第 2 章的顺序先按时间切分再在训练段上fit测试段只transform。排查方法很简单打印训练段和测试段每个特征的 min/max如果测试段的特征值范围整体落在训练段范围之内且边界非常整齐大概率就是泄漏了。5.2 随机打乱样本导致的“未来泄漏”现象模型训练时损失降得很漂亮但你用第 3 章的方式对一段连续信号做滑窗预测发现分类结果在类别边界附近疯狂抖动甚至出现“未来状态翻到过去”的荒谬结果。原因切分数据集时用了默认shuffleTrue的train_test_split训练集和测试集的样本来自重叠的时间段。解决按时间连续切块训练、验证、测试各占一段互不重叠的时间区域。一个简单的自检方法把训练集最后一个样本的时间戳和测试集第一个样本的时间戳打出来如果相差很小甚至重叠说明切分方式有问题。5.3 类别不均衡准确率 95% 其实在猜多数类现象故障样本只占 5%模型每个样本都预测为“正常”准确率照样 95%但分类报告里故障类的 F1 分数为 0。原因多数类主导了损失函数模型学到“全部猜正常”就能把损失压得很低。解决分两步走。先用classification_report看每一类的 precision、recall、F1区分“整体准确率高”和“每个类都分得清”。再对损失函数加类别权重from sklearn.utils.class_weight import compute_class_weight classes np.unique(y_train) weights compute_class_weight(class_weightbalanced, classesclasses, yy_train) weights torch.tensor(weights, dtypetorch.float32) loss_fn nn.CrossEntropyLoss(weightweights)compute_class_weight(balanced)会按样本数的倒数比例自动分配权重多数类的损失被压低少数类的错误被放大模型才会被迫学少数类的特征。这一步在很多场景里比换模型结构带来的提升都大。5.4 梯度爆炸训练 loss 突然变 NaN现象训练踩了十几步loss 突然变成 NaN后续所有 epoch 的 loss 都是 NaN。原因LSTM 在长序列上梯度范数容易累积放大尤其是序列长度超过几百时反向传播经过的时间步多梯度爆炸概率显著上升。这不是模型出了问题是优化过程失控。解决torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)这一行加在loss.backward()之后、optimizer.step()之前。max_norm5.0的意思是如果所有参数的梯度范数超过 5就整体缩放到 5。这个值不是玄学一般取 1.0 到 10.0 之间先 5.0 起步如果 NaN 还是出现先降到 1.0 试。配合把学习率从1e-3降到3e-4绝大多数 NaN 问题都能压下去。需要注意加了梯度裁剪之后学习率调参的逻辑要重跑一遍两者相互影响。5.5 窗口长度的敏感性到底怎么定别靠感觉现象同一个模型架构窗口长度 32 和 128 跑出来的准确率差十几个百分点而你根本说不清为什么。原因窗口太短模型只看到局部片段识别不了完整的形态窗口太长大量无关历史混进序列信号被稀释。这其实是超参数问题不是模型问题。我的习惯是固定模型结构后把窗口从 32 开始按 2 倍递增32、64、128、256、512每个值训练一次并记录验证集准确率画一条曲线出来window_sizes [32, 64, 128, 256, 512] results [] for win in window_sizes: X_tr, y_tr create_sequences(train_df, feature_cols, label, windowwin) X_va, y_va create_sequences(val_df, feature_cols, label, windowwin) model LSTMClassifier(input_sizelen(feature_cols), hidden_size64, num_layers2, num_classesnum_classes) # 训练并记录验证准确率 results.append((win, val_acc))选平台期的起点即准确率第一次接近最高点的最小窗口在那个点附近再细调。这个实验做下来你对数据的理解会比看任何特征工程都深。要提醒的是换窗口之后训练样本数会变化窗口越大样本越少所以曲线比较的是“同样模型在不同样本量下的表现”不是纯粹窗口的对比评估时要留意数据量带来的干扰。6. 分类效果怎么验证混淆矩阵、F1 与 CNN-LSTM 进阶方向6.1 用分类报告和混淆矩阵确认每个类的表现准确率只能衡量整体分类问题里真正要盯的是每个类别的 precision、recall、F1。LSTM 训练完把测试集窗口样本预测一遍然后打分类报告from sklearn.metrics import classification_report, confusion_matrix, ConfusionMatrixDisplay y_true y_test y_pred model(X_test_tensor).argmax(dim1).numpy() print(classification_report(y_true, y_pred, target_namesclass_names)) cm confusion_matrix(y_true, y_pred) ConfusionMatrixDisplay(cm, display_labelsclass_names).plot()看图时重点看混淆矩阵里的非对角线元素哪两类经常互相分错说明这两个类别的特征在窗口尺度上确实接近如果某一类样本长期全错回去检查这类样本在 CSV 里的出现时段和设备状态定义。我一般会打开 CSV 原始时间轴把预测错的那几个窗口对应的时间段框出来看看当时数据上到底发生了什么。这一步往往能发现标签本身标错的问题而不是模型的问题。6.2 一个可行的进阶方向CNN-LSTM 拼接如果 LSTM 已经跑通但准确率卡住一个低成本的提升方案是把一维卷积加在 LSTM 前面让 CNN 先提取局部形态特征LSTM 再捕捉序列依赖。对于振动、电流这类信号局部波形和长程趋势是两类互补信息。class CnnLstmClassifier(nn.Module): def __init__(self, input_size, hidden_size, num_classes): super().__init__() self.conv nn.Sequential( nn.Conv1d(input_size, 32, kernel_size5, padding2), nn.ReLU(), nn.MaxPool1d(2), ) self.lstm nn.LSTM(32, hidden_size, batch_firstTrue) self.classifier nn.Linear(hidden_size, num_classes) def forward(self, x): x x.transpose(1, 2) x self.conv(x) x x.transpose(1, 2) out, _ self.lstm(x) return self.classifier(out[:, -1, :])注意这里Conv1d期望输入形状是(batch, channels, seq_len)所以先要transpose把特征维度换到通道位置卷积把特征维变成 32 个通道池化把序列长度减半LSTM 的输入维度跟着变成了 32。这个结构比纯 LSTM 参数量多不了太多但往往能带来 2 到 5 个百分点的提升。多模态时序数据融合的思路也类似如果 CSV 里还有不同采样率的额外数据源先重采样到同一时间轴再在特征维度上拼接或者各走一路卷积后融合这是另一个话题。我自己现在做时序分类项目第一件事永远是确认时间列有没有对齐、切分顺序对不对。模型结构再花哨数据没理清楚也是白搭。这篇里的坑和数据泄漏排查方法都是我踩过的希望帮到你。本文还有配套的精品资源点击获取