简介基于DSN动态稀疏网络的时间序列分类Python完整工程包面向有一定深度学习基础希望理解稀疏化网络机制或从事时间序列分类研究的开发者可用于论文复现、课程设计及模型对比实验。包内共13个文件核心为10个Python脚本覆盖稀疏化核心模块、SCNN网络模型、训练器与时间序列数据加载工具另含1个md说明文档、1个txt依赖清单、1个xml工程配置文件压缩包整体仅19KB结构紧凑但模块划分清晰。目前已有214人学习代码内附完整源码与配套数据下载后即可运行。通过阅读md说明与Python实现可理解动态稀疏网络的剪枝与稀疏化策略如何嵌入时间序列分类流程掌握从数据预处理、模型搭建到训练测试的完整链路适合作为稀疏化时间序列应用的参考实现。1. 基于DSN(动态稀疏网络)的时间序列分类为什么它比稠密网络更适合时序小样本时间序列分类在工业传感器、设备状态识别和异常检测里经常卡在同一个问题上数据量不大模型却越堆越厚、越跑越慢。基于DSN(动态稀疏网络)的时间序列分类核心是让网络在训练过程中动态调整连接把冗余连接逐步剪掉同时保留甚至“长出”真正有判别力的连接在精度几乎不掉的前提下砍掉大量参数和推理开销。这个方向适合做边缘端部署、模型压缩也适合深陷过拟合的开发者。一个反直觉的结论是稀疏度到50%以上时这类模型在验证集上往往比同结构稠密模型更稳而不是更差。2. 动态稀疏网络的原理掩码更新、连接重生与时间序列的适配逻辑2.1 静态剪枝为什么不够从一次性剪枝到训练中动态调整常见的剪枝流程是“训练一个稠密模型再按权重绝对值把小的置零最后做微调”。这个流程在图像分类上有不少成熟案例但放在时间序列分类场景里很尴尬。时序样本的判别信息经常藏在某些小幅值、低频成分里权重绝对值小不代表贡献小。静态剪枝相当于在训练完的黑匣子上硬切一刀切错了很难补救微调也不再能给回被剪断的连接。DSN换了个思路掩码不是训练结束后才固定下来的而是在每个训练步骤里都参与更新。网络始终只有一部分连接是激活的训练过程中每一轮都做“剪掉一部分、重生一部分”整体保持一个预定的稀疏度。这种做法在文献里经常被归到Dynamic Sparse Training一类RigL、SET这些工作都属于这个方向。实现上也确实不复杂只要在普通全连接层上挂一个mask并且在反向传播后按规则更新mask。2.2 掩码更新与连接重生的具体规则权重剪枝、梯度激活一个全连接层在DSN里会维持一张二进制mask与weight形状完全一致参与前向计算的只有mask置1的位置。每一轮更新发生在optimizer.step()之后分三步走先用权重绝对值做top-k选择把绝对值最小的那批连接剪掉然后从“当前被剪掉”的连接里按梯度绝对值挑出最有潜力的那些把它们重新激活最后保证激活连接总数正好等于目标值。# 每轮 mask 更新逻辑 def update_mask(weight, grad, active_ratio, regrowth_ratio): numel weight.numel() # 1) 存活连接数 总元素数 * 目标稀疏比例 k_active int(numel * active_ratio) # 2) 按权重绝对值保留 top-k 连接其余视为被剪掉 _, keep_idx torch.topk(weight.abs().reshape(-1), k_active) new_mask torch.zeros(numel) new_mask[keep_idx] 1.0 # 3) 从被剪掉的位置里按梯度绝对值重生一部分 pruned_grad grad.reshape(-1) * (1 - new_mask) regrowth_num int(k_active * regrowth_ratio) _, re_idx torch.topk(pruned_grad.abs(), regrowth_num) new_mask[re_idx] 1.0 return new_mask.reshape_as(weight)这段逻辑对应到训练循环时最需要注意的一点是调用顺序先loss.backward()再optimizer.step()更新所有参数最后才调用update_mask。如果顺序反了这一轮被剪掉的连接在下一次前向里仍然存在稀疏度会假生效。另外有没有必要每个batch都更新掩码我一般不会每个batch都动尤其小batch场景下掩码变化太频繁会让loss抖动改成每个epoch更新一次或每N个step更新一次会更稳。2.3 为什么时间序列分类特别适合DSN特征冗余与过拟合时间序列分类任务的一个特点是样本通常是滑窗切出来的固定长度片段相邻时间点之间自相关性极强全连接层里大量连接学到的其实是相邻点的重复信息。一个128点窗口的全连接层前几层就有上万参数而数据集往往只有几百到几千个样本于是很大一部分参数都在拟合噪声这正是过拟合的来源。DSN在这里的价值不只是省参数它几乎等价于一种结构化的正则化限制网络有效表达空间迫使模型去学更鲁棒的特征。做法训练阶段推理阶段对时序小样本的效果静态剪枝稠密训练后剪枝稀疏剪错难恢复需要额外微调Dropout随机丢连接稠密提升泛化但不减推理量DSN动态稀疏逐步剪枝与重生稀疏参数少、正则化强、推理可控调参时的一个经验小数据集上active_ratio取0.4到0.6通常比0.2更稳因为太密的设置在泛化上没什么收益太疏的设置在训练初期又难以收敛。时间序列分类里DSN不是用来替代卷积或Transformer的它的定位是把全连接部分做薄让整体结构更适合小数据场景。3. 数据准备从原始CSV/传感器数据到可训练样本3.1 滑窗切分、标签对齐与步长选择多数时序分类数据集下来后是一个二维表行是时间点列是传感器通道或特征最后一列是标签。模型要的不一定是整条序列而是窗口。滑窗切分几乎是绕不开的一步下面这套逻辑可以直接套用。import numpy as np def sliding_window(X, y, window_size64, stride8): samples [] labels [] for i in range(0, len(X) - window_size 1, stride): samples.append(X[i:i window_size]) labels.append(y[i window_size - 1]) return np.stack(samples), np.stack(labels)X是(n_timesteps, n_channels)y是(n_timesteps,)的标签向量。标签对齐我习惯用窗口的最后一个时间点作为整个窗口的标签这适合状态型任务也就是窗口内大多数时间点属于同一类。如果任务标记的是事件发生时刻更稳妥的做法是取窗口中间点作为标签或者统计窗口内众数作为标签要结合标注口径。步长stride决定样本重叠率stride1时数据量膨胀但相邻样本高度相似容易虚高评估指标我一般取window_size的1/4到1/2既能扩样本又不至于让训练/验证样本几乎相同。3.2 归一化、数据划分与类别平衡归一化必须按训练集的均值和标准差做不能把全量数据的统计量算进去否则验证集和测试集的信息已经泄漏到训练流程里。这是时间序列分类里评估分数虚高的第一大原因写代码时就要把统计量拆开算。train_mean X_train.mean(axis(0, 1), keepdimsTrue) train_std X_train.std(axis(0, 1), keepdimsTrue) 1e-6 X_train (X_train - train_mean) / train_std X_test (X_test - train_mean) / train_std这里mean和std在窗口维度也一起算相当于对每个通道做标准化。如果每条样本有自己独立的幅值差异比如不同设备的传感器标定不同那要在样本内部做标准化而不是用全局统计量。类别平衡方面时序分类的类别分布经常是长尾的DSN虽然自带正则化但它不能直接解决少数类被“淹没”的问题。我会先用sklearn的class_weight计算类别权重再传给CrossEntropyLoss的weight参数样本量差10倍以上的时候效果非常明显。3.3 Dataset封装与DataLoader参数滑窗后的数据量可能非常大如果全量堆进内存再做切分内存会吃紧。更合理的方式是把切分放进Dataset的__getitem__里用索引映射窗口位置而不是预先存一份拷贝。class TSWindowDataset(torch.utils.data.Dataset): def __init__(self, X, y, window_size, stride): self.X torch.as_tensor(X, dtypetorch.float32) self.y torch.as_tensor(y, dtypetorch.long) self.window_size window_size self.stride stride def __len__(self): return max(0, 1 (len(self.X) - self.window_size) // self.stride) def __getitem__(self, idx): start idx * self.stride seg self.X[start:start self.window_size] label self.y[start self.window_size - 1] return seg, label这个写法把索引计算推迟到迭代时内存占用比预切分低很多。DataLoader里我习惯开2到4个worker并设置pin_memoryTrue因为滑窗切片本身很快瓶颈往往在数据搬运。如果跑在纯CPU上worker数不要超过物理核数的一半否则调度开销会比滑窗计算还大。开始训练前先确认python环境里numpy、sklearn、torch这几个库的版本兼容尤其是torch和numpy的编译版本不一致时容易在DataLoader里出现隐性的段错误。4. 模型搭建与训练DSN全连接网络的完整实现4.1 可复用的SparseLinear模块上一章的掩码更新逻辑要落实成一个可以挂到nn.Module里的线性层。要点是mask作为buffer而不是parameter这样它不会参与梯度更新又可以在前向里直接乘到weight上。import torch import torch.nn as nn class SparseLinear(nn.Module): def __init__(self, in_features, out_features, active_ratio0.5, regrowth_ratio0.2): super().__init__() self.weight nn.Parameter(torch.empty(out_features, in_features)) self.bias nn.Parameter(torch.zeros(out_features)) # mask 用 buffer不参与优化器更新 self.register_buffer(mask, torch.ones(out_features, in_features)) self.active_ratio active_ratio self.regrowth_ratio regrowth_ratio nn.init.kaiming_uniform_(self.weight, a5 ** 0.5) def forward(self, x): return nn.functional.linear(x, self.weight * self.mask, self.bias) def update_mask(self): if self.weight.grad is None: return with torch.no_grad(): w self.weight.detach() g self.weight.grad.detach() numel w.numel() k_active max(1, int(numel * self.active_ratio)) # 权重绝对值 top-k 保留 _, keep_idx torch.topk(w.abs().reshape(-1), k_active) new_mask torch.zeros(numel) new_mask[keep_idx] 1.0 # 从被剪位置中按梯度绝对值重生 pruned_grad g.reshape(-1) * (1 - new_mask) k_regrowth int(k_active * self.regrowth_ratio) _, grow_idx torch.topk(pruned_grad.abs(), k_regrowth) new_mask[grow_idx] 1.0 self.mask.copy_(new_mask.reshape_as(self.weight))register_buffer保证mask不参与优化器更新。每次前向构建weight * mask在100万参数以下的规模里额外开销可以忽略。参数规模再大时更省显存的做法是只保留mask中非零位置对应的参数做稀疏矩阵运算但那样需要torch.sparse或自定义算子工程复杂度会明显上升。时序分类任务很少走到这一步我建议先用dense-mask形态跑通确认效果后再说。模型主体用两个稀疏线性层夹一个激活层输入先展平。class DSNClassifier(nn.Module): def __init__(self, n_features, n_classes, hidden_size64, active_ratio0.5, regrowth_ratio0.2): super().__init__() self.fc1 SparseLinear(n_features, hidden_size, active_ratio, regrowth_ratio) self.fc2 SparseLinear(hidden_size, n_classes, active_ratio, regrowth_ratio) def forward(self, x): x x.reshape(x.size(0), -1) x torch.relu(self.fc1(x)) x self.fc2(x) return x输入x需要先展平如果输入是64个时间步乘4个通道展平后就是256维。hidden_size我一般设置在64到128之间时间序列分类任务的数据量通常不支撑太宽的中间层设宽了DSN也救不回来。4.2 训练循环与优化器配置训练循环最关键的是在optimizer.step()之后、下一次前向之前更新所有稀疏层的掩码。model DSNClassifier(n_features256, n_classes6, hidden_size64, active_ratio0.5) optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max50) criterion nn.CrossEntropyLoss() for epoch in range(50): for xb, yb in train_loader: optimizer.zero_grad() out model(xb) loss criterion(out, yb) loss.backward() optimizer.step() # 先 step 再更新掩码顺序不能反 for layer in [model.fc1, model.fc2]: layer.update_mask() scheduler.step()如果loss曲线在训练初期就很吵把update_mask放到每K个step执行一次例如K100。掩码更新频率降低后训练过程更平滑最终稀疏度不会差太多。学习率用1e-3配合CosineAnnealing是常见起点batch size在64到128之间时这套组合比较稳。batch太小的情况下lr要同步降一档否则稀疏网络比稠密网络更容易震荡。4.3 参数设置参考与效果验证维度参数取值说明active_ratio0.4~0.6小数据集0.5左右稳妥数据充足时可低于0.4regrowth_ratio0.1~0.2真正重生的连接占存活数的比例过大会震荡掩码更新频率每batch或每N步先每batch试一次loss稳不住再降频hidden_size64~128过宽依赖数据量时序小样本尤其敏感lr1e-3到3e-4与batch size绑定batch小时用低lr我建议在固定数据集上同时跑一个稠密基线作为参照。只报稀疏模型的准确率而没有稠密对照无法判断稀疏带来的到底是正则化收益还是单纯调参运气。5. DSN训练避坑手册掩码更新、稀疏度设置与BatchNorm冲突5.1 初始掩码过于稀疏导致训练发散现象训练几个epoch后准确率仍接近随机loss震荡不下降。原因DSN的初始mask如果直接随机置0比如一开始就把50%连接随机砍掉全连接层的初始随机性本来就大梯度信号会在早期被削弱到无法稳定收敛。解决初始mask先设为全1让网络以稠密状态跑若干个epoch再开启稀疏更新或者只在较深的那层开稀疏输入层保持稠密一段时间。加了预热的实现训练曲线平稳很多这也是RigL这类方法里常见的warmup思路。5.2 掩码更新时机错误导致剪掉的连接又长回来现象训练结束打印的weight非零比例比预期高mask统计是50%稀疏度但实际参与计算的连接数远大于目标。原因update_mask调用发生在optimizer.step()之前权重自带的动量可能把被剪位置的数值又带回到非零并且掩码在那一轮没覆盖住。解决严格把掩码更新放在step()与zero_grad()之间。用Adam时还要顺手把被剪连接对应的动量状态清零。# 剪枝后把被剪连接在优化器里的动量清掉 for sp_layer in [model.fc1, model.fc2]: mask sp_layer.mask state optimizer.state[sp_layer.weight] state[exp_avg][mask 0] 0 state[exp_avg_sq][mask 0] 0这段代码里exp_avg和exp_avg_sq分别是Adam的一阶和二阶动量。如果不清理被剪位置虽然被mask遮住不再参与前向但它的动量还在优化器内部累积等下一次连接重生时会带着旧动量直接冲出来造成权重突变。5.3 BatchNorm与稀疏掩码冲突导致验证集掉点现象训练loss正常下降验证集指标却突然劣化尤其每层后面都接BatchNorm时更明显。原因掩码每个周期都在变化BatchNorm的running_mean与running_var是基于上一轮激活的神经元集合更新的下一轮连接改变了统计量就不匹配相当于模型在校验时切换到了另一套不兼容的参数结构。解决普通时序分类特征维度不高优先用LayerNorm或干脆不用归一化只做上一步的InputNorm预处理如果必须保留BatchNorm就降低掩码更新频率并在剪枝训练末尾做一次mask冻结微调让BN重新适配。5.4 重生比例过高导致连接反复横跳现象loss曲线下降后不收敛后期每个epoch都在波动最终精度低于固定稀疏度的静态结果。原因regrowth_ratio设成0.5甚至更高时每轮会有大量连接被换掉网络等于在两组不同的表达结构之间反复切换没有机会稳定细化权重。解决regrowth_ratio与网络深度相关浅层可以接受0.2深层和输出层建议降到0.1左右另外可以把“重生”限制为每K步才做一次中间只剪不增。调参时先动频率再动重生率更容易定位问题。5.5 数据集太小或参数规模不大时DSN不划算现象和基线一比模型准确率没有提升训练时间反而多了20%以上。原因DSN的收益来源是“超大冗余连接中的有效子网络”。如果隐藏层只有32维、样本量过万全连接本来就没什么冗余每次迭代的topk与掩码更新反倒成了额外开销。解决先做参数规模估算n_features乘hidden如果小于10万直接跑普通稠密MLP加Dropout可能更省心。数据量大且特征维度高、类别标签存在大量重叠模式时DSN才有明显收益空间。这不是玄学是算力花在冗余上的性价比问题。6. DSN验证与进阶从真实稀疏度检查到按层差异化稀疏度6.1 验证第一性指标真实稀疏度与精度曲线训练完后要打印真实稀疏度也就是对每层统计mask中0的占比而不是weight中0的占比。很多翻车案例就是forward里没有乘mask打印剪枝率时又是按weight为零来算两个口径对不上。评估时可以把mask临时置为全1得到同结构稠密输出作为参考再与当前真实mask输出比较如果两者差异超过1e-4量级多半是掩码没有真正生效。评估指标不要只盯整体准确率时序分类经常类别不均衡我会同时打印每类召回率与混淆矩阵。画混淆矩阵时用matplotlib类别多时横坐标标签会挤成一团设置rotation45并每隔3个类别取一个刻度就能解决。6.2 进阶技巧一稀疏度阶段性调度固定稀疏度只是一个起点。实操中我倾向用进度式稀疏度前5个epoch保持稠密让模型稳定之后每10个epoch把active_ratio从0.2逐步提升到目标值0.6。这样比一上来就固定0.6好收敛。对应到代码update_mask里读取调度器当前step来计算目标稀疏度就行不用改模型结构。6.3 进阶技巧二按层差异化稀疏度时序信号在输入层需要保留更多局部细节因此第一层稀疏度可以低一点0.3到0.4靠近分类输出的层可以推到0.7。极端情况下输入层甚至可以保持全连接只在hidden层到分类层之间开稀疏效果往往意外地好。原因是相邻时间点的局部模式在概率意义上是强相关的过早暴力稀疏等于自己丢掉了低频边缘信息。6.4 进阶技巧三先跑稠密基线让优化器留一条后悔药不要一开始就直接训练DSN。先固定数据切分和评估指标跑一个相同结构的稠密模型作为基线和“后悔药”。只在确认DSN效果不差于基线时才去研究进一步的结构搜索和参数调度。我最早做时间序列分类时直接跳进稀疏结构里调了一个月最后发现把基线跑起来不过是一个半小时的事——这个教训让我后来把所有实验的第一步都定为“先跑稠密基线”。如果现在要我在调参技巧和基线对比之间选一个我一定会选后者因为任何稀疏结构的效果判断都要有对比基准。希望这个方向能帮到你先在固定数据流程上把稠密基线和评估口径搭好再打开DSN掩码更新你会很快验证它到底值不值得投入。本文还有配套的精品资源点击获取