简介这是一份基于Python和VAE模型实现的网络流量异常检测项目并结合联邦学习与蒸馏学习机制面向人工智能、计算机、网络安全等相关专业学生非常适合用于毕业设计、课程设计或科研起步参考。项目内含完整源代码、说明文档与训练好的模型代码均经过测试可直接运行能帮助读者系统理解异常检测从数据预处理、特征工程、模型训练到评估与可视化的全流程。包体共31个文件以30个Python脚本和1个Markdown说明文档为主压缩包大小仅47KB轻量但模块划分清晰脚本覆盖数据加载、多种自编码器模型如VAE、WAE、DAGMM、DSVDD、联邦学习客户端与服务端、蒸馏训练以及评估绘图等部分并附有使用指南。目前已有237人学习下载适合需要借鉴完整项目结构、快速复现实验或在此基础上拓展算法改进的读者。1. 反常流量藏在哪VAE 为什么比阈值规则更先发现问题网络流量异常检测有一个被反复验证的结论真正难抓的不是已知攻击而是那些隐藏在正常波动里的长尾流量。传统基于阈值的规则只能识别固定特征一旦业务流量本身有周期性起伏误报和漏报会同时放大。VAEVariational Autoencoder解决这个问题的思路是把流量压缩成低维潜变量再尝试重构回原始空间正常样本重构误差小异常样本重构误差大用残差分布当判据比手写规则更贴近数据真实分布。这个项目不是单点用 VAE而是把 VAE 和联邦学习、蒸馏学习结合成一个完整检测链路联邦学习解决数据不出域场景下的多参与方协同训练蒸馏学习解决不同参与方模型异构时的知识迁移VAE 负责在每一端做流量重建与异常打分。适合做毕设、课设或者实际业务里想在多边缘节点间做隐私保护型流量检测的工程师。我先从整体文件结构和训练管线切入再拆开 VAE 变体、联邦训练和蒸馏细节最后给出一套可跑的调参与验证流程。2. FedVAE 项目的模块拆解与数据预处理实现2.1 源码结构与模块职责拿到FedVAE-main.zip后先别急着跑按功能把代码分四组理解。第一组是入口与调度包括ADmain.py、FLADmain.py、server.py、client.py分别对应单机训练、联邦训练、服务端和客户端。第二组是模型定义命名很直白VAE.py、WAE.py、DAGMM.py、DSVDD.py、VAESVDD.py、VQVAE.py、model.py。第三组是辅助工具DataPreprocess.py、LoadData.py、Params.py、utils.py、Logger.py。第四组是可视化和评估evaluation.py、draw.py、drawtsne.py、table.py、analyse_feature.py。从文件名能看出作者的设计思路把模型、数据、训练、评估四层解耦。Params.py是全局超参入口LoadData.py负责把不同格式的数据集统一成训练/测试张量DataPreprocess.py负责数值化、归一化和滑动窗口切片。我建议先打开Params.py因为里面定义了所有模型共享的基础参数——批次大小、潜变量维度、重构损失权重、联邦通信轮数等。# Params.py 关键配置示例 class Params: def __init__(self): self.dataset unsw_nb15 self.batch_size 256 self.epochs 50 self.latent_dim 8 self.learning_rate 1e-3 self.recon_weight 1.0 self.kl_weight 0.1 self.fed_rounds 10 self.num_clients 3 self.distill_epochs 5 self.device cuda这段代码定义了联邦场景下两个关键比例kl_weight0.1表示 KL 散度在总损失里只占很小权重强调重构质量优先这在异常检测里是常见做法因为异常样本的辨识更多依赖重构残差而不是潜空间的先验拟合。fed_rounds10和num_clients3是小规模验证配置实际多参与方场景一般把客户端数调到 820通信轮数调到 30 以上。2.2 数据预处理的完整流程DataPreprocess.py承担了将原始网络流特征转换为模型输入的核心工作。第一步是特征筛选网络流量数据集如 UNSW-NB15、CICIDS原始特征通常在 4580 列包含大量 ID 类特征和空值列需要先按方差和缺失率过滤。第二步是类别特征编码协议类型、服务类型这类离散值用 LabelEncoder 转为整数再嵌入进数值矩阵。第三步是归一化推荐使用 RobustScaler 而不是 StandardScaler因为网络流量特征存在明显的长尾分布比如包长、连接时长最大值和均值差几个数量级用均值方差归一化会被极端值带偏。# DataPreprocess.py 稳健归一化与切片 from sklearn.preprocessing import RobustScaler def build_windows(features, window_size10, step5): windows [] for i in range(0, len(features) - window_size, step): windows.append(features[i:i window_size]) return np.array(windows) def preprocess(raw_df, window_size10): # 先过滤全空列和低方差列 valid_cols raw_df.columns[raw_df.var() 1e-6] df raw_df[valid_cols] # 类别列单独编码 for col in df.select_dtypes(include[object]).columns: df[col] pd.factorize(df[col])[0] scaler RobustScaler(quantile_range(5.0, 95.0)) scaled scaler.fit_transform(df.values) return build_windows(scaled, window_size)这段代码里build_windows生成了滑动窗口块每个窗口包含window_size10秒或 10 条连接记录VAE 的输入维度就是(window_size, feature_dim)而不是单条记录。用窗口的好处是能捕获短期时序相关性比如端口扫描行为在单条连接里可能表现正常但在连续多条连接里会体现为“高频访问不同目标端口”窗口特性让 VAE 的潜变量能编码这种模式。step5表示窗口有 50% 重叠数据量不足时能扩充样本。2.3 模型加载与训练管线衔接LoadData.py的核心差异在训练集和测试集的处理。训练集只保留正常流量因为 VAE 只需要学习正常分布测试集则包含正常与异常混合流量用于报告 Precision、Recall 和 F1。这是异常检测项目最常见的坑——有人直接把全量数据丢进 VAE 训练结果模型把异常也当成正常模式的一部分重构误差完全失去区分度。# LoadData.py 按标签切分训练/测试 def load_normal_anomaly(data_path, label_colLabel): df pd.read_csv(data_path) normal df[df[label_col] 0] abnormal df[df[label_col] 1] train_x preprocess(normal) test_x preprocess(pd.concat([normal.sample(frac0.3), abnormal])) test_y [0] * int(len(normal) * 0.3) [1] * len(abnormal) return train_x, test_x, test_y注意test_y的构造是把部分正常样本和全部异常样本拼接这样测试集能同时评估假阳率和检出率。你可以在ADmain.py里看到train_vae和test_vae两个阶段分离模型在train_x上迭代计算测试集每个窗口的重构误差后用roc_auc_score和最佳阈值来判定异常。3. VAE 系列模型的理论选型与异常打分策略3.1 VAE、WAE、VQVAE 的选择逻辑项目里包含了VAE.py、WAE.py、VQVAE.py、DAGMM.py多个模型但它们解决的问题不同。标准 VAE 使用高斯先验潜变量连续适合普通重构误差检测。WAEWasserstein Autoencoder换用最大均值差异MMD来约束潜空间分布对高维流量特征的分布匹配更稳定不容易出现 KL 散度消失。VQVAE 把潜变量离散化用 codebook 表示正常流量模式优势是异常检测结果可解释性更强——你可以看到某个窗口被映射到哪个 codebook 向量从而判断它偏离了哪种正常模式。# VAE.py 标准 VAE 前向传播 class VAE(nn.Module): def __init__(self, input_dim, latent_dim8): super().__init__() self.encoder nn.Sequential( nn.Linear(input_dim, 64), nn.ReLU(), nn.Linear(64, 32), nn.ReLU() ) self.mu_layer nn.Linear(32, latent_dim) self.logvar_layer nn.Linear(32, latent_dim) self.decoder nn.Sequential( nn.Linear(latent_dim, 32), nn.ReLU(), nn.Linear(32, 64), nn.ReLU(), nn.Linear(64, input_dim) ) def reparameterize(self, mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * std def forward(self, x): h self.encoder(x) mu, logvar self.mu_layer(h), self.logvar_layer(h) z self.reparameterize(mu, logvar) x_hat self.decoder(z) return x_hat, mu, logvar这里编码器输出mu和logvar通过重参数化技巧采样出潜变量z再交给解码器重构。reparameterize是关键它让采样操作可微反向传播能正常计算梯度。异常打分时通常不使用重参数化而是直接用mu作为潜变量送入解码器减少随机性带来的误判。3.2 损失函数与重构误差的权重分配VAE 的损失函数由重构损失和 KL 散度组成。重构损失用 MSE 或 L1KL 散度则约束潜变量分布接近标准正态分布。在异常检测场景里KL 权重必须调小因为网络流量数据的正常模式本身不是标准高斯分布过强的 KL 约束会迫使模型把异常样本也映射到先验分布附近反而降低了重构误差的区分度。# loss.py 自定义损失 def vae_loss(x, x_hat, mu, logvar, kl_weight0.1): recon_loss F.mse_loss(x_hat, x, reductionsum) kl_loss -0.5 * torch.sum(1 logvar - mu.pow(2) - logvar.exp()) return recon_loss kl_weight * kl_losskl_weight0.1和recon_weight1.0的组合意味着重构损失主导优化。如果重构误差持续在异常样本上也表现得很小可以尝试把recon_weight提到 2 或 3或者把kl_weight降到 0.05。另外MSE 对大偏差样本惩罚更重适合逐特征差异明显的流量数据如果你希望检测针对小流量波动的慢速攻击L1 损失更稳。3.3 从重构误差到异常分数的阈值选择模型训练完成后对每个窗口计算重构误差向量再聚合为标量分数。常见聚合方式有三种均方误差、L2 范数、逐特征归一化后的欧氏距离。我一般用均方误差的变体——先按特征计算标准差再用标准化后的残差平方和作为分数这样能避免高方差特征主导异常分数。# evaluation.py 异常打分与阈值选择 def anomaly_score(x, x_hat, eps1e-8): residual x - x_hat feature_std torch.std(x, dim0) eps normalized_residual residual / feature_std scores torch.sum(normalized_residual ** 2, dim-1) return scores def choose_threshold(scores, labels, methodbest_f1): if method best_f1: # 在百分位范围内搜索最佳 F1 阈值 best_th, best_f1 0, -1 for percent in range(80, 100): th torch.quantile(scores, percent / 100.0) preds (scores th).int() tp ((preds 1) (labels 1)).sum().item() fp ((preds 1) (labels 0)).sum().item() fn ((preds 0) (labels 1)).sum().item() recall tp / (tp fn 1e-8) precision tp / (tp fp 1e-8) f1 2 * precision * recall / (precision recall 1e-8) if f1 best_f1: best_f1, best_th f1, th return best_thchoose_threshold通过遍历正常样本分数分布的 80 到 99 百分位找到 F1 最高的分割点。这个方法比固定阈值比如均值加 3 倍标准差更适应不同数据集的分布差异。你也可以改成按实际业务容忍的假阳率选阈值比如methodfpr指定fpr_target0.01。4. 联邦学习客户端与服务端协同训练的工程实现4.1 参与方独立训练后的参数聚合联邦学习在流量异常检测里的价值在于多台服务器或者多个机构可以在不共享原始流量数据的前提下共同训练一个检测模型。client.py负责本地数据训练server.py负责接收各客户端的模型参数并聚合。# client.py 联邦客户端本地训练 def client_train(client_id, global_model, local_dataloader, args): model copy.deepcopy(global_model) optimizer torch.optim.Adam(model.parameters(), lrargs.learning_rate) model.train() for epoch in range(args.local_epochs): for batch in local_dataloader: x, _ batch x_hat, mu, logvar model(x) loss vae_loss(x, x_hat, mu, logvar, args.kl_weight) optimizer.zero_grad() loss.backward() optimizer.step() # 返回本地模型参数 return {k: v.clone() for k, v in model.state_dict().items()}每个客户端在自己的本地数据上跑几个 epoch然后把模型参数不是数据上传。server.py收到所有客户端的参数后按样本量加权平均更新全局模型。这里有个容易忽略的细节如果客户端数据量差异大必须用每个客户端训练样本数做加权平均否则数据量小的设备会对全局模型产生不成比例的影响。# server.py FedAvg 聚合 def fed_avg(client_params_list, client_weights): global_params {} for key in client_params_list[0].keys(): total_weight sum(client_weights) weighted_sum torch.zeros_like(client_params_list[0][key]) for params, weight in zip(client_params_list, client_weights): weighted_sum (weight / total_weight) * params[key] global_params[key] weighted_sum return global_paramsclient_weights通常设为每个客户端本地样本数。实际使用中如果遇到某个客户端掉线对应的参数和权重要跳过否则torch.zeros_like的累加结果会出错。可以在聚合前对client_params_list做一次长度校验确保所有客户端返回了完整的state_dict。4.2 非独立同分布数据的联邦修正网络流量数据的最大问题是不同客户端的正常基线差异很大——一个数据中心和一台办公设备的流量分布完全不同。如果用标准 FedAvg各参与方模型平均之后可能哪一方的正常模式都没学好。常见做法是在本地训练时加入近端项也就是 FedProx 的思路在损失函数上增加mu/2 * ||w - w_global||^2让本地模型不会偏离全局模型太远。# client.py 加入近端项防止漂移 def prox_loss(loss, model, global_model, mu0.01): proximal 0.0 for p_local, p_global in zip(model.parameters(), global_model.parameters()): proximal (p_local - p_global).norm(2) ** 2 return loss 0.5 * mu * proximalmu取值范围一般在 0.001 到 0.1。数据分布越不均匀mu应越大但不能超过 0.1否则本地模型的个性学习被抑制异常检测能力会退化。项目里如果没有显式实现 FedProx你可以直接在client_train的 loss 计算后套上prox_loss函数改动量很小。4.3 联邦训练效果的自检指标联邦训练需要监控两个维度全局模型的收敛性和各客户端模型与全局模型的差异。在FLADmain.py里每轮联邦通信后应该保存全局模型在验证集上的重构误差分布并在全部训练结束后绘制各客户端损失下降曲线。如果发现全局损失震荡严重优先检查fed_rounds和本地学习率——常见组合是本地epochs3学习率1e-3如果震荡就把学习率降到3e-4。5. 蒸馏学习模型压缩与知识迁移的融合实现5.1 教师模型输出作为软标签蒸馏学习解决的是联邦场景中的模型异构问题不同客户端可能使用不同深度或宽度的 VAE全局聚合时无法直接平均参数。蒸馏的思路是把全局模型当教师各客户端本地模型当学生用教师模型的输出软标签来指导学生训练。对于 VAE 这类生成模型蒸馏目标不再是原始流量特征而是教师模型解码器输出的重构向量教师输出比硬标签携带更多分布信息能让学生模型学到正常流量的细节重建能力。# 蒸馏训练核心步骤 def distill_train(student_model, teacher_model, dataloader, args): optimizer torch.optim.Adam(student_model.parameters(), lrargs.distill_lr) teacher_model.eval() for epoch in range(args.distill_epochs): for x, _ in dataloader: with torch.no_grad(): teacher_recon, _, _ teacher_model(x) student_recon, mu, logvar student_model(x) # 重构损失改为学生与教师重构结果的差距 distill_loss F.mse_loss(student_recon, teacher_recon) # 保留学生自身上限的 KL 约束避免崩溃 kld_loss -0.5 * torch.sum(1 logvar - mu.pow(2) - logvar.exp()) total_loss distill_loss args.kl_weight * kld_loss optimizer.zero_grad() total_loss.backward() optimizer.step()关键点在于distill_loss不是学生重构与原始输入的 MSE而是学生与教师重构输出的 MSE。这样学生模型学习的不是如何重构原始流量而是如何模仿教师模型的决策边界。如果学生模型直接用原始输入做重构目标蒸馏就退化成普通压缩训练知识迁移的意义就消失了。5.2 温度系数与软输出的缩放蒸馏学习里温度系数temperature控制教师输出的平滑度。但 VAE 的输出是连续重构值不是分类概率所以不能直接套用 Softmax 温度。常见替代方案是对教师重构输出的潜变量或特征图做缩放。比如在潜变量维度上让学生的mu除以温度后再交给解码器输出从而放大教师分布中的细节差异。# WAE.py 蒸馏变体温度缩放的潜变量蒸馏 def distill_with_temperature(student_model, teacher_mu, teacher_logvar, x, temperature3.0): # 教师潜变量按温度缩放后的解码输出 teacher_z teacher_mu torch.randn_like(teacher_mu) * torch.exp(0.5 * teacher_logvar) scaled_teacher_z teacher_z / temperature with torch.no_grad(): teacher_decoded teacher_model.decoder(scaled_teacher_z) # 学生解码器直接输出不回传教师参数 student_mu, student_logvar student_model.encode(x) student_decoded student_model.decoder(student_mu) return F.mse_loss(student_decoded, teacher_decoded)temperature越高教师输出的细节差异被压缩得越平滑适用于噪声较大的流量场景temperature越低学生学到越尖锐的重建模式可能过拟合教师模型的异常样本。建议初始设 2.0 到 3.0观察蒸馏后学生模型在验证集的 F1再逐步下调。5.3 联邦蒸馏的整体训练循环训练代码完整的联邦蒸馏流程在FLADmain.py中体现为两层循环。外层是联邦通信轮次内层是每个客户端的本地蒸馏训练。每一轮先由服务端下发全局 VAE 模型作为教师各个客户端用本地数据蒸馏出专属的学生模型再把学生模型的蒸馏损失反馈过来作为下一轮全局模型更新的依据。我强调一下顺序必须先完成客户端本地普通训练第 4.1 节再进行蒸馏否则学生模型还没有基础重构能力模仿教师是学不动的。6. 可视化验证与采样复现的细节技巧6.1 用 t-SNE 检查潜变量分离度drawtsne.py和drawtsne_label.py利用 t-SNE 把测试集经过 VAE 编码后的潜变量降到二维。运行前要确保潜变量维度不超过 16否则 t-SNE 的困惑度收敛会很慢。python drawtsne_label.py --model_type VAE --latent_dim 8 --checkpoint saved/VAE_best.pt查看可视结果时正常样本和异常样本若能呈现明显聚类分离说明潜变量编码了异常相关的语义信息如果两类混成一片大概率是 KL 权重太高把正常和异常都拉向先验分布了。此时把kl_weight从 0.1 降到 0.05 重新训练。6.2 重构输出生成与实际流量回放draw_gen.py提供生成重构流量的样例用于人工确认模型学到的是真实流量模式而不是平均噪声。生成时固定潜变量取样范围比如在mu周围取正负两个标准差内的网格点分别经过解码器生成虚拟流量特征再反归一化回原始数值范围。如果生成的特征中连接时长出现负值说明数据预处理时的 RobustScaler 没有保存scale_参数用于还原。6.3 大流量场景下的推理性能优化把 VAE 模型部署到实时流量检测环境时我建议把模型导出为 TorchScript 或 ONNX同时用批处理减少单条窗口的推理开销。项目里test.py默认逐窗口推理如果流量速度很快改成一次处理 128 个窗口的批量推理能降低约 35 倍耗时。批处理时注意每个窗口长度必须一致测试集里如果有长度不足的尾部窗口做零填充后要在打分时屏蔽填充部分的重构误差。6.4 参数组合与调优表格在Params.py基础上给出一个快速调参参考表方便不同数据集直接套用。参数名小流量场景大流量多特征场景联邦异构场景latent_dim4 ~ 612 ~ 168kl_weight0.050.10.1window_size51510step285local_epochs132temperature2.03.02.5调参时先固定latent_dim和window_size只改kl_weight观察训练集重构误差分布和测试集 F1 的变化。latent_dim太大容易让编码器绕过压缩把原始特征直接复制给解码器表现为训练误差极低但测试集异常检测效果变差latent_dim太小时潜变量容量不足正常流量的多峰分布无法被完整建模。建议用analyse_feature.py输出各特征的重构误差分布优先关注那些误差方差大的特征它们往往是异常流量的关键区分变量。最后在联邦场景中fed_rounds每增加 10 轮保存一次全局模型快照用各客户端本地测试集评估联邦模型和本地单训练模型的 F1 差值差值逐渐缩小说明蒸馏机制有效。本文还有配套的精品资源点击获取