简介本资源是一套基于深度学习的无线电信号自动调制识别完整实现方案面向通信工程、信号处理及人工智能方向的本科生、研究生与科研初学者解决实际通信场景中多类调制信号如AM、FM、PSK、QAM等的端到端分类难题。压缩包共5个文件含4个核心Python脚本CNN.py、LSTM.py、ResNet.py、Inception.py分别实现不同网络架构以及1份README.md说明文档总大小仅17KB轻量易部署适合快速复现与对比实验。已有946人学习下载体现了其在教学演示与算法验证中的实用价值。读者可直接运行代码复现论文提出的融合同相/正交分量与四阶统计特征的预处理方法并对比CNN、LSTM、ResNet、Inception及CLDNN等多种模型在调制识别任务上的性能差异掌握深度学习在通信物理层信号分析中的典型应用范式。1. 调制信号识别不是图像分类但CNNLSTM组合能跑通——为什么用卷积提取时频图特征、再用LSTM建模时序依赖在无线通信、电磁监测和频谱感知场景中调制信号识别Modulation Classification的核心任务是给定一段原始IQ采样数据或其变换域表示自动判别其调制类型如BPSK、QPSK、16-QAM、OFDM等。很多人第一反应是“这该用LSTM处理原始时序”但实际工程中直接喂LSTM原始IQ样本效果差、收敛慢、泛化弱。真正稳定落地的做法是先将一维信号映射为二维时频表示如短时傅里叶变换STFT、Wigner-Ville分布或语谱图再把这张“信号图像”送入CNN提取局部纹理与结构特征接着将CNN输出的特征序列而非单张图的全局向量按时间步展开输入LSTM捕捉不同时间窗之间的动态演化规律——这才是标题中“Deep.zip_CNN和LSTM_cnn 调制_cnnlstm_python_调制信号识别”的真实技术路径。它不依赖Matlab工具箱纯Python实现适配5G NR、LoRa、WiFi等常见协议信号也兼容USRP、HackRF等SDR硬件采集的真实数据流。本文面向已掌握PyTorch/TensorFlow基础、正尝试复现信号识别模型的工程师与研究生重点讲清为何必须做时频转换、CNN层如何设计才不丢失相位信息、LSTM输入维度怎么对齐、以及验证阶段如何避免“训练准确率98%、实测全错”的典型陷阱。2. 从原始IQ数据到可训练时频图STFT预处理与标准化的3个硬性约束调制信号识别的第一道门槛不在模型而在数据表征。原始IQ数据是复数序列直接作为LSTM输入会导致相位信息被当作噪声丢弃若强行用CNN处理一维序列则违背卷积核“局部感受野权重共享”的设计初衷。因此必须引入时频分析作为前置特征工程环节。STFTShort-Time Fourier Transform是工业界最常用且可微分的选择它将信号切分为重叠帧对每帧做FFT最终生成幅度谱或复数谱矩阵。但STFT参数设置不当会直接导致模型失效以下是三个不可妥协的约束条件。2.1 STFT窗口长度与重叠率必须满足奈奎斯特-香农采样定理的时频分辨率平衡窗口长度nperseg决定频率分辨率越长频率分辨越细但时间定位越模糊重叠率noverlap影响时间轴采样密度过高增加计算量过低导致时序信息断层。以中心频率2.4GHz、带宽20MHz的WiFi信号为例若采样率fs40MHz则频率分辨率要求 ≥ 500kHz需区分QPSK与16-QAM的星座点间隔对应最小nperseg ≈ fs / 500kHz 80时间分辨率要求 ≤ 1μs捕获突发信号起始对应最大帧移nperseg - noverlap ≤ fs × 1μs 40实践中取nperseg128,noverlap9675%重叠既保证相邻帧有足够相关性又使STFT输出矩阵时间轴长度≥200满足LSTM最小序列长度需求。import numpy as np from scipy.signal import stft def iq_to_spectrogram(iq_data, fs40e6, nperseg128, noverlap96, nfft256): 将复数IQ序列转为幅度谱图H, W (nfft//21, time_steps) 注意只取正频率部分避免冗余输出为float32节省显存 f, t, Zxx stft( iq_data, fsfs, npersegnperseg, noverlapnoverlap, nfftnfft, windowhann, # 汉宁窗抑制频谱泄漏 return_onesidedTrue # 只返回正频率 ) # 取幅度谱舍弃相位相位在STFT中易受噪声干扰CNN更擅长学幅度纹理 spectrogram np.abs(Zxx).astype(np.float32) # shape: (129, time_steps) return spectrogram # 示例生成一段BPSK信号用于测试 np.random.seed(42) t np.linspace(0, 0.001, int(40e6*0.001), endpointFalse) # 1ms采样 bpsk_signal np.exp(1j * np.pi * np.sign(np.sin(2*np.pi*2e6*t))) # 简化BPSK spec iq_to_spectrogram(bpsk_signal) print(fSTFT output shape: {spec.shape}) # 输出: (129, 201)提示stft返回的Zxx是复数矩阵np.abs()取模后得到的是能量谱而非功率谱。若需归一化应在np.abs()后除以np.max(spec)而非对复数Zxx做归一化——后者会破坏幅度与相位的耦合关系导致CNN无法学习到关键纹理。2.2 时频图必须做通道对齐与动态范围压缩否则CNN第一层卷积权重无法有效更新STFT输出的幅度谱动态范围极大可达100dB直接输入CNN会导致前几层梯度爆炸或消失。常见错误是简单做MinMaxScaler但这会抹平信噪比差异使低SNR信号的调制特征被压缩至无效区间。正确做法是分通道频率轴做log压缩 全局z-score标准化对每一行即每个频率bin计算log10(|Zxx| eps)其中eps1e-12防止log(0)再对整个矩阵做z-score(x - mean) / stdmean/std按全图计算而非逐通道。def normalize_spectrogram(spec): 输入: (freq_bins, time_steps) float32 幅度谱 输出: (1, freq_bins, time_steps) float32 归一化后张量适配CNN输入格式 # 步骤1log压缩增强低能量区域对比度 spec_log np.log10(np.abs(spec) 1e-12) # 步骤2全局z-score保留各频率bin间的相对强度关系 mean_val np.mean(spec_log) std_val np.std(spec_log) 1e-8 # 防止std0 spec_norm (spec_log - mean_val) / std_val # 步骤3扩展通道维度适配PyTorch CNN输入 (N, C, H, W) spec_tensor np.expand_dims(spec_norm, axis0) # (1, H, W) return spec_tensor # 验证归一化效果 spec_norm normalize_spectrogram(spec) print(fNormalized mean: {np.mean(spec_norm):.3f}, std: {np.std(spec_norm):.3f}) # 应接近 mean≈0.0, std≈1.0注意不要使用sklearn.preprocessing.StandardScaler对STFT结果做fit-transform——它会按列时间步计算统计量破坏频率轴的物理意义。必须按全图计算均值/标准差确保同一频率bin在不同时间步的相对强度被保留。2.3 数据集构建必须强制统一尺寸且需标注帧级标签而非样本级标签调制类型是信号段的整体属性但CNNLSTM结构要求输入为固定尺寸的时频图。若直接截取固定长度IQ数据再做STFT会因信号起始位置随机导致时频图左端出现大量零填充CNN误将零区域当作有效特征学习。解决方案是对原始IQ数据做滑动窗口切片window2048, stride512对每个窗口独立生成STFT再按调制类型聚合为类别文件夹。这样每个.npy文件存储的是(C, H, W)张量而非原始IQ序列。文件结构说明dataset/BPSK/001.npyshape(1,129,201)BPSK信号第1个2048点窗口的STFTdataset/QPSK/042.npyshape(1,129,201)QPSK信号第42个窗口的STFTdataset/16QAM/105.npyshape(1,129,201)16QAM信号第105个窗口的STFTimport os import glob import torch from torch.utils.data import Dataset class ModulationDataset(Dataset): def __init__(self, root_dir, transformNone): self.root_dir root_dir self.classes sorted(os.listdir(root_dir)) self.class_to_idx {cls: i for i, cls in enumerate(self.classes)} self.samples [] for cls_name in self.classes: cls_path os.path.join(root_dir, cls_name) for npy_file in glob.glob(os.path.join(cls_path, *.npy)): self.samples.append((npy_file, self.class_to_idx[cls_name])) def __len__(self): return len(self.samples) def __getitem__(self, idx): npy_path, label self.samples[idx] spec np.load(npy_path) # shape(1, H, W) if spec.shape[1] ! 129 or spec.shape[2] ! 201: # 强制resize到统一尺寸避免batch内shape不一致 from torchvision.transforms import Resize resize Resize((129, 201)) spec resize(torch.tensor(spec)).numpy() return torch.tensor(spec, dtypetorch.float32), label # 使用示例 train_dataset ModulationDataset(data/train) print(fTotal samples: {len(train_dataset)}) # 如 12000 print(fSample shape: {train_dataset[0][0].shape}) # torch.Size([1, 129, 201])3. CNN-LSTM混合架构设计卷积层要保留时序维度LSTM输入必须是特征序列CNN和LSTM的衔接点是整个模型成败的关键。常见错误是CNN最后接GlobalAveragePooling输出一个(batch, features)向量再喂给LSTM——这完全丢失了时间维度LSTM退化为MLP。正确做法是CNN最后一层卷积输出保持(C, H, W)然后沿高度H或宽度W维度做池化生成(C, T)特征序列再转置为(T, C)送入LSTM。本节以PyTorch实现为例详解每一层的设计依据。3.1 CNN主干必须采用深度可分离卷积BatchNorm避免全连接层破坏时序结构标准ResNet或VGG在时频图上表现不佳其全连接层将空间信息坍缩为标量切断了LSTM所需的序列输入。我们采用轻量级CNN主干核心约束所有卷积层paddingsame保证输出H/W与输入一致最后一层卷积输出通道数lstm_hidden_size避免额外投影禁用任何Flatten或Linear层用AdaptiveAvgPool2d沿频率轴压缩保留时间轴。import torch.nn as nn class CNNEncoder(nn.Module): def __init__(self, input_channels1, lstm_hidden_size128): super().__init__() # Block 1: (1,129,201) - (32,129,201) self.conv1 nn.Sequential( nn.Conv2d(input_channels, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.Conv2d(32, 32, kernel_size3, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(kernel_size2, stride2) # (32,64,100) ) # Block 2: (32,64,100) - (64,64,100) self.conv2 nn.Sequential( nn.Conv2d(32, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.Conv2d(64, 64, kernel_size3, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(kernel_size2, stride2) # (64,32,50) ) # Block 3: (64,32,50) - (128,32,50) self.conv3 nn.Sequential( nn.Conv2d(64, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.Conv2d(128, 128, kernel_size3, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d(kernel_size2, stride2) # (128,16,25) ) # 关键沿频率轴dim2做自适应平均池化输出 (128,16,T) - (128,T) # 因为时间轴W25池化后保持T25供LSTM处理 self.freq_pool nn.AdaptiveAvgPool2d((16, 1)) # (128,16,1) def forward(self, x): x self.conv1(x) # (B,32,64,100) x self.conv2(x) # (B,64,32,50) x self.conv3(x) # (B,128,16,25) x self.freq_pool(x) # (B,128,16,1) → 压缩频率维度 x x.squeeze(-1) # (B,128,16) → 时间步T16 x x.permute(0, 2, 1) # (B,16,128) → LSTM要求 (seq_len, batch, features) return x # 验证CNN输出形状 cnn CNNEncoder() dummy_input torch.randn(4, 1, 129, 201) # batch4 cnn_out cnn(dummy_input) print(fCNN output shape: {cnn_out.shape}) # torch.Size([4, 16, 128])提示AdaptiveAvgPool2d((16,1))的作用是将(B,128,16,25)压缩为(B,128,16,1)即对每个频率bin128个在时间轴上做全局平均保留16个时间步的特征。这比nn.AvgPool2d((129,1))更鲁棒——后者要求输入H严格等于129而Adaptive版本自动适配。3.2 LSTM层必须配置bidirectionalTrue并用Dropout抑制过拟合单向LSTM只能看到过去信息而调制信号的瞬时特征如载波跳变、符号切换往往需要前后文联合判断。双向LSTMbidirectionalTrue让每个时间步同时接收前向和后向隐藏状态显著提升识别精度。但双向LSTM输出维度翻倍需用线性层映射回lstm_hidden_size。class HybridModel(nn.Module): def __init__(self, num_classes10, lstm_hidden_size128, num_lstm_layers2): super().__init__() self.cnn CNNEncoder(lstm_hidden_sizelstm_hidden_size) self.lstm nn.LSTM( input_sizelstm_hidden_size, hidden_sizelstm_hidden_size, num_layersnum_lstm_layers, batch_firstFalse, # 因为CNN输出是 (seq_len, batch, features) bidirectionalTrue, dropout0.3 if num_lstm_layers 1 else 0.0 ) # 双向LSTM输出维度是 2*lstm_hidden_size self.classifier nn.Sequential( nn.Dropout(0.5), nn.Linear(2 * lstm_hidden_size, 256), nn.ReLU(), nn.Dropout(0.5), nn.Linear(256, num_classes) ) def forward(self, x): # x: (B,1,129,201) cnn_out self.cnn(x) # (B,16,128) → 转置后 (16,B,128) cnn_out cnn_out.permute(1, 0, 2) # (16,B,128) for LSTM lstm_out, _ self.lstm(cnn_out) # lstm_out: (16,B,2*128) # 取最后一个时间步的输出包含完整上下文 last_output lstm_out[-1] # (B,2*128) logits self.classifier(last_output) return logits model HybridModel(num_classes6) # BPSK,QPSK,16QAM,64QAM,8PSK,OFDM dummy_input torch.randn(4, 1, 129, 201) logits model(dummy_input) print(fLogits shape: {logits.shape}) # torch.Size([4, 6])注意batch_firstFalse是PyTorch LSTM的默认设置要求输入为(seq_len, batch, features)。若设为True则CNN输出需改为(B,16,128)但LSTM内部计算逻辑不变。两种写法均可但必须前后一致。3.3 损失函数必须用LabelSmoothing缓解类别不平衡导致的过拟合真实无线环境中BPSK信号远多于64QAM数据集天然存在类别不平衡。若用nn.CrossEntropyLoss模型会偏向多数类。LabelSmoothing通过软化one-hot标签如[1,0,0]→[0.9,0.05,0.05]强制模型学习更鲁棒的决策边界。criterion nn.CrossEntropyLoss(label_smoothing0.1) optimizer torch.optim.AdamW(model.parameters(), lr3e-4, weight_decay1e-5) # 训练循环片段 for epoch in range(10): model.train() total_loss 0 for batch_idx, (data, target) in enumerate(train_loader): optimizer.zero_grad() output model(data) # (B, num_classes) loss criterion(output, target) loss.backward() optimizer.step() total_loss loss.item() print(fEpoch {epoch}, Avg Loss: {total_loss/len(train_loader):.4f})4. 训练与验证全流程如何用混淆矩阵定位误判根源而非只看准确率模型训练完成后仅报告整体准确率Accuracy是危险的。例如在6类调制识别中若BPSK和QPSK混淆率达40%但其他类100%正确整体准确率仍可能达92%——这在实际部署中意味着QPSK信号被当作BPSK解调造成系统级错误。必须深入混淆矩阵Confusion Matrix定位具体哪两类信号难以区分并针对性优化。4.1 验证阶段必须保存原始预测概率支持后处理与阈值调整torch.argmax()只返回最高概率类别丢失了所有不确定性信息。应保存F.softmax(output, dim1)输出的概率分布用于计算各类别的精确率Precision、召回率Recall、F1-score设置置信度阈值拒绝低置信度预测如max_prob 0.7则标记为“未知”分析误判模式如QPSK→BPSK是否集中在低SNR样本。from sklearn.metrics import confusion_matrix, classification_report import matplotlib.pyplot as plt import seaborn as sns def evaluate_model(model, test_loader, class_names): model.eval() all_preds [] all_targets [] all_probs [] with torch.no_grad(): for data, target in test_loader: output model(data) probs torch.softmax(output, dim1) pred torch.argmax(probs, dim1) all_preds.extend(pred.cpu().numpy()) all_targets.extend(target.cpu().numpy()) all_probs.extend(probs.cpu().numpy()) # 生成混淆矩阵 cm confusion_matrix(all_targets, all_preds, labelsrange(len(class_names))) # 绘制热力图 plt.figure(figsize(8, 6)) sns.heatmap(cm, annotTrue, fmtd, cmapBlues, xticklabelsclass_names, yticklabelsclass_names) plt.title(Confusion Matrix) plt.ylabel(True Label) plt.xlabel(Predicted Label) plt.show() # 打印详细分类报告 print(classification_report(all_targets, all_preds, target_namesclass_names, digits3)) return np.array(all_probs) # 使用示例 class_names [BPSK, QPSK, 16QAM, 64QAM, 8PSK, OFDM] probs evaluate_model(model, test_loader, class_names)4.2 混淆矩阵揭示的3类典型问题及对应优化策略问题类型表现根本原因解决方案相位模糊导致的混淆QPSK ↔ 8PSK、BPSK ↔ OOK高频误判STFT丢失相位信息CNN无法区分π/2旋转对称性在STFT后叠加相位谱np.angle(Zxx)作为第二通道输入CNN带宽差异引发的误判16QAM ↔ 64QAM在低SNR下混淆率高高阶QAM星座点密集STFT分辨率不足增大nfft512或改用CWT连续小波变换提升时频聚焦能力符号速率变化敏感OFDM在不同子载波数下识别不稳定STFT窗口长度固定无法自适应符号周期引入可学习的注意力机制如SE Block让CNN自动聚焦符号边界区域例如若发现QPSK大量误判为BPSK说明模型未学到QPSK的四象限分布特征。此时不应增加网络深度而应检查STFT参数nperseg128在40MHz采样率下对应时间窗3.2μs可能不足以覆盖一个QPSK符号通常1μs。解决方案是减小nperseg64提高时间分辨率再重新生成时频图。4.3 实时推理必须做批处理与流水线解耦避免GPU显存溢出在嵌入式设备或SDR实时处理中不能等待积累100个样本再做一次推理。应实现滑动窗口缓存机制每收到1个新IQ样本更新环形缓冲区当缓冲区满如2048点时触发STFT→CNN→LSTM流水线输出当前窗口的调制类型。PyTorch的torch.jit.trace可将模型转为TorchScript降低推理延迟。# 模型导出为TorchScript example_input torch.randn(1, 1, 129, 201) traced_model torch.jit.trace(model, example_input) traced_model.save(modulation_model.pt) # 加载并推理无Python解释器开销 loaded_model torch.jit.load(modulation_model.pt) loaded_model.eval() # 单样本推理 with torch.no_grad(): pred loaded_model(dummy_input[:1]) # batch1 prob torch.softmax(pred, dim1) cls_id torch.argmax(prob).item() confidence prob[0, cls_id].item() print(fPredicted: {class_names[cls_id]} (conf: {confidence:.3f}))5. 部署前必做的3项实测验证用真实SDR数据检验泛化性论文指标如RML2016数据集上98.2%准确率不等于工程可用。以下三项实测缺一不可它们直接决定模型能否走出实验室5.1 在不同SNR区间分段测试绘制ROC曲线而非单一准确率调制识别性能随SNR剧烈变化。必须在-10dB到30dB间以2dB为步长测试记录每档的准确率。若在0dB以下准确率骤降至60%说明模型未学好抗噪特征需加强数据增强如添加高斯白噪声、瑞利衰落信道模拟。# SNR测试函数 def test_snr_robustness(model, test_iq_data, snr_db_list, class_labels): results {} for snr in snr_db_list: # 对test_iq_data添加指定SNR的噪声 noisy_iq add_awgn(test_iq_data, snr) spec iq_to_spectrogram(noisy_iq) spec_norm normalize_spectrogram(spec) tensor_input torch.tensor(spec_norm, dtypetorch.float32).unsqueeze(0) with torch.no_grad(): pred model(tensor_input) acc (torch.argmax(pred, dim1) class_labels).float().mean().item() results[snr] acc return results # 绘制SNR-accuracy曲线 snr_list list(range(-10, 31, 2)) acc_dict test_snr_robustness(model, test_iq, snr_list, test_labels) plt.plot(snr_list, [acc_dict[snr] for snr in snr_list], o-) plt.xlabel(SNR (dB)) plt.ylabel(Accuracy) plt.grid(True) plt.show()5.2 用真实USRP采集的信号替代仿真数据暴露信道失真问题RML2016等公开数据集是理想AWGN信道下的仿真信号。真实USRP采集会引入I/Q不平衡、本振泄露、非线性失真。若模型在仿真数据上95%准确但在USRP数据上跌至70%说明CNN过度拟合理想特征。此时必须在训练数据中注入USRP实测的I/Q不平衡模型如iq_real I j*(Q 0.1*I)使用torchaudio.transforms.TimeStretch模拟多普勒频移用torchvision.transforms.RandomAffine做轻微旋转/缩放增强几何鲁棒性。5.3 在CPU-only环境运行推理验证TensorRT或ONNX Runtime加速效果GPU推理延迟低但边缘设备常只有CPU。用onnxruntime在Intel i5-8250U上测试单次推理耗时原始PyTorch120msONNX CPU优化28msTensorRT若支持15msimport onnxruntime as ort # 导出ONNX torch.onnx.export( model, dummy_input, modulation.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}}, opset_version12 ) # CPU推理 ort_session ort.InferenceSession(modulation.onnx, providers[CPUExecutionProvider]) ort_inputs {ort_session.get_inputs()[0].name: dummy_input.numpy()} ort_outs ort_session.run(None, ort_inputs) print(fONNX CPU inference time: {time.time()-start:.3f}s)提示ONNX导出时opset_version12是PyTorch 1.10的推荐版本避免AdaptiveAvgPool2d等算子不支持。若报错降为opset_version11并手动替换AdaptiveAvgPool2d为AvgPool2d。本文还有配套的精品资源点击获取