尧图网站建设 
简介这是一份基于Python与深度学习实现的中文语音识别算法项目源码面向AI学习者、语音识别研究者以及需要完整实战案例进行课程设计或毕业设计的开发者。项目完整覆盖数据预处理、特征提取、声学模型构建、模型训练与评估等关键流程并对中文多音字、语调、方言等识别难点做了针对性处理。压缩包共88个文件以Python脚本29个py、文本说明29个txt和列表文件22个lst为主同时包含少量模型权重与文档整体约34.52MB目录结构清晰便于按模块阅读和二次开发。源码提供可直接运行的代码与丰富注释能够帮助读者掌握CNN、RNN、LSTM等深度学习模型在语音频谱特征提取和时间序列建模中的实际应用理解端到端语音识别思路。目前已有142人学习下载适合作为语音识别方向入门进阶、项目实战和科研参考的优质资源。1. 中文语音识别算法不是“训练一个模型”而是整条链路最容易在细节上出问题很多人把“基于Python深度学习的中文语音识别算法”源码解压后装上依赖跑完训练脚本loss 从 12 掉到 2满怀期待地录一句“你好”输出却是“宁浩”或者一长串重复的“你你你”。这类现象在不少语音识别项目实战里都见过问题往往不出在模型而出在特征提取、词表映射和解码三步的中文适配。一套真正能用的中文语音识别算法由前端处理、声学模型、解码与语言模型四部分组成深度学习模型只是其中一环。这篇文章从拿到源码开始讲清楚每一环在 Python 里怎么落地、参数怎么设以及输出乱码时先查哪里。2. 中文语音识别算法的链路搭建与框架选型2.1 一次中文语音识别算法的完整链路拆解把这段链路画成算法流程图大概是音频输入 → 重采样为 16kHz 单声道 → 分帧加窗 → 提取声学特征 → 声学模型输出帧级字符概率 → 解码合并重复帧 → 接语言模型纠错 → 输出中文文本。声学模型负责把每一帧音频映射到字符概率但音频帧数远多于文字长度所以还需要 CTC 或 Attention 机制解决“对齐”问题。解码模块把概率序列转成候选字符最后语言模型负责把同音字纠正过来。只训练声学模型、不做语言模型字错误率会明显偏高而只调语言模型权重也救不回糟糕的声学特征。国内中文语音有一个特殊点拼音无调音节只有 400 多个常用汉字却有三千多个同音词压力远大于英文。理解这条链路后再看项目源码里的文件分工就清晰了通常data_utils.py管数据和特征model.py管声学模型train.py管训练infer.py管解码和推理。2.2 Python 环境的安装与深度学习框架选择PyTorch 为主先解决环境问题。Python 版本建议 3.9 或 3.10这是目前 PyTorch 兼容性最稳的组合。用 conda 建独立环境避免和系统 Python 纠缠conda create -n zh_asr python3.9 -y conda activate zh_asr pip install torch torchaudio pip install librosa soundfile editdistance pyctcdecodetorchaudio负责读取音频和提取 fbank 特征librosa在调试特征时用editdistance用来算字错误率pyctcdecode提供 beam search 解码。如果机器只有 CPU以上依赖同样能装只是训练会慢不少这时可以把模型隐层维度从 256 降到 128。框架选型上我一般会用 PyTorch 而不是 TensorFlow 或 PaddleSpeech。PyTorch 的自定义损失函数和动态图调试体验更好改模型结构时不用等编译PaddleSpeech 虽然集成了很多中文模型但依赖重换环境后容易因为版本不一致跑不起来。下面的表是常见选型判断框架适合场景注意点PyTorch自定义声学模型、做训练实验需要自己写数据管道TensorFlow/Keras快速验证标准结构CTC 自定义层稍繁琐PaddleSpeech直接调用中文预训练模型安装体积大依赖多2.3 声学模型的主流结构与中小规模训练怎么选深度学习语音识别里声学模型经历了从 DNN-HMM 到 CNNRNN、再到 Transformer/Conformer 的演进。CNN 擅长提取频谱图上的局部模式也就是共振峰和音素过渡的信号RNN 或 GRU 擅长建模时序上下文对中文的声调变化更敏感Conformer 结合了卷积和注意力效果好但需要更大的数据量和显存。对于“单机可跑”的中文语音识别项目数据量通常在 30 到 100 小时之间。这个规模下CNN 加双向 GRU 加 CTC 是性价比最高的起点训练稳定、显存可控调参空间也大。数据量超过 200 小时再考虑 Conformer 一类结构否则很容易过拟合。2.4 特征序列到字符序列的输出映射为什么中文用字符级模型中文语音识别通常建模到“字符”而不是像英文那样用 BPE 子词。原因是中文的字数相对固定词表构建简单且 CTC 训练天然适合短目标序列。常见做法是在vocab.py里维护一个字典把每个汉字映射成整数并为 CTC 预留 blank 和 unk 两类标记vocab { 0: blank, 1: unk, 2: 的, 3: 你, 4: 好, # ...更多汉字 }这里的0必须留给 CTC 的 blank 标记同时它也可以兼任 padding 索引。音频每秒生成约 100 帧特征而一个汉字大约持续 0.3 秒模型输出的时序长度远大于目标长度这正是 CTC 损失能发挥作用的前提。3. 中文语音识别的数据准备与特征工程3.1 数据与标注的选择THCHS-30、AISHELL 还是自己录训练中文语音识别算法数据质量直接决定效果上限。常见开源数据集有 THCHS-30 和 AISHELL-1两者都可以从公开渠道申请或获取。THCHS-30 约 30 小时录音在安静室内完成普通话标准适合作为项目源码的初版训练集AISHELL-1 约 178 小时包含更多口音和噪声更能反映真实场景但训练时间也成倍增加。数据集时长采样率特点适合阶段THCHS-30约 30h16kHz干净、录音室、标准普通话跑通流程AISHELL-1约 178h16kHz口音多、近场、含噪声提升鲁棒性自录语音10-20 句16kHz场景自定义快速验证如果只是想验证源码能不能跑通先用一小批自录语音更高效把手机录音转成 16kHz 单声道 wav然后按“编号 路径 文本”写一个 manifest 文件每行一条。这样能避开数据集下载、解压、格式转换的一堆麻烦。3.2 特征提取核心代码torchaudio 的 fbank 怎么用特征提取是中文语音识别里最容易被忽略的环节。我一般用torchaudio.compliance.kaldi.fbank它按 Kaldi 标准实现比手写 librosa 流程省事。下面这段函数可以放进data_utils.pyimport torch import torchaudio from torchaudio.compliance import kaldi def extract_fbank(wav_path: str, num_mel_bins: int 80) - torch.Tensor: waveform, sample_rate torchaudio.load(wav_path) # 统一为单声道 if waveform.size(0) 1: waveform torch.mean(waveform, dim0, keepdimTrue) # 统一为 16kHz中文语音识别惯例采样率 if sample_rate ! 16000: waveform torchaudio.functional.resample( waveform, sample_rate, 16000 ) # frame_length25ms, frame_shift10ms feat kaldi.fbank( waveform, num_mel_binsnum_mel_bins, frame_length25.0, frame_shift10.0, window_typehamming, dither1.0, ) return feat # 形状 [T, num_mel_bins]T 约等于音频秒数 * 100frame_length25.0表示每一帧覆盖 25 毫秒frame_shift10.0表示相邻两帧间隔 10 毫秒所以 1 秒音频得到约 100 帧特征。dither1.0会在信号上叠加极小的噪声避免完全静音段出现零梯度。这里特别说明一下 fbank 和 MFCC 的差异。MFCC 在 fbank 基础上做了 DCT 变换会丢掉滤波器组之间的相关性而深度学习模型恰恰需要这些相关性作为输入所以绝大多数现代语音识别项目默认用 fbank 而不是 MFCC。如果源码里只给了 MFCC 特征建议先改成 fbank 再训练。3.3 构建中文词表与 DataLoader有了特征还要把中文文本转成整数序列。字符表要从全部训练标注里收集注意把blank放在索引 0unk放索引 1字符从 2 开始def build_vocab(text_paths): chars set() for path in text_paths: for line in open(path, encodingutf-8): text line.strip().split( , 1)[-1] chars.update(text) vocab {blank: 0, unk: 1} for ch in sorted(chars): vocab[ch] len(vocab) return vocab数据加载部分常见的做法是把每个样本的 fbank 特征和文本 ID 一起返回在collate_fn里做 padding。下面的代码可以直接照抄import torch from torch.utils.data import Dataset, DataLoader from torch.nn.utils.rnn import pad_sequence class ZhASRDataset(Dataset): def __init__(self, manifest_path, vocab): self.items [] self.vocab vocab for line in open(manifest_path, encodingutf-8): parts line.strip().split() if len(parts) 3: continue self.items.append((parts[1], parts[2])) def __len__(self): return len(self.items) def __getitem__(self, idx): wav_path, text self.items[idx] feat extract_fbank(wav_path) ids [self.vocab.get(ch, self.vocab[unk]) for ch in text] return feat, torch.tensor(ids, dtypetorch.long) def collate_fn(batch): feats, texts zip(*batch) feat_lens torch.tensor([f.size(0) for f in feats]) text_lens torch.tensor([len(t) for t in texts]) pad_feats pad_sequence(feats, batch_firstFalse) # [T, B, 80] pad_texts pad_sequence(texts, batch_firstTrue, padding_value0) # [B, L] return pad_feats, pad_texts, feat_lens, text_lenspad_feats的维度是[T, B, 80]模型按时间步处理RNN 或 GRU 都能直接吃这个维度。pad_texts的padding_value0和 blank 共用索引CTC 计算时会自动忽略这部分的 loss这是语音识别项目里的常见技巧。3.4 数据增强给中文语音加一点干扰来对抗过拟合项目实战中如果只用 30 小时数据直接训练模型十有八九会在验证集上崩掉。给特征做增强是性价比最高的正则化手段最常用的是 SpecAugment即对 fbank 做频率遮蔽和时间遮蔽import torchaudio class SpecAugment(torch.nn.Module): def __init__(self, freq_mask27, time_mask40, num_masks2): super().__init__() self.freq_mask torchaudio.transforms.FrequencyMasking(freq_mask) self.time_mask torchaudio.transforms.TimeMasking(time_mask) self.num_masks num_masks def forward(self, feat): # feat: [T, 80] feat feat.unsqueeze(0).unsqueeze(0) # [1,1,T,80] for _ in range(self.num_masks): feat self.freq_mask(feat) feat self.time_mask(feat) return feat.squeeze()freq_mask27表示最多遮蔽 27 个频带time_mask40表示最多遮蔽 40 帧也就是约 0.4 秒。中文单音节时长一般在 0.2 到 0.5 秒之间时间遮蔽太大会直接把整个音节盖掉反而增加训练难度。实际使用时建议只对训练集做增强验证集和测试集保持原始特征。4. 模型训练与解码调优让中文语音识别的深度学习算法稳定输出文本4.1 模型结构一个能跑通的 CNN-BiGRU-CTC 基线我一般建议项目初版用 CNN 加双向 GRU 搭基线。CNN 对 fbank 做频域压缩GRU 建模时序双向结构能看到前后文对中文声调判断很关键import torch import torch.nn as nn class CNNBiGRU(nn.Module): def __init__(self, num_classes, input_dim80, hidden_dim256): super().__init__() self.conv nn.Sequential( nn.Conv2d(1, 32, kernel_size(3, 3), stride(1, 2), padding(1, 1)), nn.ReLU(), nn.BatchNorm2d(32), nn.Conv2d(32, 32, kernel_size(3, 3), stride(1, 2), padding(1, 1)), nn.ReLU(), nn.BatchNorm2d(32), ) # 输入 [T, B, 80]经两层卷积后频域维度 80 - 40 - 20 self.fc nn.Linear(32 * 20, hidden_dim) self.gru nn.GRU( hidden_dim, hidden_dim, num_layers2, bidirectionalTrue, batch_firstFalse, dropout0.1 ) self.classifier nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): # x: [T, B, 80] x x.unsqueeze(1) # [T, B, 1, 80] x self.conv(x) # [T, B, 32, 20] T, B x.shape[0], x.shape[1] x x.permute(0, 1, 3, 2).reshape(T, B, -1) x torch.relu(self.fc(x)) x, _ self.gru(x) # [T, B, hidden*2] logits self.classifier(x) # [T, B, num_classes] return torch.log_softmax(logits, dim-1)这里卷积层的时间维 stride 保持 1所以输出序列长度和输入帧数一致省去重新计算input_lengths的麻烦。GRU 相比 LSTM 参数更少、训练更快对中文长句的上下文建模能力在这个规模下足够如果你在源码里看到的是nn.LSTM那只是把nn.GRU替换成nn.LSTM的事其余不用大改。4.2 训练循环与损失函数CTC 的关键参数CTC 损失函数的存在意义是解决“音频帧数多、文字长度少”的对齐问题。它不需要逐帧标注只要给模型一个字符序列模型自己在所有可能对齐路径上求和。PyTorch 的接口如下criterion nn.CTCLoss( blank0, reductionmean, zero_infinityTrue, )blank0必须和词表里blank的索引一致zero_infinityTrue表示当某个样本的路径概率下溢为负无穷时强制置 0避免训练出 NaN。训练一个 batch 的核心循环是optimizer torch.optim.AdamW(model.parameters(), lr1e-3) for batch_idx, (feats, texts, feat_lens, text_lens) in enumerate(train_loader): feats feats.to(device) texts texts.to(device) log_probs model(feats) # [T, B, num_classes] loss criterion( log_probs, texts, feat_lens.to(cpu), text_lens.to(cpu), ) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step()feat_lens传给 CTC 时要在 CPU 上这是不少项目踩过的坑。一个 epoch 通常指完整遍历一遍训练集对这个规模的项目训练 30 到 60 个 epoch 即可。学习率 1e-3 起步到第 20 个 epoch 左右降到 1e-4可以有效避免语音识别里常见的 loss 平台期。4.3 train.py 中影响中文识别效果的 5 个参数接手一个语音识别项目拿到源码后不要急着全量训练先盯住下面这 5 个参数参数建议值影响learning_rate1e-3中后期 1e-4过高导致 CTC loss 震荡过低收敛太慢epochs30-60中文语音数据量小epoch 太大会过拟合batch_size16-32受音频长度影响批次里句子越长显存越吃紧num_mel_bins80频域特征维度小于 64 会损失音素细节clip_grad_norm5.0防止 GRU 梯度爆炸输出突然变成乱码batch_size并不是越大越好。语音样本长短差异很大一个 10 秒的长句占用的显存可能顶得上 5 个 2 秒短句。如果显存不足比起强行调小 batch更推荐用梯度累积也就是每 4 个 batch 更新一次参数效果接近大 batch。4.4 推理解码从概率张量到中文句子模型训练好之后输出的还是帧级概率必须经过解码才能变成中文文本。最直观的贪心解码是每个时间步取概率最大的 token然后合并相邻重复、去掉 blankdef greedy_decode(log_probs, vocab, blank_id0): # log_probs: [T, num_classes] token_ids log_probs.argmax(dim-1).tolist() decoded [] prev blank_id for token_id in token_ids: if token_id ! blank_id and token_id ! prev: decoded.append(vocab[token_id]) prev token_id return .join(decoded)注意 CTC 的合并规则会把连续的相同字符合并成一个。中文口语里“你你你”这类连续重复会被压成一个“你”这属于 CTC 的固有限制通常可以接受。贪心解码只能拿到一条路径效果有限。想要更好的中文结果需要 beam search 保留多个候选再结合语言模型选最合理的句子。这里给出一个最简实现帮助理解 beam width 的作用import heapq def beam_search_decode(log_probs, vocab, blank_id0, beam_width10): beam [(0.0, [])] # (累计得分, token 序列) for t in range(log_probs.size(0)): candidates [] for score, tokens in beam: topk log_probs[t].topk(beam_width * 2) for prob, idx in zip(topk.values, topk.indices): idx idx.item() candidates.append((score prob.log(), tokens [idx])) beam heapq.nlargest(beam_width, candidates, keylambda x: x[0]) best_tokens beam[0][1] decoded [] prev blank_id for token_id in best_tokens: if token_id ! blank_id and token_id ! prev: decoded.append(vocab[token_id]) prev token_id return .join(decoded)这个版本没有做前缀合并数学上不够严谨但对中等规模项目足够用。生产环境更推荐用pyctcdecode它不仅做了前缀合并还能把 KenLM 语言模型直接接进解码器。4.5 用 CER 判断模型到底能不能用中文语音识别的主流评估指标是字错误率 CER也就是把模型输出和标注文本做编辑距离再除以标注长度import editdistance def compute_cer(pred_text: str, ref_text: str) - float: # 统一去空格再比较中文不需要分词 pred_text .join(pred_text.split()) ref_text .join(ref_text.split()) return editdistance.eval(pred_text, ref_text) / max(len(ref_text), 1)CER 越低越好。30 小时数据训练出的 CNN-BiGRU-CTC 基线验证集 CER 在 20% 到 30% 之间比较正常如果 CER 高于 50%先查数据标签是否对齐、fbank 参数是否合理而不是盲目加大模型。训练过程中每个 epoch 结束后都保存一次 checkpoint并记录当时的 CER方便回滚。5. 把项目调试到可用的三个技巧5.1 先做 50 步过拟合验证拿到源码第一次训练不要直接全量跑。从数据里挑出 10 条不同说话人的短音频单独建一个 mini manifest跑 50 个 step。如果这 50 步内 loss 明显下降说明数据管道、模型、损失函数整条链路是通的如果 loss 纹丝不动优先检查feat_lens和text_lens的维度以及词表索引是否越界。这一步能帮你在几分钟内区分“代码有问题”和“模型欠拟合”。5.2 同音字乱码给解码接一个轻量语言模型30 小时数据训练出来的声学模型往往分不清“知道”和“直到”这就是同音字问题。常见做法是把 beam search 从贪心换成pyctcdecode再接一个中文语言模型from pyctcdecode import Alphabet, BeamSearchDecoderCTC alphabet Alphabet(list(vocab.keys())) decoder BeamSearchDecoderCTC(alphabet) text decoder.decode(log_probs.cpu().numpy(), beam_width20)如果你有 KenLM 格式的 n-gram 语言模型可以通过lm_model参数传入再调alpha和beta两个权重。alpha控制语言模型对声学模型的纠正力度一般在 0.3 到 0.8 之间beta控制文本长度奖励避免模型输出过短的句子。没有语言模型时用中文词表做一次词频过滤也能减少明显错字。5.3 换环境后立刻能跑版本与音频格式排查项目实战最容易卡住的是环境问题。Python 3.9 搭配 PyTorch 2.x 是当前最稳的组合torchaudio 的 API 在不同版本间有细微变化kaldi.fbank的frame_length参数单位一直是毫秒但旧版本没有dither参数如果报类型错误就把它去掉。另外录音文件不统一会导致提取出空特征测试前先用 ffmpeg 把所有音频归一化ffmpeg -i raw.m4a -ar 16000 -ac 1 -f wav input.wav python infer.py --wav input.wav如果输出仍然为空先打印feat.shape确认特征帧数 T 大于 0再接下一层定位。语音识别算法的调试顺序永远是音频格式、特征形状、词表索引、解码合并按这个顺序排查大部分项目都能在一小时内重新跑起来。本文还有配套的精品资源点击获取 中文语音识别算法实战：Python+PyTorch实现与调优指南
简介这是一份基于Python与深度学习实现的中文语音识别算法项目源码面向AI学习者、语音识别研究者以及需要完整实战案例进行课程设计或毕业设计的开发者。项目完整覆盖数据预处理、特征提取、声学模型构建、模型训练与评估等关键流程并对中文多音字、语调、方言等识别难点做了针对性处理。压缩包共88个文件以Python脚本29个py、文本说明29个txt和列表文件22个lst为主同时包含少量模型权重与文档整体约34.52MB目录结构清晰便于按模块阅读和二次开发。源码提供可直接运行的代码与丰富注释能够帮助读者掌握CNN、RNN、LSTM等深度学习模型在语音频谱特征提取和时间序列建模中的实际应用理解端到端语音识别思路。目前已有142人学习下载适合作为语音识别方向入门进阶、项目实战和科研参考的优质资源。1. 中文语音识别算法不是“训练一个模型”而是整条链路最容易在细节上出问题很多人把“基于Python深度学习的中文语音识别算法”源码解压后装上依赖跑完训练脚本loss 从 12 掉到 2满怀期待地录一句“你好”输出却是“宁浩”或者一长串重复的“你你你”。这类现象在不少语音识别项目实战里都见过问题往往不出在模型而出在特征提取、词表映射和解码三步的中文适配。一套真正能用的中文语音识别算法由前端处理、声学模型、解码与语言模型四部分组成深度学习模型只是其中一环。这篇文章从拿到源码开始讲清楚每一环在 Python 里怎么落地、参数怎么设以及输出乱码时先查哪里。2. 中文语音识别算法的链路搭建与框架选型2.1 一次中文语音识别算法的完整链路拆解把这段链路画成算法流程图大概是音频输入 → 重采样为 16kHz 单声道 → 分帧加窗 → 提取声学特征 → 声学模型输出帧级字符概率 → 解码合并重复帧 → 接语言模型纠错 → 输出中文文本。声学模型负责把每一帧音频映射到字符概率但音频帧数远多于文字长度所以还需要 CTC 或 Attention 机制解决“对齐”问题。解码模块把概率序列转成候选字符最后语言模型负责把同音字纠正过来。只训练声学模型、不做语言模型字错误率会明显偏高而只调语言模型权重也救不回糟糕的声学特征。国内中文语音有一个特殊点拼音无调音节只有 400 多个常用汉字却有三千多个同音词压力远大于英文。理解这条链路后再看项目源码里的文件分工就清晰了通常data_utils.py管数据和特征model.py管声学模型train.py管训练infer.py管解码和推理。2.2 Python 环境的安装与深度学习框架选择PyTorch 为主先解决环境问题。Python 版本建议 3.9 或 3.10这是目前 PyTorch 兼容性最稳的组合。用 conda 建独立环境避免和系统 Python 纠缠conda create -n zh_asr python3.9 -y conda activate zh_asr pip install torch torchaudio pip install librosa soundfile editdistance pyctcdecodetorchaudio负责读取音频和提取 fbank 特征librosa在调试特征时用editdistance用来算字错误率pyctcdecode提供 beam search 解码。如果机器只有 CPU以上依赖同样能装只是训练会慢不少这时可以把模型隐层维度从 256 降到 128。框架选型上我一般会用 PyTorch 而不是 TensorFlow 或 PaddleSpeech。PyTorch 的自定义损失函数和动态图调试体验更好改模型结构时不用等编译PaddleSpeech 虽然集成了很多中文模型但依赖重换环境后容易因为版本不一致跑不起来。下面的表是常见选型判断框架适合场景注意点PyTorch自定义声学模型、做训练实验需要自己写数据管道TensorFlow/Keras快速验证标准结构CTC 自定义层稍繁琐PaddleSpeech直接调用中文预训练模型安装体积大依赖多2.3 声学模型的主流结构与中小规模训练怎么选深度学习语音识别里声学模型经历了从 DNN-HMM 到 CNNRNN、再到 Transformer/Conformer 的演进。CNN 擅长提取频谱图上的局部模式也就是共振峰和音素过渡的信号RNN 或 GRU 擅长建模时序上下文对中文的声调变化更敏感Conformer 结合了卷积和注意力效果好但需要更大的数据量和显存。对于“单机可跑”的中文语音识别项目数据量通常在 30 到 100 小时之间。这个规模下CNN 加双向 GRU 加 CTC 是性价比最高的起点训练稳定、显存可控调参空间也大。数据量超过 200 小时再考虑 Conformer 一类结构否则很容易过拟合。2.4 特征序列到字符序列的输出映射为什么中文用字符级模型中文语音识别通常建模到“字符”而不是像英文那样用 BPE 子词。原因是中文的字数相对固定词表构建简单且 CTC 训练天然适合短目标序列。常见做法是在vocab.py里维护一个字典把每个汉字映射成整数并为 CTC 预留 blank 和 unk 两类标记vocab { 0: blank, 1: unk, 2: 的, 3: 你, 4: 好, # ...更多汉字 }这里的0必须留给 CTC 的 blank 标记同时它也可以兼任 padding 索引。音频每秒生成约 100 帧特征而一个汉字大约持续 0.3 秒模型输出的时序长度远大于目标长度这正是 CTC 损失能发挥作用的前提。3. 中文语音识别的数据准备与特征工程3.1 数据与标注的选择THCHS-30、AISHELL 还是自己录训练中文语音识别算法数据质量直接决定效果上限。常见开源数据集有 THCHS-30 和 AISHELL-1两者都可以从公开渠道申请或获取。THCHS-30 约 30 小时录音在安静室内完成普通话标准适合作为项目源码的初版训练集AISHELL-1 约 178 小时包含更多口音和噪声更能反映真实场景但训练时间也成倍增加。数据集时长采样率特点适合阶段THCHS-30约 30h16kHz干净、录音室、标准普通话跑通流程AISHELL-1约 178h16kHz口音多、近场、含噪声提升鲁棒性自录语音10-20 句16kHz场景自定义快速验证如果只是想验证源码能不能跑通先用一小批自录语音更高效把手机录音转成 16kHz 单声道 wav然后按“编号 路径 文本”写一个 manifest 文件每行一条。这样能避开数据集下载、解压、格式转换的一堆麻烦。3.2 特征提取核心代码torchaudio 的 fbank 怎么用特征提取是中文语音识别里最容易被忽略的环节。我一般用torchaudio.compliance.kaldi.fbank它按 Kaldi 标准实现比手写 librosa 流程省事。下面这段函数可以放进data_utils.pyimport torch import torchaudio from torchaudio.compliance import kaldi def extract_fbank(wav_path: str, num_mel_bins: int 80) - torch.Tensor: waveform, sample_rate torchaudio.load(wav_path) # 统一为单声道 if waveform.size(0) 1: waveform torch.mean(waveform, dim0, keepdimTrue) # 统一为 16kHz中文语音识别惯例采样率 if sample_rate ! 16000: waveform torchaudio.functional.resample( waveform, sample_rate, 16000 ) # frame_length25ms, frame_shift10ms feat kaldi.fbank( waveform, num_mel_binsnum_mel_bins, frame_length25.0, frame_shift10.0, window_typehamming, dither1.0, ) return feat # 形状 [T, num_mel_bins]T 约等于音频秒数 * 100frame_length25.0表示每一帧覆盖 25 毫秒frame_shift10.0表示相邻两帧间隔 10 毫秒所以 1 秒音频得到约 100 帧特征。dither1.0会在信号上叠加极小的噪声避免完全静音段出现零梯度。这里特别说明一下 fbank 和 MFCC 的差异。MFCC 在 fbank 基础上做了 DCT 变换会丢掉滤波器组之间的相关性而深度学习模型恰恰需要这些相关性作为输入所以绝大多数现代语音识别项目默认用 fbank 而不是 MFCC。如果源码里只给了 MFCC 特征建议先改成 fbank 再训练。3.3 构建中文词表与 DataLoader有了特征还要把中文文本转成整数序列。字符表要从全部训练标注里收集注意把blank放在索引 0unk放索引 1字符从 2 开始def build_vocab(text_paths): chars set() for path in text_paths: for line in open(path, encodingutf-8): text line.strip().split( , 1)[-1] chars.update(text) vocab {blank: 0, unk: 1} for ch in sorted(chars): vocab[ch] len(vocab) return vocab数据加载部分常见的做法是把每个样本的 fbank 特征和文本 ID 一起返回在collate_fn里做 padding。下面的代码可以直接照抄import torch from torch.utils.data import Dataset, DataLoader from torch.nn.utils.rnn import pad_sequence class ZhASRDataset(Dataset): def __init__(self, manifest_path, vocab): self.items [] self.vocab vocab for line in open(manifest_path, encodingutf-8): parts line.strip().split() if len(parts) 3: continue self.items.append((parts[1], parts[2])) def __len__(self): return len(self.items) def __getitem__(self, idx): wav_path, text self.items[idx] feat extract_fbank(wav_path) ids [self.vocab.get(ch, self.vocab[unk]) for ch in text] return feat, torch.tensor(ids, dtypetorch.long) def collate_fn(batch): feats, texts zip(*batch) feat_lens torch.tensor([f.size(0) for f in feats]) text_lens torch.tensor([len(t) for t in texts]) pad_feats pad_sequence(feats, batch_firstFalse) # [T, B, 80] pad_texts pad_sequence(texts, batch_firstTrue, padding_value0) # [B, L] return pad_feats, pad_texts, feat_lens, text_lenspad_feats的维度是[T, B, 80]模型按时间步处理RNN 或 GRU 都能直接吃这个维度。pad_texts的padding_value0和 blank 共用索引CTC 计算时会自动忽略这部分的 loss这是语音识别项目里的常见技巧。3.4 数据增强给中文语音加一点干扰来对抗过拟合项目实战中如果只用 30 小时数据直接训练模型十有八九会在验证集上崩掉。给特征做增强是性价比最高的正则化手段最常用的是 SpecAugment即对 fbank 做频率遮蔽和时间遮蔽import torchaudio class SpecAugment(torch.nn.Module): def __init__(self, freq_mask27, time_mask40, num_masks2): super().__init__() self.freq_mask torchaudio.transforms.FrequencyMasking(freq_mask) self.time_mask torchaudio.transforms.TimeMasking(time_mask) self.num_masks num_masks def forward(self, feat): # feat: [T, 80] feat feat.unsqueeze(0).unsqueeze(0) # [1,1,T,80] for _ in range(self.num_masks): feat self.freq_mask(feat) feat self.time_mask(feat) return feat.squeeze()freq_mask27表示最多遮蔽 27 个频带time_mask40表示最多遮蔽 40 帧也就是约 0.4 秒。中文单音节时长一般在 0.2 到 0.5 秒之间时间遮蔽太大会直接把整个音节盖掉反而增加训练难度。实际使用时建议只对训练集做增强验证集和测试集保持原始特征。4. 模型训练与解码调优让中文语音识别的深度学习算法稳定输出文本4.1 模型结构一个能跑通的 CNN-BiGRU-CTC 基线我一般建议项目初版用 CNN 加双向 GRU 搭基线。CNN 对 fbank 做频域压缩GRU 建模时序双向结构能看到前后文对中文声调判断很关键import torch import torch.nn as nn class CNNBiGRU(nn.Module): def __init__(self, num_classes, input_dim80, hidden_dim256): super().__init__() self.conv nn.Sequential( nn.Conv2d(1, 32, kernel_size(3, 3), stride(1, 2), padding(1, 1)), nn.ReLU(), nn.BatchNorm2d(32), nn.Conv2d(32, 32, kernel_size(3, 3), stride(1, 2), padding(1, 1)), nn.ReLU(), nn.BatchNorm2d(32), ) # 输入 [T, B, 80]经两层卷积后频域维度 80 - 40 - 20 self.fc nn.Linear(32 * 20, hidden_dim) self.gru nn.GRU( hidden_dim, hidden_dim, num_layers2, bidirectionalTrue, batch_firstFalse, dropout0.1 ) self.classifier nn.Linear(hidden_dim * 2, num_classes) def forward(self, x): # x: [T, B, 80] x x.unsqueeze(1) # [T, B, 1, 80] x self.conv(x) # [T, B, 32, 20] T, B x.shape[0], x.shape[1] x x.permute(0, 1, 3, 2).reshape(T, B, -1) x torch.relu(self.fc(x)) x, _ self.gru(x) # [T, B, hidden*2] logits self.classifier(x) # [T, B, num_classes] return torch.log_softmax(logits, dim-1)这里卷积层的时间维 stride 保持 1所以输出序列长度和输入帧数一致省去重新计算input_lengths的麻烦。GRU 相比 LSTM 参数更少、训练更快对中文长句的上下文建模能力在这个规模下足够如果你在源码里看到的是nn.LSTM那只是把nn.GRU替换成nn.LSTM的事其余不用大改。4.2 训练循环与损失函数CTC 的关键参数CTC 损失函数的存在意义是解决“音频帧数多、文字长度少”的对齐问题。它不需要逐帧标注只要给模型一个字符序列模型自己在所有可能对齐路径上求和。PyTorch 的接口如下criterion nn.CTCLoss( blank0, reductionmean, zero_infinityTrue, )blank0必须和词表里blank的索引一致zero_infinityTrue表示当某个样本的路径概率下溢为负无穷时强制置 0避免训练出 NaN。训练一个 batch 的核心循环是optimizer torch.optim.AdamW(model.parameters(), lr1e-3) for batch_idx, (feats, texts, feat_lens, text_lens) in enumerate(train_loader): feats feats.to(device) texts texts.to(device) log_probs model(feats) # [T, B, num_classes] loss criterion( log_probs, texts, feat_lens.to(cpu), text_lens.to(cpu), ) optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step()feat_lens传给 CTC 时要在 CPU 上这是不少项目踩过的坑。一个 epoch 通常指完整遍历一遍训练集对这个规模的项目训练 30 到 60 个 epoch 即可。学习率 1e-3 起步到第 20 个 epoch 左右降到 1e-4可以有效避免语音识别里常见的 loss 平台期。4.3 train.py 中影响中文识别效果的 5 个参数接手一个语音识别项目拿到源码后不要急着全量训练先盯住下面这 5 个参数参数建议值影响learning_rate1e-3中后期 1e-4过高导致 CTC loss 震荡过低收敛太慢epochs30-60中文语音数据量小epoch 太大会过拟合batch_size16-32受音频长度影响批次里句子越长显存越吃紧num_mel_bins80频域特征维度小于 64 会损失音素细节clip_grad_norm5.0防止 GRU 梯度爆炸输出突然变成乱码batch_size并不是越大越好。语音样本长短差异很大一个 10 秒的长句占用的显存可能顶得上 5 个 2 秒短句。如果显存不足比起强行调小 batch更推荐用梯度累积也就是每 4 个 batch 更新一次参数效果接近大 batch。4.4 推理解码从概率张量到中文句子模型训练好之后输出的还是帧级概率必须经过解码才能变成中文文本。最直观的贪心解码是每个时间步取概率最大的 token然后合并相邻重复、去掉 blankdef greedy_decode(log_probs, vocab, blank_id0): # log_probs: [T, num_classes] token_ids log_probs.argmax(dim-1).tolist() decoded [] prev blank_id for token_id in token_ids: if token_id ! blank_id and token_id ! prev: decoded.append(vocab[token_id]) prev token_id return .join(decoded)注意 CTC 的合并规则会把连续的相同字符合并成一个。中文口语里“你你你”这类连续重复会被压成一个“你”这属于 CTC 的固有限制通常可以接受。贪心解码只能拿到一条路径效果有限。想要更好的中文结果需要 beam search 保留多个候选再结合语言模型选最合理的句子。这里给出一个最简实现帮助理解 beam width 的作用import heapq def beam_search_decode(log_probs, vocab, blank_id0, beam_width10): beam [(0.0, [])] # (累计得分, token 序列) for t in range(log_probs.size(0)): candidates [] for score, tokens in beam: topk log_probs[t].topk(beam_width * 2) for prob, idx in zip(topk.values, topk.indices): idx idx.item() candidates.append((score prob.log(), tokens [idx])) beam heapq.nlargest(beam_width, candidates, keylambda x: x[0]) best_tokens beam[0][1] decoded [] prev blank_id for token_id in best_tokens: if token_id ! blank_id and token_id ! prev: decoded.append(vocab[token_id]) prev token_id return .join(decoded)这个版本没有做前缀合并数学上不够严谨但对中等规模项目足够用。生产环境更推荐用pyctcdecode它不仅做了前缀合并还能把 KenLM 语言模型直接接进解码器。4.5 用 CER 判断模型到底能不能用中文语音识别的主流评估指标是字错误率 CER也就是把模型输出和标注文本做编辑距离再除以标注长度import editdistance def compute_cer(pred_text: str, ref_text: str) - float: # 统一去空格再比较中文不需要分词 pred_text .join(pred_text.split()) ref_text .join(ref_text.split()) return editdistance.eval(pred_text, ref_text) / max(len(ref_text), 1)CER 越低越好。30 小时数据训练出的 CNN-BiGRU-CTC 基线验证集 CER 在 20% 到 30% 之间比较正常如果 CER 高于 50%先查数据标签是否对齐、fbank 参数是否合理而不是盲目加大模型。训练过程中每个 epoch 结束后都保存一次 checkpoint并记录当时的 CER方便回滚。5. 把项目调试到可用的三个技巧5.1 先做 50 步过拟合验证拿到源码第一次训练不要直接全量跑。从数据里挑出 10 条不同说话人的短音频单独建一个 mini manifest跑 50 个 step。如果这 50 步内 loss 明显下降说明数据管道、模型、损失函数整条链路是通的如果 loss 纹丝不动优先检查feat_lens和text_lens的维度以及词表索引是否越界。这一步能帮你在几分钟内区分“代码有问题”和“模型欠拟合”。5.2 同音字乱码给解码接一个轻量语言模型30 小时数据训练出来的声学模型往往分不清“知道”和“直到”这就是同音字问题。常见做法是把 beam search 从贪心换成pyctcdecode再接一个中文语言模型from pyctcdecode import Alphabet, BeamSearchDecoderCTC alphabet Alphabet(list(vocab.keys())) decoder BeamSearchDecoderCTC(alphabet) text decoder.decode(log_probs.cpu().numpy(), beam_width20)如果你有 KenLM 格式的 n-gram 语言模型可以通过lm_model参数传入再调alpha和beta两个权重。alpha控制语言模型对声学模型的纠正力度一般在 0.3 到 0.8 之间beta控制文本长度奖励避免模型输出过短的句子。没有语言模型时用中文词表做一次词频过滤也能减少明显错字。5.3 换环境后立刻能跑版本与音频格式排查项目实战最容易卡住的是环境问题。Python 3.9 搭配 PyTorch 2.x 是当前最稳的组合torchaudio 的 API 在不同版本间有细微变化kaldi.fbank的frame_length参数单位一直是毫秒但旧版本没有dither参数如果报类型错误就把它去掉。另外录音文件不统一会导致提取出空特征测试前先用 ffmpeg 把所有音频归一化ffmpeg -i raw.m4a -ar 16000 -ac 1 -f wav input.wav python infer.py --wav input.wav如果输出仍然为空先打印feat.shape确认特征帧数 T 大于 0再接下一层定位。语音识别算法的调试顺序永远是音频格式、特征形状、词表索引、解码合并按这个顺序排查大部分项目都能在一小时内重新跑起来。本文还有配套的精品资源点击获取