简介：这是一套面向深度学习与语音识别方向的完整中文语音识别系统源码，适合具备Python与神经网络基础、希望动手复现或二次开发的高年级本科生、研究生及算法工程师。项目将系统拆分为声学模型与语言模型两部分，声学模型涵盖GRU-CTC结构，并参考科大讯飞DFCNN改造出CNN-CTC模型，使用时频图或fbank特征输入，另提供基于pluse数据集的训练版本；语言模型则引入CBHG结构，可支撑端到端的识别流程。资源包共88个文件，以30个py源码、30个txt说明、22个lst数据列表为主，另含tsv、pkl等数据文件，压缩包约34.55MB，目录按acoustic_model与language_model分模块组织，便于按需查阅。目前已有188人学习下载，读者可借此掌握声学建模、语言建模、数据预处理与模型训练的完整链路，并参考说明文档快速跑通训练流程。
1. 拆开这个中文语音识别源码包：它到底能不能跑通
如果你手头正好有一批中文语音数据，想快速搭一个能出声、能识别、还能继续改的语音识别系统，这个基于 Python 和深度学习的中文语音识别源码包值得先看一眼。它把声学模型和语言模型拆成两个独立文件夹，声学模型里既有 GRU-CTC，也有基于科大讯飞 DFCNN 思路改造的 CNN-CTC，还有用 pluse 版数据集直接训练的cnn_with_full.py；语言模型里塞了一个基于 CBHG 结构的神经网络语言模型。整套代码用 Keras 和 TensorFlow 写成，结构不算复杂，适合想动手复现中文语音识别全流程、又不想从零造轮子的人。但源码包不是一键脚本，数据准备、特征提取、标签对齐、训练参数这几步没处理好，照样跑不出结果。下面按我实际拆包和试跑的顺序，把能抄的步骤和容易翻车的地方一次讲清。
2. 声学模型选型与训练：GRU-CTC、CNN-CTC 和 cnn_with_full 怎么挑
2.1 三个声学模型的结构差异和适用场景
这个源码包的acoustic_model文件夹下有三个主要训练入口，分别对应不同的网络结构和数据输入方式。gru_ctc_am.py实现的是 GRU + CTC 的中文语音识别声学模型，输入通常是 MFCC 或 fbank 特征，循环层负责时序建模，CTC 负责处理输入输出长度不对齐的问题。它的优势是结构简单、参数量相对小，适合数据量不大、想快速验证流程的场景。cnn_ctc_am.py把 GRU 换成了 CNN，并且参考了科大讯飞 DFCNN 的思路，对网络结构做了稍加改造，用卷积层堆叠来提取频域和时域特征，训练速度比 GRU 快，但需要的数据量更大。cnn_with_fbank.py是完全使用 DFCNN 框架搭建的声学模型，把部分卷积层改成了 inception 结构，输入使用时频图，适合对频域细节要求更高的任务。cnn_with_full.py是新增的、使用 pluse 版数据集的模型，源码说明里直接建议优先训练这个。
选哪个不是拍脑袋决定的。如果你的数据只有几十小时，先跑gru_ctc_am.py把 CTC 损失、标签映射、解码流程走通；如果数据上百小时且显卡显存够，直接上cnn_with_full.py，它的卷积结构对中文这种带声调的语言更友好。cnn_with_fbank.py的 inception 结构对输入特征维度有要求，fbank 特征维度要和网络第一层输入对齐，否则会在 reshape 那一步报错。
2.2 数据准备和特征提取的实操步骤
源码包里data_process和gen_data文件夹负责数据预处理。中文语音识别常见做法是先做数据清洗，把静音段过长的音频切掉，然后提取 fbank 或 MFCC 特征。这个包里的train.wav.lst是音频文件列表，格式一般是每行一个 wav 路径加对应的文本标注。我一般会先检查这个列表里的路径和实际文件是否一一对应，再跑特征提取脚本。
# 先确认音频列表和标注文件是否对齐 wc -l train.wav.lst # 检查前几行格式，确保是 路径\t文本 或 路径 文本 head -n 5 train.wav.lst # 统计音频总时长，估算训练数据规模 soxi -D *.wav | awk '{sum+=$1} END {print sum/3600 " hours"}'上面这几条命令不依赖源码包里的脚本，但能帮你快速判断数据是否可用。wc -l看列表行数，head看格式，soxi统计总时长。如果总时长低于 10 小时，建议先用 GRU-CTC 跑通，不要直接上 CNN 结构，否则过拟合会非常明显。
特征提取部分，源码里data_process下应该有提取 fbank 的脚本。常见做法是设置帧长 25ms、帧移 10ms、Mel 滤波器组 40 或 80 维。这个包没有在正文里写死参数，但hyperparams.py里通常会有num_mel_bins、frame_length、frame_shift这类变量。训练前务必打开这个文件，把特征维度和网络输入维度对一遍。
# hyperparams.py 里常见的特征参数，按自己数据改 num_mel_bins = 40 # Mel 滤波器组数量，要和网络输入层匹配 frame_length = 0.025 # 帧长 25ms frame_shift = 0.01 # 帧移 10ms sample_rate = 16000 # 采样率，中文语音常用 16k max_input_length = 1000 # 最大输入帧数，超过截断这些参数不是随便填的。num_mel_bins改成 80 后，cnn_with_fbank.py的第一层卷积输入通道数也要跟着改，否则会报维度不匹配。sample_rate必须和音频实际采样率一致，源码里如果有重采样步骤，确认它是不是把 8k 音频转成了 16k。max_input_length控制单条音频的最大帧数，太长会爆显存，太短会截断长句子，我一般设成 1000 到 1500 之间，根据自己数据里句子长度分布调整。
2.3 训练入口和 CTC 损失配置
以cnn_with_full.py为例，训练入口一般会先加载特征文件、构建模型、编译时指定 CTC 损失函数。CTC 损失在 Keras 里通常用自定义层或tf.keras.backend.ctc_batch_cost实现。这个包里的model_layers.py可能封装了 CTC 层，训练脚本里会调用。
# cnn_with_full.py 里训练部分的核心逻辑示意 from model_layers import ctc_lambda_func import keras.backend as K # 假设 model 输出是 (batch, time, num_classes) # labels 是 (batch, max_label_length) # input_length 是 (batch, 1)，label_length 是 (batch, 1) loss_out = Lambda(ctc_lambda_func, output_shape=(1,), name='ctc')([model.output, labels, input_length, label_length]) model = Model(inputs=[model.input, labels, input_length, label_length], outputs=loss_out) model.compile(loss={'ctc': lambda y_true, y_pred: y_pred}, optimizer='adam')这段代码的关键在于ctc_lambda_func的输入顺序和形状。model.output是声学模型输出的概率分布，labels是文本标签转成的数字序列，input_length是音频帧数，label_length是标签长度。这四个张量的形状必须和 CTC 损失函数要求的一致，否则训练时 loss 会变成 NaN。常见做法是把input_length和label_length都做成(batch, 1)的形状，labels用 padding 补齐到同一长度。如果训练几个 batch 后 loss 不降反升，先检查labels里有没有超出num_classes的索引，再检查input_length是否大于实际帧数。
训练时建议先跑 5 到 10 个 epoch，观察 loss 是否稳定下降。如果 loss 在 2.0 附近震荡不降，大概率是学习率太大，把adam的默认学习率 0.001 改成 0.0005 或 0.0001 再试。如果 loss 直接变 NaN，检查特征里有没有 NaN 或 Inf，用numpy.isnan扫一遍特征文件。
3. 语言模型 CBHG 结构：怎么和声学模型配合出结果
3.1 CBHG 语言模型的输入输出和训练方式
language_model文件夹下的CBHG_lm.py实现了一个基于 CBHG 结构的神经网络语言模型。CBHG 原本用于谷歌的声音合成，这里移植过来做中文语言模型。它的输入是字符或词序列，输出是下一个字符或词的概率分布。训练数据通常是纯文本语料，不需要音频。源码包里lm_develop和language_model文件夹下应该有文本预处理和训练脚本。
CBHG 的结构包含一维卷积、残差连接、 highway 网络和双向 GRU。这种结构对长距离依赖的建模能力比普通 RNN 强，但参数量也更大。训练语言模型时，常见做法是把文本转成字符级序列，中文常用字大约 5000 到 8000 个，加上起始符、结束符和 padding 符，num_classes大概在 8000 左右。如果显存不够，可以改成词级建模，但词表会更大，需要做词频截断。
# CBHG_lm.py 里模型构建的核心参数示意 vocab_size = 5000 # 字符表大小，根据语料统计调整 embedding_dim = 256 # 嵌入维度 conv_banks = 16 # 卷积 bank 数量 max_seq_len = 100 # 文本序列最大长度vocab_size要和实际字符表一致，源码里如果有gen_data生成字符表的脚本，先跑一遍得到vocab.txt。embedding_dim和conv_banks影响模型容量，数据少的时候调小，数据多的时候调大。max_seq_len控制单条文本长度，太长会拖慢训练速度。
3.2 声学模型和语言模型的对接方式
声学模型输出的是字符或音素的概率序列，语言模型负责在解码阶段对候选序列打分。这个源码包没有在正文里写死解码脚本，但常见做法是用 CTC beam search 结合语言模型分数。具体来说，声学模型先输出每个时间步的字符概率，beam search 保留 top-k 候选，语言模型对每个候选序列计算概率，最后把声学分数和语言模型分数加权求和，选总分最高的作为最终结果。
# 解码阶段融合语言模型的简化逻辑 def decode_with_lm(acoustic_probs, lm_model, beam_width=10, alpha=0.5): # acoustic_probs: (time_steps, num_classes) # lm_model: 训练好的 CBHG 语言模型 # alpha: 语言模型权重 beams = [('', 0.0, 0.0)] # (文本, 声学分数, 语言模型分数) for t in range(acoustic_probs.shape[0]): new_beams = [] for text, ac_score, lm_score in beams: top_k = np.argsort(acoustic_probs[t])[-beam_width:] for idx in top_k: new_text = text + idx_to_char[idx] new_ac = ac_score + np.log(acoustic_probs[t][idx] + 1e-8) new_lm = lm_score + lm_model.score(new_text) new_beams.append((new_text, new_ac, new_lm)) beams = sorted(new_beams, key=lambda x: x[1] + alpha * x[2], reverse=True)[:beam_width] return beams[0][0]这段代码是解码融合的简化版，实际使用时要注意alpha的调节。alpha太大，语言模型会主导结果，声学模型的信息被淹没；alpha太小，语言模型不起作用。我一般从 0.3 开始试，根据验证集上的识别准确率调整。另外，lm_model.score需要语言模型输出对数概率，如果CBHG_lm.py输出的是 softmax 概率，记得取 log。
3.3 训练语言模型的注意事项
语言模型训练不需要音频，但文本语料的质量直接影响识别结果。常见做法是先用大量通用中文文本训练一个基础语言模型，再用领域相关文本做微调。源码包里的lm_develop文件夹可能包含数据清洗和分词脚本。中文分词不是必须的，字符级语言模型在很多场景下效果已经够用，而且避免了分词错误带来的连锁问题。
训练时如果 loss 下降很慢，检查文本里有没有大量重复或乱码。如果 loss 突然变成 NaN，检查vocab_size是否小于实际字符索引最大值。另外，CBHG 结构里的 highway 网络对初始化比较敏感，源码里如果有kernel_initializer参数，不要随便改成zeros，用默认的glorot_uniform或he_normal更稳。
4. 避坑与排查：跑这个源码包最容易翻车的五个地方
4.1 现象：训练时 loss 一直是 NaN，换优化器也没用
原因：CTC 损失函数对输入长度和标签长度非常敏感。如果input_length大于实际音频帧数，或者label_length大于标签实际长度，CTC 计算会出现 log(0) 导致 NaN。另外，特征里如果有 NaN 或 Inf，也会直接传播到 loss。
解决：在数据加载阶段加一行检查，确保input_length等于特征帧数，label_length等于标签非 padding 长度。用np.isfinite(features).all()扫一遍特征，发现 NaN 就定位到具体文件。如果特征提取时用了 log，确保没有对零取 log，加一个1e-8的偏移。
4.2 现象：模型训练 loss 正常下降，但解码结果全是空白或重复字符
原因：CTC 解码时如果blank标签的索引设置错了，模型会把所有输出都预测成 blank。或者 beam search 的beam_width太小，候选序列不够，导致重复字符没有被合并。
解决：检查hyperparams.py里blank_id是否和标签映射一致。常见做法是把 blank 设为 0，字符从 1 开始编号。如果解码结果全是空白，先把beam_width调到 20 以上，再看输出。如果还是重复字符，检查 CTC 解码时有没有做去重和去 blank 的后处理。
4.3 现象：cnn_with_fbank.py运行时报维度不匹配
原因：fbank 特征维度是 40 或 80，但网络第一层卷积的输入通道数写死了是 1 或 3。源码里如果用了inception结构，不同分支的输入维度也要一致。
解决：打开cnn_with_fbank.py，找到第一层卷积的input_shape，把通道数改成num_mel_bins。如果用了 inception 模块，检查每个分支的Conv2D的filters和kernel_size，确保输出维度能拼接。常见做法是把 fbank 特征 reshape 成(time, num_mel_bins, 1)，再输入网络。
4.4 现象：语言模型训练时显存爆了，batch size 降到 1 还是不够
原因：CBHG 结构里的卷积 bank 和双向 GRU 参数量很大，max_seq_len设成 500 或 1000 时，单条序列的激活值就占满显存。
解决：把max_seq_len降到 100 到 200 之间，对长文本做截断。如果任务需要长文本，改用梯度累积，把 batch size 设成 1，累积 8 到 16 步再更新一次参数。另外，conv_banks从 16 降到 8 也能省不少显存，但语言模型效果会打折扣。
4.5 现象：换了数据集后识别准确率骤降，但 loss 看起来正常
原因：新数据集的采样率、音量、背景噪声和原数据集不一致，声学模型提取的特征分布偏移了。语言模型如果没换，领域不匹配也会拉低准确率。
解决：先检查新数据集的采样率是否和hyperparams.py里的sample_rate一致，不一致就重采样。然后做音量归一化，把音频峰值统一到 -3dB 左右。如果领域差异大，用新数据微调声学模型，同时用领域文本微调语言模型。微调时学习率调小到 0.0001，训练 3 到 5 个 epoch 就够。
5. 进阶技巧：用cnn_with_full.py做迁移学习和解码调参
cnn_with_full.py用的是 pluse 版数据集，源码说明里建议直接训练这个模型。如果你自己的数据和 pluse 数据集领域接近，可以直接在这个模型基础上做迁移学习。具体做法是加载预训练权重，冻结前面的卷积层，只训练后面的全连接层和 CTC 层。这样收敛快，而且不容易过拟合。
# 迁移学习：冻结卷积层，只训练顶层 from keras.models import load_model base_model = load_model('cnn_with_full_pretrained.h5', custom_objects={'ctc_lambda_func': ctc_lambda_func}) for layer in base_model.layers[:-6]: layer.trainable = False # 重新编译，学习率调小 base_model.compile(loss={'ctc': lambda y_true, y_pred: y_pred}, optimizer=keras.optimizers.Adam(lr=0.0001))冻结层数根据自己数据量决定。数据少于 10 小时，冻结到只剩最后 3 层；数据 50 小时以上，可以只冻结前几层卷积。custom_objects里必须把 CTC 损失函数传进去，否则加载模型会报未知层错误。
解码调参方面，除了alpha和beam_width，还有一个容易忽略的参数是 CTC 的blank惩罚。有些实现里会给 blank 标签加一个惩罚项，防止模型过度预测 blank。如果解码结果里空白太多，把 blank 惩罚调大；如果识别结果里插入太多无意义字符，把 blank 惩罚调小。这个参数没有固定值，我一般从 0.5 开始，在验证集上网格搜索。
还有一个实用技巧是语言模型的重打分。先用声学模型 beam search 出 top-20 候选，再用语言模型对这 20 个候选重新打分，取最高分。这样比在 beam search 过程中融合语言模型更灵活，也更容易调参。重打分时语言模型的分数要取对数，并且做长度归一化，否则短句子会占便宜。
从那以后我每次拿到新的语音识别源码包，都强制先跑一遍数据对齐检查，再拿 1 小时数据做小规模训练，确认 loss 能降到 1.0 以下，才敢上全量数据。这个习惯帮我省了很多通宵排查的时间。希望帮到你。
本文还有配套的精品资源，点击获取
