简介基于飞桨深度学习框架的语音识别项目支持在Windows、Linux系统下完成训练与预测也支持英伟达Jetson系列开发板进行端侧推理。项目面向毕业设计、课程设计以及语音识别入门开发者重点解决自定义中文数据集从训练到部署的完整问题。资源包共九十二个文件包括五十个Python源代码文件、十三个Markdown说明文档、十三个编译缓存文件以及图片、音频、网页、配置等辅助材料压缩包大小仅三点四二兆字节目录结构清晰便于按模块查阅。目前已有一百六十四人学习下载。内容覆盖数据预处理、模型训练、效果评估、模型导出、命令行推理及图形界面工具并包含多种数据增强方法配套详细的说明文档和配置说明代码经过充分测试可直接运行并在此基础上扩展适合快速搭建语音识别原型并迁移到边缘设备。1. 从云端训练到边缘推理PaddlePaddle 把语音识别链路拉通了语音识别这几年落地项目变多但大部分团队卡在同一个地方模型在服务器上跑得通换到 Windows 开发机、Linux 训练集群、Nvidia Jetson 边缘盒子这三类环境时推理代码要各写一套部署方式完全不同。PaddlePaddle 这套方案的价值在于它把训练和预测的接口统一了同一份模型导出后在 Windows 和 Linux 上用 Paddle Inference 做服务器端推理在 Jetson 上用 Paddle Lite 或者 Jetson 预编译 paddlepaddle wheel 包做边缘推理代码结构基本一致不需要为每个平台重写前处理和后处理逻辑。这篇文章按训练到部署的顺序展开先讲 PaddleSpeech 里语音识别模型怎么选、数据怎么准备再给出一套 Windows 和 Linux 下都能跑的完整训练命令然后重点讲模型导出和跨平台推理的坑最后落到 Jetson 部署时的 TensorRT 加速和内存优化。适合正在做语音识别落地、需要在不同硬件平台之间迁移方案的工程师也适合想把 PaddlePaddle 语音识别从 demo 推向真实场景的团队。2. 模型选型和数据准备Deepspeech2 还是 Conformer2.1 PaddleSpeech 的语音识别模型分层PaddleSpeech 里语音识别模型主要分两类。一类是 Deepspeech2 这种经典结构双向 GRU 加 CTC 解码模型参数少、训练速度快、对机器配置要求低CPU 上也能跑适合资源受限的边缘设备。另一类是 ConformerTransformer 和 CNN 的混合结构用 CTC 加注意力机制联合解码识别准确率明显高一档但参数量大训练至少要一张 12GB 显存的显卡推理时在 Jetson 上需要做 int8 量化才能流畅运行。选型时要先想清楚部署目标。如果最终设备是 Jetson Nano 这种 2GB 内存的开发板Deepspeech2 是务实的选择参数量在 50MB 左右量化后能跑到实时率的 3 到 5 倍。如果设备是 Jetson Orin 或者服务器端推理Conformer 的收益更大尤其是中文长句识别它的上下文建模能力比 GRU 强很多。PaddleSpeech 官方仓库里同时提供了这两类模型的预训练权重和配置文件可以用paddlespeech asr --model conformer这类命令直接下载使用。2.2 数据格式和目录结构规范语音识别训练数据不像 CV 那样随便放个文件夹就能跑PaddleSpeech 要求每个数据集有一个 manifest 文件里面每一行是一条 JSON包含音频路径、时长、文本内容三个字段。以 AISHELL-1 中文数据集为例178 小时的录音切分成 14 万条左右每条音频时长在 1 到 15 秒之间采样率统一为 16kHz。数据目录的常见组织方式是这样的data/ ├── aishell/ │ ├── metadata.jsonl │ ├── wav/ │ │ ├── train/ │ │ ├── dev/ │ │ └── test/ │ └── transcript/ │ ├── train.txt │ ├── dev.txt │ └── test.txtmanifest 里 JSON 字段通常长这样{audio_filepath: data/aishell/wav/train/BAC009S0002W0122.wav, duration: 6.73, text: 而 对 楼 市 成 交 量 的 调 控 目 标}duration字段很重要训练时 PaddleSpeech 会根据它做音频长度分桶把长度相近的样本放在一个 batch 里减少 padding 带来的算力浪费。manifest 格式是 PaddleSpeech 数据预处理的核心常规操作是把原始标注文件的空格分隔符替换成 tab 或者统一为空格再按固定模板生成 JSON 行。这块写个小脚本循环处理就行不需要额外依赖。2.3 特征提取和词表生成PaddleSpeech 默认用 fbank 特征作为模型输入80 维 fbank 加 3 维 pitch 特征。paddlespeech.features模块封装了 Kaldi 风格的提取逻辑直接调用就行不用自己装 kaldi。设备上推理时特征提取也要用同一套参数否则会出现训练和推理输入分布不一致的问题识别效果会明显劣化。词表生成在tools/目录下处理的是中文文本按字切分后的字符集合。中文语音识别的最小建模单元一般是汉字加上空格和特殊符号blank、unk词表大小在 6000 到 8000 之间。命令里的--char参数控制是否按字切分--add_blank参数控制是否在词表首尾添加 CTC 需要的 blank 符号python tools/compute_mean_std.py \ --manifest_path data/aishell/metadata.jsonl \ --num_samples 2000 \ --output_path data/aishell/mean_std.json python tools/build_vocab.py \ --manifest_path data/aishell/metadata.jsonl \ --output_path data/aishell/vocab.txt \ --char \ --add_blankcompute_mean_std.py脚本从 manifest 中采样 2000 条音频计算特征的均值和方差训练时做特征归一化用。build_vocab.py生成词表文件每行一个字符。这两个文件都是后续训练配置里必填的参数路径填错或者格式不对训练启动阶段就会报错。3. Windows 和 Linux 下的训练环境搭建与模型训练3.1 版本匹配和推理引擎选择的坑PaddlePaddle 在 Windows 和 Linux 上的版本分为 CPU 版和 GPU 版用 pip 安装时直接指定版本号。GPU 版注意要和本机的 CUDA 版本匹配比如 CUDA 11.2 对应paddlepaddle-gpu2.5.2CUDA 12.0 对应paddlepaddle-gpu2.6.0。Linux 上还支持 ROCm 版本的 PaddlePaddle适合 AMD 显卡但 PaddleSpeech 里语音识别模型没有针对 ROCm 做专门优化不建议在这个组合上跑训练。Windows 上装 GPU 版 PaddlePaddle 有一个隐藏问题官方 wheel 默认用 MSVC 编译和 MinGW 环境混用会导致 DLL 加载失败。解决方式很简单统一用 Anaconda 或者 Miniconda 管理 Python 环境不要用系统 Python 装 GPU 版。Linux 上也有类似问题但常见的是系统自带的 Python 被多个软件共用site-packages权限混乱导致 import 出错。推理引擎方面Paddle Inference 对 Windows 的支持是静态库方式需要在编译时启用WITH_STATIC_LIBRARY选项。Windows 上部署时建议直接用 Python 预测接口而不碰 C 库注意受限于 Windows 的 DLL 兼容性例如paddle_inference.lib和mkldnn.dll需要放在同一个目录下否则推理初始化时找不到动态库这个问题在 Windows Server 上尤其容易出现。# Linux conda create -n paddle python3.9 conda activate paddle pip install paddlepaddle-gpu2.6.0 -i https://mirror.baidu.com/paddlepaddle-gpu # WindowsPowerShell conda create -n paddle python3.9 conda activate paddle pip install paddlepaddle-gpu2.6.0 -i https://mirror.baidu.com/paddlepaddle-gpu装完后执行python -c import paddle; paddle.utils.run_check()验证能看到PaddlePaddle is installed successfully就说明环境就绪。Windows 上如果动态库加载失败先在系统环境变量 PATH 里加上C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin然后重新验证。Linux 上多卡训练前先跑nvidia-smi确认驱动和 CUDA 版本对应。3.2 训练配置文件结构PaddleSpeech 用 YAML 文件管理训练参数路径在examples/aishell/asr1/conf/目录下。核心参数分四组data 部分指定 manifest 路径和词表路径model 部分指定网络结构参数training 部分指定学习率和 batch sizedecoding 部分指定 CTC 解码的 beam 搜索参数。data: train_manifest: data/aishell/metadata.jsonl dev_manifest: data/aishell/dev.jsonl vocab: data/aishell/vocab.txt mean_std: data/aishell/mean_std.json model: name: deepspeech2 rnn_layers: 3 rnn_size: 1024 use_gru: true training: lr: 0.0008 lr_decay: 0.83 batch_size: 32 num_epoch: 80 num_workers: 4 decoding: beam_size: 10 ctc_weight: 0.5 decode_batch_size: 12 lang_model_path: data/lm/zh_giga.no_cna_cmn.prune01244.klmbatch_size 是训练时最需要关注的可调参数调太小导致显存利用不足梯度更新次数过多调太大导致显存不足。8GB 显存的卡建议设 16 到 24batch_size 翻倍时学习率也要对应乘 1.4 左右否则收敛曲线会明显变差。语言模型路径是可选参数Linux 下可以从 PaddleSpeech 预训练资源里下载也可以不用纯 CTC 解码已经能跑只是中文同音字错误会多一些。Windows 下加载 KenLM 语言模型偶尔会出现 ICU 库缺失的问题建议直接用纯 CTC 解码避开这个坑。3.3 启动训练和实时监控训练入口统一走run.sh用bash run.sh --stage 2 --stop_stage 2指定从哪一步执行到哪一步。stage 0 是数据准备stage 1 是特征提取stage 2 是训练stage 3 是测试。从头跑全套通常用bash run.sh --stage 0 --stop_stage 3中途中断后恢复训练用--resume参数指定 checkpoint 路径bash run.sh --stage 2 --stop_stage 2 --resume checkpoint/deepspeech2/epoch_40训练过程中的 loss 信息和 learning rate 变化会打印到终端同时写进log/train.log可以用tail -f log/train.log实时追踪。每轮 epoch 结束后会在验证集上做一次解码输出 CER字错误率这个指标比 loss 更直观一般 Deepspeech2 在 AISHELL-1 上能到 7% 到 8% 的 CERConformer 能到 5% 左右不到这个水平就要检查是不是数据切分有问题。训练轮数按设备性能灵活调整。80 轮听上去多但 Deepspeech2 在单张 V100 上跑完 AISHELL-1 大约 14 小时教师机上没有 V100用 2080Ti 训练就改为 60 轮或配合混合精度训练压缩时间。PaddleSpeech 支持 fp16 混合精度训练在 YAML 里加一行use_amp: true就能启动Tensor Core 的卡上速度快接近两倍loss 震荡不明显。3.4 Windows 和 Linux 训练行为差异训练代码层面PaddlePaddle 在 Windows 和 Linux 上的 API 行为一致但有两个隐藏差异需要注意。第一Windows 不支持 NCCL 多卡通信paddle.distributed在 Windows 上只能跑单卡代码里如果写了use_hierarchical_allreduce会直接报错训练时要把--gpus参数设置为单卡模式。第二Windows 文件名有路径长度限制默认 260 字符PaddleSpeech 生成的 checkpoint 路径非常长训练到一半容易报文件找不到的错误需要修改注册表LongPathsEnabled开启长路径支持。多卡训练在 Linux 上用下面的命令启动python3 -m paddle.distributed.launch --gpus 0,1,2,3 \ paddle_speech/train.py \ --config conf/deepspeech2.yaml \ --checkpoint checkpoint/ \ --save_epoch 5--gpus指定参与训练的 GPU 卡号--save_epoch控制每隔多少轮保存一次模型参数。多卡训练的 batch_size 是单卡值乘以卡数YAML 里写的 32 在 4 卡情况下实际是每张卡 32总的 batch size 是 128。4. 模型导出与跨平台推理Paddle Inference 和动态图转静态图4.1 动态图训练、静态图部署PaddlePaddle 2.x 默认是动态图模式训练方便、好调试但部署到生产环境要转成静态图因为静态图有完整的计算图结构Paddle Inference 和新版 Paddle Lite 才能做算子融合和存储优化。PaddleSpeech 提供一行命令完成这个转换python3 -u paddle_speech/export.py \ --config conf/deepspeech2.yaml \ --checkpoint_path checkpoint/deepspeech2/epoch_80 \ --output_path export/deepspeech2转换完成后export/deepspeech2目录下生成inference.pdmodel计算图和inference.pdiparams模型参数两个文件。部署时只需要这两个文件不需要 PaddleSpeech 源码和训练配置文件。4.2 用 Paddle Inference 写一个跨平台的预测脚本推理脚本是跨平台的核心。Paddle Inference 的 Python API 在 Windows 和 Linux 上的调用方式完全一致一个脚本两个平台通用。import paddle.inference as paddle_infer import numpy as np import wave def create_predictor(model_dir, use_gpuFalse): config paddle_infer.Config( f{model_dir}/inference.pdmodel, f{model_dir}/inference.pdiparams ) config.enable_memory_optim() if use_gpu: config.enable_use_gpu(512, 0) else: config.disable_gpu() config.enable_mkldnn() config.switch_ir_optim(True) predictor paddle_infer.create_predictor(config) return predictor def load_audio_features(wav_path, target_sample_rate16000): with wave.open(wav_path, rb) as wav_file: sample_rate wav_file.getframerate() frames wav_file.readframes(wav_file.getnframes()) audio_data np.frombuffer(frames, dtypenp.int16).astype(np.float32) / 32768.0 # 特征提取逻辑分帧、加窗、计算 fbank # 这里用 PaddleSpeech 的 features 模块或 kaldiio 完成 features compute_fbank(audio_data, sample_rate, target_sample_rate) return np.expand_dims(features, axis0) def run_inference(predictor, features): input_names predictor.get_input_names() input_handle predictor.get_input_handle(input_names[0]) input_handle.copy_from_cpu(features) predictor.run() output_names predictor.get_output_names() output_handle predictor.get_output_handle(output_names[0]) output_data output_handle.copy_to_cpu() return output_data if __name__ __main__: predictor create_predictor(export/deepspeech2, use_gpuFalse) feats load_audio_features(test.wav) result run_inference(predictor, feats) # 输出是 CTC 序列需要用词表解码成文本 decoded_text ctc_decode(result) print(decoded_text)推理脚本的核心点有三个。一是enable_memory_optim()必须开启它能复用显存和内存缓冲避免多次预测时内存不断增长。二是 CPU 推理时enable_mkldnn()开启后OneDNN 算子加速Deepspeech2 在普通 x86 机器上能快 30% 到 50%。三是输入特征 shape 必须和训练时一致包括 fbank 维度、时间步方向和 batch 维度。语音识别推理时输入输出不确定性比 CV 模型高同一个 batch 内的音频长度不同所以enable_tensorrt这类固定 shape 优化一般不直接开要用动态 shape 模式才安全。5. Nvidia Jetson 开发板预测部署Paddle Lite 与 TensorRT 加速5.1 Jetson 上的 PaddlePaddle 安装方案Jetson 系列开发板用的是 ARM64 架构 CPU 加 Maxwell 到 Ampere 架构 GPU不能直接 pip 安装 x86 的 PaddlePaddle wheel 包。目前 Jetson 上跑 Paddle 的方案有三条路。第一条是用 PaddlePaddle 官方发布的 Jetson 预编译轮子适配 JetPack 5.0 及以上版本但性能优化程度可能低于预期。第二条是用 Paddle Lite 的--targetarm64选项重新编译部署库。第三条是直接在 Jetson 上用源码编译耗时 3 到 5 小时但性能发挥最充分。对落地项目来说推荐第二条方案Paddle Lite 在 ARM 架构上的算子优化更完整。先确认 Jetson 的 JetPack 版本JetPack 5.0 对应 Ubuntu 20.04JetPack 6.0 对应 Ubuntu 22.04然后用下面命令安装# 在 Jetson 上执行 sudo apt update sudo apt install -y cmake build-essential python3-pip pip3 install pillow # 安装 Paddle Lite 预编译 wheel pip3 install paddlelite2.14安装完成后python3 -c import paddlelite验证。Jetson 的 Python 是 3.8JetPack 5.0或 3.10JetPack 6.0下载 wheel 时注意版本对应关系。5.2 模型转换为 Paddle Lite 格式静态图导出的inference.pdmodel不能直接被 Paddle Lite 加载需要先用opt工具做一次转换把 Server 端模型转成更适合端侧推理的格式。Paddle Lite 的 opt 工具可以从 pip 包直接调用# 转换模型格式 python3 -m paddlelite.opt \ --model_fileexport/deepspeech2/inference.pdmodel \ --param_fileexport/deepspeech2/inference.pdiparams \ --model_direxport/deepspeech2 \ --optimize_outdeepspeech2_lite \ --enable_fp16true \ --quant_modeltrue \ --quant_typeQUANT_INT8--enable_fp16控制是否使用半精度存储模型参数--quant_model和--quant_type控制是否做 int8 量化。Jetson 上跑 Deepspeech2建议直接量化到 int8模型体积从 50MB 压缩到 13MB 左右内存占用降到 200MB 以下Jetson Nano 2GB 版本能流畅运行。5.3 Jetson 上的推理代码和性能调优Paddle Lite 在 Jetson 上的预测代码和服务器端有点不同但核心逻辑一致关键的差异点是TargetType指定import paddlelite.lite as lite config lite.MobileConfig() config.set_model_from_file(deepspeech2_lite.nb) config.set_power_mode(lite.PowerMode.LITE_POWER_HIGH) config.set_threads(4) predictor lite.create_paddle_predictor(config) # 设置输入 input_tensor predictor.get_input(0) input_tensor.resize([1, 161, 1000]) input_tensor.set_float_data(features.flatten().tolist()) predictor.run() output_tensor predictor.get_output(0) output_data np.array(output_tensor.get_float_data()).reshape(output_tensor.shape())set_power_mode参数对 Jetson 影响明显LITE_POWER_HIGH会让 GPU 和 CPU 全部拉满性能最好但发热大LITE_POWER_BALANCED适合长时间运行的语音助手场景set_threads(4)在 Jetson Nano 的 4 核 Cortex-A57 上是合理配置线程设多了反而会因竞争降低吞吐。Jetson 上还有一个额外优化就是用 TensorRT 加速推理。TensorRT 只支持固定输入 shape而语音识别输入的时间维度是变化的常用的做法是把特征统一 padding 到固定长度比如 10 秒音频对应 1000 帧用户语音超过 10 秒就分段处理。这种方式第一次加载模型耗时长后续推理能快 2 到 3 倍。# TensorRT 静态图转存在安装了 TensorRT 的 JetPack 上执行 paddle_lite_opt --model_fileinference.pdmodel \ --param_fileinference.pdiparams \ --optimize_outmodel_trt \ --targetarm64 \ --enable_tensorrttrue \ --trt_input_tensor0,1,161,1000 \ --trt_input_shape1,161,1000转换时用--trt_input_shape锁定输入维度这个参数不写对TensorRT 初始化时直接报 shape mismatch。Jetson 上模型第一次加载后序列化为 TensorRT engine 文件存到磁盘上下次启动直接加载可以跳过耗时 seconds 级的构图阶段。6. 部署后的验证三板斧模型在 Jetson 上部署完不要急着接业务先做三个验证步骤能在正式接入前把大部分坑滤掉。第一板斧是核对输入输出的 shape 和数值范围语音识别模型最常见的错误是输入没有做归一化直接传入原始 PCM 数据特征值范围从 -32768 到 32767模型输出全是噪声。正确做法是除以 32768 转成 [-1, 1]再经过 fbank 提取后做 cmvn 归一化。验证时可以构造一个正弦波音频频率 1kHz时长 2 秒。由于没有真实语音内容模型会输出一个高置信度的 blank 序列这表示模型已经在正常输出只是没有有效字符如果输出乱码或者程序崩溃问题大概率在特征提取和输入 tensor 的形状拼接上。可以写一个自动化测试用例来验证推理输出的 shape 是否合法def validate_inference_output(output, expected_shape): assert output.shape expected_shape, \ fOutput shape mismatch: expected {expected_shape}, got {output.shape} # CTC blank id 对应的位置为高置信度说明模型未崩 blank_logits output[0, 0, :] print(fBlank logits mean: {blank_logits.mean():.4f}) # 服务器端调用示例 output run_inference(predictor, synthetic_features) validate_inference_output(output, (1, 11, vocab_size))第二板斧是跑一段真实音频对比服务器端和 Jetson 端输出的 CER 差异。int8 量化后 CER 上升不超过 0.5% 是正常的如果差到 2% 以上回查量化时用的校准数据集是否覆盖了真实场景的噪声类型。校准集最好从实际业务录音里抽 500 条而不是直接用 AISHELL 的测试集噪声分布差异会影响量化后精度。第三板斧是测连续推理的稳定性。语音交互场景往往是持续的唤醒词识别加上间歇的命令识别用一个长音频或循环调用脚本压测 1000 次推理观察内存和延迟曲线是否有逐步上升的迹象。Paddle Lite 在 Jetson 上如果不做set_memory_latency监控偶尔会出现显存碎片导致的分配失败。运行脚本时用 Python 的resource模块记录 RSS 峰值持续运行 24 小时观察是否超过设备总内存的 80%超过就需要检查是否在推理循环里反复创建 predictor 实例。最后一个实用技巧是共享中间结果层。Jetson 上如果同时跑多个模型比如唤醒词模型和识别模型共用同一个前置特征提取阶段可以把 PCM 数据到 fbank 特征这段计算抽出来单独做成一个模块两个模型复用同一份特征数据。Paddle Lite 的 predictor 不具备跨实例共享前端的能力需要自己在业务层做缓存特征计算耗时占比通常到 30% 左右优化掉这部分对整体延迟的改善会非常直观。本文还有配套的精品资源点击获取