人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载本篇技术指南围绕 ESPnet2 仓库中的 Switchboard 对话行为Dialogue ActDA分类实验展开对应 recipe 为 egs2/swbd_da/asr1。文章以该 recipe 的 RESULTS 实验报告为主线结合数据准备、训练脚本与四组核心配置文件完整复现对话行为分类如何借助 ASR 解码器实现的技术路径。读完本文你将掌握SwDA 语料的上下文拼接数据准备方式、以 HuBERT 为代表的 s3prl 预训练前端在 ESPnet2 中的接入与冻结方法、BERT post-encoder 的配置方式以及对话行为分类准确率的评估脚本原理。任务背景把对话行为分类当作 ASR 任务来做Switchboard 是美国英语电话语音语料其配套的 NXT 标注LDC2009T26为每一段话语标注了细粒度的对话行为标签如提问、答复、赞同等遵循 SWBD-DAMSL 标注体系。对话行为分类Dialogue Act Classification的任务就是给定一段语音预测其对应的对话行为类别。ESPnet2 中 egs2/swbd_da/asr1 这个 recipe 的实现思路非常直接将对话行为标签作为文本序列的首个 token 与 ASR 转录文本一同训练一个词级word-levelASR 模型推理时贪婪解码输出的第一个词即分类结果。这一点可以从源码得到印证数据准备脚本 local/data_prep.py 写出的text行格式为uttid DA标签 转录文本即标签与转录同处一行评估脚本 local/score.py 从hyp.trn/ref.trn中取行首第一个词作为预测标签与参考标签比较命中率即分类准确率local/score.sh 通过sed s/Intent/Dialog Act/g把脚本输出中的 Intent 字样替换为 Dialog Act说明这套评分逻辑继承自 ESPnet 的意图识别SLUrecipe 体系。因此该 recipe 实际上是语音对话行为理解Speech DA Understanding的端到端方案训练与推理完全复用 asr.sh 流水线无需单独设计分类头。实验总览README 中的四组 RESULTSREADME.md由scripts/utils/show_asr_result.sh自动生成记录了四组实验结果全部以Dialogue Act Classification%作为指标测试集 2379 句、验证集 8117 句实验配置数据集解码目录Snt分类准确率 (%)Conformer HuBERT pre-encoder SpecAugment 速度扰动 3 句上下文decode_asr_asr_model_valid.loss.ave/test237966.3Conformer SpecAugment 速度扰动decode_asr_asr_model_valid.loss.ave/test237952.9Transformer encoder-decoder 词级 tokendecode_asr_asr_model_valid.acc.best/test237951.9Transformer bert-base-casedNLU post-encoder 词级 tokendecode_asr_asr_model_valid.acc.best/test237935.9验证集valid上的对应结果分别为 69.5%、56.1%、56.8%、39.4%。四组实验对应的配置文件均位于 conf/tuning/ 下train_asr_conformer_hubert.yamltrain_asr_conformer.yamltrain_asr_transformer.yamltrain_asr_transformer_postencoder.yaml其中最佳实验Conformer HuBERTtest 66.3%的预训练模型以akreal_swbd_da_hubert_conformer为名发布于 Zenodo 与 Hugging Face HubREADME 中给出入口可直接下载权重进行推理复现。数据准备从 LDC 语料到3 句上下文拼接依赖语料与启动入口数据准备需要两份 LDC 资源Switchboard 音频LDC97S62与 NXT 对话标注LDC2009T26。它们的路径在 db.sh 中通过SWBD/SWBD_NXT两个变量配置由 local/data.sh 检查并在 stage 1 调用python3 local/data_prep.py --context ${context} ${SWBD}/LDC97S62 ${SWBD_NXT}/LDC2009T26其中--context默认为 0表示不使用上下文run.sh 中实际使用的是--context 3。data_prep.py 的核心逻辑local/data_prep.py 解析 NXT 的 XML 标注并生成 ESPnet 标准的text、wav.scp、utt2spk三个数据文件关键步骤包括说话人与声道映射从corpus-resources/dialogues.xml解析每个对话的说话人角色A/B映射声道channel {A: 1, B: 2}词时间戳提取读取terminals/{dialogue_id}.{role}.terminals.xml过滤掉non-aligned/n/a时间戳的词对话行为切分读取dialAct/{dialogue_id}.{role}.dialAct.xml每个da元素取其niteType属性作为标签跳过值为excluded的片段并利用首尾词时间戳计算该话语的起止时间与时长时长小于 0.005 秒的片段被丢弃上下文拼接核心当context 0时对当前话语向前回溯 N 个话语用 sox 命令逐段裁剪后拼接为一条音频例如 3 句上下文时生成形如sox ${sph} -r 16k -t wav -c 1 -b 16 -e signed - trim start dur remix channel | ...的管道命令多段按顺序拼接写入wav.scp数据划分训练/验证/测试划分直接使用 local/train.lst、local/valid.lst、local/test.lst 中的对话列表该划分源自 Lee DernoncourtNAACL 2016的论文设定代码注释中说明。拼接后的上下文话语会带上_context3后缀如train_context3与 run.sh 中的数据集命名保持一致。上下文信息为模型提供了对话轮次的语义线索这是最佳实验能拿到 66.3% 的关键前置条件之一。训练流水线run.sh 关键参数解读run.sh 是整个 recipe 的入口调用./asr.sh时传入的核心参数如下./asr.sh \ --lang en \ --ngpu 1 \ --use_lm false \ --token_type word \ --max_wav_duration 30 \ --speed_perturb_factors 0.9 1.0 1.1 \ --asr_config conf/train_asr.yaml \ --inference_config conf/decode_asr.yaml \ --inference_asr_model valid.loss.ave.pth \ --local_data_opts --context 3 \ --asr_stats_dir exp/asr_stats_context3_raw_en_word_sp \ --train_set train_context3 \ --valid_set valid_context3 \ --test_sets test_context3 valid_context3 \ --feats-normalize null $context3数据集使用 3 句上下文拼接版本--token_type word词级 token对应 Transformer 实验标题中的 word token type--use_lm false不训练语言模型评分与解码不引入 LM 权重--speed_perturb_factors 0.9 1.0 1.1三倍速度扰动数据增强--max_wav_duration 30上下文拼接后单条音频最长 30 秒超出部分会被过滤/截断--inference_asr_model valid.loss.ave.pth取验证集 loss 平均模型用于解码--feats-normalize null不进行全局 CMVN 归一化HuBERT 前端特征场景下常见做法。注意conf/train_asr.yaml的内容与 train_asr_conformer_hubert.yaml 完全一致即默认训练配置就是 Conformer HuBERT 前端的最佳实验配置。四组配置文件纵深拆解基线 1Transformer encoder-decoder 词级 tokentrain_asr_transformer.yaml 是轻量基线encoder: transformer encoder_conf: output_size: 256 # dimension of attention attention_heads: 4 linear_units: 2048 # the number of units of position-wise feed forward num_blocks: 12 # the number of encoder blocks dropout_rate: 0.1 input_layer: conv2d normalize_before: true decoder: transformer decoder_conf: attention_heads: 4 linear_units: 2048 num_blocks: 6 dropout_rate: 0.1 model_conf: ctc_weight: 0.0 max_epoch: 10要点编码器注意力维度 256、4 头、12 层ctc_weight: 0.0表示纯注意力attention训练不使用 CTC 辅助损失max_epoch: 10训练轮数较少。该配置在 test 上得到 51.9%。基线 2Conformer SpecAugment 速度扰动train_asr_conformer.yaml 将编码器升级为 Conformer12 层、output_size 512、8 头、FFN 2048、macaron_style: true、pos_enc_layer_type: rel_pos、cnn_module_kernel: 31、activation_type: swish并启用 SpecAugmentfrontend_conf: n_fft: 512 hop_length: 256 specaug: specaug specaug_conf: apply_time_warp: true time_warp_window: 5 time_warp_mode: bicubic apply_freq_mask: true freq_mask_width_range: [0, 30] num_freq_mask: 2 apply_time_mask: true time_mask_width_range: [0, 40] num_time_mask: 2相比 HuBERT 版本配置的batch_bins为 7000000更大因无大模型前端占用显存keep_nbest_models: 4并显式关闭标签平滑与长度归一化损失lsm_weight: 0.0、length_normalized_loss: false。该配置 test 52.9%比 Transformer 基线提升约 1 个百分点。最佳配置Conformer HuBERT 预训练前端train_asr_conformer_hubert.yaml即默认conf/train_asr.yaml是 README 中表现最好的实验test 66.3%其区别于前两者的核心是 s3prl 预训练前端与线性 pre-encoderfreeze_param: [ frontend.upstream ] frontend: s3prl frontend_conf: frontend_conf: upstream: hubert_large_ll60k # Note: If the upstream is changed, please change the input_size in the preencoder. download_dir: ./hub multilayer_feature: True preencoder: linear preencoder_conf: input_size: 1024 # Note: If the upstream is changed, please change this value accordingly. output_size: 80逐项解读frontend: s3prl前端切换为 s3prl 提供的自监督语音表示提取器upstream: hubert_large_ll60k使用在 60k 小时 Libri-Light 上预训练的 HuBERT-large 模型权重自动下载到download_dir: ./hubmultilayer_feature: True融合 HuBERT 多层隐层特征而非仅最后一层preencoder: linear由于 HuBERT 输出 1024 维先经线性层压缩到 80 维再进入 Conformer 编码器input_size: 1024必须与所选 upstream 的隐层维度一致配置注释明确提醒了这一点freeze_param: [frontend.upstream]冻结 HuBERT 上游权重仅训练线性 preencoder 及其后的 Conformer/Decoder既大幅降低显存与计算开销也避免预训练特征在数据量较小的 SwDA 上被破坏extract_feats_in_collect_stats: falsestats 收集阶段stage 10不真正前向推前端生成特征而是生成哑元 stats 文件配置内注释说明避免为统计 CMVN 而重复跑一遍 HuBERT 推理训练细节batch_bins: 4000000、max_epoch: 35、Adam lr 1e-4 warmuplrwarmup_steps 25000、best_model_criterion: valid loss min、keep_nbest_models: 7。从结果看把 fbank 替换为冻结的 HuBERT 自监督特征使 test 准确率从 52.9% 提升到 66.3%13.4 个百分点说明预训练语音表示对对话行为分类这类语义任务帮助显著。反向实验Transformer BERT post-encodertrain_asr_transformer_postencoder.yaml 在 Transformer 编码器之后追加一个 Hugging Face Transformers 模型作为 post-encoderpostencoder: hugging_face_transformers postencoder_conf: model_name_or_path: bert-base-cased配置注释指出理论上 bert、gpt2、xlnet、roberta、mpnet、t5、bart 等大部分模型均可使用但 xlnet 目前仅支持单 GPU 训练。该实验在 test 上仅得到 35.9%比不加 post-encoder 的 Transformer 基线51.9%明显更低。需要说明的是该差异的具体机理如 post-encoder 与 ASR 特征空间的适配、训练轮数等无法仅从仓库源码直接确认这里只呈现 README 记录的客观结果在此配置设定下BERT post-encoder 对对话行为分类准确率产生了负面作用。解码配置贪婪解码即分类conf/decode_asr.yaml 极简lm_weight: 0.0 ctc_weight: 0.0 beam_size: 1 maxlenratio: -1beam_size: 1束搜索宽度为 1即贪婪解码。结合标签是首个 token的设计解码输出的第一个词就是对话行为预测无需任何后处理即可直接评分lm_weight: 0.0/ctc_weight: 0.0不引入 LM 与 CTC 分数maxlenratio: -1输出长度不受输入长度比例约束避免截断上下文话语对应的长输出序列。评估score.sh / score.py 如何计算 DA 准确率推理完成后使用 local/score.sh 评分其用法为local/score.sh asr-exp-dir valid_inference_folder test_inference_folder脚本默认定位decode_asr_asr_model_valid.loss.ave/valid_context3/与decode_asr_asr_model_valid.loss.ave/test_context3/并调用 local/score.py读取每个解码目录下score_wer/hyp.trn与score_wer/ref.trnESPnet 标准评分产物逐行取首列第一个词作为预测标签与参考标签逐句比较并统计错误数返回1 - error / total作为分类准确率分别打印 Valid / Test 两个结果同时写出去掉标签的hyp_asr.trn/ref_asr.trn供后续 ASR 转录质量分析使用。因此 README 中的 Dialogue Act Classification (%) 就是上述逐句标签命中率Snt 一列即参与评分的句数test 2379、valid 8117。该脚本还支持通过--utterance_test_folder传入未见话语测试目录输出对应结果。结果解读与工程启示将四组实验放在一起可以得到清晰的对比结论自监督预训练前端收益最大Conformer 冻结 HuBERT-large 特征66.3%比同架构 fbank52.9%高出 13.4 个百分点远超架构升级Transformer→Conformer约 1 个百分点带来的提升上下文信息是任务设定的一部分最佳实验明确使用了 3 句上下文拼接--local_data_opts --context 3data_prep.py 的上下文回溯拼接逻辑为此提供了数据基础标签即首词范式工程化整个 recipe 复用标准 ASR 训练/解码/评分流水线仅通过 text 格式约定与首词比较完成分类任务零额外模型代码post-encoder 需谨慎在 README 记录的配置下BERT post-encoder 反而显著拉低准确率说明外部 NLU 模型的接入时机、冻结策略与训练轮数需要针对任务仔细调优不能想当然地叠加。如需进一步深入可继续阅读 recipe 源码run.sh、local/data_prep.py、local/score.py以及 ESPnet2 训练主脚本 asr.sh自监督前端相关实现可参考 espnet2 下的 frontend 与 preencoder 模块s3prl / linear 的注册与参数解析均在其中。赞分享人工智能语音音频深度学习NLP【免费下载链接】espnetEnd-to-End Speech Processing Toolkit项目地址https://gitcode.com/gh_mirrors/es/espnet点击查看免费下载相关推荐ESPnet 端到端日语对话语音识别与对话行为联合建模实践jdcinal 配方深度解析ESPnet 端到端日语对话语音识别与对话行为联合建模实践jdcinal 配方深度解析 本文以 ESPnet 仓库中 egs2/jdcinal/asr1 ht人工智能语音音频深度学习NLPSpeechBrain 实战基于 wav2vec2 与 CTC 的 Switchboard 英文电话对话语音识别SpeechBrain 实战基于 wav2vec2 与 CTC 的 Switchboard 英文电话对话语音识别 本篇技术指南围绕 SpeechBrain 仓人工智能深度学习语音音频NLP预训练使用 vLLM-Omni 离线运行 MiMo-AudioTTS、语音理解与多轮对话的端到端推理实战使用 vLLM Omni 离线运行 MiMo AudioTTS、语音理解与多轮对话的端到端推理实战 本文基于 vLLM Omni 仓库中的离线推理示例 ex人工智能大模型模型推理服务多模态语音音频媒体生成本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考