Audio8 ASR Infinite 配置详解逐行读懂 config.json 里的全部流式参数【免费下载链接】Audio8-ASR-Infinite项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-ASR-InfiniteAudio8 ASR Infinite 是一个原生流式语音识别模型支持 80/120/160 ms 音频时钟与 240–560 ms 可配置转写延迟可借助滚动 KV 缓存实现 24/7 不间断转写而不漂移。想调好它关键就是读懂 config.json 里的流式参数。本文带你逐行拆解每一个字段帮你快速完成流式语音识别配置。先认识这个仓库每个文件是干什么的 ️文件作用config.json模型主配置音频塔、文本解码器、全部流式参数本文主角configuration_audio8_asr_infinite.py配置类定义与参数校验逻辑trust_remote_code时加载modeling_audio8_asr_infinite.py模型本体实现preprocessor_config.json音频特征提取参数16 kHz、128 meltokenizer_config.json分词器与流式专用特殊 tokengeneration_config.json生成行为默认值model.safetensors / model.safetensors.index.json主权重8.17 GBbfloat16与权重索引semantic_vad_heads.safetensors语义 VAD 分类头权重chat_template.jinjaQwen 对话模板README.md项目说明、评测与部署方式加载时 config.json 的auto_map会自动挂载上面两个 Python 文件所以这个 checkpoint 必须以完整权重目录 信任远程代码的方式加载。config.json 三大区块音频塔、投影器、文本解码器打开 config.json可以把它分成三层理解{ model_type: audio8_asr_infinite, audio_config: { ... }, // 音频编码器Voxtral Realtime 风格 text_config: { ... }, // 文本解码器Qwen2.5-3B-Instruct ... // 顶层流式参数集中营 }audio_config音频塔参数参数值含义hidden_size1280音频塔隐层宽度32 层config.jsonnum_mel_bins128梅尔频谱维度与特征提取器一致max_position_embeddings1500约 30 秒原生上下文1500 token × 20 mssliding_window750滑动窗口注意力省显存streaming_n_left_pad_tokens18流式推理时的左侧历史保留 token 数rope_theta1000000旋转位置编码基频利于长序列外推text_configQwen2.5-3B 解码器解码器继承自Qwen2.5-3B-Instructconfig.json36 层、隐层 2048、16 个查询头 / 2 个 KV 头GQA 结构max_position_embeddings为 32768词表 151936。tie_word_embeddings: true表示词嵌入与输出层共享权重更省内存。 音频塔负责听懂声音解码器负责写出文字中间靠一个投影器projector衔接下一节的顶层参数大多是给这条流水线服务的。顶层流式参数逐行拆解 这是全文最核心的部分。这些字段共同定义了模型多久做一次决策、看多远、延迟多少。音频时钟audio_tower_frame_ms与supported_frame_lens参数值说明audio_tower_frame_ms20音频塔的最小时间分辨率20 ms/tokensupported_frame_lens4 / 6 / 8支持每 4、6、8 个音频 token 做一次文本决策audio_length_per_tok8每个文本 token 默认对应的音频 token 数把frame_len乘以 20 ms就得到三种可选的音频时钟frame_len音频时钟每秒决策次数定位480 ms12.5 次最灵敏资源开销最高6120 ms8.3 次均衡8160 ms6.25 次最省资源校验逻辑在 configuration_audio8_asr_infinite.py 的resolve_frame_len中你传入的streaming_frame_ms必须是 20 ms 的整数倍且换算出的frame_len必须落在[4, 6, 8]里否则直接报错。转写延迟target_delay_ms与num_delay_tokens_by_frame_len这是流式识别里延迟换准确率的调节旋钮target_delay_ms列出240 / 320 / 480 / 560四档可选延迟。num_delay_tokens_by_frame_len是一张延迟换算表把毫秒延迟换算成延迟 token 数。例如 80 ms 时钟下480 ms ÷ 80 ms 6个延迟 token120 ms 时钟下240 ms ÷ 120 ms 2个。换算与合法性校验的源码在 configuration_audio8_asr_infinite.py 的resolve_num_delay_tokens中规则只有一条target_delay_ms必须是所选时钟的整数倍。⚠️ 注意default_num_delay_tokens为null意味着推理时必须显式传入num_delay_tokens模型不会替你猜见 modeling_audio8_asr_infinite.py。优化运行点速查表 不是所有组合都经过后训练调优。以下是官方推荐的frame_lentarget_delay_ms组合摘自 README.md音频时钟frame_lenstreaming_n_left_pad_tokens推荐 target_delay_ms80 ms418240 / 320 / 480 / 560120 ms612240 / 480160 ms89320 / 480对应streaming_n_left_pad_tokens_by_frame_len左侧保留的音频上下文 token 数随时钟变长而递减——时钟越长每步看到的信息越多需要的历史反而越少。帧长嵌入use_frame_len_embedding与projection_size参数值说明use_frame_len_embeddingtrue开启帧长条件化告诉模型当前跑在哪个时钟上max_frame_len8最大帧长取supported_frame_lens的最大值projection_size10240 音频塔 hidden 1280 × 最大帧长 8自动推导逻辑见 configuration_audio8_asr_infinite.py投影器会把最多 8 个音频 token 拍平成一段再投影到文本空间所以1280 × 8 10240。帧长嵌入则让同一套权重在三种时钟下都能精准工作。语义 VADsemantic_vad_horizons_seconds与semantic_vad_num_classes这是 Audio8 区别于传统声学 VAD 的亮点 semantic_vad_horizons_seconds为[0.5, 1.0, 2.0, 3.0]四个前瞻窗口。每个窗口配一个分类头预测未来这段时间内还会出现多少个语义单元。semantic_vad_num_classes为8分类取值 0–7其中类别 0 代表本轮结束实时客户端靠对它设阈值来判断用户是否真正说完。这样模型能区分思考中的停顿、口吃、真正的结束——传统声学 VAD 恰恰在这些场景下会失效。对应权重独立存放在 semantic_vad_heads.safetensors 中头部的挂载与输出逻辑在 modeling_audio8_asr_infinite.py。设计契约类 0 为结束轮写在 configuration_audio8_asr_infinite.py 的注释里。如果配置中这两个字段为null就表示这是一个纯转写 checkpoint不带 VAD 头——纯转写权重完全不受影响。其余字段格式版本与精度参数值说明weight_format_version2权重格式版本号加载校验 不匹配会要求先转换 checkpointdtype/audio_config.dtypebfloat16训练与推理精度显存友好bos/eos/pad_token_id151644 / 151645 / 151643特殊 token 位置与 Qwen2 词表一致tokenizer_classQwen2Tokenizer分词器类型配套文件里的隐藏流式细节 preprocessor_config.json16 kHz、128 melpreprocessor_config.json 定义了音频预处理采样率 16000 Hz、n_fft400、hop_length160每帧正好 10 ms × 2 20 ms与音频塔对齐、feature_size128 与音频塔的num_mel_bins完全一致。padding_side: right保证流式场景下历史始终左对齐。tokenizer_config.json四个流式专用特殊 tokentokenizer_config.json 中的extra_special_tokens藏着流式机制的线索[STREAMING_PAD]/[STREAMING_WORD]流式解码中这步无新词与产出词的占位信号[LANGUAGE_ZH]/[LANGUAGE_EN]中英双语标记推理时指定语言generation_config.json极简但有用generation_config.json 只有use_cache: true、EOS 等默认值——流式场景的实际生成参数延迟 token 数、语言由调用方显式控制而不是靠这里。常见问题 FAQ ❓Q1推理时num_delay_tokens可以省略吗不行。default_num_delay_tokens为null必须显式给出如 80 ms 时钟 480 ms 延迟 →480 ÷ 80 6。Q2streaming_frame_ms可以填 100 ms 吗不行。它必须能被 20 ms 整除且换算出的 frame_len 落在 4/6/8 中否则resolve_frame_len会抛出异常。Q3为什么target_delay_ms只能是 80/120/160 的整数倍延迟以延迟 token为单位实现1 个 token 1 个时钟步长所以毫秒延迟必须恰好对应整数个时钟步。Q4改了 config.json 里的时钟参数能换模型吗不建议。表中的组合是后训练过的优化运行点随意组合虽然不报错但效果无法保证最优。写在最后 ✍️读懂 config.json 的关键在于抓住三条主线音频时钟frame_len→ 延迟换算target_delay_ms → num_delay_tokens→ 左侧上下文streaming_n_left_pad_tokens再叠加语义 VAD 的四个前瞻头。把 80 ms 时钟 480 ms 延迟作为默认起点再按延迟预算和硬件资源在三种时钟间取舍就能充分发挥 Audio8 ASR Infinite 又快又稳的流式语音识别能力。完整参数校验逻辑可对照 configuration_audio8_asr_infinite.py 阅读部署方式vLLM Docker Compose、Torch 模拟流式解码见 README.md。【免费下载链接】Audio8-ASR-Infinite项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-ASR-Infinite创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考