新闻详情

新闻详情

首页 / 资讯中心 / 详情

Audio8 ASR Infinite 基准测试解读:中文流式识别误差为何骤降 10 倍

发布时间:2026/11/18 17:00:54来源:尧图网络
Audio8 ASR Infinite 基准测试解读:中文流式识别误差为何骤降 10 倍
Audio8 ASR Infinite 基准测试解读中文流式识别误差为何骤降 10 倍【免费下载链接】Audio8-ASR-Infinite项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-ASR-InfiniteAudio8 ASR Infinite 是一个原生流式语音识别ASR模型支持中英双语实时转写。它的官方基准测试显示在 aishell1 中文测试集上字错误率CER仅为1.750%而同等流式条件下的 Voxtral-Mini-4B-Realtime 为 16.795%——误差直接缩小了约 10 倍。这篇指南带你读懂这份基准测试数据背后的含义、架构原理和三个可调配置项。一、先看结论基准测试数据一览官方在 80ms 音频时钟、target_delay_ms 480即等待 480 毫秒再输出对应文字的设置下用贪心解码跑了以下测试测试集指标Audio8 ASR InfiniteVoxtral-Mini-4B-Realtimenemotron-3.5-asr-streaming-0.6baishell1/test中文CER1.75016.79512.927 560msaishell4/test中文CER2.89316.45614.677 560mslibrispeech test.clean英文WER3.0422.2103.353 560mslibrispeech test.other英文WER6.8085.5527.140 560ms四组平均3.62310.2532 组9.524数据来自 README.md 的 Evaluation 一节。几个关键读法“骤降 10 倍”从哪来aishell1 上 16.795 → 1.750误差缩小约 9.6 倍约等于“降了 10 倍”aishell4 上也缩小了约 5.7 倍。中文场景优势明显。公平性注意对比模型标注的是560ms延迟而 Audio8 用的是 480ms——更短的等待时间反而更低的误差率含金量更高。英文是短板两组 Librispeech 上 Audio8 均不敌 Voxtral3.042 vs 2.210。它的优势集中在中文流式场景。二、误差为什么能降这么多三个架构原因1. 更快的“感知时钟”每秒解码 12.5 次普通流式 ASR 往往每隔几百毫秒才决策一次Audio8 选择了80ms 音频时钟——每 80ms 音频就产出一个文本 token即每秒做 12.5 次识别决策。感知粒度更细漏字、错字的概率自然下降。对应的配置可以在 config.json 中看到streaming_frame_ms、frame_lens: [4, 6, 8]分别对应 80/120/160ms 三档时钟。2. 延迟可配置用多少等待换多少精度target_delay_ms控制“听到音频后等几毫秒再输出文字”。config.json 中的num_delay_tokens_by_frame_len把延迟换算成了具体 token 数例如 80ms 时钟下目标延迟240ms320ms480ms560ms延迟 token 数3467延迟越长模型能参考的音频上下文越多通常越准——但它把 240~560ms 都做成了可选项让你在不同业务场景下自行权衡“响应快”和“识别准”。3. 滚动 KV Cache长录音不漂移标题里的 “Infinite” 就体现在这里传统流式模型转写越久KV 缓存越长显存和延迟会持续膨胀。Audio8 使用Rolling KV Cache 精确 RoPE 重基化把上下文窗口滚动固定在约 30 秒显存和延迟恒定可以 24/7 不间断转写长音频而不会漂移。模型结构细节见 modeling_audio8_asr_infinite.py 的文件头注释——它继承了 Voxtral Realtime 的延迟条件机制延迟 token 数 → 正弦时间嵌入 → 逐层自适应 MLP → 注意力后隐层缩放。三、顺手了解语义 VAD 解决“什么时候该停”传统声学 VAD 只能判断“有没有声音”分不清思考停顿、口吃、真正的发言结束。Audio8 额外训练了一个语义 VAD 头semantic_vad_heads.safetensors在 0.5s / 1.0s / 2.0s / 3.0s 四个未来时间点上各有一个 8 分类器预测接下来会出现多少个语义单元——第 0 类就是“该断句了”。这让实时对话系统能精准地在真正句尾切分而不是把思考停顿误判成结束。四、上手提示选择推荐的“时钟 × 延迟”组合并非所有组合都经过后训练调优官方推荐这三组见 README.md 的 Optimized operation points音频时钟frame_len推荐 target_delay_ms适合场景80 ms4240 / 320 / 480 / 560追求最低误差基准测试配置120 ms6240 / 480均衡响应与精度160 ms8320 / 480资源受限环境 经验法则中文转写优先选 80ms 时钟 480ms 延迟基准测试同款配置对实时性极敏感的客服/会议场景可降到 240ms用少量精度换速度。模型本体为 8.17 GB 的 model.safetensorsbfloat16音频塔 32 层 Qwen2.5-3B-Instruct 36 层解码器整体约 4B 级别参数规模。五、小结 中文流式识别误差率骤降 10 倍aishell1 CER 从 16.8% 降到 1.75%且延迟还更短480ms vs 560ms代价是英文场景仍略逊于 Voxtral-Mini-4B-Realtime80ms 时钟12.5 次/秒决策 可配置延迟 滚动 KV Cache是低误差与“无限时长”同时成立的关键面向实时对话、会议转写、客服录音等中文为主的流式场景这是目前值得重点评估的开源方案之一如需实际部署官方推荐 Docker Compose 方式一键启动README 中“24/7 inference with vLLM”一节配合 Web 客户端即可体验实时转写效果。【免费下载链接】Audio8-ASR-Infinite项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-ASR-Infinite创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉