标题NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities来源arXiv, 2609.21967v1️文章简介研究问题现有的语音助手大多是“半双工”的必须等用户说完话才能回应且难以在保持实时对话流畅性的同时调用外部工具如何解决这一矛盾并实现真正的全双工交互主要贡献论文提出了NemotronLabs VoiceChat这是一个开源的全双工语音到语音模型能在统一架构中实现低延迟的实时对话、用户语音转录以及原生工具调用能力。重点思路采用统一的流式架构包含流式语音编码器、仅解码器的语言模型和流式TTS解码器避免了传统级联系统的高延迟。设计并行专用输出流将代理文本回复、结构化函数调用和用户增量转录分开处理互不干扰确保工具调用不阻塞对话节奏。引入辅助RNN-T分支共享语音编码特征进行实时的用户语音转录既保证了转录与上下文同步又保留了直接的语音条件响应路径。通过特定的状态机协议处理工具调用使用特殊的边界令牌标记工具调用的开始和结束并在工具执行期间播放预设的填充消息以掩盖延迟。训练分为持续预训练和监督微调两个阶段利用伪对话数据和精心设计的混合数据集平衡通用智能、对话自然度、转录准确性和工具调用能力。分析总结在全双工基准测试中该模型在处理用户打断时表现优异接管率达到100%且在打断后的回复质量评分高达4.33/5优于多数开源及部分闭源系统。在处理用户反馈词如“嗯哼”时模型能以93%的概率正确恢复之前的回答而不是错误地重新回应展现了极佳的对话连贯性。在通用智能评估VoiceBench上取得了55.1的标准化平均分显著优于Moshi等同类开源全双工模型证明其在保持实时性的同时未牺牲智力。在工具调用基准FDB 3.0上工具选择F1分数达到82.5%优于Gemini Live的部分版本但在参数提取准确性和端到端执行成功率上仍有提升空间。实验表明通过并行流设计和优化的推理运行时模型能够在单张H100 GPU上实现低延迟的实时并发处理验证了架构的高效性。个人观点论文通过“并行车道”的设计让说话、听话、思考和调工具同时进行保留了人类对话中插话、重叠的自然感。