新闻详情

新闻详情

首页 / 资讯中心 / 详情

Gemini语音模型升级,开发者怎么接

发布时间:2026/11/13 6:29:02来源:尧图网络
Gemini语音模型升级,开发者怎么接
做语音助手最难的地方不是让机器开口说话而是让它一边说话一边把事办了。过去很多方案把语音识别、对话模型和语音合成串成一条流水线延迟叠加打断后状态也容易丢。Gemini 新发布的 3.8 Live 和 3.8 Live Extended Thinking 直接走原生语音到语音路线试图把这条链路压平。3.8 Live 的定位是能在保持对话的同时执行任务。它支持异步函数调用当用户提出需要查询接口或调用工具的需求时模型可以在后台执行这些调用同时继续向用户输出音频不必等结果返回才开口。这对预订、客服、设备控制这类场景很关键用户不会因为一次后台请求而听到长时间的静默。视觉上下文是另一个新增能力。模型可以把对话建立在实时画面输入之上也就是说它不只听用户说什么还能结合用户看到的画面来理解。带摄像头的移动应用、视频客服、现场巡检辅助都可能从中受益。数字和字母的精确识别也做了加强。确认码、理赔编号、型号、技术参数这类内容一旦听错一个字符就会造成实际错误模型针对这类输入做了优化。多语言方面覆盖 97 种以上语言并强调口音一致性意味着同一个应用可以面向不同地区的用户而不必为每种口音单独调优。增量内容更新解决的是另一类麻烦把实时音频和结构化数据合在一起。比如用户在通话中查询订单状态模型可以在对话流里自然地插入最新数据而不是生硬地念一段模板。如果任务本身比较复杂3.8 Live Extended Thinking 提供可配置的思考能力在后台处理多步推理同时可以在主对话中回应或播报进度。这一点对需要查多个来源、做多步判断的语音代理比较实用。官方称这两个模型相比此前的实时模型是一次明显跃升并且比级联式架构更简洁。价格方面音频输入为每分钟 0.005 美元音频输出为每分钟 0.018 美元。对于需要长期在线的语音应用来说这个量级需要开发者自己按调用时长估算成本。接入方式上模型通过 Live API 提供。媒体流传输这类基础设施不必自己从零搭Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel 和 Vision Agents 都是集成伙伴开发者可以按现有技术栈选择。转写侧的能力由 3.5 Transcribe 承担。它是一个专门的语音转文字模型上个月发布流式词错率平均 4.0%非流式 2.6%覆盖 85 种以上语言。对于字幕、呼叫中心记录、实时音频分析这类无状态任务它更像一台稳定的听写引擎。它有三个值得注意的功能。自动语码转换可以在句子内部或句子之间处理语言切换不需要手动配置这对中英混说的场景很实用。自定义词汇偏置允许传入最多 1000 个词条把识别结果往特定术语、行业黑话、公司名和专有名词上引导。智能转写模式则输出更整洁的文本处理自我纠正、去掉口头禅和填充词适合直接给读者看的稿件。除了流式转写3.5 Transcribe 还可以通过 Interactions API 转写最长 1 小时的音频文件并输出结构化时间戳和说话人标注。会议记录、访谈整理这类离线场景可以走这条路。如果想把语音能力补齐Gemini API 里还有几个配套模型3.5 Live Translate 做 70 多种语言的语音到语音翻译3.1 Flash TTS 负责可配置的语音生成Lyria 3.5 用于音乐生成。实际接入时有几个取舍需要提前想清楚。异步函数调用虽然避免了静默但后台任务失败时如何告知用户需要自己设计兜底话术。视觉上下文会带来额外的数据上传和隐私处理问题涉及摄像头时合规评估不能省。自定义词汇偏置的词条列表要控制质量塞进太多低相关词反而可能干扰识别。至于选 3.8 Live 还是 Extended Thinking取决于任务是否需要多步推理简单问答用前者延迟更低复杂流程再考虑后者。开发者可以先在 AI Studio 的实时界面里试模型也可以从 GitHub 克隆示例应用或者给现有代理装上 Live API 技能。语音应用的体验差距往往就藏在打断、延迟和错误恢复这几个细节里模型能力只是起点。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/13 0:43:49

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/12 23:59:09

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/12 9:50:02

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/12 9:25:38

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/12 15:57:44

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/13 0:02:27

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉