新闻详情

新闻详情

首页 / 资讯中心 / 详情

Ever Gauzy 接入 ElevenLabs Scribe:语音转写(Dictation)AI Provider 插件完整指南

发布时间:2026/11/22 17:03:04来源:尧图网络
Ever Gauzy 接入 ElevenLabs Scribe:语音转写(Dictation)AI Provider 插件完整指南
后端前端企业应用MCP 服务【免费下载链接】ever-gauzyEver® Gauzy™ - Open Business Management Platform (ERP/CRM/HRM/ATS/PM) - https://gauzy.co项目地址https://gitcode.com/GitHub_Trending/ev/ever-gauzy点击查看免费下载Ever Gauzy 的 AI 聊天引擎gauzy/plugin-ai-chat通过插件化的 Provider 注册机制接入多家语音与聊天模型厂商。gauzy/plugin-ai-provider-elevenlabs正是其中专门负责ElevenLabs Scribe 语音转写speech-to-text的 Provider 插件它在应用启动时把elevenlabs注册进AiProviderRegistry为 AI 聊天的语音输入dictation功能提供音频转录能力。读完本文你将掌握该插件的定位、两个环境变量的含义、Scribe 语音模型的选择方式、BYOK自带密钥与全局环境变量的优先级关系以及底层transcribeMultipart请求是如何被构造与安全加固的。插件定位只做语音转写不参与聊天与 Anthropic、OpenAI 等既做聊天又做语音的 Provider 不同ElevenLabs 插件是一个voice-only仅语音的 Provider它在启动时向聊天引擎的AiProviderRegistry注册elevenlabschatCapable: false即永远不能被选为聊天模型它可以被租户设为默认语音 Providerdictation 转写通道但模型选择器里不会出现它的聊天选项。这一设计在 Provider 定义里体现得非常直白。查看 ai-provider-elevenlabs.provider.ts 可以看到models为空数组、defaultModel为空字符串而createModel()被实现为一个永远抛错的占位方法提示语为 ElevenLabs is a speech-to-text provider and cannot serve chat — select another provider for chat.。也就是说即使某个租户保存了 ElevenLabs 的密钥聊天引擎也不会把它当作可用的聊天模型。插件如何被装载BaseAiProviderPlugin 生命周期插件的实现非常精简整个类只有一行有效逻辑。查看 ai-provider-elevenlabs.plugin.tsPlugin({}) export class AiProviderElevenLabsPlugin extends BaseAiProviderPlugin { protected readonly definition elevenLabsProviderDefinition; }它继承自gauzy/plugin-ai-chat的抽象基类 base-ai-provider.plugin.ts。基类实现了两个生命周期钩子onPluginBootstrap()调用AiProviderRegistry.register(this.definition)把 Provider 定义注册进进程级注册表并打印绿色日志onPluginDestroy()调用AiProviderRegistry.unregister(this.definition.id)在插件卸载时移除注册。AiProviderRegistry见 provider-registry.ts是一个静态 Map 实现的注册表刻意不依赖 NestJS 依赖注入这样 Provider 插件无需引入聊天模块的 Nest 依赖图聊天引擎在请求时再从这个注册表读取 Provider 定义并按order字段排序ElevenLabs 的order为120。该插件的公共 API 表面index.ts只导出插件类和 Provider 定义两个符号。环境变量配置ElevenLabs 插件读取两个环境变量变量说明ELEVENLABS_API_KEY服务器级server-wideElevenLabs API 密钥在 ElevenLabs 官方的 App Settings → API Keys 页面创建。ELEVENLABS_BASE_URL可选的自定义 API 基础地址默认值为https://api.elevenlabs.io/v1。这两者在 Provider 定义中分别对应apiKeyEnvVars: [ELEVENLABS_API_KEY]和baseUrlEnvVar: ELEVENLABS_BASE_URL且defaultBaseUrl明确写为https://api.elevenlabs.io/v1。依据 provider.types.ts 的契约apiKeyEnvVars是一个数组凭证解析时按顺序检查、第一个非空值生效baseUrlEnvVar提供自定义基础地址的入口适合通过代理或私有网关转发 ElevenLabs 请求的部署这两个变量都属于environment来源仅在租户未配置自己的 BYOK 密钥时作为兜底。Speech-to-text 模型ElevenLabs Scribe插件内置了两款 Scribe 语音转写模型定义见 ai-provider-elevenlabs.provider.tsIdLabel界面显示名scribe_v1默认Scribe v1scribe_v1_experimentalScribe v1 (experimental)选择方式进入Settings → AI Providers → ElevenLabs → Speech model为当前租户挑选模型同时勾选Use as default voice provider即可把 ElevenLabs 设为该租户的 dictation 转写 Provider。未选择时代码回退到DEFAULT_SPEECH_MODEL scribe_v1见 ai-provider-elevenlabs.provider.ts。这套语音模型目录在聊天引擎的类型契约里对应IAiSpeechCataloguespeech.models是租户可选的转写模型列表speech.defaultModel是未选择时的默认模型见 provider.types.ts。转写调用时聊天引擎会优先使用租户凭证行里保存的speechModel取不到再回退到 Provider 自身的speech.defaultModel。底层转写请求POST /v1/speech-to-text插件实现的转写函数transcribeAudio见 ai-provider-elevenlabs.provider.ts会构造一次 multipart 请求请求地址{baseUrl}/speech-to-textbaseUrl优先取凭证里的自定义地址否则回退ELEVENLABS_BASE_URL或默认值并经过trimTrailingSlash去除尾部斜杠方法POSTmultipart 表单包含file音频文件、model_id注意是model_id而非model这是 ElevenLabs API 与 OpenAI 系/audio/transcriptions的关键差异、可选的language_code认证请求头携带xi-api-keyElevenLabs 专用请求头而非Authorization: Bearer返回从响应 JSON 的text字段读取转写文本。language_code只在调用方提供了语言提示时才发送格式为 ISO-639-1 如en或 BCP-47 标签未提供时由 ElevenLabs 自动检测。共享的 multipart 转写管道transcribeAudio复用了gauzy/plugin-ai-chat提供的共享函数transcribeMultipart见 openai-compatible-transcribe.ts。这个共享管道为所有语音 Provider 统一实现了音频扩展名推导根据浏览器MediaRecorder记录的 MIME 类型如audio/webm;codecsopus、audio/mp4推导 multipart 文件名后缀resolveAudioExtension因为 ElevenLabs 等上游服务依赖扩展名判断容器格式字段过滤值为undefined或空字符串的 multipart 字段不会被发送language_code未提供时即被跳过超时控制TRANSCRIBE_TIMEOUT_MS 60_000一分钟语音转写允许更长的处理时间见 openai-compatible-transcribe.tsSSRF 防护请求经由ssrfSafeFetch出站守卫循环/私网/链路本地目标默认被拒绝、DNS 解析后重新校验主机、不跟随重定向见 openai-compatible-transcribe.ts。只有当凭证显式允许私有端点isPrivateAiProviderEndpointAllowed(credentials)时才放行错误分类按状态码区分失败类型——401/403为key-rejected密钥被拒429为rate-limited限流400/415/422为audio-rejected音频被拒/格式不支持其余为通用http错误见 openai-compatible-transcribe.ts密钥脱敏与响应上限错误信息中的密钥会被redactSecret替换错误体最多读取 2048 字节成功响应最多缓冲 4 MiB、转写文本最多中继 64 KiBMAX_TRANSCRIPT_CHARS。BYOKbring your own key租户密钥优先插件支持 BYOK 模式。租户通过 AI 聊天凭证 API/api/ai-chat/credentials为elevenlabsProvider 保存的凭证总是优先于ELEVENLABS_*环境变量环境变量只在租户未配置任何凭证时作为服务器级兜底。这一优先级在凭证模型中由source字段承载见 provider.types.ts取值依次为tenant→environment→platform。租户凭证行还额外携带两个与语音相关的字段见 ai-provider-credential.entity.ts 附近与 ai-provider-credential.service.tsspeechModel该租户为这个 Provider 选定的转写模型isVoiceDefault是否将该 Provider 设为租户默认语音dictationProvider——保存时系统会调用clearOtherVoiceDefaults清除该租户其他凭证上的此标志保证同时最多一个默认语音 Provider见 ai-provider-credential.service.ts。Dictation 的完整执行链路聊天引擎的transcribe服务见 ai-chat.service.ts按以下顺序处理一次语音转写校验音频非空、且不超过MAX_AUDIO_BYTES上限约 25 MB对应上传拦截器的 multer 限制从注册表筛出所有实现了transcribe的 Providertypeof definition.transcribe function并按order排序一个都没有则抛出 503NOT_CONFIGURED若租户设置了默认语音 ProviderresolveVoiceDefault读取isVoiceDefault标记默认语音 Provider 排在最前优先尝试其余保持展示顺序依次为每个 Provider 解析凭证租户 BYOK → 环境变量、取出其speechModel或 Provider 默认模型调用definition.transcribe(...)单个 Provider 失败不中断整个请求会记录失败原因并继续尝试下一个可转写的 Provider全部失败才抛出 503错误体为结构化对象{ message, code, settingsPath }前端可据此渲染可操作的提示并链接到 AI Providers 设置页。这种默认语音 Provider 优先、可转写 Provider 兜底的设计意味着即使租户的聊天模型跑在 Anthropic本身无语音模型上只要同时配置了 ElevenLabs或 OpenAI、本地 whisper 服务器等任一可转写 Providerdictation 依然可用无需切换聊天 Provider。安装与构建该插件位于仓库 packages/plugins/ai-provider-elevenlabs 目录包名为gauzy/plugin-ai-provider-elevenlabs见其 package.json依赖gauzy/plugin-ai-chat、gauzy/plugin与gauzy/contracts要求 Node.js 22、Yarn 1.22。其构建脚本为yarn nx build plugin-ai-provider-elevenlabs开发时的监听构建可用lib:watch脚本yarn nx build plugin-ai-provider-elevenlabs --watch。安装方式与 Ever Gauzy 其余插件一致在服务端应用的插件列表apps/api/src/plugins.ts中加入AiProviderElevenLabsPlugin应用启动时插件就会随BaseAiProviderPlugin的 bootstrap 生命周期把elevenlabs注册进聊天引擎的 Provider 注册表。小结gauzy/plugin-ai-provider-elevenlabs是 Ever Gauzy AI 聊天引擎语音能力的关键拼图它把 ElevenLabs Scribe 封装为 voice-only Provider通过ELEVENLABS_API_KEY/ELEVENLABS_BASE_URL两个环境变量提供服务器级默认配置通过 Settings 页为每个租户选择 Scribe 模型并可选设为默认语音 Provider且始终让租户的 BYOK 凭证优先于环境变量。底层则复用了gauzy/plugin-ai-chat的共享 multipart 转写管道统一获得超时控制、SSRF 出站防护、错误分类与密钥脱敏从而在开箱即用与安全可控之间取得平衡。赞分享后端前端企业应用MCP 服务【免费下载链接】ever-gauzyEver® Gauzy™ - Open Business Management Platform (ERP/CRM/HRM/ATS/PM) - https://gauzy.co项目地址https://gitcode.com/GitHub_Trending/ev/ever-gauzy点击查看免费下载相关推荐Ever Gauzy 接入 LocalAI本地化 AI Chat 与语音听写 Provider 插件完全指南Ever Gauzy 接入 LocalAI本地化 AI Chat 与语音听写 Provider 插件完全指南 Ever® Gauzy™开源企业管理平台内置后端前端企业应用MCP 服务Ever Gauzy 本地语音转文字接入 whisper.cpp whisper-server 的完整指南Ever Gauzy 本地语音转文字接入 whisper.cpp whisper server 的完整指南 导读 本文围绕 Ever Gauzy 开源仓库中的后端前端企业应用MCP 服务Ever Gauzy 接入 Grokai-provider-grok 插件配置与实现原理详解Ever Gauzy 接入 Grokai provider grok 插件配置与实现原理详解 本指南以 Ever® Gauzy™ 开源业务管理平台中的 ga后端前端企业应用MCP 服务上一篇HomeAssistant-Tapo-Control支持设备清单从摄像头到门铃的全面兼容列表下一篇ECC 工程规范实战HarmonyOS / ArkTS 开发模式完全指南状态管理 V2、Navigation 路由、MVVM 与性能优化创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/21 14:14:45

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/21 14:14:26

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/21 21:08:55

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/22 1:51:41

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/21 19:02:25

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/21 14:13:11

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉