新闻详情

新闻详情

首页 / 资讯中心 / 详情

Parler-TTS:用一句自然语言描述生成语音的开源文本转语音方案

发布时间:2026/11/21 21:10:30来源:尧图网络
Parler-TTS:用一句自然语言描述生成语音的开源文本转语音方案
Parler-TTS用一句自然语言描述生成语音的开源文本转语音方案【免费下载链接】parler-ttsInference and training library for high-quality TTS models.项目地址: https://gitcode.com/GitHub_Trending/pa/parler-ttsParler-TTS 是 Hugging Face 推出的全开源文本转语音TTS工具库面向想按音色、语速、情绪自然语言描述生成语音的开发者与内容生产者。它把数据集、训练代码和模型权重全部公开让你既能直接推理也能自己训练和微调 TTS 模型。从想要这种声音到真的生成出来假设你在做播客节目需要一段低一点的女声、语速快一点、在比较小的房间里录制的旁白。传统做法是去挑一个现成音色模型挑来挑去发现它的风格和你描述的对不上只好接受。Parler-TTS 的处理方式不同你直接把这段描述写成文字模型读完后按这个风格朗读你给的文本。官方推理示例里的描述是A female speaker with a slightly low-pitched voice delivers her words quite expressively... She speaks very fast.生成的语音确实呈现出了低音色、快语速的特点。这种用文字指挥声音的方式来自 Stability AI 与爱丁堡大学在 2024 年发表的论文而本仓库是该论文中首个完全开源的实现。核心能力拆解声音怎么被描述出来的按描述控制风格的生成模型接收两个输入一句风格描述和一段要读的文本。当前发布的是 Parler-TTS Mini v0.16 亿参数在 1.05 万小时标注音频上训练得到。描述里可以写说话人性别、音高、语速、环境噪音、情绪语气这些维度都被训练数据里的自然语言标注覆盖。三段式生成管线整个架构分三步training/README.md 有完整说明文本编码器用冻结的 Flan-T5 把风格描述转成表示供解码器跨注意力使用解码器一个自回归语言模型条件于描述表示逐步生成音频 token音频编解码器Descript 的 DAC 模型把 token 还原成 44.1kHz 波形。选 DAC 是因为它质量优于 EnCodec仓库里也封装了可替换的 DAC wrapper。推理与训练全链路公开多数 TTS 项目只放权重训练细节拿不到。这里连训练数据配方都给出来了LibriTTS-R 全量加上 MLS 英语 1 万小时子集两段数据都用 Data-Speech 工具自动生成了描述标注不需要人工逐条听写。一条命令复现官方训练训练脚本是端到端的自动合并数据集、预计算音频 token、再启动训练日志走 wandb。官方用 8 卡 H100 大约 4 天训出 v0.1想微调的话只需把起点模型路径换成 v0.1 的仓库 ID其余参数照抄即可。传统 TTS 做法和 Parler-TTS 的差异对比维度常见 TTS 模型Parler-TTS风格怎么定一个音色模型固定一种风格自然语言描述动态指定换描述即换风格换一种声音找、下载另一个音色模型改一行描述文本数据标注人工录制并逐条标注视觉/声学特征Data-Speech 自动生成描述训练资料通常只发布权重数据、配方、脚本全公开单命令复现授权不少权重限制商用代码、权重、数据全部采用宽松许可模块地图仓库里各目录干什么parler_tts/推理核心含模型定义与生成逻辑ParlerTTSForConditionalGeneration是主要入口类parler_tts/dac_wrapper/DAC 音频编解码器的配置与建模封装负责 token 和波形互转training/训练脚本与完整训练文档覆盖架构介绍、起步步骤、参数说明helpers/training_configs/现成的训练配置 JSON可直接作为启动参数helpers/model_init_scripts/从零初始化 300M/600M 模型的脚本helpers/gradio_demo/可交互的 Gradio 演示应用快速上手一条命令装好并听到第一句语音依赖很轻从源码装一次即可git clone https://gitcode.com/GitHub_Trending/pa/parler-tts cd parler-tts pip install -e .验证方式运行 helpers/gradio_demo/app.py 里的演示应用输入一句话和一段风格描述几秒后就能听到结果不用自己写推理代码。注意 Apple Silicon 用户需要额外装 nightly 版 PyTorch 才能启用 bfloat16这一点 README 里有单独说明。进阶路线想深入时按顺序看这几处training/README.md第一次接触架构和训练流程时看从三个组件讲到完整超参helpers/training_configs/starting_point_0.01.json想复现 v0.1 训练配方时这就是全部超参的集中存放处helpers/model_init_scripts/不打算用官方权重、要从零训练时从这里初始化你的起点模型helpers/gradio_demo/app.py想搭自己的交互演示或二次开发 Web 界面时参考什么场景下值得试如果你有明确的风格控制需求——同一句话要换不同音色、语速、情绪反复生成或者要为内部产品定制音色——这套描述即控制的路线比挑现成音色省事得多。两点需要提前知道它不承诺克隆指定真实人物的声音当前版本也只做英语。对这两点没意见的场景直接装起来跑演示应用是最快的验证方式。【免费下载链接】parler-ttsInference and training library for high-quality TTS models.项目地址: https://gitcode.com/GitHub_Trending/pa/parler-tts创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/21 14:14:45

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/21 14:14:26

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/21 21:08:55

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/20 16:11:20

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/21 19:02:25

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/21 14:13:11

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉