VoxCPM2 上手与调参多语言语音合成、声音克隆30 秒出第一条音频【免费下载链接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning项目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPMVoxCPM2 是一款开源的多语言语音合成模型主打声音克隆和 48kHz 高保真输出。它不依赖离散音素或语音令牌直接生成连续语音表征覆盖 30 种语言和 9 种中文方言。本文按「适合谁 → 怎么跑起来 → 怎么调」的顺序带你 15 分钟跑通第一条音频并讲清音色设计、可控克隆和 LoRA 微调几个关键点。 这三类场景VoxCPM2 比较对口多语言内容生产一条脚本要配成中、英、日、韩甚至粤语、川话的旁白模型不用加语言标签直接输入文本就能合成属于面向中文方言 TTS 的少数选择之一。给应用加语音接 Nano-vLLM、vLLM-Omni 这类服务化引擎或直接用流式接口挂进产品做免费的在线语音合成后端。个人声音复刻用几秒参考音频克隆某个人的音色或写一句话描述「设计」一个全新音色走开源声音克隆路线。 最快上手路径装好到克隆一条人声安装一条命令搞定pip install voxcpm环境要求 Python ≥ 3.103.13、PyTorch ≥ 2.5.0、CUDA ≥ 12.0没有 GPU 时用 CPU 也能跑只是慢一些。跑通第一条音频从openbmb/VoxCPM2拉权重再调用generate()即可from voxcpm import VoxCPM import soundfile as sf model VoxCPM.from_pretrained(openbmb/VoxCPM2, load_denoiserFalse) audio model.generate( text今天先合成一段多语言示范音频。, cfg_value2.0, inference_timesteps10, ) sf.write(first.wav, audio, model.tts_model.sample_rate)load_denoiserFalse会跳过参考音频的降噪器少一次下载sample_rate输出是 48000直接写盘就行。想换成某个人的声音把参考音频路径传给reference_wav_path几秒片段足够audio model.generate( text这是用参考音频克隆出来的声音。, reference_wav_pathexamples/reference_speaker.wav, )到这里「安装 → 合成 → 克隆」三步已经走通后面都是在它上面做风格控制和微调。 核心能力与原理四段流水线整条链路可以一句话概括LocEnc → TSLM → RALM → LocDiT即局部编码、文本-语义语言模型、残差声学模型最后由局部扩散变换器出音频全程在 AudioVAE 的连续潜空间里完成不做离散化这也是它能保留音色和情绪细节、且无需外部上采样器16kHz 进、48kHz 出的原因。LocEnc把音频压成连续潜表征TSLM / RALM负责语义与声学特征生成LocDiT用扩散过程还原出 48kHz 波形选型时重点看这几项指标指标VoxCPM2采样率48kHz 输出16kHz 参考音频可自动上采样语言30 种 9 种中文方言RTFRTX 4090~0.3Nano-vLLM 加速后 ~0.13显存~8 GB️ 调参与进阶玩法克隆前先看这几个参数音色设计不需要参考音频把描述放进text开头的括号里就能凭空造一个音色。audio model.generate(text(年轻女声语速偏慢带一点笑意)欢迎体验。)可控克隆克隆音色的同时用括号控制风格音色不变、语气可调这是 TTS 参数调优里最常用的一招。audio model.generate( text(语速稍快语气轻快)这是一段带风格控制的声音克隆。, reference_wav_pathyour_voice.wav, )极致克隆同时给参考音频和它的文本模型从参考处无缝续写连节奏、情绪都尽量保留。audio model.generate( text接下来这段延续参考音频的语气。, prompt_wav_pathyour_voice.wav, prompt_text参考音频对应的原文。, reference_wav_pathyour_voice.wav, # 可选进一步提高相似度 )两个关键旋钮cfg_value默认 2.0引导强度调高更贴合文本、调低更自由2.0~3.0 之间最常用。inference_timesteps默认 10扩散步数调大质量更细但更慢一般 10~20。另外max_len默认 4096限制生成长度seed固定随机种子方便复现结果。想长期固定一个说话人可以做 LoRA 微调5~10 分钟音频就够LoRA 比全量更省显存python scripts/train_voxcpm_finetune.py \ --config_path conf/voxcpm_v2/voxcpm_finetune_lora.yaml配置里r/alpha默认 32enable_lm和enable_dit分别控制是否给语言模型和扩散变换器挂 LoRA训练数据每行一个{audio, text, duration?}格式见 examples/train_data_example.jsonl。️ 踩坑与排错显存爆CUDA out of memory调小max_len/max_batch_tokens或把device设为cpu先跑通再调优。苹果 MacMPS出杂音、反复重试默认会自动切到 float32 保证稳定属正常现象不要强开 bf16/fp16。克隆不像、音色漂移换 3~10 秒、无底噪的参考音频并改试「极致克隆」同时给音频和文本。 代码与资料入口主接口与generate()全参数src/voxcpm/core.py模型实现src/voxcpm/model/voxcpm2.py微调配置全量 LoRA 两套conf/voxcpm_v2/示例音频与训练样例examples/VoxCPM2 的权重和代码都是 Apache-2.0可以商用建议先在自己的用例里做充分测试再上线。声音克隆的还原度很高务必只用于已获授权的声音并给 AI 生成内容打上明确标注避免冒充或欺诈。【免费下载链接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning项目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考