RVC语音转换实战指南从10分钟音频到可用模型四步【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRVCRetrieval-based Voice Conversion WebUI解决一个问题用10分钟左右的录音训练出可复用的语音转换模型把任意音频转成目标音色。适合想搭变声器、做AI歌手或实时变声应用的开发者。一、项目速写这是一个基于 VITS 的开源语音转换框架底模用约50小时的 VCTK 数据集训练无版权顾虑。它的差异化设计是用 top1 检索把输入源特征替换成训练集特征从而抑制音色泄漏——也就是说转出来的声音不会被你的原始音色带跑。与纯 TTS 不同你不需要写文本任何音频都能转。附带 UVR5 人声伴奏分离和 ckpt 模型融合两个实用功能。相关搜索词10分钟语音训练、RVC训练参数、RMVPE音高提取、实时变声器二、从零跑通环境与第一次运行配置环境装依赖和下载预训练模型最低要求如下N 卡体验最好A 卡/I 卡走 DirectML 版本组件最低要求系统Windows 10 / Ubuntu / macOSPython3.8 及以上GPUN 卡支持 CUDA4GB 显存可用6GB 更稳磁盘模型与依赖共需 10GB 左右ffmpeg必须安装音频处理依赖git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUIpip install torch torchvision torchaudio pip install -r requirements.txtsudo apt install ffmpeg这里坑比较多llvmlite0.39.0与高版本 Python 有冲突走 poetry 安装时建议用 Python 3.7–3.10。另外项目还需要一批预训练文件assets/hubert/hubert_base.pt、assets/pretrained、assets/uvr5_weights、assets/Synthesizer_inputs.pth以及根目录的rmvpe.pt官方建议从 Hugging Face 空间下载仓库的tools/download_models.py和tools/dlmodels.sh就是干这个的。第一次运行启动 WebUIpython infer-web.py启动后浏览器访问localhost:7865默认端口可用--port修改。界面有五个选项卡模型推理、伴奏人声分离去混响去回声、训练、ckpt 处理、Onnx 导出。看到界面加载出来就算跑通了。准备10分钟训练音频训练数据的要求比想象的低10 分钟低底噪、单人、无混响的语音即可WAV/MP3/FLAC 都支持。建议先统一重采样到 48kHz、去掉头尾静音、切成 3–10 秒的片段然后把它们放进一个独立目录——后续在 WebUI 训练选项卡里会填写这个目录路径。数据质量是模型效果的大头底噪大的录音训练再多轮也没用。三、核心用法拆解推理、训练与融合推理把任意音频转成目标音色训练好的模型.pth放assets/weights索引.index放assets/indices。WebUI 的单次推理选项卡选模型、传音频、点按钮即可批量文件走批量推理。命令行方式在 tools/infer_cli.pypython tools/infer_cli.py --input_path test.wav \ --index_path assets/indices/xxx.index \ --f0up_key 0 --f0method rmvpe \ --opt_path out.wav --model_name mymodel关键参数参数默认值作用f0up_key0整体移调单位半音f0methodharvest音高提取算法RMVPE 效果最好index_rate0.66索引检索比例越大越贴近目标音色protect0.33辅音保护强度越高杂音越少rms_mix_rate1音量曲线对齐0–1 之间取值训练五步流程微调一个音色模型WebUI训练选项卡的流程是固定的五步第 1 步切片会调用 infer/lib/slicer2.py 按音量切分第 2、3 步分别产出音高和 HuBERT 特征文件第 4 步训练在 infer/modules/train/train.py 里跑检查点存到logs第 5 步生成 faiss 索引。训练超参默认值来自 configs/v1/48k.jsonv1 另有 32k/40kv2 有 32k/48k选采样率即选对应配置参数默认值说明sampling_rate48000采样率直接决定音质上限batch_size4显存不足就降到 1–2learning_rate1e-4一般不动epochs20000名义上限实际看 loss 提前停segment_size11520每次训练的音频片段长度采样点分离与 ckpt 处理两个辅助功能伴奏人声分离选项卡内置 UVR5 模型配置在assets/uvr5_weights和 infer/lib/uvr5_pack/name_params.json处理含伴奏的录音前先分离出人声能明显提升训练质量。ckpt 处理选项卡里的 ckpt-merge 可以把两个模型的音色按比例融合还附带提取小模型extract_small_model功能方便压缩后部署。四、真实场景走一遍场景一把一段3分钟录音转成克隆音色目标用训练好的模型转换一段说话录音。确认模型文件在assets/weights对应索引在assets/indices把源音频test.wav放到项目目录打开 WebUI单次推理或直接跑上面infer_cli.py的命令选模型、选索引f0up_key保持 0想变声再调 ±2 到 ±3点击开始生成结果音频可在线试听并下载。预期结果输出与原音频等长的 WAV3 分钟音频在 6GB 显存的 N 卡上转换耗时十几秒到半分钟若结果气声重、有电子音优先怀疑训练轮数不够或 protect 没调。场景二直播/麦克风实时变声目标麦克风输入实时输出转换后的声音。运行 tools/rvc_for_realtime.pyWindows 用go-realtime-gui.bat启动图形版在界面里选输入/输出设备和目标模型。README 给出的延迟数据是常规设备端到端 170msASIO 设备可压到 90ms——这里坑比较多延迟表现很依赖声卡驱动先用普通设备跑通再折腾 ASIO。五、调优与排错调参效果与性能的对照参数推荐值影响f0up_key0变声场景 ±2~3整体音高男女互转差距更大需调更狠index_rate0.5–0.7调高更似目标音色调低更自然protect0.33调高减少辅音毛刺过高会糊rms_mix_rate0.5–1控制音量跟随源音频的程度batch_size4GB 显存 1–26GB 以上 4训练速度与显存的平衡训练轮数1–3 个 epoch 试起看 loss 曲线过拟合会发嗝音高频问题速查现象大概率原因处理方式训练/推理 CUDA OOMbatch_size 偏大降 batch_size4GB 以下显存会自动切 fp32启动后浏览器打不开端口被占用python infer-web.py --port 7860换端口装依赖报 llvmlite 冲突Python 版本过高换 3.7–3.10 重建环境转换后闷、有电子杂音训练不足或参数没调加训练轮数调 index_rate 和 protect音高提取慢、效果差用了 harvest放好rmvpe.pt后改用 RMVPE六、延伸与文件索引先读README.md环境配置、预训练模型下载清单、启动方式本文板块二的原始依据docs/cn/faq.md中文常见问题训练出电子音等典型问题在这里有专门讨论深入infer/lib/infer_pack/models.pyv1/v2 两个版本生成器的完整定义想理解检索式特征替换怎么实现就看这里tools/infer/索引训练train-index.py、权重转换等批处理脚本适合做自动化流水线现在打开项目目录先执行板块二的安装和启动命令把localhost:7865的界面跑出来再进训练选项卡走一遍五步流程。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考