RVC变声框架完整上手指南10分钟数据训练你的专属音色模型【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI一个具体的需求场景 ️你录了一段15分钟的干声希望别人听到时是另一个人的声音但音色、气息和说话节奏还是你自己的。传统做法是找一套变声器实时糊一层效果或者用需要几小时训练数据的配音模型——前者塑料感重后者门槛高。今天要讲的Retrieval-based-Voice-Conversion-WebUI社区一般简称RVC就是为解决这件事而生的一个基于 VITS 的变声框架用不超过10分钟的语音就能训出一个可用的音色转换模型并提供网页界面、命令行工具和实时变声 GUI 三种用法。底模由接近50小时的开源 VCTK 数据集训练版权上可以放心使用。这个框架能做什么 在动手之前先花一分钟把能力范围看清楚避免下载了一大堆模型却发现用不上。检索式特征替换抑制音色泄漏。RVC 使用 top1 检索把输入源的特征替换为训练集里的特征目标是音色像目标说话人内容像原说话人。中文常见问题文档 里对音色泄漏有专门解释遇到转出来还带原声影子的问题可以先查那里。音高提取用的是 RMVPE。这是 Interspeech 2023 的人声音高算法官方文档说它效果显著更好同时比 crepe_full 更快、占用更小。相关代码在 infer/lib/infer_pack/。附带 UVR5 人声分离。想从歌曲里拆出干声做训练素材或者只转人声不动伴奏可以直接在 WebUI 里调用 UVR5 模型不需要另装工具。实时变声。官方实现端到端170ms延迟如果机器驱动支持 ASIO 输入输出端到端可压到90ms。模型融合ckpt-merge。两个训练好的模型可以按权重混合得到一个中间音色相当于免费多一个调参旋钮。硬件方面不用只盯着 N 卡NVIDIA 用 CUDAAMD 有 DirectML 和 ROCmLinux两条路Intel 核显在 Linux 上走 IPEX仓库里 requirements-dml.txt、requirements-amd.txt、requirements-ipex.txt 分别对应。安装与启动从克隆到打开界面 整条路径分四步克隆 → 装依赖 → 放预训练模型 → 启动。下面按最通用的 N 卡环境写。第一步克隆仓库git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI第二步安装 Python 依赖。要求Python 3.8 以上。先装 PyTorch已装可跳过然后按显卡选清单pip install -r requirements.txtA 卡 / I 卡换成requirements-dml.txtAMD ROCm 换requirements-amd.txtI 卡 IPEX 换requirements-ipex.txt。第三步准备预训练文件。RVC 推理和训练都依赖几份预训练权重放到assets/下hubert/hubert_base.pt、pretrained/、uvr5_weights/想用 v2 底模再加一份pretrained_v2/。仓库自带下载脚本见 tools/download_models.py。RMVPE 音高模型rmvpe.pt放在项目根目录。另外系统里要有ffmpegWindows 上可以把 ffmpeg.exe、ffprobe.exe 直接放到根目录。第四步启动python infer-web.py浏览器会自动打开 WebUI里面有训练、推理、UVR5 分离、ckpt 处理等页签所有操作都能在界面上点出来。Windows 用户也可以直接双击go-web.batMac 用sh ./run.sh。五个核心功能逐个拆解 ️1. 训练一个音色模型最常用流程固定准备10分钟以上、低底噪的干声 → 在数据集训练工具页签里自动切片、提取特征 → 选底模32k/40k/48k 对应不同采样率和训练轮数 → 开始训练。产物是logs/下的*.pth模型文件和索引文件index。官方建议数据质量优先于数量数据干净时20~30 轮可能就够数据一般再加到100~200 轮——具体经验可以看 训练提示文档 和英文 FAQ 里的对照说明。2. 推理转换训练好的模型 源音频 目标音高偏移就能出结果。推理页签里还能调检索索引的比例index_rate这是控制像目标音色还是像原说话人的关键旋钮数值越低音色泄漏越少、但也可能损失自然度。3. UVR5 人声分离把整首歌丢进去拆出人声和伴奏两路拆出来的人声可以直接当训练素材比找现成干声库省很多事。4. 实时变声 GUI双击go-realtime-gui.bat整合包或运行 tools/rvc_for_realtime.py 启动。选训练好的模型、设好输入/输出设备就能对着麦克风说话直接换声音适合直播和游戏。延迟敏感的场景优先上 ASIO 驱动。5. ckpt-merge 模型融合在ckpt 处理页签勾选两个模型、设混合权重可以生成过渡音色。想微调音色又不想重训的时候这一步比重新收集数据快得多。一张表看懂不同环境的配置 ✅硬件环境依赖清单启动入口备注NVIDIAWindows/Linux/Macrequirements.txtpython infer-web.py需先装对应 CUDA 的 PyTorchAMDDirectMLrequirements-dml.txt同上需下载 rmvpe.onnxAMDROCmLinuxrequirements-amd.txt同上需装 ROCm 驱动部分卡型要设HSA_OVERRIDE_GFX_VERSIONIntelIPEXLinuxrequirements-ipex.txt同上启动前先 source Intel oneapi 环境调优建议让效果更好听 显存不够就改配置。训练参数集中在 configs/config.py小显存设备可以调小batch_size、用 fp32 模式、调x_pad、x_query等检索参数。改完不用删环境重启 WebUI 即生效。数据质量决定上限。官方推荐至少10分钟低底噪语音。带环境音、带混响的素材训出来的模型会有底噪味。如果手里只有带伴奏的歌先用 UVR5 分离再切片效果比硬训整段歌好。轮数别一次拉满。先跑 20~30 轮听个大概不够再加比一上来就 500 轮省时间。每 100 轮左右听一次对比找到再往上收益变低的点就停。音高偏移别设太夸张。源音频和目标音色差距大时强行拉偏移会出现气息撕裂感宁可少拉一点靠检索比例补音色。实时场景优先 ASIO。170ms 已经能用于多数直播场景90ms 档则非常吃驱动支持普通 WASAPI 设备到不了。上手路径清单 照着这个顺序走第一天就能听到自己的第一个模型克隆仓库按显卡装好依赖和 ffmpeg用tools/download_models.py补齐预训练文件python infer-web.py启动 WebUI先用 UVR5 从一首歌里拆出一段干净人声用这段人声凑够 10 分钟更好训练一个模型20~30 轮起步推理页签里用自己的干声试转调 index_rate 和音高偏移满意后双击go-realtime-gui.bat接上麦克风进实时变声流程。遇到问题先查 中文 FAQ 和 更新日志绝大多数转出来不像训练报错都有现成答案。RVC 的迭代很快把这套最小路径跑通之后再按自己的场景直播、配音、翻唱往深处调参数收益会明显更大。【免费下载链接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!项目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考