人工智能AI 应用媒体生成本地部署【免费下载链接】Wan2GPA fast AI Video Generator for the GPU Poor. Supports Wan 2.1/2.2, LTX-2, Qwen Image, Hunyuan Video, LTX Video and Flux.项目地址https://gitcode.com/gh_mirrors/wa/Wan2GP点击查看免费下载本文围绕 Wan2GP 仓库内置的 Seed-VC 语音转换模块位于 postprocessing/seedvc展开系统讲解其零样本声音克隆原理、命令行推理、Web UI、实时变声与自定义数据微调等完整能力。读完本文你将掌握如何在 Wan2GP 中用 130 秒参考语音替换任意人声、把变声器接进实时会议/直播链路以及在极低数据量下每说话人至少 1 条语音完成单/多说话人的快速微调。Seed-VC 是什么面向 GPU 贫民的声音克隆方案Seed-VC 是一个零样本zero-shot语音转换Voice Conversion, VC模型无需任何训练只需 130 秒的参考语音即可克隆说话人音色。仓库目前发布的模型同时支持三类场景零样本语音转换把任意源语音的音色换成参考说话人的音色零样本实时语音转换️以约 300ms 算法延迟 约 100ms 设备侧延迟工作适用于在线会议、游戏与直播零样本歌声转换在 44.1kHz 采样率下完成歌声换音色并支持音高F0控制。此外还支持在自定义数据上微调以提升特定说话人相似度数据门槛极低每位说话人至少 1 条语音训练速度极快最少 100 步T4 上约 2 分钟即可完成一轮微调。在 Wan2GP 中Seed-VC 被封装为音频后处理处理器postprocessing/seedvc/audio_processor.py提供 SeedVC - One Speaker单说话人换声与 SeedVC - Two Speakers双说话人换声两种方法属于voice_replacement/audio_edit类型的后处理可在视频生成后替换音轨中的人声并保留背景音乐与人声分离后的其余音轨。已发布的预训练模型与默认下载机制版本模型名称用途采样率Content 编码器声码器隐藏层维度层数参数量备注v1.0seed-uvit-tat-xlsr-tiny声音转换 (VC)22050XLSR-largeHIFT384925M适合实时语音转换v1.0seed-uvit-whisper-small-wavenet声音转换 (VC)22050Whisper-smallBigVGAN5121398M性能更好但推理稍慢适合离线语音转换v1.0seed-uvit-whisper-base歌声转换 (SVC)44100Whisper-smallBigVGAN76817200M强大的零样本推理能力用于歌声转换首次推理时模型检查点会自动下载若因网络原因无法访问 Hugging Face可在每个命令前添加HF_ENDPOINThttps://hf-mirror.com使用镜像站。从 Wan2GP 源码看postprocessing/seedvc/init.py 为三种模式定义了明确的资产清单与下载定义模式 1v1.0 SpeechSEEDVC_MODE_SPEECH默认 25 扩散步、CFG rate 0.5、采样率 22050需下载DiT_seed_v2_uvit_whisper_small_wavenet_bigvgan_pruned.pth、config_dit_mel_seed_uvit_whisper_small_wavenet.yml、campplus_cn_common.bin、BigVGAN 22kHz 声码器与 whisper-small 权重模式 2v1.0 Singing / F0 44kSEEDVC_MODE_SINGING默认 10 扩散步、CFG rate 0.7、采样率 44100额外需要rmvpe.ptF0 提取器与 BigVGAN 44kHz 声码器模式 3v2 SpeechSEEDVC_MODE_ACCENT默认 30 扩散步、CFG rate 0.7、采样率 22050走 v2 架构CFM AR 双模型 ASTRAL 量化 tokenizer需要v2/ar_base.pth、v2/cfm_small.pth、bsq32/bsq32_light.pth、bsq2048/bsq2048_light.pth及 hubert-large 权重。在 Wan2GP 集成中这些资产统一从DeepBeepMeep/LTX-2仓库按清单下载见 postprocessing/seedvc/init.py 的query_download_def与官方 Seed-VC 仓库的 Hugging Face 下载路径不同请以当前仓库的实现为准。命令行推理参数与示例使用 postprocessing/seedvc/inference.py 进行离线命令行推理python inference.py --source source-wav --target referene-wav --output output-dir --diffusion-steps 25 # 推荐为歌声转换设置为30~50 --length-adjust 1.0 --inference-cfg-rate 0.7 --f0-condition False # 设置为 True 进行歌声转换 --auto-f0-adjust False # 设置为 True 自动调整源音高至目标音高通常不用于歌声转换会导致歌声与BGM调性不一致 --semi-tone-shift 0 # 歌声转换中的音高移位半音 --checkpoint path-to-checkpoint --config path-to-config参数说明参数含义默认值 / 建议--source要转换为参考声音的语音文件路径必填--target作为声音参考的语音文件路径必填--output输出目录的路径./reconstructed--diffusion-steps使用的扩散步数默认 25质量最佳用 30~50最快推理用 4~10--length-adjust长度调整因子默认 1.01.0加速语音1.0减慢语音--inference-cfg-rateclassifier free guidance rate默认 0.7--f0-condition是否对输出音高进行调节默认 False设为 True 用于歌声转换--auto-f0-adjust是否自动调整源音高到目标音高默认 False通常不用于歌声转换--semi-tone-shift歌声转换中的音高移位半音默认 0--checkpoint自定义模型检查点路径留空自动下载默认模型f0-conditionFalse时下载seed-uvit-whisper-small-wavenet否则下载seed-uvit-whisper-base--config自定义模型配置文件路径留空自动下载默认配置--fp16是否使用 float16 推理默认 True从 postprocessing/seedvc/inference.py 源码看推理流程的核心链路是通过 Whisper 编码器或 XLSR提取源音频与参考音频的语义特征semantic_fn超过 30 秒的源音频会以 5 秒重叠窗口切片处理用 CAMPPlus 模型从参考音频的 80 维 fbank 特征中提取说话人音色嵌入style2length_regulator按length-adjust对语义 token 做长度规整若开启f0-condition用 RMVPE 提取 F0并支持auto-f0-adjust把源音高中位数对齐到参考音高与semi-tone-shift半音移位CFMConditional Flow Matching扩散模型以「prompt 条件 源条件 音色嵌入」为输入逐步去噪生成 mel再由 BigVGAN / HIFT 声码器还原波形长音频按最大上下文窗口分块流式生成块间以 16 帧overlap_frame_len交叉淡化crossfade拼接最终以vc_{source}_{target}_{length_adjust}_{diffusion_steps}_{inference_cfg_rate}.wav命名保存并打印实时率RTF。Web UI语音转换、歌声转换与集成界面语音转换 Web UIpython app_vc.py --checkpoint path-to-checkpoint --config path-to-config--checkpoint模型检查点路径若为空将自动下载默认模型seed-uvit-whisper-small-wavenet--config模型配置文件路径若为空将自动下载默认配置。启动后在浏览器中打开http://localhost:7860/使用 Web 界面。运行命令前先设置环境变量export HUGGING_FACE_HUB_TOKEN{从 https://huggingface.co/settings/tokens 获取}歌声转换 Web UIpython app_svc.py --checkpoint path-to-checkpoint --config path-to-config--checkpoint模型检查点路径若为空将自动下载默认模型seed-uvit-whisper-base--config模型配置文件路径若为空将自动下载默认配置。集成 Web UIpython app.py此命令仅加载预训练模型进行零样本推理。要使用自定义检查点请按上述步骤分别运行app_vc.py或app_svc.py。v2 模型 Web UIv2 模型采用 CFM AR 双模型结构入口为app_vc_v2.py源码位于 postprocessing/seedvc/app_vc_v2.pypython app_vc_v2.py --cfm-checkpoint-path path-to-cfm-checkpoint --ar-checkpoint-path path-to-ar-checkpoint--cfm-checkpoint-pathCFM 模型检查点路径留空自动下载默认模型--ar-checkpoint-pathAR 模型检查点路径留空自动下载默认模型。在内存受限的环境下集成 UI 可只加载其中一套模型去掉--enable-v2或--enable-v1。实时语音转换 GUI 与延迟调优启动实时 GUIpython real-time-gui.py --checkpoint-path path-to-checkpoint --config-path path-to-config--checkpoint-path模型检查点路径若为空将自动下载默认模型seed-uvit-tat-xlsr-tiny--config-path模型配置文件路径若为空将自动下载默认配置。⚠️ 重要提示强烈建议使用 GPU 进行实时语音转换。开发者在 NVIDIA RTX 3060 笔记本 GPU 上进行过性能测试结果与推荐参数如下模型配置扩散步数Inference CFG Rate最大prompt长度每块时间 (s)交叉淡化长度 (s)额外上下文左(s)额外上下文右(s)延迟 (ms)每块推理时间 (ms)seed-uvit-xlsr-tiny100.73.00.18s0.04s2.5s0.02s430ms150ms只要每块推理时间小于块时间变声流即可正常工作。注意如果同时运行其他占用 GPU 的任务如游戏、看视频推理速度会下降。实时 GUI 参数说明Diffusion Steps扩散步数实时场景推荐设置为 4~10Inference CFG Rateclassifier free guidance rate默认 0.7设置为 0.0 可获得约 1.5x 加速Max Prompt Length最大音频提示长度设低可加快推理但可能降低与提示语音的相似度Block Time每块时间值越高延迟越高且必须大于每块推理时间根据硬件条件设置Crossfade Length交叉淡化长度通常不需要更改Extra context (left)推理的额外历史上下文设高可增加稳定性但会增加每块推理时间Extra context (right)推理的额外未来上下文设高可增加稳定性但会增加每块推理时间以及延迟。算法延迟大约为Block Time * 2 Extra context (right)设备侧延迟通常约 100ms总体延迟为两者之和。你还可以使用 VB-CABLE 之类的虚拟声卡将 GUI 输出流映射到虚拟麦克风供其他应用会议、游戏、直播软件读取。实时 GUI 与音频分块逻辑修改自 RVC 项目。训练与微调以极低数据量克隆特定说话人在自定义数据上微调可以更精确地克隆某个人的声音大幅提高特定说话人的相似度但可能略微增加 WER词错误率。1. 准备数据集文件结构不重要每条音频长度必须在 130 秒之间否则会被自动忽略所有音频文件必须是以下格式之一.wav.flac.mp3.m4a.opus.ogg不需要说话人标签但请确保每位说话人至少有 1 条语音数据越多模型表现越好训练样本应尽量干净不带背景音乐或噪音。2. 选择微调配置文件从configs/presets/中选择一个模型配置文件进行微调或者创建自己的配置文件从头开始训练。仓库内置的三份预设配置见 postprocessing/seedvc/configs/presetsconfig_dit_mel_seed_uvit_xlsr_tiny.yml —— 用于实时语音转换。sr: 22050、hop_length: 256、n_mels: 80DiT 隐藏层 384、9 层、6 头speech tokenizer 为facebook/wav2vec2-xls-r-300m输出层 12声码器为 HiFTHIFI-GAN 变体并启用了time_as_token: true与uvit_skip_connection: trueconfig_dit_mel_seed_uvit_whisper_small_wavenet.yml —— 用于离线语音转换。sr: 22050、hop_length: 256、n_mels: 80DiT 隐藏层 512、13 层、8 头speech tokenizer 为openai/whisper-small声码器为nvidia/bigvgan_v2_22khz_80band_256xfinal_layer_type: wavenetconfig_dit_mel_seed_uvit_whisper_base_f0_44k.yml —— 用于歌声转换。sr: 44100、hop_length: 512、n_mels: 128DiT 隐藏层 768、17 层、12 头speech tokenizer 为openai/whisper-small声码器为nvidia/bigvgan_v2_44khz_128band_512x且length_regulator与DiT均开启f0_condition: trueF0 分箱数 256。3. 启动训练python train.py --config path-to-config --dataset-dir path-to-data --run-name run-name --batch-size 2 --max-steps 1000 --max-epochs 1000 --save-every 500 --num-workers 0参数说明参数含义--config模型配置文件路径选择上面之一进行微调或者创建自己的配置文件从头开始训练--dataset-dir数据集目录路径应为包含所有音频文件的文件夹--run-name运行名称用于保存模型检查点和日志--batch-size训练的批大小根据 GPU 内存选择--max-steps最大训练步数取决于数据集大小和训练时间--max-epochs最大训练轮数取决于数据集大小和训练时间--save-every保存模型检查点的步数--num-workers数据加载的工作线程数量Windows 上建议设置为 04. 断点续训如果训练意外中断只需以相同命令、相同的run-name和config再次运行即可程序会自动找到上次训练的检查点和日志并从断点继续。5. 使用微调模型推理训练完成后检查点与配置文件位于./runs/run-name/下检查点命名为ft_model.pth配置文件名称与训练时一致。推理时指定该检查点与配置文件的路径即可同时仍需提供要克隆的说话人的参考音频与零样本推理一致。在 Wan2GP 中的集成声音替换后处理链路除官方脚本外Wan2GP 把 Seed-VC 深度集成进视频生成流水线postprocessing/seedvc/wgp_bridge.py核心逻辑如下三种运行模式MODE_V1v1.0 Speech、MODE_SINGINGv1.0 Singing / F0 44k、MODE_ACCENTv2 Speech通过「Configuration Extensions」中的下拉菜单启用SeedVCBridge.mode_choices()单说话人替换先对源音频做人声/背景分离extract_vocal_and_background_stems只对人声主干做 Seed-VC 转换再与背景音轨合并SEEDVC_RESTORE_BACKGROUND_STEM控制是否保留背景音从而避免背景音乐被换声破坏双说话人替换使用 preprocessing/speaker_separator 的extract_dual_audio把双说话人音轨分离为两条 语音掩码分别用两份参考语音转换再按掩码合并掩码之外的部分默认保留原始音频KEEP_ORIGINAL_AUDIO_OUTSIDE_TWO_SPEAKERS幅度匹配转换后通过_match_audio_file_amplitude将输出的人声音量对齐到源人声的活跃区 RMS 幅度避免换声后音量突兀显存管理模型通过 offload 注册表统一管理offload_registry.register_offloadobj(SeedVC, ...)支持持久驻留PERSIST_RAM与用后释放PERSIST_UNLOAD两种策略视频音轨替换replace_audio_tracks可批量处理视频的多条音轨并返回替换后的音轨列表供后续 remux 使用。客观评估结果Seed-VC 提供了针对零样本语音转换与零样本歌声转换的客观评估见 postprocessing/seedvc/EVAL.md零样本语音转换源音频为 LibriTTS-test-clean 的 100 条随机话语参考音频为 12 条野外语音使用说话人嵌入余弦相似度SECS↑、词错误率WER↓、字错误率CER↓与 DNSMOSSIG/BAK/OVRL↑指标并与 OpenVoice、CosyVoice 对比。Seed-VC 在可懂度WER 11.99 / CER 2.92与说话人相似度SECS 0.8676上优于两个基线在与 So-VITS-4.0 等非零样本模型的逐说话人对比中Seed-VC 在多数指标上也占优。零样本歌声转换在 M4Singer 数据集上以 4 位目标歌手对比 RVCv2-f0-48k每位歌手单独训练Seed-VC 仅用一条随机语音作为 prompt即在说话人相似度SECS 0.7405与可懂度CER 19.70上持续优于逐歌手训练的 RVCv2且 F0 相关性F0CORR 0.9375接近但 Seed-VC 的音频质量DNSMOS略低于 RVCv2官方将其列为后续改进方向。评估可通过python eval.py复现仓库内脚本位于 postprocessing/seedvc/eval.py如需对比基线需额外安装 OpenVoice 与 CosyVoice。常见问题与使用提示实时变声必须用 GPU文档给出的 RTX 3060 笔记本测试中10 步扩散 0.7 CFG 时每块推理约 150ms、总体延迟约 430ms推理时间必须小于块时间才能维持实时流运行其他 GPU 任务会拉低推理速度模型下载失败无法访问 Hugging Face 时为命令加上HF_ENDPOINThttps://hf-mirror.com使用镜像站在 Wan2GP 集成中资产则按仓库内定义的下载清单从内置源拉取歌声转换的关键开关--f0-condition True启用 F0 条件、--diffusion-steps 30~50保证音质--auto-f0-adjust通常保持关闭否则会导致歌声与 BGM 调性不一致跨性别转换可配合--semi-tone-shift ±12使用微调数据质量优先优先选择无 BGM、无噪的干净语音每条约 1~30 秒单说话人微调只需 1 条语音即可启动说话人分离依赖双说话人换声需要 preprocessing/speaker_separator 的分离模型首次使用会自动下载。相关文档English README 日本語 README 评估详情 EVAL.md赞分享人工智能AI 应用媒体生成本地部署【免费下载链接】Wan2GPA fast AI Video Generator for the GPU Poor. Supports Wan 2.1/2.2, LTX-2, Qwen Image, Hunyuan Video, LTX Video and Flux.项目地址https://gitcode.com/gh_mirrors/wa/Wan2GP点击查看免费下载相关推荐Seed-VC语音转换完全指南零样本声音克隆与歌声转换实战Seed VC语音转换完全指南零样本声音克隆与歌声转换实战 想要体验无需训练就能实现声音克隆的神奇技术吗Seed VC为您提供了零样本语音转换和歌声转换的完人工智能语音音频Seed-VC 零样本语音转换完全指南命令行推理、实时变声与 Wan2GP 集成实战Seed VC 零样本语音转换完全指南命令行推理、实时变声与 Wan2GP 集成实战 Seed VC 是一套无需训练的零样本语音转换Zero shot Vo人工智能AI 应用媒体生成本地部署OpenClaw 后台进程管理exec 与 process 工具的实现机制与实战指南OpenClaw 后台进程管理exec 与 process 工具的实现机制与实战指南 OpenClaw 通过 exec 工具执行 Shell 命令并用内存中人工智能AI 应用媒体生成本地部署上一篇如何用vLLM-Omni部署Qwen3-Omni模型完整实战指南下一篇如何用OpenMower DIY打造智能RTK GPS割草机器人5个关键步骤指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考