YuE2 零样本翻唱实战指南转谱、审校、换风格重制一次跑通【免费下载链接】YuEYuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.项目地址: https://gitcode.com/GitHub_Trending/yue/YuE你想把一首现成录音换成完全不同的风格重做但 YuE2 的接口里没有直接上传原曲的参数。本文讲清 YuE2 零样本翻唱的完整链路先用 SheetSage2 把录音转成无和弦的旋律乐谱人工审校后再用 YuE2-3B 以cotmelody规划模式加上新风格、新歌词重制出完整歌曲全程不需要任何翻唱专属微调。读完你能独立搭好两套隔离环境、跑通从转谱到出片的全流程并看懂基准数据的结论边界。⚖️ 先选对乐谱形态与规划模式怎么定乐谱形态和规划模式怎么选先回答三个问题给什么乐谱、cot取什么值、用什么环境。你的目标喂入的 ABC 形态cot取值原因已有旋律换新风格翻唱无和弦旋律谱Vocal、Ins两条旋律声部melody只锁定旋律和声与配器交给目标风格重建翻唱但保留原曲和声骨架带和弦符号的乐谱full和声被固定成品贴近原作配和重和声、局部修改现有乐谱编辑后带和弦的乐谱full改完直接生效纯文本生成新歌无乐谱不提供full/melody/off由 YuE2 自行规划off即纯文字出歌喂入外部 ABC 时管线直接对它分词、跳过符号规划器不存在第二个规划器帮你修谱的环节plan()在 src/yue2/pipeline.py 中abc非空即走该分支。所以你递进去的谱就是最终生效的谱cotmelody也不会自动剔除文件里残留的和弦符号。完整任务与模式对照见 skills/yue2-music/references/generation-and-covers.md。为什么两套环境必须隔离SheetSage2 侧固定 Transformers 4.45.2 与 NumPy 1.24.3要求 Python 3.10/3.11 和 FFmpeg 6.1YuE2 运行时固定的是 PyTorch 2.10.0、Transformers 4.57.6、NumPy 2.2.6skills/yue2-music/references/models-and-setup.md。两套依赖互相冲突只能各建一个虚拟环境。两个环境之间只交换 ABC 与音频文件先转谱释放显存再加载 YuE2顺序执行即可共享同一块 GPU。Hugging Face 缓存可以共用——隔离的对象是 Python 依赖不是权重。加载 SheetSage2 时会自动挂载其配置选定的 MERT-v2-FullSong 编码器父模型不需要另做一次 MERT 特征提取也不要把 MERT 连续特征当成 YuE2 的离散语义 token。️ 最短执行路径从录音到成品三步如何搭建隔离转谱环境并用一条命令出谱python3.11 -m venv .venv-sheetsage2 .venv-sheetsage2/bin/python -m pip install huggingface-hub0.36.0 .venv-sheetsage2/bin/huggingface-cli download m-a-p/SheetSage2 --local-dir models/SheetSage2 .venv-sheetsage2/bin/python -m pip install torch2.8.0 torchaudio2.8.0 --index-url https://download.pytorch.org/whl/cu126 .venv-sheetsage2/bin/python -m pip install -r models/SheetSage2/requirements.txt转谱只需一条命令--melody-only是关键.venv-sheetsage2/bin/python models/SheetSage2/infer.py source.wav --output cover-score --melody-only验证信号退出码为 0 且无告警cover-score/score.abc中保留 Vocal 与 Ins 两条旋律声部、不含和弦符号。然后对照源录音逐条核对音符、拍号与段落顺序——转谱错音不经审校就会被生成器固化进成品。需要记录溯源信息源音频哈希、模型 revision、快照哈希时改用仓库辅助脚本 skills/yue2-music/scripts/transcribe.py 的--task melody-full它自动写入input.json、model_provenance.json、abc_check.json并做无和弦校验校验失败以非零码退出。如何把乐谱喂给 melody 规划模式并生成请求文件照 examples/song.json 的形态编写字段作用style目标风格流派、乐器、人声特质、语言、速度都写在这里tags只是它的别名两者同现必须一致lyrics用[Verse]/[Chorus]组织演唱歌词段落顺序与乐谱对齐cot本次取melodyseed固定种子便于对比追踪abc不必写进 JSON由--abc-file注入.venv/bin/python examples/generate.py --request cover-request.json --abc-file cover-score/score.abc --cot melody --output outputs/cover验证信号examples/generate.py 会拒绝已存在的输出目录跑完检查outputs/cover/audio.flac已生成、result.json中truncated为 false、退出码 0。手边没有源录音时把--request/--abc-file换成examples/song.json与examples/melody.abc即可单独验证乐谱条件生成接口——那是原创素材测试不是转谱演示。⚠️ 避坑手册条件 → 后果 → 解法触发条件后果解法--abc-file与--cot off同时给出脚本直接报错退出带谱时cot只能是melody或fullmelody模式但 ABC 里仍有和弦符号和弦原样进入输入配器被原和声锁死转谱阶段就用--melody-only导出别指望接口帮你删转谱退出码非零或有告警仍继续音符、拍号、段落错误被带入成品停手对照源录音审校孤立标注文件LAB 等不代表成功乐谱复用上一次输出目录新旧版本混杂、追溯链断裂每次运行使用全新目录generate.py本身也做了此校验只看到statuscomplete就收工截断的完整歌曲被当成正常产出查result.json的truncated含 abc/semantic 两项与片尾长度试图把录音直接喂给 YuE2 做参考接口无reference_audio字段流程不成立源分离、转谱、歌词识别、条件生成是四个独立环节按本文链路分步执行不锁定 SheetSage2 的 revisiontrust_remote_codeTrue会执行模型仓库自带 Python 代码结果不可复现锁定已审校的 revision 并随运行清单记录 评估数据怎么看零样本翻唱基准协议背景948 首 SHS100K 作品 × 2 个目标风格 × 2 个种子 每方法 3,792 个输出无候选挑选YuE2 各条件均使用通用歌曲生成检查点与 benchmark 解码器生成器未接受任何原曲–翻唱配对监督或翻唱专属微调docs/benchmarks.md。CLEWS 与 Discogs-VINet 在每查询 10,545 条、排除源作品的检索画廊上衡量作品身份保留MuLan 衡量目标风格贴合度SongBench Musicality 衡量音乐性。方法CLEWS mAP ↑CLEWS Hit1 ↑Discogs-VINet mAP ↑MuLan ↑SongBench Musicality ↑SongEcho0.41948.4%0.1220.3663.286ACE-Step 1.50.0242.4%0.0060.1663.689YuE2 (full score)0.64771.3%0.2880.3825.104YuE2 (without chords)0.59867.3%0.1790.4175.490YuE2 (without score)0.0060.3%0.0040.4745.691三点读法完整乐谱在身份保留上最高0.647 / 71.3%去掉和弦后身份指标略降风格贴合与音乐性反而上升——固定转谱会约束对反差风格的改编因此产品侧默认推荐 melody-only 翻唱完全不喂谱时身份指标塌到接近 0说明旋律谱才是身份保留的来源。这些数据不能证明让模型从当前提示词重新规划乐谱就会降低质量也不构成跨指标通用领先或人类偏好的结论单次本地生成更不是对聚合数字的复现。✅ 一页行动清单两套 venv 各装各的依赖共享一个 GPU先转谱、释放显存再加载 YuE2。转谱一律--melody-only出谱后逐条核对音符、拍号与段落顺序。歌词的[Verse]/[Chorus]与乐谱段落顺序对齐翻译歌词时匹配短语划分与音节数。带谱生成用cotmelody要保留原和声骨架才用full。每次运行换新输出目录并记录 seed、模型 revision 与权重哈希。收工前查result.json的truncated与片尾complete不等于没截断。把基准表当选型参考身份保留看 full score风格贴合与音乐性看 melody-only。【免费下载链接】YuEYuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.项目地址: https://gitcode.com/GitHub_Trending/yue/YuE创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考