YuE2 零样本翻唱完整指南录音转旋律谱换风格重制一首歌【免费下载链接】YuEYuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.项目地址: https://gitcode.com/GitHub_Trending/yue/YuEYuE2 的零样本翻唱工作流解决一个问题你手上有一段源录音想让它变成另一种风格但不想重录、也不想训练任何模型。链路是先用 SheetSage2 把录音转成无和弦的旋律 ABC 谱人工审校后再交给 YuE2 按目标风格与新歌词重制出完整歌曲。全程只使用通用歌曲生成检查点不需要翻唱专属微调。什么时候用它 适用手里有源录音想换成爵士、电子等新风格翻唱或已有一份旋律谱想重新编排配器与人声。不适用想让 YuE2直接听参考音频——请求协议里没有reference_audio参数也没有参考歌手字段。边界源分离、转谱、歌词识别、乐谱条件生成是四个互相独立的操作见 generation-and-covers.mdYuE2 的 VAE 编码器不能替代旋律转谱。环境如何隔离两个模型必须分装两个虚拟环境依赖版本互相冲突SheetSage2 侧固定 torch 2.8.0 / torchaudio 2.8.0要求 Python 3.10/3.11 与 FFmpeg 6.1确认ffmpeg在PATH上YuE2 运行时固定另一套 PyTorch/Transformers 版本基线是 24GB 显存、支持 BF16 的 NVIDIA GPU。两边只通过文件交换音频与 ABC在同一块 GPU 上顺序执行——先转谱释放显存再加载 YuE2。YuE2 侧按 models-and-setup.md 准备.venv即可。SheetSage2 环境在仓库根目录执行python3.11 -m venv .venv-sheetsage2 .venv-sheetsage2/bin/python -m pip install huggingface-hub0.36.0 .venv-sheetsage2/bin/huggingface-cli download m-a-p/SheetSage2 \ --local-dir models/SheetSage2 .venv-sheetsage2/bin/python -m pip install \ torch2.8.0 torchaudio2.8.0 \ --index-url https://download.pytorch.org/whl/cu126 .venv-sheetsage2/bin/python -m pip install -r models/SheetSage2/requirements.txt加载 SheetSage2 时会自动带上其配置选定的 MERT-v2-FullSong 编码器不需要单独再做一次 MERT2 特征提取也不要把 MERT 的连续特征当 YuE2 的离散语义 token 用。trust_remote_codeTrue会执行模型仓库自带的 Python 实现选已审校的 revision 并把它记录进产物。旋律谱怎么导出、怎么跑通转谱用仓库自带脚本最省事.venv-sheetsage2/bin/python skills/yue2-music/scripts/transcribe.py \ source.wav --task melody-full --output cover-score--task melody-full即melody_onlyTrue导出无和弦旋律谱同时保留人声与器乐两条旋律线。脚本自动写入input.json源音频哈希、模型、revision、model_provenance.json、abc_check.json与transcription_manifest.json并对导出的 ABC 做无和弦校验失败以非零退出码结束。你转谱后必须检查退出状态与告警再对照源录音逐项核对音高、拍号与段落顺序——错误会原样带进翻唱成品。把谱作为外部输入按 examples/song.json 的形态准备请求cot写melody{ id: my_cover, style: English, jazz swing, intimate female vocal, acoustic piano, upright bass, brushed drums, 92 BPM, lyrics: [Verse]\n...\n[Chorus]\n..., cot: melody, seed: 831001 }切回 YuE2 环境生成.venv/bin/python examples/generate.py --request cover-request.json \ --abc-file cover-score/score.abc --cot melody --output outputs/covergenerate.py 默认模型m-a-p/YuE2-3B、VAEm-a-p/YuE2-Vae。歌词来源优先用你已有的源歌词或自行转录后修正翻译时短语划分与音节数要贴合旋律英文改词即使音节数相同重音与元音时值通常也要再调编辑指导见 generation-and-covers.md。只想先验证乐谱条件接口不必碰转谱.venv/bin/python examples/generate.py --request examples/song.json \ --abc-file examples/melody.abc --cot melody --output outputs/original-melodymelody.abc 是 YuE2 原生旋律输入格式的样例Vocal与Ins两个声部、无和弦符号、M:4/4拍号、Q:1/488速度。注意这是原创素材的接口测试不是转谱演示也不是 benchmark 结果如果你的 ABC 来自其他记谱方言先对照 abc-editing.md 支持的记号范围做转换。关键参数怎么配字段控制什么约束与默认id请求标识文件名安全1–180 位字母数字开头默认songstyle目标风格流派、乐器、人声特质、语言、速度必填字符串tags是其别名两者同时给出必须一致lyrics演唱歌词[Verse]/[Chorus]段落标签顺序须与谱对齐cot符号规划模式full默认/melody/offabc外部乐谱文本由--abc-file或 Python 参数注入非空时cot只能是melody或fullseed随机种子默认 831001固定便于对比cfg_scale语义 CFG 强度默认 1.0full/melody或 1.01off取值 0–20请求里没有reference_audio、bpm、negative_prompt等字段速度与拍号写进 ABC 的M:/Q:行再在style里用一致的说法描述。cot三个取值的取舍对照表来自 generation-and-covers.mdmelody只规划旋律和声与配器交给模型自由发挥——换风格翻唱选它让目标风格真正接管编配full旋律加和弦一起规划和声骨架被锁定——保留原曲和声的编辑、重和声场景选它off完全跳过谱面直接出音频此时abc必须为空。两点容易被忽略外部 ABC 会绕过符号规划器不会调第二个规划器去修复乐谱cotmelody也不会自动删掉输入谱里的和弦符号。所以和弦要在转谱或编辑阶段就去掉而不是指望生成时兜底。内部链路怎么走 源码入口在 pipeline.py一条请求走三级plan()request.abc非空时直接tokenizer.encode()得到abc_ids拼上指令前缀构造精确前缀返回SymbolicPlan计时里记external_prefix_tokens——不调用符号规划器、不做二次规划。cotoff直接返回空谱计划这就是外部谱与 off 模式互斥的原因。generate_semantic()重算前缀并与 plan 中保存的前缀比对不一致就抛ValueError带谱时 CFG 负分支保留同一指令与精确 ABC、去掉风格与歌词语义 CFG 默认如上表。save_artifacts()落盘 48kHz 音频audio.flac24-bit、score.abc如有谱、语义 token、latent.npy、请求、有效配置与result.jsonstatus、truncated截断标志、时长、权重身份、产物哈希。解码器默认YuE2-Vae复现 benchmark 时用YuE2-Vae-legacy两者音频要分开存见 generation-and-covers.md。效果到底如何benchmarks.md 的零样本翻唱评估覆盖 948 首 SHS100K 作品每作品 2 种目标风格 × 2 个种子即每方法 3,792 个输出无候选挑选全部条件使用通用歌曲生成检查点与 benchmark 解码器生成器未接受任何原曲–翻唱配对监督评估作品确认未进入生成器训练集。谱面条件CLEWS mAP ↑CLEWS Hit1 ↑Discogs-VINet mAP ↑MuLan 风格贴合 ↑SongBench 音乐性 ↑SongEcho0.41948.4%0.1220.3663.286ACE-Step 1.50.0242.4%0.0060.1663.689完整谱旋律和弦0.64771.3%0.2880.3825.104去和弦旋律谱0.59867.3%0.1790.4175.490无谱仅文字提示0.0060.3%0.0040.4745.691指标分工CLEWS 与 Discogs-VINet 在排除源作品的 10,545 条检索画廊上衡量作品身份保留度MuLan 衡量对目标风格的贴合度SongBench Musicality 衡量音乐性。怎么读这张表完整谱身份保留最高去掉和弦后身份略降但风格贴合与音乐性反而更好。这是两个独立结果——固定的源录音转谱可能约束对反差风格的改编所以文档的产品指引推荐翻唱使用旋律谱让伴奏更自由。这些数字能证明在该评估协议下谱条件如何影响身份与风格。不能证明人类偏好优势、通用指标碾压或从当前提示词新生成符号规划会降低质量——单次本地生成也不等于复现聚合结论。常见问题速查症状原因处理--cot off与--abc-file组合直接报错off 模式下plan()返回空谱计划外部谱无处安放带谱时cot用full或melody--output指向已存在目录报错generate.py 刻意要求全新目录以保留每个版本每次运行换新目录melody 谱里还带着和弦符号cotmelody不自动删和弦外部谱也不做二次修复转谱用 melody-only或在编辑阶段去掉和弦再验证转录错误原样进成品转谱输出未经人工核对对照源录音逐项核对音高、拍号、段落顺序SheetSage2 与 YuE2 装进同一虚拟环境失败两边 PyTorch/Transformers 依赖版本冲突各自独立 venv顺序执行共享 GPU生成完成但音频不完整result.json的truncated会分别记录 abc / semantic 截断检查时长与结尾重跑前先换新目录上线前对照转谱产物通过无和弦校验并已完成逐项人工审校外部 ABC 无和弦符号Vocal/Ins声部完整请求中cot为melody换风格或full留和声style与谱内速度描述一致lyrics段落标签顺序与谱的段落一致翻译已对齐音节数每次运行使用全新输出目录seed 与模型 revision 已固定记录运行后读取result.json确认truncated全为 false 且哈希清单完整【免费下载链接】YuEYuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.项目地址: https://gitcode.com/GitHub_Trending/yue/YuE创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考