说错一个词不必重录一条片。输入原始音频再用一句自然语言说明“要改哪里、改成什么”语音内容编辑模型就能直接改写声音里真正说出来的话并尽量保留原说话人的音色、语气和上下文表达。一段视频已经拍好剪辑、配乐、字幕都已完成却在最后检查时发现口播里有一个词说错了。重录意味着重新找状态、重新进棚、重新对齐画面补录又要处理音色差异、语气断层和前后衔接。原本只是改几个字却常常牵动整条内容生产链路。火山引擎多媒体实验室通过全新语音内容编辑模型把这件事变得更轻让用户用自然语言指令表达“要改什么”把“怎么自然地改进原声音”交给模型。为什么是现在语音编辑正在从“后期工程”走向“AI 内容编辑”过去音频后期更多围绕降噪、剪切、拼接、重录展开而新一代 AI 音频工具正在把编辑对象从“波形片段”推进到“可理解、可改写的语音内容”。例如 Descript 将音视频编辑做成类似文档编辑的体验强调可以通过编辑脚本来修正语音错误并用 Regenerate 生成能融入上下文的新说话人音频。Meta 的 Voicebox 研究也将语音生成能力拓展到内容编辑、风格迁移、降噪和多样化采样等任务并强调模型可以替换说错的词而不必重新录制整段语音。这说明一个清晰趋势创作者真正需要的不只是“把声音做干净”而是能够像改文字一样低成本、低打扰地修改已经完成的音视频内容。从“修音质”到“改内容”不只处理噪声、混响和清晰度更要能改正语音里真实说出的信息。从“重录”到“局部再生成”不再为了一个词返工整条视频而是定位问题片段并生成自然替换。从“专业后期”到“自然语言指令”用户不必理解复杂音频工具只需要说明“把 A 改成 B”。核心能力改内容也保留原来的“人味”语音编辑真正难的地方不只是把新台词“念出来”而是让它听起来仍然像原来那个人、在原来那段语境里自然说出来。围绕这一目标我们基于自研底座构建了指令驱动的语音内容编辑模型。模型同时理解原声音频与用户修改意图不仅学习“败血症 → 坏血病”“极速款 → 极速版”这样的内容替换关系也会利用原音频中的上下文信息尽量延续说话人的音色、韵律和表达方式。更直接不用拆解复杂流程直接用自然语言描述修改意图。更自然不只合成新片段还要接回原语境减少突兀感。更高效面向口播纠错、广告改词、配音调整和存量素材再编辑降低重录成本。从口播纠错、产品信息修订到广告素材改词、配音微调和存量视频再编辑用户只需要表达“把什么改成什么”。模型则以内容正确、音色保持、韵律自然、衔接顺滑为优化目标让一次小修改不再变成一次大返工。行业参考我们补上的是“语音内容可编辑”这一环ElevenLabs 的 Voice Changer 文档强调Speech-to-Speech 可以在转换声音时保留原始输入的 tone、delivery 和 speaking cadence并可用于修正发音问题。Adobe Podcast Enhance Speech 则主打一键提升语音清晰度、去除噪声和回声让普通环境录制的人声听起来更接近专业录音室效果。这些能力共同指向一个更完整的内容生产链路音质可以被增强声线可以被迁移而语音里的具体内容也应该可以被精准编辑。我们的语音内容编辑模型正是补上“内容可编辑”这一关键环节。技术原理让模型听懂原音频也听懂修改指令模型的核心思路可以概括为先把声音转成可建模的音频 Token再结合自然语言指令完成语义规划最后生成修改后的语音结果。统一表示把声音和指令放进同一个生成框架原音频会先经过音频 Tokenizer转换为离散的音频 Token 序列再与自然语言编辑指令一起输入模型。这样模型处理的不是一份孤立的文字转写而是能同时参考原始声音上下文和用户修改意图。CoT 式语义规划先想清楚怎么改再生成声音模型的分阶段生成可以理解为“语义先行”先形成修改后的语义表达再基于这一中间表示继续生成音频 Token最后由声码器还原为波形。语义规划与语音生成位于同一自回归序列中在解码阶段模型还会引入原音频的声学特征与说话人特征作为参考帮助修改后的片段更好地贴合原说话人的声音特点。成对编辑数据学习真实场景里的“怎么改”训练样本由原音频、编辑指令、修改后的语义表达和语音结果组成。模型通过监督微调学习从“原语音 修改指令”到“编辑后语音”的映射关系。训练时只对输出部分计算损失不把输入提示当作预测目标从而聚焦学习编辑结果本身。语音内容编辑模型概览。CoT 式规划指“先语义、后语音”的生成思路并不表示额外引入独立的推理网络或逐步推理监督原理图省略底层网络和编解码细节。效果展示一句指令完成声音内容修改展示一口播纠错把“败血症”改成“坏血病”修改指令把“败血症”改成“坏血病”。目标是在不重录整段口播的前提下完成局部内容纠错并尽量保持原声音色与前后表达连贯。原视频基于重合成方案自研编辑模型修改后的视频展示二广告视频改词把“极速款”改成“极速版”修改指令把“极速款”改成“极速版”。适用于广告投放、产品命名、活动信息等需要快速修订的内容场景。原视频自研编辑模型修改后的视频适用场景从一个词到一批存量素材过去口播错误意味着“重新录”现在我们希望把它变成“直接改”。下一步走向更稳定、更一致的内容编辑接下来我们会继续围绕真实素材中的指令执行、音色保持、韵律自然度和片段衔接效果进行听测与迭代。更多素材覆盖口播、广告、课程、解说等不同内容形态。更多语言持续验证中文、英文及后续多语言场景下的稳定性。更多评测从内容准确性、音色一致性、自然度和衔接感四个方向持续优化。欢迎带着真实素材参与测试。用修改前后的对照检验内容是否改对也检验声音是否依然自然。我们希望让音视频内容修改从“重新制作一次”变成“直接说明要改哪里”。让用户说清楚“要改什么”让模型承担更多“怎么改”的工作。