视频自动化这条链路我从两年前就开始折腾了。最早是用 shell 脚本把 ffmpeg 命令串起来后来发现维护成本太高换一个需求就要重写一遍逻辑。直到 Claude Code 这类终端里的 AI 编程助手成熟起来我才找到一种真正可持续的玩法用自然语言描述视频处理需求让 AI 生成并执行 ffmpeg 命令再配合 ElevenLabs 做配音、Remotion 做程序化合成整条流水线基本可以做到说人话就能出片。这套东西我内部叫它 video-use它不是一个现成的开源项目而是一套围绕 Claude Code 搭建的视频处理工作流。今天把它完整拆开讲一遍从环境搭建到命令生成从踩坑记录到进阶玩法适合所有想把视频处理自动化的朋友参考不管你是做自媒体的、做企业宣传片的还是单纯想批量处理家庭录像的都能从中找到能直接抄的部分。1. 为什么视频处理需要 Claude Code 介入1.1 传统 ffmpeg 工作流的真实痛点ffmpeg 是视频处理领域事实上的标准工具这一点没什么争议。但它的学习曲线陡得吓人一个稍微复杂的滤镜链就能写出一行几百个字符的命令参数顺序错了直接报Invalid argument而且报错信息往往语焉不详。我见过太多人卡在-vf和-filter_complex的区别上也见过有人为了调一个视频响度翻了半天文档最后还是用回了图形界面工具。问题的本质在于ffmpeg 的命令行接口是给机器设计的不是给人设计的。它要求你精确知道每个参数的位置、每个滤镜的语法、每个编解码器的能力边界。而视频处理的需求往往是模糊的、口语化的——把这个视频压小一点但别太糊、给这段加个淡入淡出、把音量统一一下。从模糊需求到精确命令之间存在一道巨大的鸿沟传统做法是靠经验硬填填一次算一次下次换个需求还得重来。1.2 Claude Code 在终端里的独特价值Claude Code 和网页版的 AI 对话有本质区别。它运行在你的终端里能直接读写文件、执行命令、看到执行结果然后根据结果调整下一步操作。这意味着你可以对它说把 input.mp4 压缩到 10MB 以内它会先分析源文件信息生成一条 ffmpeg 命令执行检查输出文件大小如果还是太大就调整 CRF 值再试一次。这个生成-执行-验证-调整的闭环才是它真正值钱的地方。我实测下来Claude Code 处理 ffmpeg 相关任务的成功率远高于直接问网页版 AI。原因很简单网页版 AI 看不到你的实际文件只能凭你描述的信息猜而 Claude Code 可以自己跑ffprobe拿到真实的编码格式、分辨率、码率、时长基于真实数据生成命令准确率自然高出一大截。1.3 video-use 这套工作流的定位需要说清楚的是video-use 不是要替代 ffmpeg也不是要替代你的剪辑软件。它的定位是中间层——把口语化的视频处理需求翻译成可执行的命令链并且能批量、可重复地跑。适合的场景包括批量给视频加统一片头片尾、批量调整响度到广播标准、批量转码适配不同平台、根据脚本自动生成带配音的短视频。不适合的场景是精细的创意剪辑那种活儿还是得人来。提示Claude Code 目前在不同地区的可用性有差异安装前建议先确认你所在环境是否支持。如果终端里跑不起来可以退而求其次用其他支持本地文件读写的 AI 编程工具思路是一样的。2. 环境搭建从零把工具链装齐2.1 ffmpeg 的安装与版本选择ffmpeg 的安装是整套流程的地基这一步出问题后面全白搭。Windows 用户最省事的做法是去官网下载ffmpeg-master-latest-win64-gpl.zip这类完整版压缩包解压后把bin目录加到系统 PATH 里。注意要选 gpl 版本而不是 essentials 版本因为 gpl 版包含了 libx264、libx265 这些常用编码器essentials 版缺不少东西后面用到某些滤镜时会报encoder not found。Linux 用户直接用包管理器装就行Ubuntu 下sudo apt install ffmpeg但要注意发行版仓库里的版本可能偏老。如果你需要用到较新的滤镜或者硬件加速特性建议自己编译或者用静态构建版。macOS 用户走 Homebrewbrew install ffmpeg同样注意版本。装完之后必须验证跑这三条命令ffmpeg -version ffprobe -version ffmpeg -encoders | grep -E libx264|libx265|aac第一条看版本号第二条确认 ffprobe 也在很多人只装了 ffmpeg 没装 ffprobe后面拿不到文件信息第三条确认关键编码器可用。三条都过了地基才算稳。2.2 Claude Code 的安装与配置要点Claude Code 的安装方式根据平台不同有差异。常见做法是通过 npm 全局安装命令大致是npm install -g anthropic-ai/claude-code装完之后在项目目录里运行claude就能启动。Windows 用户如果遇到终端兼容问题可以在 WSL 或者 Git Bash 里跑体验会顺畅很多。VS Code 用户也可以装对应的扩展在编辑器内直接调用。安装过程中最容易卡住的地方是权限和网络。权限方面全局安装可能需要 sudo 或者管理员权限网络方面首次启动需要完成账号认证这一步按提示走就行。如果提示当前地区不可用那就得考虑替代方案比如接入其他兼容的模型后端或者用支持本地执行的同类工具。配置上我建议做两件事一是把工作目录固定在一个专门的项目文件夹里避免 AI 误操作其他文件二是在项目根目录放一个说明文件写清楚这个项目的视频处理规范比如统一输出格式、统一响度标准Claude Code 会读取这个文件作为上下文生成的命令会更符合你的习惯。2.3 ElevenLabs 与 Remotion 的接入准备ElevenLabs 负责配音环节你需要拿到 API key然后在环境变量里配置好。它的价值在于能把文字脚本直接转成自然度很高的语音省掉真人录音的环节。对于批量做短视频的场景这个环节的自动化收益非常大。Remotion 则是用代码生成视频的框架基于 React适合做那种数据驱动、模板化的视频比如每周自动生成的排行榜视频、带动态字幕的讲解视频。它的安装是标准的 npm 流程npx create-video就能起一个项目。Remotion 和 ffmpeg 是互补关系Remotion 负责从零合成ffmpeg 负责对已有素材加工两者结合能覆盖绝大多数自动化视频需求。工具角色安装方式关键验证ffmpeg视频处理核心官网压缩包/包管理器ffmpeg -versionffprobe媒体信息读取随 ffmpeg 一起ffprobe -versionClaude Code命令生成与执行npm 全局安装claude能启动ElevenLabs文字转语音API 接入环境变量配置Remotion程序化视频合成npm 项目初始化npx remotion studio3. 用自然语言驱动 ffmpeg 的实操链路3.1 从一句需求到一条命令的完整过程我拿一个真实场景走一遍。需求是把 raw.mp4 压缩一下目标 1080p文件别超过 50MB音频保持原样。 在 Claude Code 里把这句话打进去它会先跑ffprobe看源文件ffprobe -v error -show_entries formatduration,size,bit_rate -show_entries streamcodec_type,codec_name,width,height -of json raw.mp4拿到时长和当前码率后它会算目标码率。假设源视频 3 分钟、当前 200MB要压到 50MB那目标总码率大约是50MB * 8 / 180s ≈ 2.2Mbps扣掉音频占的 128kbps视频码率定在 2Mbps 左右。然后生成命令ffmpeg -i raw.mp4 -vf scale-2:1080 -c:v libx264 -b:v 2M -maxrate 2.2M -bufsize 4M -c:a copy -movflags faststart output.mp4这里几个参数值得说清楚。scale-2:1080里的-2表示宽度按比例自动算并且保证是偶数H.264 要求宽高都是偶数写-1有时会算出奇数导致失败。-maxrate和-bufsize配合-b:v做码率控制避免瞬时码率飙太高。-c:a copy表示音频直接复制不重编码省时间也保质量。-movflags faststart把元数据挪到文件头方便网络播放。3.2 响度标准化一个高频需求的精细处理调整视频响度是极高频的需求尤其是做播客视频或者课程视频的时候。ffmpeg 提供了loudnorm滤镜但直接用它很容易翻车。正确的做法是两步走先分析再应用。第一步用loudnorm的分析模式拿到源音频的响度数据ffmpeg -i input.mp4 -af loudnormI-16:TP-1.5:LRA11:print_formatjson -f null -这条命令不会输出文件只会在终端打印一段 JSON里面有input_i输入响度、input_tp真峰值、input_lra响度范围等值。第二步把这些值填回命令做线性归一化ffmpeg -i input.mp4 -af loudnormI-16:TP-1.5:LRA11:measured_I-23.5:measured_TP-3.2:measured_LRA8.1:measured_thresh-34:offset0.5:lineartrue -c:v copy output.mp4两步法的好处是避免动态归一化带来的音质损失。一步直接跑loudnorm会触发动态模式声音忽大忽小听感很差。I-16是目标响度短视频平台一般用 -14 到 -16 LUFS播客用 -16广播用 -23具体看你的发布渠道。注意loudnorm的lineartrue只有在测量值和目标值差距不大时才有效差距太大时会自动回退到动态模式。所以第一步的测量一定要做不能跳过。3.3 批量处理的脚本化封装单条命令跑通之后批量处理就是把它包一层循环。我习惯让 Claude Code 生成一个 bash 脚本把所有视频文件遍历一遍#!/bin/bash for f in ./raw/*.mp4; do name$(basename $f .mp4) ffmpeg -i $f -vf scale-2:1080 -c:v libx264 -crf 23 -preset medium \ -c:a aac -b:a 128k -movflags faststart ./out/${name}.mp4 done这里用-crf 23代替固定码率质量更稳定文件大小随内容复杂度浮动。-preset medium是编码速度和压缩率的平衡点追求速度可以用fast追求体积可以用slow。批量脚本的关键是错误处理建议加上set -e让脚本遇到错误就停或者用|| echo failed: $f记录失败文件避免一个坏文件卡住整批任务。4. 踩坑实录那些让我重跑整批任务的坑4.1 路径里的空格和中文导致的诡异失败这个坑我踩过不止一次。批量脚本里如果文件名带空格for f in ./raw/*.mp4展开后会把一个文件名拆成多个参数ffmpeg 直接报找不到文件。解决办法是给变量加双引号$f所有用到文件路径的地方都要加。中文文件名的问题更隐蔽在某些终端编码下会变成乱码ffmpeg 读不到。我的做法是批量处理前先把文件名规范化用rename或者脚本统一改成英文加数字。排查这类问题的思路是先单独跑一条命令确认 ffmpeg 本身没问题再跑循环看是不是脚本的问题最后检查文件名。三步定位基本不会跑偏。4.2 编码器缺失与硬件加速的取舍Unknown encoder libx264这个报错八成是你装的 ffmpeg 是精简版。Windows 上尤其常见很多人图省事下了个 essentials 包结果缺编码器。解决办法就是换 gpl 完整版。另一个相关问题是硬件加速NVIDIA 显卡可以用h264_nvencIntel 核显可以用h264_qsv速度能快好几倍但画质在同码率下通常不如软件编码的 libx264。我的建议是批量转码追求速度用硬件加速最终成品追求质量用软件编码。4.3 推流延迟与参数调优用 ffmpeg 推流到 SRS 这类流媒体服务器时延迟是个老大难。默认参数下延迟可能到好几秒直播场景完全没法用。核心调优方向是减小缓冲-tune zerolatency关掉编码器的前瞻缓冲-g设小 GOP 大小比如帧率的两倍-bf 0禁用 B 帧-preset ultrafast用最快编码。这几项加上去延迟能从几秒压到几百毫秒。代价是码率会上升、画质略降但直播场景下延迟比画质重要得多。问题现象根因解决方向Unknown encoderffmpeg 精简版换 gpl 完整版找不到文件路径含空格/中文加引号、规范化文件名推流延迟高编码缓冲大zerolatency 小 GOP响度忽大忽小动态归一化两步法线性归一化输出文件无法网页播放元数据在文件尾加 faststart5. 把配音和程序化合成接进来5.1 ElevenLabs 配音与视频的对齐ElevenLabs 生成的音频是独立文件要和视频对齐有两种做法。简单做法是先把配音生成好量出总时长再据此调整视频片段的时长去匹配音频。复杂做法是反过来先定视频节奏再让配音去适配。我一般用前者因为配音的语速调整比视频剪辑麻烦。拿到配音 mp3 后用 ffmpeg 把它和视频合并ffmpeg -i video.mp4 -i voice.mp3 -c:v copy -c:a aac -b:a 192k -shortest output.mp4-shortest保证输出时长以较短的输入为准避免出现黑屏或者静音尾巴。如果配音比视频长就得回头调整视频或者剪辑配音。5.2 Remotion 做模板化视频的思路Remotion 适合那种结构固定、内容变化的视频。比如你要做一个每日数据播报系列每天的数据不同但版式一样用 Remotion 写一个 React 组件把数据作为 props 传进去npx remotion render就能批量出片。它内部也是调用 ffmpeg 做最终编码所以前面学的 ffmpeg 知识在这里照样用得上。Remotion 和 Claude Code 结合的点在于你可以让 Claude Code 帮你写 Remotion 组件。描述清楚你要的版式、动画、数据字段它能生成可运行的代码。我实测下来简单的字幕动画、数字滚动、图表入场这些效果生成的代码基本能直接用复杂的转场还需要手动调。5.3 整条流水线的串联方式把这几块串起来一个完整的自动化视频生产流水线是这样的脚本或数据源提供内容Claude Code 生成处理逻辑ElevenLabs 出配音ffmpeg 做素材加工和合并Remotion 做模板合成最后 ffmpeg 统一输出规格。每一环都可以单独替换比如配音换成别的 TTS 服务合成换成别的框架核心思路不变。我自己的项目里这条流水线每周能自动产出十几条视频人工只需要审核和微调。省下来的时间主要花在内容策划上而不是重复的技术操作上。这才是自动化的真正价值——不是完全取代人而是把人从机械劳动里解放出来。6. 几个让我少走弯路的实操心得第一个心得是关于命令调试的。ffmpeg 命令出问题时不要一上来就改参数先用-f null -跑一遍它只做处理不写文件能快速验证滤镜链和参数是否合法。确认没问题了再真正输出文件能省下大量等待编码的时间。第二个心得是关于 AI 生成命令的验证。Claude Code 生成的命令不要盲目执行尤其是涉及删除、覆盖的操作。我的习惯是让它先解释每条命令在做什么确认逻辑对了再跑。对于批量脚本先拿一两个文件试跑没问题再全量。第三个心得是关于版本管理。ffmpeg 不同版本的行为有差异某些滤镜参数在新版里改了名字或者废弃了。项目里最好记录清楚用的 ffmpeg 版本换环境时对照检查。我吃过一次亏本地跑得好好的脚本换到服务器上就报错查了半天是版本差异。第四个心得是关于输出规格的统一。批量处理最怕输出规格五花八门后期整合时又要转一遍。建议在项目开始就定好一套输出规范——分辨率、帧率、编码、码率、响度、容器格式全部固定所有环节都往这个规范上靠。Claude Code 的上下文里写清楚这套规范它生成的命令就会自动遵守。这套 video-use 工作流我用了大半年最大的感受是视频处理的自动化门槛因为 AI 编程助手的出现实实在在地降下来了。以前需要记一堆参数、查一堆文档的活儿现在描述清楚需求就能跑通。当然基础原理还是得懂不然 AI 生成的命令出了问题你都不知道从哪查。工具是放大器放大的是你已有的能力这个道理在视频处理上同样成立。