教AI看片听片Diffusion Studio的6大媒体分析工具完全指南【免费下载链接】editorAn open-source video editor built for agents. Edits become code, code becomes video.项目地址: https://gitcode.com/gh_mirrors/editor94/editorDiffusion Studio 是一款专为 AI Agent 打造的开源视频编辑器它的 6 大媒体分析工具probe、grab、filmstrip、waveform、transcribe、listen让 AI 真正学会看片听片读元数据、抽帧、生成胶片条、看波形、转写字幕、听懂内容。本文带你用最快上手的方式掌握这套 AI 视频分析工具无需打开任何专业软件。快速上手AI 的眼睛和耳朵想象一下你把一堆原始素材丢进文件夹对 Agent 说把这段访谈剪成 30 秒精华。AI 要剪得准前提是看得懂画面、听得懂声音——这正是 Diffusion Studio 媒体分析工具的设计初衷。这些工具同时以两种方式提供MCP 服务Agent 直连和命令行dapi脚本、CI 都能用两者返回完全一致的 JSON 结果。完整的工具清单见 docs/reference/tools/README.md。下面 6 个工具前 4 个是本地分析不消耗额度后 2 个中transcribe免费而listen需要登录账号。工具一media_probe —— 3 秒读懂文件体检报告拿到一个视频文件第一步不是看内容而是先问它是什么格式、多长、什么编码dapi media probe path就像给文件做一次快速体检返回容器格式、时长、标签以及每条轨道的编解码器参数且不实际解码速度极快。剪之前确认编码兼容性、核对时长就用它。命令示例dapi media probe clip.mp4细节可参考 docs/reference/tools/media/probe.md。工具二media_grab —— 按时间点抽帧逐格看懂视频想让 AI 精确理解某一瞬间的画面用dapi media grab。它支持三种取帧方式指定时间点-t 0 12 45精确到帧负数还能从片尾倒着数均匀采样-c 8全片等距抽 N 帧智能去重-a自动跳过重复画面只保留新镜头抽出的帧会自动拼成带时间码标签的拼图最多 12 格一张图AI 一眼就能看懂整段节奏。超过 12 帧时建议改用下文的 filmstrip。详见 docs/reference/tools/media/grab.md。工具三media_filmstrip —— 一张图纵览整条时间线如果说 grab 是显微镜filmstrip 就是全景地图它把整段视频按等间隔采样成缩略图网格每行带HH:MM:SS:FF时间刻度尺本地渲染、零额度消耗。找转场位置、判断哪里该剪、给长视频建立全局认知——收窄时间窗口-s/-e还能放大感兴趣的区段。文档见 docs/reference/tools/media/filmstrip.md。工具四media_waveform —— 让 AI看见声音音频没有画面怎么分析dapi media waveform把整条音轨渲染成一张波形图响度随时间变化一目了然静音段直接用红色标出并且把每段静音的起止秒数一并返回。剪辑访谈时找停顿点、判断背景音乐从何时开始——这张图就是答案。详见 docs/reference/tools/media/waveform.md。工具五media_transcribe —— 逐词带时间戳的字幕转写对着镜头说话的内容talking head、访谈最需要的就是文字。dapi media transcribe会输出词级时间戳的 JSON 字幕文件——每个字开始和结束在第几秒都写得很清楚。有了词级时间AI 就能精确地按一句话剪一刀还不会切到半句话上。转写结果按文件内容缓存重复调用秒回。文档见 docs/reference/tools/media/transcribe.md。工具六media_listen —— 直接问 AI你听到了什么这是 6 个工具中最聪明的一个它把多模态模型放到音轨面前用自然语言提问。比如这段背景音乐叫什么名字谁在说话请给出时间戳用三句话总结这段音频说了什么不写 prompt 时它会返回通用描述写好 prompt 后答案会精准得多。项目里还专门提供了一份提问技巧指南docs/guides/prompts/media-listen.md。注意它需要登录账号并消耗额度。详见 docs/reference/tools/media/listen.md。如何选择一张表看懂 6 大工具分工你的需求用哪个工具命令查格式、时长、编码media_probedapi media probe精确抽几帧细看media_grabdapi media grab快速纵览全片画面media_filmstripdapi media filmstrip找静音段、看响度media_waveformdapi media waveform拿到逐词字幕media_transcribedapi media transcribe语义理解、回答提问media_listendapi media listen典型的分析组合拳probe 体检 → filmstrip 扫全局 → grab 放大细节 → waveform 找停顿 → transcribe 拿字幕 → listen 做总结。快速开始3 步让 AI 分析你的素材下载并打开 Diffusion Studio 桌面应用它会自动向你的 Agent 注册 MCP 服务把素材放进项目文件夹运行dapi open 目录直接对 Agent 说看看这段视频在讲什么——它会自主调用上面这套工具完成分析所有工具的实现与协议定义都在 packages/dapi/ 中欢迎深入源码。从AI 只能听你说到AI 自己看片听片Diffusion Studio 的 6 大媒体分析工具就是那条最短的路径 【免费下载链接】editorAn open-source video editor built for agents. Edits become code, code becomes video.项目地址: https://gitcode.com/gh_mirrors/editor94/editor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考