HyperFrames 的 music-to-video 路由契约意图层如何把给这首歌做个视频变成可执行工作流【免费下载链接】hyperframesWrite HTML. Render video. Built for agents.项目地址: https://gitcode.com/GitHub_Trending/hy/hyperframesHyperFrames 的 Agent 技能体系采用先理解意图、再路由执行的两段式设计而 skills/hyperframes/references/routes/music-to-video.md 就是其中 music-to-video音乐驱动视频路线的路由契约文件。它用不到一屏的篇幅定义了 Input/Output/Triggers 三段契约和一段 Interview 访谈入口决定了make a video for this song这类请求该问什么、该推迟什么、该派给哪条流水线。读完本文你能理解 HyperFrames 如何在一个约 1KB 的路由文件里锁定音乐视频的交付边界并与意图访谈、下游的/music-to-video技能完成衔接。路由文件在技能体系中的位置HyperFrames 的总入口技能 skills/hyperframes/SKILL.md 负责为全新创作请求挑选工作流。它的路由表SKILL.md按优先级排列music-to-video 排在第 5 位Priority 5 — Build a beat-synced video from a music track, with no narration or website capture →/music-to-video入口技能同时规定Before finalizing the route, readreferences/routes/workflow.md— one small file per route: the canonical input/output/trigger contract … plus that routes interview entry.也就是说本文讲解的这份 routes 文件承担两个职责在懒安装的工作流技能尚未存在时就可用的输入/输出/触发契约加上该路线的访谈入口。skills/hyperframes/references/route-briefs.md 进一步说明这是刻意的设计每条路线的 interview 条目must-haves、条件问题、deferred asks、pitch 可答字段、run-shape 是否适用now lives in that routes own file, together with its input/output/trigger contract。路由表之后还有歧义消解规则其中两条与音乐请求直接相关SKILL.md音乐是否驱动作品是分界线A music file selects/music-to-videoonly when its beat grid drives the piece. Music used as a bed does not override the subject-matched route.——带旁白、主题匹配另一路线的作品即使配乐是音乐也不会被路由到这里时长边界专用叙事类工作流支持到约 3 分钟在 30–90 秒表现最强明显更长的作品落入/general-video但时长从不覆盖明确的音乐驱动交付物。Input / Output / Triggers三段契约的完整解读路由契约文件用三个要点定义了这条路线的交付边界这是判定一个请求能否进入该路线的硬性依据。Input输入一个音轨——可以是音频文件、一个取其音频作为音轨的视频或从 mood 描述生成的音轨全程没有旁白、没有网站抓取。用户图片/视频是可选的so a complete video needs zero supplied assets——即一条完整的视频可以在零用户素材的情况下建成排版与模板是下限保障。Output输出一个节拍同步的 MP4由确定性的节拍/能量地图audiomap.json驱动。同一套流水线不改变的前提下成品可以是歌词视频、幻灯片、可视化器visualizer或动势宣传片kinetic promo。Triggers触发语文档给出了五个典型触发短语——make a video for this song、beat-synced video、lyric video、music visualizer、kinetic promo to this beat。这些短语是 Agent 做意图分诊triage时的匹配线索而非严格关键词。Interview 段这条路线要问什么、推迟什么路由文件的## Interview段共四行恰好对应意图层八步流程里四个不同的消费点。意图层规范 skills/hyperframes/references/intent-interview.md 第 3 步规定Its Interview section lists the must-have questions to ask now, thedeferred asksto announce, whether the two run-shape questions apply, and which fields the pitch round may answer.逐条对应如下Must-haves音乐来源 与 目的地→画幅契约写的是themusic source——a track file, a video to pull audio from, or generate one from a mood description——以及destination → aspect目的地决定画幅比例。按访谈规范第 5 步must-haves 按每字段一个问题、推荐选项先行的顺序提问且skip a question only when the request already answered it——如果用户已经附上音频文件音乐来源这一问就凭这个receipt跳过。值得注意的是契约里没有品牌、字体、风格类问题这由下一条 Deferred 规则解释。Deferred品牌与流派由设计推迟到 Step 3契约原文brand (font palette) and the genre feel are chosen at its Step 3 by design — they emerge from the tracks analysis, not from a question up front.这是一个值得注意的设计决策视觉品牌不是访谈产物而是轨道分析的产物。意图层会在第 5 步以一行话announce这些推迟项so the user hears the runs full shape before it starts让用户预先知道完整流程形态。下游 skills/music-to-video/SKILL.md 证实了这一分工其 Step 3 要求Pick the brand … match the tracks mood …only its fonts and colors matter并且Dont pick a genre or a track type up front — the genre emerges from the per-frame choices。Pitch roundmessage字段由概念轮回答契约指定这条路线的 pitch-eligible 字段是message——the visual concept riding the beat grid (lyric treatment, montage story, kinetic type)并注明brand and genre feel still land at Step 3。Pitch round概念轮只服务于未成形unformed的请求意图分诊判定请求formed信息、素材、场合都清晰可读时直接跑 must-havesunformed 的请求则先走 skills/hyperframes/references/pitch-round.md 规定的采样闸门——生成五个沿五条不同路径的候选概念其中至少两个的模型默认产出概率要低于 0.10保证不是清一色的中位数方案再做剪影去重检查。中选的概念answers the routes pitch-eligible fields (typicallymessageandangle)以用户接受的措辞落入BRIEF.md的## Intent段此后下游不再就message提问。Run-shape: both契约最后一行Run-shape: both指意图层的两个正交运行形态问题都适用(a) Storyboard?——是plan、wireframe sketches、成品逐步在 live board 上评审还是从确认的 brief 一次性出片(b) Automation or companion?——由匹配工作流的流水线端到端执行还是在/general-video中协作共建。访谈规范特别强调这两个问题orthogonal — never merge them into one menu四种flow × storyboard组合都是合法选择。从契约到执行下游工作流如何兑现这份路由路由文件止于访谈入口真正的执行在 skills/music-to-video/SKILL.md。这份技能定义了六步工作流其产物链路与路由契约的 Output 描述一一对应SKILL.mdStep 0 setup → hyperframes.json assets/bgm.mp3 Step 1 analyze → audiomap.json Step 2 skeleton → STORYBOARD.mdframes, groups TBD Step 3 plan → 完整 STORYBOARD.md frame.md Step 4 build → compositions/frames/NN-*.html Step 5 assemble → index.html Step 6 render → renders/video.mp4契约中driven by a deterministic beat/energy map在下游有精确实现scripts/analyze-beatgrid.py是唯一的节拍分析器reads the track once and writesaudiomap.jsonenergy phases、onsets onset_rate、rolls、silences、hard_stops、key_moments、phrases、tempo/grid且是确定性的——同一文件永远给出同一张地图SKILL.md。同时该技能对分析器有一条信任边界能量/密度/rolls/onsets/静默在任何音乐上都可靠但bpm和beats_sec只在音乐真正有节奏感时可靠——舒缓音乐上的节拍网格是跟踪器强加的节拍器此时应按乐句与能量推进phrase_flow而非硬切到每个测得的拍子beat_cut。这正是路由层beat grid drives the piece判断在帧级 pacing 决策上的落地。契约 Output 里lyric video, slideshow, visualizer, or kinetic promo without changing pipelines也得到印证技能的Two ideas that shape everything第二条规定frame count tracks distinct treatments, not beats——一帧一个组合文件密度增长发生在组groups内部因此快速曲目不会爆炸出更多子代理而can also be built entirely from type, graphic templates, and motion对应 SKILL.md 的Typography and templates are the floor (a complete video needs zero assets)。面向用户的操作侧文档 docs/guides/music-to-video.mdx 则给出了这条路线的最终验收清单——Review the rhythm五项使用的段落是否正确必需素材是否出现、歌词是否与人声一致最强的视觉变化是否落在有意义的音乐变化上关键画面与文字停留是否足够理解结尾是否到达音乐的落点或形成有意的循环。它同时指出精细调时可在 Studio 时间线上对照 beat markers 修改 cuts、holds 与结尾。参考文件索引文件作用skills/hyperframes/references/routes/music-to-video.md本文主角music-to-video 的输入/输出/触发契约 访谈入口skills/hyperframes/SKILL.md路由表优先级 5、歧义消解规则、BRIEF.md作为唯一路由产物的约定skills/hyperframes/references/intent-interview.md意图层八步memory、triage、route、pitch、must-haves、run-shape、hand-off及BRIEF.mdfrontmatter 结构skills/hyperframes/references/pitch-round.md概念轮的采样闸门五概念、尾概率约束、剪影检查与自主运行下的内部闸门skills/hyperframes/references/route-briefs.md说明访谈条目从集中式 route-briefs 迁移到各路线自有文件的演进skills/hyperframes/references/capability-menu.mdBeat analysis audio-reactive motion 能力的归属与借用规则home:/music-to-video→analyze-beatgrid.py→audiomap.jsonskills/music-to-video/SKILL.md下游六步工作流唯一分析器、frame/group 模型、Gate 体系、渲染命令docs/guides/music-to-video.mdx用户侧指南请求写法、轨道驱动结构的原则、节奏评审清单小结music-to-video 路由契约展示了 HyperFrames 意图层的一个通用范式用小文件锁定交付边界把问题问到最少把创意决策推迟到数据分析之后。音乐来源与目的地是仅有的两个必答题品牌与流派刻意留白等待audiomap.json出来后由 Step 3 依据轨道情绪选定而message在请求未成形时则由概念轮采样出五个差异化的视觉概念来回答。契约、访谈规范与下游技能三方互锁使得同一条give this song a video请求无论从哪个入口进来都会被问到同样的最少问题集并进入同一个由确定性节拍地图驱动的执行流水线。【免费下载链接】hyperframesWrite HTML. Render video. Built for agents.项目地址: https://gitcode.com/GitHub_Trending/hy/hyperframes创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考