1. 为什么要在 ComfyUI 外面套一层 Rust 大脑ComfyUI 的节点图确实好用文生图、图生图、ControlNet、LoRA 叠加都能拖出来工作流还能存成 JSON 反复用。但用久了你会发现一个尴尬的事实工作流是死的需求是活的。今天想换风格明天想改分辨率后天想加个背景替换每次都得回到画布上重新连线、调参数、抽卡。节点越多改起来越像在拆炸弹。我试过把常用工作流做成模板但模板只能解决“重复”解决不了“变化”。真正想要的是我说一句“把这张照片背景换成赛博朋克城市人物保持清晰”系统自己判断这是 I2I 加 ControlNet 的任务自己选模板、填参数、校验拓扑、提交执行最后把图给我。这就是 Agent Harness 要干的事——在 ComfyUI 成熟的节点执行之上架一层 LLM 智能编排让“想”和“做”分开。media_agent 就是这么一个用 Rust 写的编排引擎。它不替代 ComfyUI而是把 ComfyUI 当成推理后端自己负责意图解析、任务规划、模板选择、参数填充和工作流校验。Rust 在这里的价值很直接Tokio 异步运行时没有 GIL多个节点可以真正并行编译期类型检查让工作流 JSON 在进入执行引擎前就少一类低级错误层级缓存用节点指纹做哈希复用计算结果时更快。适合谁看如果你已经在本地跑 ComfyUI想接 LLM 做自动编排又不想把整个 Python 栈重写一遍那 media_agent 这种“Rust 大脑 ComfyUI 执行”的组合就值得拆开看。下面我会把架构分层、config.toml 骨架、TaoToken 统一 Key 通道、启动验证和常见报错排一遍目标是让你跑通一次完整的自然语言到图片的推理请求。2. media_agent 五层架构与 TaoToken 统一通道前置media_agent 的分层很清晰从上到下是对话交互层、LLM 智能编排层、ComfyUI 通信层、工作流执行引擎、推理后端集成层。上面三层负责“想”下面两层负责“做”中间用标准化的工作流 JSON 协议通信。LLM 不需要知道 stable-diffusion.cpp 怎么调推理引擎也不需要关心用户说了什么。LLM 智能编排层是整件事的核心。它包含 LLM 路由器、意图解析器、任务规划器、模板选择器、参数填充器、工作流校验器、参数调优器和质量评估器。用户说一句“赛博朋克城市夜景霓虹灯闪烁雨夜街道”意图解析器通过 Function Calling 把它映射成 T2I 意图模板选择器从预置 JSON-LD 模板里匹配最接近的一个参数填充器推断步数、CFG、种子工作流校验器本地做一次拓扑排序确认没有循环依赖再交给执行引擎。这里有个现实问题LLM 调用需要 API Key。如果你同时用 GPT、Claude 或者本地小模型Key 管理会变得很碎。TaoToken 在这里的作用是提供一个统一的 API 通道把不同模型的调用收敛到一个 Base URL 和一把 Key 上。media_agent 的 LLM 路由器只需要配置一个 OpenAI 兼容的 endpoint就能在简单任务和复杂创意任务之间切换模型不用为每个供应商单独写适配。前置准备其实就三件事。第一本地 ComfyUI 能正常启动默认 8188 端口能访问。第二media_agent 服务能跑起来默认 8080 端口。第三一把可用的 TaoToken API Key以及对应的 Base URL。Base URL 用https://taotoken.net/apiKey 在控制台创建。模型 ID 按你实际要用的填比如gpt-4o-mini或者claude-3-5-sonnet具体以文档里的模型列表为准。注意media_agent 的 LLM 编排层只负责决策不直接跑扩散模型。扩散推理仍然由 ComfyUI 或 stable-diffusion.cpp 完成所以显存压力主要在推理后端不在 Rust 侧。把这三件事准备好后面的配置才有意义。如果你还没创建 Key可以先到 API Keys 页面生成一个再对照接入文档确认 Base URL 和模型 ID 的写法。这一步不做后面启动 media_agent 时 LLM 路由会直接 401。3. 可复制的 config.toml 与 TaoToken 接入配置media_agent 的配置集中在config.toml路径一般在项目根目录或者~/.config/media_agent/config.toml。下面这份骨架可以直接复制重点是把[llm]段和[comfyui]段填对。LLM 段走 TaoToken 统一通道ComfyUI 段指向本地 8188。# media_agent/config.toml [server] host 127.0.0.1 port 8080 log_level info [llm] # TaoToken 统一 API 通道 base_url https://taotoken.net/api api_key sk-your-taotoken-key # 默认模型简单任务用 default_model gpt-4o-mini # 复杂创意任务切换用的模型 advanced_model claude-3-5-sonnet timeout_secs 60 max_retries 2 [llm.router] # 按任务复杂度路由simple / complex simple_threshold_tokens 800 enable_fallback true [comfyui] # 本地 ComfyUI 地址 base_url http://127.0.0.1:8188 # WebSocket 进度通道 ws_url ws://127.0.0.1:8188/ws # 提交 prompt 的接口路径 prompt_endpoint /prompt history_endpoint /history view_endpoint /view connect_timeout_secs 10 [engine] # 工作流执行引擎 max_parallel_nodes 4 cache_enabled true cache_dir ./.media_agent_cache event_buffer_size 256 [backend] # 推理后端路由 preferred stable-diffusion.cpp fallback pytorch vram_threshold_gb 12这份配置里[llm]段的base_url和api_key是接入 TaoToken 的关键。base_url固定用https://taotoken.net/api不要加多余路径。api_key换成你在控制台创建的那把。default_model和advanced_model按你实际能用的模型 ID 填模型列表在文档里能查到。[comfyui]段指向本地 ComfyUI。如果你改过 ComfyUI 的启动端口这里同步改。ws_url是进度推送用的media_agent 通过它拿中间预览图和完成事件。[engine]段的cache_enabled建议开着层级缓存能省不少重复计算。[backend]段的vram_threshold_gb是后端路由的阈值显存小于 12GB 时优先走 stable-diffusion.cpp避免 PyTorch OOM。如果你用的是 Claude Code 或者 Cline 这类工具来辅助写 media_agent 的节点代码它们的配置也可以指向同一个 TaoToken 通道。Claude Code 的 settings 里填 Base URL 和 KeyCline 的 MCP 配置里同样填 Base URL、Key、Model ID 三件套。这样你写代码和跑编排用的是同一把 Key管理起来简单。提示config.toml里的 Key 不要提交到 Git。可以用环境变量覆盖比如MEDIA_AGENT_LLM_API_KEY然后在配置里写api_key ${MEDIA_AGENT_LLM_API_KEY}。配置写完后先别急着启动。用toml校验工具过一遍确认没有语法错误。然后检查 ComfyUI 是否在 8188 端口活着curl http://127.0.0.1:8188/system_stats能返回 JSON 就说明通了。这两步做完再进下一节启动 media_agent。4. 启动 media_agent 并验证 ComfyUI 节点调用链路启动 media_agent 有两种方式源码跑和 Docker Compose。源码跑适合调试Docker Compose 适合快速验证。下面以源码为例因为你能看到日志里的每一步。先确认 Rust 工具链装好cargo --version能输出就行。然后进项目目录cd media_agent cargo build --release编译完成后用配置文件启动MEDIA_AGENT_CONFIG./config.toml ./target/release/media_agent启动日志里会依次出现几行关键信息LLM router initialized、ComfyUI client connected、workflow engine started、server listening on 127.0.0.1:8080。如果ComfyUI client connected没出现说明[comfyui]段的地址或端口不对回去检查。服务起来后先验证 LLM 通道。用 curl 发一个最小请求curl -X POST http://127.0.0.1:8080/api/v1/chat \ -H Content-Type: application/json \ -d { message: 生成一张赛博朋克城市夜景霓虹灯闪烁雨夜街道, stream: false }如果 LLM 通道正常返回里会有一个task_id和intent字段intent应该是text_to_image。这一步验证的是意图解析器和 LLM 路由器。如果返回 401说明 TaoToken 的 Key 或 Base URL 有问题去 API Keys 页面确认 Key 状态再对照接入文档检查 Base URL 有没有写错。拿到task_id后轮询进度curl http://127.0.0.1:8080/api/v1/tasks/task_id/progress正常的话会看到queued、running、completed几个状态。running阶段会有progress百分比和stage字段stage可能是template_selected、params_filled、workflow_validated、comfyui_submitted。这几个 stage 对应 LLM 编排层的几个子组件能全部走完说明编排链路是通的。最后验证 ComfyUI 节点调用。media_agent 会把生成的工作流 JSON 提交到 ComfyUI 的/prompt接口。你可以在 ComfyUI 的终端里看到got prompt日志然后在 ComfyUI 的 history 里看到这次执行记录。如果 ComfyUI 那边没反应检查[comfyui]段的prompt_endpoint是不是/prompt以及 ComfyUI 是否开启了 API 访问。注意media_agent 提交给 ComfyUI 的是标准工作流 JSON节点 ID 和连线关系由模板选择器和参数填充器生成。如果模板里的节点在你本地 ComfyUI 里不存在校验器会在提交前报missing node不会把坏工作流发过去。跑通一次完整请求后你可以把 prompt 换成任意自然语言描述比如“把这张照片变成吉卜力风格分辨率 2K”看意图解析器会不会识别成 I2I 加超分模板选择器会不会匹配到对应的 JSON-LD 模板。多试几次观察stage的变化就能摸清 LLM 编排层的决策逻辑。5. 常见报错排查401、local proxy failed、reading choices、OAuth接入过程中最容易撞上的几类报错我按实际遇到的频率排一下。401 Unauthorized。这个基本是 TaoToken 的 Key 或 Base URL 问题。先确认config.toml里base_url是https://taotoken.net/api没有多余斜杠或路径。再确认api_key是控制台创建的那把没有多余空格。如果 Key 刚创建等几秒再试。还有一种情况是模型 ID 写错了比如default_model填了一个不存在的模型有些网关会返回 401 而不是 404。去文档里核对模型列表。local proxy failed。这个报错通常出现在 media_agent 尝试连接 ComfyUI 的时候。检查[comfyui]段的base_url和ws_url是否指向本地 8188。如果 ComfyUI 跑在 Docker 里127.0.0.1可能不通要换成宿主机的局域网 IP 或者 Docker 网络里的服务名。另外确认 ComfyUI 启动时没有加--listen限制默认它只监听本地。reading choices 相关报错。这个一般出现在 LLM 返回的 JSON 解析阶段。media_agent 的意图解析器期望 LLM 返回结构化的 Function Calling 结果如果模型返回了自由文本解析就会失败。解决办法是在[llm]段把default_model换成一个 Function Calling 支持更好的模型或者在[llm.router]里把enable_fallback打开让路由器在解析失败时切到 advanced_model 重试。OAuth 相关报错。如果你用 Claude Code 或者 Cline 辅助写代码它们的 OAuth 流程和 media_agent 的 API Key 是两套东西。Claude Code 的 settings 里要填 Base URL、Key、Model ID 三件套不要走 OAuth 登录。Cline 的 MCP 配置同理Base URL 用https://taotoken.net/apiKey 用同一把Model ID 按文档填。如果 OAuth 报错检查是不是把 API Key 模式误配成了 OAuth 模式。workflow validation failed: missing node。这个说明模板里的节点在你本地 ComfyUI 里不存在。比如模板用了ControlNetApplyAdvanced但你本地没装对应的自定义节点。解决办法是在 ComfyUI Manager 里装齐模板依赖的节点或者换一个更简单的模板。media_agent 的工作流校验器会在提交前做拓扑排序缺节点会直接拦下来不会把坏工作流发给 ComfyUI。cache miss 频繁。如果日志里cache miss很多说明节点指纹变化太频繁。检查[engine]段的cache_enabled是不是 true以及工作流里有没有随机种子没固定。固定 seed 后相同参数的工作流会命中层级缓存执行时间明显下降。排错时建议把log_level调到debug能看到 LLM 请求的原始返回和工作流 JSON 的完整内容。定位到具体哪一层出问题后再针对性改配置。6. 把自然语言编排接进你的 ComfyUI 工作流跑通一次请求之后你可以把 media_agent 当成 ComfyUI 的前置编排层来用。原来的工作流不用改media_agent 会生成标准 JSON 提交给 ComfyUI 的/prompt接口。你只需要在config.toml里把[comfyui]段指向你的 ComfyUI 实例然后在[llm]段配好 TaoToken 通道。如果你想让 media_agent 长期跑在后台可以用 Docker Compose 起服务把config.toml挂载进去。ComfyUI 和 media_agent 可以跑在同一台机器上也可以分开。分开的时候注意[comfyui]段的地址要改成 ComfyUI 所在机器的 IP并且确认防火墙放行 8188 端口。对于需要长期编码和 Agent 调度的场景Coding Plan 会比按量调用更划算适合把 media_agent 的 LLM 编排层跑在稳定通道上。如果你只是想先验证模型对话和意图解析的效果可以到模型对话页面直接试 prompt看返回的 intent 和参数填充结果是否符合预期。我自己的做法是ComfyUI 保持原样media_agent 单独跑一个进程config.toml 里把 default_model 设成便宜的小模型做意图解析advanced_model 设成强模型做复杂任务规划。这样日常简单请求成本低遇到复杂创意需求再切强模型。层级缓存开着相同参数的重复请求基本秒回。最后一步把config.toml里的 Key 换成环境变量引用别硬编码在文件里。然后写个简单的 systemd 或者 supervisor 配置让 media_agent 开机自启。这样你的 ComfyUI 就真正有了一个 Rust 大脑自然语言进去图片出来中间的工作流编排交给 media_agent 自己处理。