基于规则与模型的混合路由分发架构在构建轻量级 Agent 或交互式助手时许多人习惯把用户输入的每一句话都直接扔给大语言模型LLM去解析意图。这种做法在演示 Demo 中显得无所不能但在实际生产运行中会带来严重的延迟与成本痛点哪怕用户只是输入了clear、help、exit或者带明显前缀的命令如/search 关键词、cat file.txt都要耗费 500ms 到 1.5s 的网络往返以及数十个 Token 的成本。对于个人开发者或小型团队而言打造低延迟、低成本的 Agent 架构核心技巧在于前置意图分流。通过“前置确定性规则路由 边缘轻量模型意图分类 复杂长文本大模型决策”的三级混合路由机制可以让 70% 以上的高频高确定性指令在 0~5 毫秒内原地响应仅对真正模糊和复杂的问题发起 LLM 推理。为什么纯模型路由会成为性能瓶颈在 Agent 的工作流中路由Router决定了后续调用哪个工具或执行哪段业务逻辑。纯模型路由面临以下不可忽视的问题不可容忍的冷启动与首字延迟哪怕使用最轻量的小参数模型单次 HTTP 请求的 TTFT首字生成时间也在 300ms 以上而终端用户对 CLI 或即时响应工具的期望容忍度通常在 50ms 以内。确定性命令的低级翻车模型存在概率幻觉。用户输入exit模型可能自作聪明地输出一段“好的正在为您退出系统...”的自然语言解释而未正确触发退出函数的调用结构。资金浪费与并发受限当高并发场景到来时将大量毫无歧义的指令全部送往大模型 API不仅快速耗尽 API 的 TPM每分钟 Token 配额和 RPM每分钟请求配额还会造成账单直线上升。三级混合路由架构设计混合分发架构的核心是将路由分层Layer 1: 确定性模式匹配Deterministic Rules完全匹配help、clear、version、config等预设指令。正则前缀路由形如db query ...、git ...、http://...等具备强特征的模式。耗时 1msToken 消耗0。Layer 2: 启发式与轻量分类器Heuristic / Small Embeddings关键词加权打分或轻量本地嵌入向量距离匹配。针对无前缀但具有典型动宾结构的自然语言如“查看昨天的日志”、“清空缓存目录”。耗时5 ~ 15msToken 消耗0。Layer 3: 大语言模型路由LLM Intent Parsing面对长篇自然语言、多意图复合任务、含糊不清的上下文追问。调用结构化输出Function Calling / Structured Outputs返回具体的 Tool Invocation 计划。耗时500 ~ 1500msToken 消耗按需消耗。TypeScript 混合路由最小实现下面是一个不依赖复杂框架的混合路由器实现export interface RouteContext { rawInput: string; historyLength: number; } export type HandlerResult { type: direct_reply | tool_call | llm_fallback; payload: unknown; latencyMs: number; }; export type RuleMatcher (input: string) boolean | Recordstring, string | null; interface RuleRoute { name: string; match: RuleMatcher; action: (matched: Recordstring, string | null, input: string) PromiseHandlerResult; } export class HybridIntentRouter { private fastRoutes: RuleRoute[] []; constructor() { this.registerBuiltinRules(); } public registerRule(route: RuleRoute): void { this.fastRoutes.push(route); } private registerBuiltinRules(): void { // 1. 完全精确匹配 this.registerRule({ name: system_control, match: (input) [exit, quit, :q, clear, cls].includes(input.trim().toLowerCase()) ? {} : null, action: async (_m, input) ({ type: direct_reply, payload: { command: input.trim().toLowerCase(), action: system_terminate_or_clear }, latencyMs: 0, }), }); // 2. 强前缀正则匹配例如执行指定命名空间工具 this.registerRule({ name: prefix_tool_dispatch, match: (input) { const match input.match(/^!(?toolName[a-zA-Z0-9_-])\s*(?args.*)$/); return match?.groups ? { toolName: match.groups.toolName, args: match.groups.args } : null; }, action: async (groups) ({ type: tool_call, payload: { tool: groups?.toolName, args: groups?.args?.trim() }, latencyMs: 0, }), }); // 3. 常见确定性动作匹配 this.registerRule({ name: git_shortcut, match: (input) input.trim().startsWith(git ) ? { command: input.trim() } : null, action: async (groups) ({ type: tool_call, payload: { tool: shell_exec, args: groups?.command }, latencyMs: 0, }), }); } public async dispatch(rawInput: string, fallbackToLLM: (input: string) PromiseHandlerResult): PromiseHandlerResult { const startTime performance.now(); const cleanInput rawInput.trim(); if (!cleanInput) { return { type: direct_reply, payload: { text: }, latencyMs: 0, }; } // 第一阶段规则链极速匹配 for (const route of this.fastRoutes) { const matchResult route.match(cleanInput); if (matchResult ! null) { const result await route.action(typeof matchResult object ? matchResult : null, cleanInput); result.latencyMs Math.round(performance.now() - startTime); return result; } } // 第二阶段未命中任何规则回退到大模型推理 const llmResult await fallbackToLLM(cleanInput); llmResult.latencyMs Math.round(performance.now() - startTime); return llmResult; } }接入大模型回退决策在规则未命中时系统将请求委托给 LLM 处理并使用结构化格式约束模型返回意图分类import { HybridIntentRouter, HandlerResult } from ./router; const router new HybridIntentRouter(); // 模拟 LLM 分流函数 async function mockLLMFallback(prompt: string): PromiseHandlerResult { // 生产环境中这里使用 Fetch 调用 LLM API 并开启 JSON Schema 约束 const response await fetch(https://api.openai.com/v1/chat/completions, { method: POST, headers: { Content-Type: application/json, Authorization: Bearer ${process.env.OPENAI_API_KEY}, }, body: JSON.stringify({ model: gpt-4o-mini, messages: [ { role: system, content: 你是一个意图分析路由器。请将用户输入分发为合适的操作tool_call 或 chat_response。, }, { role: user, content: prompt }, ], response_format: { type: json_object }, }), }); const data await response.json(); return { type: tool_call, payload: JSON.parse(data.choices[0].message.content), latencyMs: 0, }; } // 业务调用示例 async function handleUserInput(input: string) { const result await router.dispatch(input, mockLLMFallback); console.log(路由耗时: ${result.latencyMs}ms, 分发类型: ${result.type}); return result; }生产环境中的规则演进建议在混合分发架构落地后维护规则集并不意味着要手写海量if-else。推荐采用以下工程实践从日志中挖掘高频 Bad Case统计线上所有耗时超过 800ms 的 LLM 请求日志如果发现某种固定格式的提问出现频次高于 5%立即将其提炼为正则规则或前缀指令加入规则库。明确前缀与引导机制在 Agent 的交互界面如 CLI 欢迎语或 Chat 输入框占位符中明确告诉用户快捷前缀的存在如使用/doc查文档git执行版本控制引导用户主动使用确定性指令提升整体交互流程度。保持规则纯粹避免承载复杂业务逻辑规则层只负责“找对人”分发意图与提取参数不要在规则内部揉杂复杂的数据处理与状态流转确保规则执行耗时始终在亚毫秒级别。总结混合路由架构体现了极简主义在 AI 应用中的核心价值不迷信端到端的大模型万能论用确定性工具解决确定性问题把大模型的算力留给真正的自然语言理解与推理。这种组合方式能够以最低的架构复杂度和极低的 API 成本换取产品响应速度与运行稳定性的飞跃。