OmniAgent LLM多后端路由实战OpenAI、Claude、DeepSeek、Ollama自由组合切换【免费下载链接】OmniAgentAn agent capable of self-evolving and dynamically hardening security项目地址: https://gitcode.com/gh_mirrors/om/OmniAgentOmniAgent是一个具备自我进化能力并动态强化安全的开源 AI Agent 框架。它的最大特点之一是内置LLM 多后端路由机制通过一份配置文件你可以同时接入 OpenAI、ClaudeAnthropic、DeepSeek、Ollama 本地模型、Gemini 等 9 种后端并在 CLI、Web UI 中一键自由切换无需改动任何代码。一、为什么需要 LLM 多后端路由使用 AI Agent 时单一模型往往有痛点网络与成本OpenAI/Claude 访问受限或单价较高DeepSeek 性价比高隐私敏感公司代码、私人文档不想上传云端想用Ollama 本地模型不同任务用不同模型规划用强模型、简单任务用便宜模型、安全审查用确定性强的小模型本地训练搭配 vLLM / SGLang 做强化学习自进化OmniAgent 用一个抽象基类LLMProvider统一了所有后端的对话、流式输出和函数调用接口核心实现在 omniagent/agents/llm.py。上层的 Agent 循环完全不关心底层是谁——这就是多后端路由同一套 Agent 逻辑按配置自动路由到任意模型后端。二、内置支持的 9 种 LLM 后端一览工厂函数create_llm_provider见 llm.py 第1108-1145行支持以下后端后端配置值默认模型默认地址需要 API KeyDeepSeekdeepseekdeepseek-chatapi.deepseek.com✅OpenAIopenaigpt-4oapi.openai.com/v1✅Claude (Anthropic)anthropicclaude-sonnet-4官方 SDK✅Ollama本地ollamallama3localhost:11434❌Geminigeminigemini-2.0-flash官方 SDK✅OpenRouteropenrouteropenai/gpt-4oopenrouter.ai✅vLLM本地vllmdefaultlocalhost:8000/v1❌SGLang本地sglangdefaultlocalhost:30000/v1❌自定义端点custom自定任意 OpenAI 兼容地址可选几个贴心细节自动清洗思考内容DeepSeek 等模型可能输出think.../think思考块框架会自动剥离llm.py 第101-155行你看到的只有最终答案️原生函数调用各后端统一转换为各自的 Tool 格式Agent 的工具能力不受模型厂商限制OpenAI 兼容custom后端可接入任何 OpenAI 兼容接口api_url末尾忘写/chat/completions也会自动补全三、快速上手3 步配置你的第一个 LLM 后端1️⃣ 安装 OmniAgentgit clone https://gitcode.com/gh_mirrors/om/OmniAgent cd OmniAgent pip install -e .2️⃣ 运行交互式配置向导omniagent onboard向导会分 5 步引导你选择后端 → 填写 API Key → 选择模型 → 保存配置见 omniagent/cli/main.py 第150-289行。配置自动写入~/.omniagent/config.yaml。API Key 也可以从环境变量读取支持DEEPSEEK_API_KEY、OPENAI_API_KEY、ANTHROPIC_API_KEY等loader.py 第96-102行。3️⃣ 启动聊天omniagent chat # 终端交互式聊天 omniagent serve # Web UI → http://127.0.0.1:18790四、配置文件实战一份文件配置多个后端多后端路由的关键是providers预设块 agent.model_provider路由开关配置模型定义见 omniagent/config/models.py 第28-59行providers: deepseek: api_key: sk-your-deepseek-key model_id: deepseek-chat openai: api_key: sk-your-openai-key model_id: gpt-4o anthropic: api_key: sk-ant-xxx model_id: claude-sonnet-4-20250514 ollama: api_url: http://localhost:11434/api/chat model_id: llama3 agent: model_provider: deepseek # 当前路由到哪个后端 temperature: 0.7 每个providers条目对应一个ProviderConfig可包含api_key、api_url、model_id三个字段。切换后端 改一个字符串零代码改动。五、自由切换后端的 3 种方式方式 1CLI 参数临时切换最方便omniagent chat --provider openai # 本次会话用 OpenAI omniagent chat --provider ollama # 本次会话用本地模型--provider会临时覆盖配置中的model_provider并自动继承该后端的model_id与api_urlchat.py 第528-537行。方式 2Web UI 中切换omniagent serve启动后浏览器打开 Gateway 的设置面板下拉框即可选择后端Provider 选择器位于 omniagent/gateway/web_ui.html切换即时生效适合不想碰配置文件的用户。方式 3重新运行配置向导omniagent onboard重新走一遍 5 步流程即可更新默认后端。六、进阶玩法多模型组合策略多后端路由的真正威力在于组合 本地优先 云端兜底日常对话用ollama数据不出本机遇到复杂推理任务--provider deepseek切到云端强模型 子 Agent 独立配模型OmniAgent 的规划子 AgentSentinel与安全审查子 AgentGuardian可以单独指定model_provider覆盖主 Agent 的设置models.py 第383-390行。例如主 Agent 用 DeepSeek 干活Guardian 用低温度模型做确定性安全审查 本地推理 强化学习自进化设置model_provider: vllm或sglang时框架会额外收集逐 token 的 logprobsllm.py 第992-1000行供 GRPO/PRM 在线训练管线使用让 Agent 的大脑模型在交互中持续自进化见 omniagent/rl/ 聚合入口用openrouter一个 Key 访问多家厂商的模型作为统一路由出口七、常见问题 FAQQ1配置了多个后端默认用哪个以agent.model_provider为准默认deepseek--provider参数优先级最高。Q2Ollama 报 not reachable 怎么办确认 Ollama 服务已启动默认端口 11434可在配置中修改api_url指向其他机器地址。Q3能用私有部署的模型吗能。任何 OpenAI 兼容端点都可用custom后端接入只需在providers中指定api_url即可。Q4切换后端会丢失对话上下文吗不会。会话消息结构在 omniagent/agents/llm.py 中统一抽象切换到任一后端时自动转换为该厂商的消息格式。八、总结OmniAgent 的 LLM 多后端路由让选模型变成了改一行配置✅9 种后端开箱即用OpenAI、Claude、DeepSeek、Ollama、Gemini、OpenRouter、vLLM、SGLang、自定义端点✅三种切换方式--provider命令行参数、Web UI 面板、配置向导✅组合玩法子 Agent 独立配模型、本地模型保隐私、vLLM/SGLang 驱动在线强化学习自进化想动手试试git clone https://gitcode.com/gh_mirrors/om/OmniAgent后执行omniagent onboard三分钟即可完成你的第一个多后端路由配置。【免费下载链接】OmniAgentAn agent capable of self-evolving and dynamically hardening security项目地址: https://gitcode.com/gh_mirrors/om/OmniAgent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考