新闻详情

新闻详情

首页 / 资讯中心 / 详情

VoltAgent 接入 NanoGPT:通过模型路由使用 OpenAI 兼容多模型网关

发布时间:2026/11/18 11:46:05来源:尧图网络
VoltAgent 接入 NanoGPT:通过模型路由使用 OpenAI 兼容多模型网关
人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆【免费下载链接】voltagentAI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework项目地址https://gitcode.com/gh_mirrors/vo/voltagent点击查看免费下载NanoGPT 是一个提供多家主流开源大模型统一接入的推理网关OpenAI 兼容 API在 VoltAgent 中它以nano-gpt/model的模型 ID 形式注册进模型路由器让你可以在同一个 Agent 里直接选用 DeepSeek、Llama、Kimi、GLM、Qwen 等 20 模型而无需分别对接各家 SDK。读完本文你将掌握 NanoGPT 提供方的环境变量配置、默认端点与覆盖方式、完整模型清单以及 VoltAgent 模型路由器在底层是如何解析provider/model并懒加载对应 SDK 适配器的。NanoGPT 在 VoltAgent 中的定位VoltAgent 的模型路由器Model Router采用provider/model这种两级模型 ID 约定provider段标识模型提供方model段标识该提供方下的具体模型。NanoGPT 提供方的注册信息可以在 model-provider-registry.generated.ts 中查到idnano-gptnameNanoGPTnpmai-sdk/openai-compatible底层 SDK 包apihttps://nano-gpt.com/api/v1默认 Base URLenv[NANO_GPT_API_KEY]必需的环境变量doc官方文档地址由注册表条目记录所有支持提供方的总览见 overview.md其中 NanoGPT 对应的模型前缀为nano-gpt环境变量为NANO_GPT_API_KEY。快速开始创建 NanoGPT Agent在 VoltAgent 中只需要把model配置成nano-gpt/model形式的字符串Agent 内部就会自动通过模型路由器解析并完成 SDK 装配import { Agent } from voltagent/core; const agent new Agent({ name: nano-gpt-agent, instructions: You are a helpful assistant, model: nano-gpt/deepseek/deepseek-r1, });这里nano-gpt/deepseek/deepseek-r1中的nano-gpt是提供方前缀deepseek/deepseek-r1是 NanoGPT 网关侧的模型标识模型本身也带厂商前缀所以整个 ID 会有两段斜杠。运行前请确保已安装voltagent/core及其依赖的 AI SDKai与ai-sdk/openai-compatible——注册表加载器在 import 不到config.npm指定的包时会抛出Install the package and try again提示已配置NANO_GPT_API_KEY环境变量。环境变量与端点覆盖必需变量NANO_GPT_API_KEYNANO_GPT_API_KEY是 NanoGPT 提供方唯一必需的凭据。在注册表实现 model-provider-registry.ts 中requireApiKey会先过滤出名称匹配KEY|TOKEN|SECRET的变量即NANO_GPT_API_KEY若缺失则直接抛出错误Missing API key for nano-gpt. Set process.env.NANO_GPT_API_KEY.提示清晰便于排查。可选变量NANO_GPT_BASE_URL默认 Base URL 为https://nano-gpt.com/api/v1。需要自定义端点例如企业代理、网关转发或本地调试时设置NANO_GPT_BASE_URL即可覆盖。该逻辑来自注册表的resolveBaseUrlmodel-provider-registry.ts其解析优先级为先查找config.env中名称匹配ENDPOINT|BASE_URL|BASEURL的变量NanoGPT 条目的 env 只有 API Key因此此步通常不命中再按“提供方 ID 转大写并替换-为_”的约定规则查找PROVIDER_ID_BASE_URL即NANO_GPT_BASE_URL都未命中时回落到注册表中的api默认值https://nano-gpt.com/api/v1。在命令行/.env中配置export NANO_GPT_API_KEYyour_nano_gpt_api_key export NANO_GPT_BASE_URLhttps://nano-gpt.com/api/v1 # 可选使用默认端点时可省略Provider 包与 OpenAI 兼容适配器NanoGPT 提供方对应的 SDK 包是ai-sdk/openai-compatible即通过 OpenAI 兼容适配器接入。在注册表实现里所有 npm 为ai-sdk/openai-compatible的提供方都走buildOpenAICompatibleProvider适配器model-provider-registry.tsconst provider createFn({ name: config.id, // nano-gpt baseURL, // 默认 https://nano-gpt.com/api/v1可被 NANO_GPT_BASE_URL 覆盖 apiKey: apiKeyMatch.value, // NANO_GPT_API_KEY 的值 supportsStructuredOutputs: true, });两个值得注意的实现细节supportsStructuredOutputs: true表示该提供方声明支持结构化输出Structured Outputs启用后 Agent 在需要 JSON Schema 约束输出时会走服务端结构化生成路径适配器是懒加载的只有在首次真正使用nano-gpt/...模型时注册表才会import(ai-sdk/openai-compatible)并构造 providermodel-provider-registry.ts未用到的提供方不会产生额外的加载开销。NanoGPT 模型清单21 个以下模型列表来自模型注册快照与 model-provider-types.generated.ts 中nano-gpt提供方的类型定义一一对应可直接作为model字符串使用前缀nano-gpt/ 下表模型 ID模型 ID备注deepseek/deepseek-r1DeepSeek 推理模型deepseek/deepseek-v3.2:thinkingDeepSeek V3.2 思考模式meta-llama/llama-3.3-70b-instructLlama 3.3 70B 指令模型meta-llama/llama-4-maverickLlama 4 Maverickminimax/minimax-m2.1MiniMax M2.1mistralai/devstral-2-123b-instruct-2512Mistral Devstral 2mistralai/ministral-14b-instruct-2512Mistral Ministral 14Bmistralai/mistral-large-3-675b-instruct-2512Mistral Large 3moonshotai/kimi-k2-instructKimi K2 指令模式moonshotai/kimi-k2-thinkingKimi K2 思考模式nousresearch/hermes-4-405b:thinkingHermes 4 405B 思考模式nvidia/llama-3_3-nemotron-super-49b-v1_5NVIDIA Nemotron Superopenai/gpt-oss-120bOpenAI GPT-OSS 120Bqwen/qwen3-235b-a22b-thinking-2507Qwen3 235B 思考版qwen/qwen3-coderQwen3 Coderz-ai/glm-4.6GLM-4.6z-ai/glm-4.6:thinkingGLM-4.6 思考模式zai-org/glm-4.5-airGLM-4.5-Airzai-org/glm-4.5-air:thinkingGLM-4.5-Air 思考模式zai-org/glm-4.7GLM-4.7zai-org/glm-4.7:thinkingGLM-4.7 思考模式使用示例// 选用 Kimi K2 思考模式 model: nano-gpt/moonshotai/kimi-k2-thinking, // 选用 GLM-4.7 思考模式 model: nano-gpt/zai-org/glm-4.7:thinking,注意:thinking后缀的模型属于“思考/推理”模式通常延迟更高、但推理质量更好适合复杂任务-instruct/非 thinking 变体则更适合低延迟的常规对话场景。模型路由底层解析原理把model: nano-gpt/deepseek/deepseek-r1这样的字符串交给 Agent 后实际发生的是以下调用链Agent 的resolveModelReference发现model值是字符串便调用ModelProviderRegistry.getInstance().resolveLanguageModel(resolved)agent.ts注册表的resolveLanguageModel先通过splitModelId把字符串切分为providerId nano-gpt与modelId deepseek/deepseek-r1——按第一个/切分provider 段做小写归一化model-provider-registry.ts接着懒加载nano-gpt提供方如上文所述最终以provider(resolvedModelId)的形式返回一个 Vercel AI SDK 的LanguageModel实例交给 Agent 执行。这一机制意味着同一个 Agent 可以在不同模型间自由切换只要改model字符串即可例如model: nano-gpt/deepseek/deepseek-v3.2:thinking, // 低成本思考 model: nano-gpt/moonshotai/kimi-k2-instruct, // 通用指令 model: nano-gpt/openai/gpt-oss-120b, // 开源旗舰注册表自动刷新与模型列表维护VoltAgent 的模型列表并非硬编码而是来自 models.dev 的提供方注册快照并带有本地缓存与自动刷新机制model-provider-registry.ts非生产环境NODE_ENV ! production下注册表启动时即开始自动刷新默认间隔 30 分钟刷新结果写入~/.voltagent/model-registry/provider-registry.json与类型定义缓存也会同步到voltagent/core的dist/registries目录因此 NanoGPT 上线的新模型可能不需要手动升级 SDK 就能通过刷新获得前提是该模型已出现在 models.dev 注册表中。这意味着本文的 21 个模型清单是一个“快照事实”以当前仓库注册表为准实际可用模型集可能随时间扩展。常见问题与注意事项API Key 缺失启动时若未设置NANO_GPT_API_KEY会在首次解析模型时抛出Missing API key for nano-gpt请检查.env或 shell 导出。端点不通确认NANO_GPT_BASE_URL如已设置指向https://nano-gpt.com/api/v1格式的 OpenAI 兼容根路径不要误填成/v1/chat/completions之类的完整接口路径。SDK 未安装懒加载适配器会提示Install the package and try again需要确保ai-sdk/openai-compatible与ai已安装。thinking 模型延迟带:thinking后缀的模型属于思考模式调用耗时与 token 消耗通常更高生产环境按任务复杂度选型。通过nano-gpt/model路由你可以把 NanoGPT 网关背后的 DeepSeek、Llama、Kimi、GLM、Qwen 等模型统一纳入 VoltAgent 的 Agent 配置体系用一套 API Key 和一套代码按需切换到最合适的开源模型。赞分享人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆【免费下载链接】voltagentAI Agent Engineering Platform built on an Open Source TypeScript AI Agent Framework项目地址https://gitcode.com/gh_mirrors/vo/voltagent点击查看免费下载相关推荐Alipay Ruby Gem生产环境部署终极指南监控、日志与性能优化策略Alipay Ruby Gem生产环境部署终极指南监控、日志与性能优化策略 Alipay Ruby Gem是一个非官方的支付宝支付集成库为Ruby开发者提供人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆Agent 工作流AI 评测MCP 服务MCP Clients语音Haystack 集成指南用 OrcaRouterChatGenerator 接入 OpenAI 兼容模型路由网关Haystack 集成指南用 OrcaRouterChatGenerator 接入 OpenAI 兼容模型路由网关 OrcaRouterChatGenerat人工智能大模型RAGAI AgentNLPVoltAgent 接入 Moonshot AI中国用模型路由将 Kimi-K2 系列接入 OpenAI 兼容适配器VoltAgent 接入 Moonshot AI中国用模型路由将 Kimi K2 系列接入 OpenAI 兼容适配器 在基于 VoltAgent 构建 A人工智能AI AgentAgent 框架后端多智能体RAG工具调用Agent 记忆Agent 工作流AI 评测MCP 服务MCP Clients语音上一篇如何快速上手coat_mini.in1k从零开始的图像分类实战教程下一篇Vue.js 2.x 计算属性与侦听器提升应用性能的10个最佳实践创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/17 5:42:44

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉