新闻详情

新闻详情

首页 / 资讯中心 / 详情

让手机上的LLM真正动手:Off Grid AI工具调用与MCP服务器接入实战

发布时间:2026/11/16 11:05:31来源:尧图网络
让手机上的LLM真正动手:Off Grid AI工具调用与MCP服务器接入实战
让手机上的LLM真正动手Off Grid AI工具调用与MCP服务器接入实战【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAMOff Grid AI是一款完全运行在本地设备上的离线 AI 助手——手机或 Mac 上的 LLM 不仅能聊天还能工具调用联网搜索、计算器、知识库检索甚至接入MCP 服务器把 Linear、Notion、GitHub 等外部工具挂到模型上。无需账号、无需 API Key所有数据都留在你的设备上。本文将带你从零上手这套让 LLM 真正动手干活的本地 AI 工具调用体系。什么是工具调用从只会说到能动手普通聊天机器人只会说——它无法查实时新闻也无法真的执行一个计算。而工具调用Tool Calling的工作方式是你把一批工具函数的说明书随提示词发给 LLM模型在回答时输出一个结构化的工具调用比如调用 web_search参数是 query今日金价应用替它执行把结果塞回对话模型基于真实结果给你最终答案。Off Grid AI 把这个过程做成了一个全自动工具循环并且内置了防失控机制每一轮最多执行多少次工具调用maxToolCalls设置、每次工具结果的最大长度都会兜底避免小模型在小屏手机上绕圈死循环。核心循环实现在 generationToolLoop.ts。开箱即用6 个内置工具清单 打开工具页面你会看到这些免费内置工具全部由 registry.ts 定义工具能干什么需要联网Web Search实时联网搜索返回标题、摘要和链接是Calculator精确计算数学表达式否Date Time获取当前日期时间支持指定时区否Device Info查询本机电量、存储、内存等硬件信息否Knowledge Base检索你上传到项目知识库的 PDF/文本文档否URL Reader抓取任意网页的完整正文是小知识search_knowledge_base会自动出现在项目对话里——你上传的文档会被分块、用设备端嵌入模型向量化存在本地 SQLite 中检索全程离线。三步开启工具最快配置方法进入 Tools 页面在聊天界面打开工具入口进入 ToolsScreen拨动开关每个工具行右侧有一个 Switch按需打开需要联网的工具旁边有 wifi 小图标提示直接提问回到对话直接问现在纽约几点或搜一下 XX 的最新价格模型会自动挑对工具、执行、再总结。回答气泡下方会出现一个Tools sent in request (N)折叠行ToolsSentCollapsible点开后能看到这一轮模型实际拿到了哪些工具——调试时非常直观。官方提示开启超过 3 个工具时界面会弹出黄色提醒——工具太多会迷惑模型、拖慢首字响应。2-3 个工具是最佳实践。接入 MCP 服务器把外部世界装进离线 LLM MCPModel Context Protocol是一个开放标准让 AI 助手能统一连接外部工具和数据源。Off Grid AI 把它做进了Pro Tools工具页最顶部有一行带皇冠图标的入口——Email, calendar and MCP serversToolsScreen 源码。接入流程大致是添加服务器在 Pro Tools 里填入 MCP 服务器地址如 Linear、Notion、GitHub 对应的 MCP 服务OAuth 登录需要授权的服务器会拉起系统内嵌浏览器完成登录令牌安全存入设备钥匙串Keychain/Keystore回跳地址是应用私有的offgrid://oauth/callbackmcpOAuthNativeAdapters.ts起草—批准Pro 工具遵循先起草、后批准哲学——模型帮你起草回复或工单你不点确认什么都不会真正发出去。MCP 编排层的完整行为测试可以在 mcpService.test.ts 中阅读同目录下还有 OAuth、客户端、schema 裁剪等一系列测试。为什么手机上跑工具循环依然流畅 ⚡接了多个 MCP 服务器后几十个工具说明书如果全部塞进提示词模型要先预填充完才能开口回答首字延迟会很难看。Off Grid AI 用三个工程手段解决嵌入路由选工具复用 RAG 那个约 25MB 的 MiniLM 嵌入模型对你的问题 每个工具的描述做向量匹配只把最相关的一批工具Top-K默认 12 个交给主模型嵌入结果还有磁盘缓存toolEmbeddingRouter.ts错误永远有类型工具抛错不会让整轮崩溃而是被归类为 timeout / network / validation / not-found / internal 五类之一模型能分辨重试可能有用还是调用本身错了toolResult.ts结果永不假成功空结果会被显式标记为empty失败时回传给模型的字符串永远非空且明确说明失败——这正是小模型最容易把没连上服务器当成查无数据的坑。常见坑与实用建议别贪多同时开启 5 个以上工具小模型的选择准确率明显下降首字变慢分清联网工具Web Search 与 URL Reader 需要网络其余全部离线可用——断网时关掉这两个最省心MCP 授权失败确认设备有可用的系统浏览器令牌保存在钥匙串里卸载重装应用会清除需要重新登录想排查它为什么没用工具点开回答下方的 Tools sent in request确认目标工具确实被路由进了这一轮。延伸阅读源码地图 ️内置工具定义与 OpenAI 格式转换src/services/tools/registry.ts工具执行分发搜索、计算、知识库src/services/tools/handlers.ts自动工具循环与防失控预算src/services/generationToolLoop.tsMCP OAuth 原生适配器src/services/mcpOAuthNativeAdapters.tsMCP 测试套件tests/pro/mcp/Pro 授权与工具策略说明docs/pro-licensing-plan.md项目总览与工具调用特性介绍README.md一句话总结Off Grid AI 的工具调用 MCP 接入让离线 AI不再只是安静的聊天框而是一个能查、能算、能读你的文档、还能连接外部工作流并且每一步都经你确认的本地 AI 助理。【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAM创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/16 6:47:19

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉