手机上的离线AI瑞士军刀Off Grid AI 完全概览与核心能力解析【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAMOff Grid AI 是一款开源的手机离线AI应用被称为「离线AI瑞士军刀」在手机或 Mac 上本地运行 GGUF 大模型聊天、看图、说话、生成图像全部离线完成。无需账号、无需 API 密钥数据零上传。本文带你快速看懂它的核心能力、真实性能与上手方式。为什么手机离线AI值得拥有 大多数 AI 助手都依赖云端 API要注册账号、要填密钥你的每条消息都经过服务器。Off Grid AI 走的是另一条路——把整条 AI 流水线直接搬进设备无账号、无 API 密钥装好即用唯一需要下载的是模型文件数据零离开设备对话、语音、照片、文档全部本地处理隐私由你掌控瑞士军刀式功能文本、图像生成、视觉理解、语音转文字、工具调用一次配齐CPU / GPU / NPU 全加速自动检测你的硬件默认选择最快可用的推理后端Off Grid AI 的六大核心能力 1. 离线文本生成把 GGUF 大模型装进口袋核心引擎是编译进应用的 llama.cppAndroid 走 CPU OpenCL GPUiOS 走 CPU Metal支持 Qwen 3、Llama 3.2、Gemma 3、Phi-4 等主流模型也支持导入你自己的.gguf文件。亮点功能流式输出边生成边显示旗舰机型 15-30 tok/sCPUOpenCL GPU 加速可到 20-40 tok/s思考模式 Markdown 渲染支持推理展示与富文本输出模型管理可见可控界面显示每个模型占用的内存可单独「弹出」eject模型加载策略分 Lean / Balanced / Aggressive 三档连接远程 LLM可接入局域网内任何 OpenAI 兼容服务Ollama、LM Studio、LocalAI自动发现模型本地与远程无缝切换核心实现在 src/services/llm.ts 与 src/services/activeModelService/。2. 手机离线图像生成Stable Diffusion 端侧运行 在手机上跑 Stable Diffusion 听起来像天方夜谭但它做到了AndroidMNN 后端全设备通用 QNN 后端骁龙 8 Gen 1 NPU 加速5-10 秒出图iOSCore ML 后端利用苹果神经引擎ANE8-15 秒出图20 模型Anything V5、DreamShaper、Realistic Vision 等实时预览生成过程逐步显示后台不中断更妙的是AI 提示词增强你输入「画一只狗」已加载的文本模型会自动把它扩写成包含风格、光线、构图的专业 Stable Diffusion 提示词。相关编排逻辑在 src/services/imageGenerationService.ts。3. 视觉AI对着相机提问 ️拍照或从相册选图然后向 AI 提问——SmolVLM、Qwen3-VL、Gemma 3n 等视觉模型可分析文档、描述场景、读取收据旗舰设备约 7 秒返回结果。视觉模型所需的 mmproj 多模态投影文件会被自动下载和关联无需手动配置。4. 本地语音转文字Whisper 离线识别 ️基于 whisper.cpp 的本地语音识别点按麦克风开始/停止也支持自动模式和免提模式。Tiny / Base / Small 多种模型可按速度与精度权衡选择录音音频永远不会离开你的手机。实现见 src/services/whisperService.ts。5. 工具调用与项目知识库让 AI 真的会办事 工具调用Tool Calling支持函数调用的模型可自动使用内置工具——网页搜索、计算器、日期时间、设备信息查询、知识库检索并带防失控的自动工具循环项目知识库RAG给项目上传 PDF 或文本文档本地切块、用内置 MiniLM 模型生成嵌入、存入 SQLite通过余弦相似度检索。项目对话中自动可用search_knowledge_base工具工具实现集中在 src/services/tools/。6. 文档分析把 PDF、代码文件、CSV 直接附加到对话中两个平台都内置原生 PDF 文本提取Android 用 PdfRendereriOS 用 PDFKit离线即可让模型「读懂」你的文件。性能实测手机离线AI能跑多快 ⚡官方在骁龙 8 Gen 2/3 与苹果 A17 Pro 上测得的数据任务旗舰机型中端机型文本生成CPU15-30 tok/s5-15 tok/s文本生成GPU / OpenCL20-40 tok/s—图像生成NPU5-10 秒—图像生成CPU~15 秒~30 秒视觉推理~7 秒~15 秒语音转文字实时实时 选型提示模型列表中会标注哪些量化格式可用 GPU/NPU 加速。例如骁龙 NPU 目前只加速Q4_0和Q8_0量化下载 4GB 模型前先看徽章避免白下。安装与上手三步跑通你的第一个离线对话 安装应用从 App Store 或 Google Play 搜索 Off Grid AI 安装macOS 用户可直接运行 iOS 版Apple Silicon 原生支持。开发者也可以从源码构建需要 Node.js 20git clone https://gitcode.com/gh_mirrors/of/OGAM cd OGAM npm install跟着新手清单走首次启动会有 6 步引导清单下载模型 → 加载模型 → 发送第一条消息 → 体验图像生成 → 浏览设置 → 创建项目每一步都有聚光灯式的高亮指引完成一项自动打勾。流程定义见 docs/onboarding/ONBOARDING_FLOWS.md下载并加载第一个模型在模型页选择推荐模型应用会按你的设备内存给出建议下载完成后加载即可开始对话。下载管理器支持 3 个并行下载、暂停/恢复/重试切到后台也不会中断Personal Mesh手机与电脑离线同步 Pro 版支持 Personal Mesh你的手机和 Mac 通过自己的网络直连共享聊天、文件和设置流量在配对设备间端到端加密没有任何中间中转服务器。配对流程很简单两台设备接入同一 Wi-Fi输入对方屏幕上的配对码即可支持 LAN 直连苹果设备在无 Wi-Fi 时还可走 Nearby 近场通道。界面上可以随时 Disconnect、Send model 或 Evict 已连接的设备完整规则端口配置、隐藏/发现开关、按地址连接等见 docs/PERSONAL_MESH.md。Pro 版解锁的四大能力 免费版已包含全部核心离线能力Pro 是可选的增强层$69 终身买断或 $49/年一份授权同时覆盖手机和 Mac能力说明语音对话免费版只做语音转文字Pro 加入端侧 Kokoro 语音合成AI 能「开口说话」全程免手持自定义人格给每个助手设定专属系统提示词、声音和持久记忆跨对话保持人设起草-审批模式连接日历、邮件及 MCP 服务器如 Linear、Notion、GitHubAI 起草回复或工单你不点确认就不会发出Personal Mesh上文介绍的手机与 Mac 离线同步新手上手建议 内存有限的中端机从 Q4_0 量化的 3B-8B 文本模型起步选 Lean 加载策略旗舰机玩加速优先选带 GPU/NPU 徽章的量化格式体验 20-40 tok/s 的流畅输出想接 Ollama先在局域网跑起 Ollama再在应用内添加远程服务器即可自动发现模型想深入了解架构建议按 docs/ARCHITECTURE.md 阅读系统架构与原生模块说明README.md 中有完整的功能与测试矩阵快速参考文档与源码入口完整功能与性能说明README.md系统架构与技术参考docs/ARCHITECTURE.mdPersonal Mesh 同步指南docs/PERSONAL_MESH.md模型路由编排设计docs/design/MODEL_ROUTING.md下载服务设计docs/design/MODEL_DOWNLOAD_SERVICE.mdOff Grid AI 证明了「完全离线的 AI 助手」在 2026 年的手机上已经是现实——聊天、看图、说话、画图你的 AI你的设备你的数据。【免费下载链接】OGAMThe Swiss Army Knife of Offline AI. Chat, see, speak, and generate images on your phone or Mac — GGUF LLMs, vision, Whisper speech-to-text, Stable Diffusion, tool calling, and local-network servers. Runs on your CPU, GPU, or NPU. No account, no API key, zero data leaves your device.项目地址: https://gitcode.com/gh_mirrors/of/OGAM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考