如何不联网在手机上跑本地大模型Google AI Edge Gallery 部署指南【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一个把开源大模型直接跑在手机上端的侧应用多轮对话、图像问答、语音转写都在设备内完成。模型加载完成后可断网使用推理过程不出设备。 它先替你干这几件事图像问答你拍一张照片或从相册选一张它返回物体是什么、场景里在做什么。语音转写你录 2 分钟语音它输出实时文字还能给出翻译。设备控制你说把亮度调到 50%它调用手机的对应设置项直接执行全程不联网。⚡ 断网可用的前提条件检查系统Android 12 及以上工程 minSdk 为 31或 iOS 17 及以上。安装应用Android 从 Google Play 安装没有 Play 就从最新 release 页拿 APK 直接装iOS 从 App Store 安装另有 macOS 版本。下载模型在应用的模型管理里从列表挑一个从 Hugging Face 拉取当前版本官方支持 Gemma 4 系列。断网验证下载完成后开飞行模式再发一句话能正常出字即可长期使用。想改代码再克隆仓库git clone https://gitcode.com/GitHub_Trending/gallery44/gallery用 Android Studio 打开构建。各能力怎么用对话输入话题开始多轮交流在支持的模型Gemma 4 系列起上可打开 Thinking Mode看到模型逐步的推理过程。图像拍照或从相册选图作为输入模型返回物体识别、视觉谜题答案或详细描述。音频录音作为输入实时转写成文字支持翻译输出适合会议记录和素材整理。设备控制Mobile Actions 由 FunctionGemma 270m 的微调版本驱动——注意此处驱动指运行时调用模型听懂你的指令后调用手机设置或系统动作返回执行结果。 加载自己的 .litertlm 模型应用支持加载自定义 .litertlm 模型并随时切换。模型以 LiteRT 格式打包在模型管理面板导入模型文件也可以粘贴 Hugging Face 的模型地址导入导入后可与列表中的模型互相切换、删除并跑基准测试对比表现。加载与删除逻辑集中在 ModelManagerViewModel.kt要自己加一个 AI 任务模块看 customtasks/ 目录。 读懂推理性能指标应用内置基准测试每轮跑出三个数字TTFTtime to first token从发送到第一个字出现所用的秒数越短首响越快输入越长这个值越吃亏。解码速度decode speedtokens/sec首字之后的持续生成速度越高后续输出越快。prefill 速度处理输入部分的速度同为 tokens/sec是长上下文档位的主要瓶颈。判断好坏别看单次数值同一台设备跑同一个模型做对比并记录当时用的是 CPU 还是 GPU 加速。适用边界这套方案适合要验证设备端大模型、或网络不可用场景的部署如果你要的是顶级云端模型的对话能力端侧模型目前够不到。MCP 外部工具接入与 Thinking Mode 仍是实验性功能后者只在受支持的模型上生效应用本身处于实验性 Beta 阶段硬件下限与具体模型的兼容性以官方发布为准。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考