Google AI Edge Gallery 使用指南在手机上部署离线大模型从安装到自定义任务【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery公司里的客户对话、生产记录这类敏感数据往往不允许发到外部服务器而工厂产线、仓库等现场环境网络也未必稳定——这两个问题都指向同一个需求能不能把 AI 直接装在设备上跑Google AI Edge Gallery 就是为此做的一款应用它让开源大模型LLMLarge Language Model即大语言模型在你的手机或平板上本地推理处理对话、图片识别、语音转写和移动设备控制等任务。模型加载完成后所有功能断网也能用你的提问和图片不会离开设备。一、安装要求与获取方式Android 端系统需为 Android 12 及以上版本可直接从 Google Play 商店安装不便访问商店的企业设备可从项目最新 release 下载 APK 自行安装。内存方面官方建议设备至少配备 6GB RAM否则加载和推理大模型会比较吃力。项目计划于 2026 年初在 iOS App Store 上线macOS 版本也已提供下载。二、端侧推理的技术栈应用底层的推理链条由三层组成Google AI Edge API——谷歌提供的设备端机器学习核心接口负责与硬件打交道LiteRT——一个轻量级运行时可以理解为负责在手机上高效执行模型计算的引擎它对模型做了针对性优化LLM 推理层——真正运行大语言模型的部分所有推理都在设备本地完成不产生云端调用。正因为这套组合完全跑在本机硬件上隐私保护和离线可用性是架构自带的而不是额外附加的功能。三、部署与管理自定义模型模型的下载、切换和删除集中在模型管理模块完成其源码位于 ModelManagerViewModel.kt。使用上支持三种路径从内置列表选择开源模型通过 Hugging Face 集成直接发现并下载导入自定义模型格式为 LiteRT 的.litertlm文件适合已经用其他工具转换好模型的团队通过模型白名单机制限制组织内设备可分发的模型范围便于统一管理。如果要从源码构建应用仓库根目录的 DEVELOPMENT.md 有完整的本地构建说明需要 clone 时使用 https://gitcode.com/GitHub_Trending/gallery44/gallery 即可。四、四个典型使用场景多轮对话与智能客服Agent Chat 支持多轮上下文并内置思考模式可以展开查看模型逐步推理的过程目前从 Gemma 4 系列模型开始支持。图片识别与分析用摄像头拍摄或从相册选图模型可识别物体、解答视觉谜题、生成详细描述全部离线完成。音频转写与翻译语音录音可实时转成文字并翻译基于设备端语言模型处理适合没有网络的会议记录场景。设备控制Mobile Actions 功能利用 FunctionGemma 270m 微调模型实现离线的设备操作和自动化任务。五、扩展能力接入自定义技能 应用提供了 Agent Skills 技能框架用来给模型加装工具。一个技能就是一个文件夹其中的 SKILL.md 描述技能名称和用途模型判断任务相关时会自行调用。技能分三类纯文本型给模型注入角色或知识、JavaScript 型在隐藏 webview 中执行脚本例如生成二维码、画交互地图、原生型调用系统能力如发邮件、发短信。内置和社区技能示例见 skills 目录。面向需要自研功能模块的团队应用采用自定义任务Custom Task架构组织代码各场景模块位于 customtasks 目录开发者可以参照现有模块的结构实现自己的任务。六、查看性能指标与基准测试部署前的核心问题是我的设备跑得动哪个模型、速度如何。应用内置 Benchmark 基准测试功能可以测量两个关键指标TTFTTime To First Token从发出请求到吐出第一个字所用的时间反映响应快慢解码速度模型持续生成文字的速度决定长回答的等待时间。测试在真实硬件上运行因此结果比纸面参数更有参考价值。选模型时先跑一轮基准测试再决定用哪一版是较稳妥的做法。另外应用还提供 Prompt Lab 实验区可调节 temperature、top-k 等参数专门测试提示词效果。七、使用边界与注意事项最后需要明确几点限制避免期望错位当前版本仍处于实验性 Beta 阶段功能和稳定性会持续变动反馈渠道在项目的 issue 区端侧模型的体积和上下文都受手机硬件限制官方文档提到端侧模型的上下文窗口一般在 4k10k token 量级长文档类任务要提前做拆分应用启用 GPU 加速来降低延迟但部分手机 GPU 内核在浮点高精度运算上与 CPU 的一致性有差异涉及大量数值计算的工具调用可能出现精度偏差时间线方面iOS 版本计划 2026 年初上线依赖 App Store 分发渠道的组织需要留意这个节点。一句话总结Google AI Edge Gallery 解决的是数据不出设备和断网也能用 AI两个现实问题代价是需要按设备硬件挑选合适的模型规格。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考