新闻详情

新闻详情

首页 / 资讯中心 / 详情

三步跑通端侧大模型:Google AI Edge Gallery 快速上手指南

发布时间:2026/11/18 15:02:31来源:尧图网络
三步跑通端侧大模型:Google AI Edge Gallery 快速上手指南
三步跑通端侧大模型:Google AI Edge Gallery 快速上手指南【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一个在 Android 与 iOS 上运行开源大语言模型的端侧 AI 平台:模型加载后,推理全程离线,提示词与图片不离开设备,适合做离线 AI 部署与设备端推理验证。项目定位:它解决什么问题解决的问题:开源 LLM 在移动硬件上的真实表现(延迟、吞吐)此前缺少一个统一、可动手验证的环境。Gallery 把模型下载、多轮对话、图像问答、语音转写、基准测试、函数调用整合进同一个应用。适合谁:需要在真机上评估模型选型的工程师,要做离线 agent 工具原型的开发者,以及做设备端推理优化的团队。不适合谁:需要超过 10k 级长上下文的场景、需要云端级并发吞吐的服务,以及希望模型直接执行任意 shell/Python 命令的场景(移动沙箱不支持,skills 文档中明确说明了这一约束)。快速上手:离线部署端侧模型三步走环境要求运行端:Android 12 及以上,iOS 17 及以上;README 另提供了 macOS 版 dmg 下载。源码构建:需要 Android Studio,以及一个 Hugging Face 开发者应用(clientId 与 redirectUri),这是模型下载功能正常工作的前提。获取与安装终端用户:从 Google Play 或 App Store 安装;无法访问 Play 的用户可从最新 release 拿 APK。开发者:克隆仓库后按文档配置凭据即可:git clone https://gitcode.com/GitHub_Trending/gallery44/gallery本地构建的配置点只有两处,见 DEVELOPMENT.md:在 Android/src/app/src/main/java/com/google/ai/edge/gallery/common/ProjectConfig.kt 填入 HF 凭据,并在app/build.gradle.kts的manifestPlaceholders[appAuthRedirectScheme]中改成对应的回跳 scheme。跑通第一个模型打开应用,从模型列表(Hugging Face 来源)下载一个模型,官方可下载列表由 model_allowlist.json 维护。进入 LLM Chat 或 Agent Chat,发送第一条消息,确认离线推理链路打通。进入 Benchmark 用例,得到第一组 TTFT 与解码速度数据(下文会讲怎么读)。架构拆解:推理链路里的核心组件下表路径均相对Android/src/app/src/main/java/com/google/ai/edge/gallery/:组件职责入口位置Google AI Edge API(LiteRT-LM)LLM 推理接口:消息对话、工具调用、流式 token 回调runtime/LlmModelHelper.ktLiteRT 运行时轻量模型执行环境,应用通过 GPU 加速追求低延迟依赖库,无直接源码Hugging Face 集成模型发现与下载huggingface/HuggingFaceApiClient.ktAgent 运行时会话管理与工具调用执行流程agent/DefaultAgentRuntimeExecutor.kt、agent/sessions/LlmSessionManager.kt自定义任务框架Agent Chat、Mobile Actions、Scrapbook、Tiny Garden 均为任务模块customtasks/技能(Skills)系统用 SKILL.md 加 JS 脚本扩展模型能力tools/LoadSkillTool.kt、tools/RunJsTool.kt,样例在 skills/built-in/MCP 客户端把端侧模型接入外部工具服务器,当前标注为实验特性tools/RunMcpTool.kt、mcp/McpServersProvider.kt性能观测:如何查看 TTFT 与解码速度用例入口:内置 Benchmark 功能,界面在ui/benchmark/BenchmarkScreen.kt,结果展示在ui/benchmark/BenchmarkResultsViewer.kt,结果项包含 Decode tokens、Decode speed、Time to first token(即 TTFT)。单轮对话日志:Android/src/app/src/main/java/com/google/ai/edge/gallery/common/metrics/MetricsLogger.kt 会打印ttftxxx ms;common/metrics/LitertlmInferenceMetricsTracker.kt中可以看到具体口径:TTFT 为从发起到首个生成 token 的耗时,解码速度用 (总耗时 − TTFT) 除以生成 token 数,prefill 速度用提示词 token 数除以 TTFT。读数用于选型:同一台设备上横向对比多个模型,TTFT 反映流式对话的开口快慢,解码速度决定阅读流畅度;若你的场景提示词很长,重点看 prefill。同一模型换设备对比,则反映硬件差距。二次开发入口:从哪个目录改起自定义任务(函数调用):模板在 Android/src/app/src/main/java/com/google/ai/edge/gallery/customtasks/examplecustomtask/。新增函数调用的完整四步见 Function_Calling_Guide.md:在customtasks/mobileactions/Actions.kt注册动作类型,在MobileActionsTools.kt声明Tool函数,在MobileActionsViewModel.kt的performAction实现 Android 侧逻辑,按需修改MobileActionsTask.kt的系统提示词,最后在Android/src/下执行./gradlew installDebug装机。技能:规范与调试技巧见 skills/README.md。分三类:纯文本技能(仅需 SKILL.md)、JS 技能(scripts/index.html暴露window.ai_edge_gallery_get_result,可返回文本、base64 图片或内嵌 webview)、原生 intent(通过run_intent调用发邮件等系统动作)。应用内 Skill 管理器支持从精选列表、URL 或本地文件(adb push后导入)添加。自定义模型:模型管理在 Android/src/app/src/main/java/com/google/ai/edge/gallery/ui/modelmanager/,GlobalModelManager.kt中校验.litertlm文件,HfUrlImportDialog.kt支持直接粘贴.litertlm直链或 Hugging Face 模型卡 URL 导入。MCP 接入:流程与限制见 mcp/README.md。stdio 型本地服务器需先经 supergateway 转成 StreamableHTTP 再暴露公网地址;云端服务器则通过自定义请求头携带凭据。场景与选型建议端侧模型选型:同一台真机上对候选模型跑 Benchmark,结合 Prompt Lab 调整 temperature、top-k 等参数,用真实读数替代纸面参数。离线 agent 工具:skills/built-in/query-wikipedia/、skills/built-in/interactive-map/ 展示了在不把提示词发往云端的前提下给模型加工具;需要实时数据时可再挂一个本地 MCP 服务器。函数调用实验:Mobile Actions 与 Tiny Garden 均由 FunctionGemma 270m 微调版驱动,可自行微调模型并注册函数,文档同样在 Function_Calling_Guide.md。值得用:数据不能出设备、需要端侧真实性能数字、要快速验证 agent 工具链。不值得:上下文需求超过约 10k 词元(MCP 文档注明端侧模型窗口为 4k–10k)、需要服务器级并发、需要模型执行任意系统命令。小结把 Gallery 当作一块设备端推理的试验台:先下载模型跑通对话,再用 Benchmark 拿到 TTFT 与解码速度,然后按需沿 customtasks、skills、MCP 三条线扩展。仓库内的 README.md、DEVELOPMENT.md、skills/README.md、mcp/README.md 覆盖了从零构建到二次开发的完整说明。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/17 5:57:47

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉