新闻详情

新闻详情

首页 / 资讯中心 / 详情

LiteRT-LM:轻量快速的边缘语言模型推理运行库,一文看懂

发布时间:2026/11/18 18:01:03来源:尧图网络
LiteRT-LM:轻量快速的边缘语言模型推理运行库,一文看懂
LiteRT-LM轻量快速的边缘语言模型推理运行库一文看懂【免费下载链接】LiteRT-LMLiteRT-LM is Googles production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.项目地址: https://gitcode.com/GitHub_Trending/li/LiteRT-LMLiteRT-LM 是基于 Google LiteRT 开发、以 C 编写的跨平台推理运行库可在手机、嵌入式板和桌面设备上直接运行 Gemma3-1B 等语言模型。它解决的核心问题是把 LLM 推理从云端搬到端侧后如何同时兼顾速度、隐私与实时响应。为什么端侧设备需要专门的推理运行库很多团队习惯把语言模型部署在云上但一旦考虑延迟、流量成本和隐私云方案的吸引力会大打折扣。实时语音对话、离线环境、数据不能出设备的业务都指向同一个答案——端侧推理。另一个现实是语言模型正在从单一模型演变成多个模型与组件协同工作的管道。运行时不再只是加载一个文件就能跑还需要统一层来处理任务编排、内存管理与硬件调度。LiteRT-LM 正是为此而生它以 C 为基础在 LiteRT 之上提供跨平台运行层覆盖从 Android 到桌面再到嵌入式设备的部署需求。核心能力这个运行库能做什么C API核心接口用 C 实现高性能且便于接入现有原生工程跨平台推理一套便携式 C 代码即可部署到 Android、macOS、Windows、Linux 及嵌入式设备硬件加速充分利用设备硬件性能GPU 加速让推理明显提速灵活可定制可根据业务需求自定义模型与组件的管道组合量化模型支持提供量化版本在减小模型体积的同时提升运行效率。它还支持工具调用Function Calling让模型在端侧就能触发外部函数方便搭建本地 Agent 流程。性能实测端侧 LLM 部署速度够不够 官方给出的性能数据如下单位 tokens/sec模型设备后端预填充 (tokens/sec)解码 (tokens/sec)Gemma3-1BMacbook Pro (2023 M3)CPU603.883.0Gemma3-1BSamsung S24 (Ultra)CPU379.755.9Gemma3-1BSamsung S24 (Ultra)GPU2369.052.5Gemma3n-E2BMacbook Pro (2023 M3)CPU232.527.6Gemma3n-E2BSamsung S24 (Ultra)CPU110.516.1Gemma3n-E2BSamsung S24 (Ultra)GPU816.415.6Gemma3n-E4BMacbook Pro (2023 M3)CPU170.120.1Gemma3n-E4BSamsung S24 (Ultra)CPU73.59.2Gemma3n-E4BSamsung S24 (Ultra)GPU548.09.4有三点值得注意。其一GPU 后端的预填充优势非常明显S24 上达到 2369.0 tokens/sec约为 CPU379.7的 6 倍。预填充是模型一次性处理整段提示词的阶段GPU 的并行算力在这里兑现最快。其二解码阶段两个后端差距不大52.5 对 55.9因为解码更受内存带宽制约。其三模型体量直接决定解码上限从 Gemma3-1B 到 E4B解码速度大约降到三分之一。一句话总结长提示词场景优先上 GPU纯解码吞吐则更取决于模型大小的选择。边缘计算加速的四个典型落地场景移动设备智能手机、平板上直接运行语言模型即时对话、智能助手等能力不再依赖网络往返响应更快。嵌入式系统部署到 Raspberry Pi 等设备覆盖物联网、智能家居等场景在断网或弱网环境下也能提供基础语言理解。桌面应用在桌面操作系统上做高效端侧推理适合办公自动化、本地文本分析等对数据隐私敏感的应用。边缘计算在边缘节点承载模型减少对云服务的依赖同时提升数据处理速度与安全等级。上手入口版本状态与文档位置 项目目前处于早期预览阶段完整版预计在今年夏末秋初发布。想先动手了解的开发者可以从仓库内的这些目录入手官方文档与 API 参考docs/ 目录核心运行库源码src/ 目录如需从源码编译先克隆仓库git clone https://gitcode.com/GitHub_Trending/li/LiteRT-LM结语对端侧设备而言能跑模型只是起点跑得快、跑得稳才是分水岭。LiteRT-LM 完整版的持续迭代值得在端侧 LLM 落地这件事上多一分观察。【免费下载链接】LiteRT-LMLiteRT-LM is Googles production-ready, high-performance, open-source inference framework for deploying Large Language Models on edge devices.项目地址: https://gitcode.com/GitHub_Trending/li/LiteRT-LM创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/17 7:04:08

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/18 14:20:46

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/17 19:43:34

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/18 11:04:06

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/18 15:55:22

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/17 19:43:32

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉