4GB 显存跑 70BAirLLM 的分层流式推理逻辑与模型覆盖一览【免费下载链接】airllmAirLLM 70B inference with single 4GB GPU项目地址: https://gitcode.com/GitHub_Trending/ai/airllm一张 4GB 显存的显卡常规用法只能装下 7B 级别的模型AirLLM 的分层流式推理让 70B 级模型以全精度状态在这张卡上完成逐 token 生成无需量化、蒸馏或剪枝。这是一个专注大模型推理的开源项目把显存占用从模型总参数改写成单层参数。谁会被显存卡住AirLLM 解决的问题很具体模型权重必须常驻显存。一个 70B 全精度模型按 2 字节/参数计算约需 140GB远超单卡容量于是大多数人转向 7B 小模型或多卡集群。它适合验证、教学与低成本演示场景手里只有 4GB 到 8GB 级显卡但需要用 70B 级模型出结果。代价是推理速度受磁盘加载速度限制不适合高并发在线服务换来的是硬件成本降到消费级。核心机制单层常驻 分块量化原理可以概括为一条流水线。首次加载时框架把整份权重按层拆解落盘生成时 GPU 中任意时刻只驻留一层当前层算完后下一层被预取逐层接力直至生成结束。显存占用因此取决于单层大小而非模型总量——这正是 70B 压到约 4GB 的依据。在此基础上可选开启分块量化压缩compression参数取 4bit 或 8bit。注意这里的量化只作用于权重该方案的瓶颈在磁盘加载而非计算权重变小即提速激活值不动则精度损失可控。官方给出的对比数据同一负载下不压缩 449s、8bit 237s、4bit 157s。默认开启的预取prefetching进一步用磁盘 I/O 与计算重叠隐藏等待官方称带来约 10% 提速。AirLLM 支持哪些模型模型接入统一走AutoModel按 auto_model.py 中的路由规则自动分发新架构默认落入通用的 airllm_base.py 流式实现通用稠密对话类Llama 2/3.x/4、Qwen 各版本含 3.8 的 VL、Mistral、Phi、Gemma、ChatGLM、Baichuan、InternLM、Yi覆盖中文对话、代码与通用问答。MoE 稀疏架构类Mixtral、DeepSeek-V2/V3/R1671B、Qwen3-235B、Kimi K32.8T。稀疏模型每次只把 token 实际路由到的专家搬上卡显存需求显著低于同规模稠密模型。Apple Silicon 优化类macOS 上自动切换为 airllm_llama_mlx.py 的 MLX 后端70B 级模型同样适用。上手路径与关键配置安装pip install airllm可运行的最小示例见 air_llm/inference_example.py。核心调用三步from airllm import AutoModel model AutoModel.from_pretrained(Qwen/Qwen3-32B) tokens model.tokenizer(你好, return_tensorspt, truncationTrue, max_length128) out model.generate(tokens[input_ids].cuda(), max_new_tokens20) print(model.tokenizer.decode(out.sequences[0]))常用配置项compression4bit / 8bit / None、prefetching默认开启、layer_shards_saving_path分层缓存目录、delete_original转换后删除原始权重省一半磁盘。首次拆解非常耗磁盘缓存目录空间不足会报 MetadataIncompleteBuffer。实测数据各模型单卡显存占用官方给出的单卡实测全精度、含端到端生成模型规模显存Qwen3 / Mistral / Phi约 8B1–2 GBQwen3-30B / Mixtral30–47B1–3 GBQwen3.8-27B稠密 VL27B3.33 GBQwen3-235BMoE235B约 3 GBLlama 3.x 70B70B约 4 GBLlama 3.1 405B405B约 8 GBDeepSeek-V3671B约 12 GBKimi K3 在单张 RTX 6000 Ada 上实测 3.72GB但环境要求特殊CUDA 12 版 torch 配 flash-attn以及 transformers 4.56.x。适合在 4–12GB 显卡或 Mac 上验证大模型效果的开发者与教学场景。建议先打开 examples/inferrence.ipynb从 8B 模型跑通后再放大到 70B。【免费下载链接】airllmAirLLM 70B inference with single 4GB GPU项目地址: https://gitcode.com/GitHub_Trending/ai/airllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考