白嫖NVIDIA官方成果Model Optimizer预量化检查点直接部署实战【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-OptimizerNVIDIA Model OptimizerModelOpt是英伟达官方开源的统一模型优化库集成量化、蒸馏、剪枝、神经架构搜索、投机解码等 SOTA 技术。它对新手最友好的地方在于官方提供了一整套预量化检查点Llama、Nemotron 等模型的 FP8 / NVFP4 版本vLLM、TensorRT-LLM、SGLang 三大推理框架可直接加载——不用准备校准数据、不用自己写量化代码下载即用。本文带你从零上手直接部署 Model Optimizer 预量化检查点。为什么可以“白嫖”预量化检查点是什么量化Quantization是把模型权重从 BF16 压缩到 FP8、INT4、NVFP4 等低精度的过程典型收益是显存减半甚至缩到 1/4、推理提速 1.3x~2.1x。自己跑量化的流程通常是准备校准数据集 → 运行校准 → 导出检查点对新手并不友好。而 Model Optimizer 官方已经把这些活干完了在 Hugging Face 上持续发布用 ModelOpt 量化的Inference Optimized Checkpoints集合Llama FP8/FP4、Nemotron NVFP4 等导出的检查点遵循统一 HF 格式safetensors 量化权重 hf_quant_config.json量化配置推理框架识别后即可自动走低精度内核官方在仓库中提供了三大框架的一键部署示例位于 examples/model_hub/README.md。也就是说官方把「最难的量化环节」做成了成品你只需要会写两行推理代码。官方预量化检查点清单这些模型可以直接用官方预量化检查点覆盖的主流格式包括 FP8、NVFP4、INT4 AWQ 等可直接部署的示例模型有模型量化格式部署框架Llama 3.1 8B / 70B / 405B InstructFP8、NVFP4(FP4)TensorRT-LLM / vLLM / SGLangLlama 3.3 70B InstructFP4同上DeepSeek-R1FP4同上Nemotron 3 系列Nano / Super / UltraFP8、NVFP4同上统一导出格式的详细说明见 docs/source/deployment/3_unified_hf.rst其中列出了 FP8、FP8_PB、NVFP4、NVFP4_AWQ、INT4_AWQ、W4A8_AWQ 等受支持格式。 选型建议H100/H200 上优先 FP8精度损失最小显存紧张时选 4-bitNVFP4 / INT4 AWQ。最快路径vLLM 直接加载 ModelOpt FP8 检查点vLLM 对 ModelOpt 格式的原生支持最成熟加载时只需指定quantizationmodelopt。官方示例 examples/model_hub/run_llama_fp8_vllm.py 核心逻辑from vllm import LLM, SamplingParams llm LLM(modelnvidia/Llama-3.1-8B-Instruct-FP8, quantizationmodelopt) outputs llm.generate(prompts, SamplingParams(temperature0.8, top_p0.9))就这么简单——FP8 检查点会自动以 8-bit 内核推理显存占用约为 BF16 的一半无需任何转换步骤。进阶TensorRT-LLM 与 SGLang 的部署写法TensorRT-LLMPyTorch 后端直接加载统一 HF 检查点见 examples/model_hub/run_llama_fp8_trtllm.py核心是LLM(modelnvidia/Llama-3.1-8B-Instruct-FP8)SGLang见 examples/model_hub/run_llama_fp8_sglang.py核心是sgl.Engine(model_path..., quantizationmodelopt)。跑示例前记得完成对应框架的安装与 HF 账号登录huggingface-cli login前置要求汇总在 examples/model_hub/README.md。没有你想要的模型5 行代码自己量化预量化集合里没有你的目标模型时Model Optimizer 的 PTQ训练后量化流程也非常轻量。官方 HuggingFace 量化教程在 examples/hf_ptq/README.md核心三步mtq.quantize(model, ...)选择量化配方FP8 / NVFP4 / INT4 AWQ 等mtq.calibrate(model, calib_dataloader)用少量校准数据校准缩放因子export_hf_checkpoint(model, export_dir)导出统一 HF 格式检查点。现成的 YAML 量化配方可直接引用存放在 modelopt_recipes/general/ptq/ 与 modelopt_recipes/model_type/ 目录下覆盖 LLM、VLM、Diffusers、ONNX 等多种模型类型无需手写配置。除 LLM 外Diffusers 生图模型如 SDXL也能享受同款压缩官方 examples/diffusers/quantization/ 提供了完整的 FP8/INT8 量化与 TensorRT 部署流程。部署后能得到多少性能与精度官方基准 examples/benchmark.md 给出了 H200 TensorRT-LLM 上的参考数据输入 2048 / 输出 128 token模型对比FP8 吞吐加速Llama 3.1 8B (TP1)vs BF16最高1.41xLlama 3.1 70B (TP2→TP1)vs BF16最高2.10x精度方面MMLU 相对 BF16 的损失Llama 3.1 70B FP8 仅掉0.38%8B FP8 掉 1.50%4-bit AWQ 方案 70B 也仅掉 1.07%。对生产环境来说这是几乎无感的代价。新手常见问题 FAQQ1预量化检查点和自己跑 PTQ 有区别吗流程完全一致都是 ModelOpt 量化 统一 HF 导出只是官方已替你执行完。自己量化还多了 AutoQuantize自动搜索每层最优格式、QAD量化感知蒸馏找回精度等进阶玩法。Q2vLLM / SGLang / TensorRT-LLM 版本有要求吗有。检查点由 ModelOpt 版本生成部署框架需支持对应量化格式建议跟随 examples/model_hub/README.md 中的版本说明并优先使用最新的 ModelOpt 导出格式。Q3消费级显卡Windows也能部署吗可以。Windows 平台的量化与部署示例见 examples/windows/README.md覆盖 GenAI LLM、SAM2、Whisper 等场景。Q4如何安装 Model Optimizer稳定版pip install -U nvidia-modelopt[all]即可官方 PyTorch / NeMo / TensorRT-LLM 容器镜像也已预装开箱即用。总结Model Optimizer 预量化检查点把「量化」这个最耗时的环节变成了免费成品想直接用→ 下载官方 FP8/NVFP4 检查点vLLM/SGLang/TensorRT-LLM 加quantizationmodelopt直接推理想要自定义→ 5 行代码 官方 YAML 配方完成 PTQ导出同样的统一格式追求极致→ 用 QAD、AutoQuantize 进一步压损失、提吞吐。对新手而言这是上手模型压缩与高性能推理最低门槛的官方路径值得直接抄作业。【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考