QLoRA Model Optimizer低GPU资源下的量化感知微调实战【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-OptimizerModel Optimizernvidia-modelopt是一个开源的统一模型优化库集量化、蒸馏、剪枝、神经架构搜索与投机解码于一体可将深度学习模型压缩并部署到 TensorRT-LLM、TensorRT、vLLM 等推理框架。本文以它内置的 QLoRA 示例为主线讲解如何用尽可能少的显存完成大语言模型的量化感知微调QAT并把模型顺利导出上线。一、QLoRA 是什么量化 LoRA 如何省下 GPU 显存 先说结论QLoRA 真实量化压缩的冻结主干 只训练一小撮 LoRA 适配器。传统全参微调需要为所有权重保存优化器状态8B 模型往往需要几十 GB 显存LoRA 只训练低秩适配器主干参数冻结显存需求大幅下降QLoRA 更进一步主干权重先做真实量化压缩而非训练时的模拟量化以 4-bit 等低精度驻留在 GPU 上。Model Optimizer 通过mtq.compress()实现真实量化压缩并用 PEFT 插件保证训练正确性。在 modelopt/torch/quantization/plugins/peft.py 中可以看到关键设计当主干权重已被压缩时前向传播会分别计算主干输出与 LoRA 输出再相加而不是先合并权重——因为压缩权重无法直接参与求和这样既保持梯度流动又让冻结的量化主干以最低精度存放。这正是低 GPU 资源微调的核心量化主干只读占用少、LoRA 适配器很小、只有少量参数参与反传。二、QLoRA 快速上手从量化到部署的 3 步工作流 ⚡完整示例位于 examples/llm_qat/README.md整体流程只需三步# 1. 量化并压缩主干--compress True 是关键开关 python quantize.py --model_name_or_path Qwen/Qwen3-8B \ --dataset_config configs/dataset/blend.yaml \ --recipe general/ptq/nvfp4_default-kv_fp8 --compress True \ --output_dir qwen3-8b-quantized # 2. 挂载 LoRA 适配器进行 QLoRA 训练 accelerate launch --config-file configs/accelerate/ddp.yaml train.py \ --config configs/train/qlora_nvfp4.yaml \ --model_name_or_path qwen3-8b-quantized --output_dir qwen3-8b-fp4-qlora # 3. 导出为 HuggingFace 格式可用 vLLM 等框架开启 --enable-lora 直接服务 python export.py --pyt_ckpt_path qwen3-8b-fp4-qlora \ --export_path qwen3-8b-fp4-qlora-hf三步分别对应三个入口脚本步骤脚本作用量化压缩examples/llm_qat/quantize.py加载配方、校准、mtq.quantize后执行mtq.compress真实压缩权重QLoRA 训练examples/llm_qat/train.py--lora打开时自动注入 LoRA 配置并交给 QATTrainer 训练导出examples/llm_qat/export.py导出可被 TensorRT-LLM / vLLM / SGLang 加载的检查点 注意QLoRA 导出目前不支持 FSDP2后端示例中使用configs/accelerate/ddp.yamlDDP即可。三、关键配置详解QLoRA 训练参数速查表 训练超参集中在 examples/llm_qat/configs/train/qlora_nvfp4.yaml新手重点看这几项配置项示例值说明loratrue打开后训练前自动挂载 LoRA真实量化下权重已冻结必须依赖 LoRA 才 trainablelearning_rate1e-3LoRA 适配器学习率可远高于全参微调gradient_checkpointingtrue以时间换显存低显存场景强烈建议开启use_liger_kerneltrue融合算子进一步省显存、提速model_max_length8192序列长度直接决定激活显存按需调小manual_gctrue每步触发 GC规避 QAT 训练中的显存碎片LoRA 本身的结构在 examples/llm_qat/utils.py 中定义秩r8注入到注意力的q/k/v/o_proj与 MLP 的gate/up/down_proj覆盖模型主要的大矩阵。量化格式则由配方Recipe声明式指定内置配方目录见 modelopt_recipes/general/ptq/常用的有nvfp4_default-kv_fp8W4A4 FP8 KV面向 Blackwell GPU 的极致压缩fp8_default-kv_fp8W8A8Hopper 及以上即可精度接近 BF16int4_blockwise_weight_onlyW4A16 仅权重量化Ampere 及以上通用。所有参数的完整参考可查阅 examples/llm_qat/ARGUMENTS.md其中对--compress为 QLoRA 压缩权重和--lora有专门说明。四、如何把量化损失找回来QAT 与 QAD 的选择 量化后的模型精度会有所下降量化感知的意义就在于训练中让权重学会补偿量化误差QAT量化感知训练在带模拟量化的模型上用标注数据微调适合量化模型 学习新任务的场景QAD量化感知蒸馏额外加载原始全精度模型当教师用蒸馏损失引导量化学生是官方推荐的精度恢复策略。下图展示了 W4A4 NVFP4 量化后QAD 随着训练迭代在多项基准上逐步逼近教师BF16精度的真实曲线如果你的目标不是学新任务而是单纯把量化损失找回来可以改用qad_nvfp4.yaml并通过--teacher_model指定教师模型见 examples/llm_qat/README.md。知识蒸馏带来的基准恢复过程同样直观更省事的做法examples/llm_qat/simple_qat_train.py 是一个单 GPU 就能跑的最小化演示脚本量化 训练 保存一锅端适合先跑通再上多卡。五、核心文件与模块清单 ️路径说明examples/llm_qat/QAT/QAD/QLoRA 端到端示例量化、训练、导出三件套modelopt/torch/quantization/plugins/peft.pyLoRA 层量化模块兼容压缩权重的梯度计算modelopt/torch/quantization/plugins/transformers_trainer.pyQATTrainer/QADTrainerHuggingFace Trainer 的量化感知替身modelopt_recipes/内置量化配方库含模型专属配方examples/llm_qat/ARGUMENTS.md全量 CLI/YAML 参数手册写在最后用 Model Optimizer 做 QLoRA你只需要记住一条主线--compress True压缩主干 → 挂载 LoRA 低显存微调 → 导出部署。配合内置配方与 QAT/QAD 训练器即使只有单卡或双卡也能把 8B 级模型微调进 4-bit 时代并通过 vLLM 等框架低成本对外服务。动手最快的入口就是 examples/llm_qat/README.md照着三步走一天之内可以跑通全流程。【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址: https://gitcode.com/GitHub_Trending/te/Model-Optimizer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考