人工智能大模型模型优化模型量化模型压缩【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址https://gitcode.com/GitHub_Trending/te/Model-Optimizer点击查看免费下载本指南基于 Model-Optimizer 仓库中 credentials.md 编写系统讲解 ModelOpt 量化PTQ、部署、评测与 SLURM 集群作业等典型工作流在本地与集群环境中所需的全部凭据配置HuggingFace TokenHF_TOKEN、NGC API Key 与 Docker Hub 登录。读完本文你将掌握凭据的存量检查、两种持久化方式、NGC$oauthtoken特殊机制以及缺失凭据时的典型故障定位方法让srun --container-image、PTQ 校准数据下载等环节不再被 401 卡住。凭据在 ModelOpt 工作流中的角色Model-Optimizer 是一个统一的大模型优化库覆盖量化、蒸馏、剪枝、NAS、投机解码等技术的完整流程。这些流程往往横跨本地工作站与远端 GPU 集群PTQ后训练量化需要从 HuggingFace 拉取预训练模型与校准数据集其中不少是gated受限资源量化、评测、部署通常跑在 Docker 或 SLURM 容器中需要从NGCnvcr.io或 Docker Hub 拉取镜像day-0 发布工作流量化 → 评测 → 对比 → 发布决策在正式启动 PTQ 之前会先经过Setup 门禁其中就包含凭据检查。该文档被 PTQ、部署、评测与 slurm-setup 等多个 skill 交叉引用属于公共支撑文件。在 day0-release 的 Step 1 Setup 门禁中明确规定先确认凭据与集群可达性任一环节失败即判SYSTEMIC并停止绝不带着缺失的凭据启动 PTQ。第一步先检查环境里已有的凭据配置任何东西之前先确认用户机器上是否已有凭据——大多数情况下hf auth login、docker login或之前的 SLURM 工作已经留下了配置。凡是已存在的项直接跳过对应小节。# HF token环境变量或来自 hf auth login 的持久化文件 [ -n $HF_TOKEN ] echo ✓ HF_TOKEN set in env [ -s ~/.cache/huggingface/token ] echo ✓ HF token at ~/.cache/huggingface/token (from hf auth login) # Docker / NGC 注册表凭据 grep -qE (nvcr\.io|https://index\.docker\.io) ~/.docker/config.json 2/dev/null echo ✓ Docker login present # Enroot / pyxis 凭据集群登录节点上面向 SLURM 用户 grep -qE ^machine nvcr\.io ~/.config/enroot/.credentials 2/dev/null echo ✓ Enroot NGC entry present关键认知远程集群的凭据存放在集群上而非你的工作站上。对于远程集群通过 SSH 执行同样的检查ssh cluster-login check。这一原则在 environment-setup.md 与 remote-execution.md 中反复强调工作站文件系统与集群存储并不互通凭据、检查点都需要按各自所在环境单独确认。HuggingFace TokenHF_TOKEN何时必需HF_TOKEN是获取两类 gated 资源的凭证受限模型如 Llama、Mistral 以及部分 Nemotron 变体受限数据集如 GPQA、HLE 等评测/校准数据。仓库中的实际消费点可以印证这一点。在 examples/hf_ptq/slurm/multinode_fsdp2_ptq.slurm 中明确注释export HF_TOKEN{hf_token} # required for gated repos (or huggingface-cli login on host)PTQ skill 也专门提示某些校准数据集需要 HF 认证请在作业环境中设置HF_TOKEN。此外PTQ 推荐的nemotron-post-training-v3校准数据混合体以及--calib_with_images所用的 VLM 数据集都属于代表性 gated 数据缺少凭据时只能退回到cnn_dailymail这类公共数据作为兜底方案。生成与两种持久化方式在 https://huggingface.co/settings/tokens 生成 token。两种持久化方式可任选其一也可同时使用方式一hf auth login推荐用于交互式使用pip install -U huggingface_hub hf auth login # 交互式粘贴 tokentoken 被写入~/.cache/huggingface/token。HuggingFace Python 客户端会自动读取该文件——transformers、datasets以及hfCLI 都直接使用此文件无需在环境变量中再设HF_TOKEN。仓库的校准 notebookexamples/hf_ptq/notebooks/1_FP4-FP8_PTQ_Min-Max_Calibration.ipynb同样演示了通过huggingface_hub.login()完成认证的方式。方式二环境变量适合脚本、CI 与远程会话export HF_TOKENhf_...持久化到~/.bashrc或项目本地的.env文件中。注意当两种方式同时存在时HF_TOKEN环境变量优先。仓库中远程评测配置也沿用了这一约定evaluation skill 的recipes/env.example模板即为HF_TOKENhf_...而 SLURM 作业中通过env_vars: { HF_TOKEN: host:HF_TOKEN }将宿主机环境变量透传给作业容器详见 evaluation/references/slurm.md。NGC API Key用于nvcr.io何时必需拉取 NGC 镜像nvcr.io/nvidia/pytorch:...、nvcr.io/nvidia/vllm:...时必需无论通过 Docker、srun --container-image还是 enroot。在 https://ngc.nvidia.com/setup/api-key 生成 API Key。Docker 方式docker login nvcr.io -u $oauthtoken -p NGC_API_KEYEnroot 方式SLURM / pyxis在集群上的~/.config/enroot/.credentials中添加一条记录。该文件可能已包含其他注册表的凭据——务必追加而不是覆盖mkdir -p ~/.config/enroot CREDS~/.config/enroot/.credentials touch $CREDS grep -q ^machine nvcr.io $CREDS || \ echo machine nvcr.io login $oauthtoken password NGC_API_KEY $CREDS chmod 600 $CREDS关键陷阱$oauthtoken是 NGC 要求的字面字符串不是 shell 变量。不要替换它也不要让 shell 展开它——上面命令中的单引号正是为了保持字面值。如果缺失此配置srun --container-imagenvcr.io/...会在计算节点拉取镜像时报401 Unauthorized。这一点在 slurm-setup.md 中得到了直接呼应pyxis/enroot 需要集群~/.config/enroot/.credentials中的注册表凭据缺少时srun即失败。SLURM 场景中更稳妥的写法是通过 heredoc 追加多行格式cat ~/.config/enroot/.credentials EOF machine nvcr.io login $oauthtoken password ngc_api_key EOFDocker Hub 登录仅当拉取公共镜像遇到速率限制时才需要docker login公共镜像拉取受 Docker Hub 限制免费额度约每 6 小时每 IP 100 次拉取。值得注意的是slurm-setup 的故障排查表提示如果 Docker Hub 认证缺失或触发限流首选方案是改用 NGC 托管的替代镜像——NVIDIA 集群通常已预置 NGC 认证。例如vllm/vllm-openai:latest可替换为nvcr.io/nvidia/vllm:YY.MM-py3NGC 镜像标签遵循YY.MM-py3格式如26.03-py3。不是所有 Docker Hub 镜像都有 NGC 等价物此时要么补充 Docker Hub 凭据要么将镜像预缓存为.sqsh文件。凭据速查表凭据用途设置方式HF_TOKENGated HF 模型 / 数据集环境变量export HF_TOKEN...或.env文件NGC API Keynvcr.io镜像拉取docker login或~/.config/enroot/.credentialsDocker Hub公共镜像拉取限流规避docker login源码视角凭据如何被工作流消费从仓库源码结构看凭据体系贯穿了整条自动化链路可以归纳出三个核心消费场景1. PTQ 校准的数据访问。examples/hf_ptq/hf_ptq.py 是文本 LLM 与 VLM 量化的入口脚本--dataset nemotron-post-training-v3与--calib_with_images均依赖 HF 认证。多节点 SLURM 脚本examples/hf_ptq/slurm/multinode_fsdp2_ptq.slurm则同时示范了宿主机hf auth login与作业内export HF_TOKEN两种传递方式。2. 容器镜像拉取。slurm-setup.md 的容器注册表认证一节提供了完整的运行时检测与凭据核查流程先which enroot/which docker判断运行时再按镜像 URI 前缀nvcr.io、vllm/vllm-openai、ghcr.io、docker.io判断所需注册表最后分别检查~/.config/enroot/.credentials与~/.docker/config.json。提交作业之前必须确认凭据存在——否则作业会在排队后于拉取阶段失败浪费队列资源。3. 门禁化的发布流水线。day0-release/SKILL.md 将凭据检查设为 Step 1 Setup 门禁的组成部分失败即SYSTEMIC中止ptq/SKILL.md 则要求 gated 数据集通过HF_TOKEN注入作业环境。这两处共同说明凭据不是锦上添花的配置而是决定流水线能否启动的前置条件。远程集群的凭据检查由于集群凭据只存在于集群上正确的核查姿势是借助 remote-execution.md 描述的 SSH 持久会话执行远端检查source $SKILL_DIR/remote_exec.sh remote_load_cluster cluster_name remote_run grep -E ^\s*machine\s ~/.config/enroot/.credentials 2/dev/null remote_run cat ~/.docker/config.json 2/dev/null | python3 -c import json,sys; print(chr(10).join(json.load(sys.stdin).get(chr(97)chr(117)chr(116)chr(104)chr(115), {}).keys()))检查要点enroot 凭据应出现machine nvcr.ioNGC、machine auth.docker.ioDocker Hub或machine ghcr.ioGHCR行Docker 凭据则应出现nvcr.io、https://index.docker.io/v1/、ghcr.io等 registry 键。常见故障与定位症状涉及环节根因修复curl: (22) ... error: 401enroot 拉取注册表无凭据向~/.config/enroot/.credentials追加对应machine条目pyxis: failed to import docker imageenroot 拉取认证失败或触发限流核查凭据Docker Hub 免费额度为每 IP 6 小时 100 次拉取unauthorized: authentication requireddocker 拉取未执行docker login运行docker login [registry]GatedRepoError: 403HF 模型/数据集下载未接受许可或缺少HF_TOKEN在 HF 上接受许可并在deployment.env_vars与evaluation[].env_vars中同时设置HF_TOKEN部分节点能拉、部分节点失败任意镜像仅缓存在单个节点预缓存镜像或确保所有节点均有认证最后一条经验同样来自仓库注册表存在凭据不代表具体镜像一定可拉取——镜像可能不存在或凭据缺乏对该仓库的权限。提交作业前可用enroot import --output /dev/null docker://registry#image、docker manifest inspect image等方式验证镜像确实可拉取避免凭据齐全却镜像 404的二次踩坑。赞分享人工智能大模型模型优化模型量化模型压缩【免费下载链接】Model-OptimizerA unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.项目地址https://gitcode.com/GitHub_Trending/te/Model-Optimizer点击查看免费下载相关推荐SwiftPM swift package-registry 命令完全指南注册表配置、凭据认证与包发布实战SwiftPM swift package registry 命令完全指南注册表配置、凭据认证与包发布实战 Swift Package Manager 从 S开发工具构建工具mRemoteNG 凭据注册表设置指南通过注册表锁定导出、保存与默认凭据行为mRemoteNG 凭据注册表设置指南通过注册表锁定导出、保存与默认凭据行为 mRemoteNG 作为一款开源的多协议远程连接管理器允许用户通过 Windo桌面应用网络OpenTofu 使用 OCI 注册表时的认证配置指南环境凭据自动发现与显式配置OpenTofu 使用 OCI 注册表时的认证配置指南环境凭据自动发现与显式配置 本篇指南围绕 OpenTofu 通过 OCI 注册表OCI Registr云原生DevOps基础设施创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考