实战用NVIDIA Agent Skills的TAO Toolkit技能微调100个视觉AI模型完整指南【免费下载链接】skillsAgent Skills for NVIDIA products — install into Claude Code, Codex, and other coding agents to run Physical AI, robotics, simulation, CUDA, and RAG workflows end to end.项目地址: https://gitcode.com/gh_mirrors/skills36/skillsNVIDIA Agent Skillsskills36/skills仓库是一组可以直接安装到 Claude Code、Codex 等编码智能体中的 AI 技能集合让你用自然语言就能跑通物理 AI、机器人仿真、CUDA 计算和 RAG 等端到端工作流。本文将聚焦其中的TAO Toolkit 技能——借助这套技能你可以让 AI 智能体替你微调、压缩和部署100 个预训练视觉 AI 模型全程几乎不需要手写训练代码 什么是 NVIDIA Agent Skills为什么是 TAOAgent Skills 的本质把专家知识打包成一个带 SKILL.md 说明文件、参考文档、脚本和校验脚本的技能目录编码智能体读取后即可像老练工程师一样操作产品工具链。TAO ToolkitTuning and Optimization是 NVIDIA 的视觉 AI 微调平台覆盖目标检测、图像分割、OCR、深度估计、立体匹配、姿态估计等场景。而 TAO 技能库skill bank把它进一步技能化模型技能31 个tao-train-*/tao-finetune-*技能一个模型一个目录内置该模型的数据格式、指标、容器镜像和可执行动作数据技能12 个tao-generate-*、tao-mine-*、tao-analyze-*技能负责数据集转换、挖掘与质量分析平台技能Docker、Kubernetes、SLURM、Brev、本地 venv 等运行环境核心技能会话编排、能力发现、任务记录等完整清单见 components.d/tao-toolkit.yml技能目录总览见 skills/README.md。一键安装步骤把 TAO 技能装进你的智能体安装只需一条命令无需 clone 仓库# 浏览可安装的技能 npx skills add nvidia/skills --list # 交互式安装按需勾选 TAO 相关技能 npx skills add nvidia/skills也可以只装单个技能例如npx skills add nvidia/skills --skill tao-setup 各智能体的详细安装方式见官方文档 docs/advanced-install.mdx。装好后如果技能是逐个安装的先运行一次tao-setup技能skills/tao-setup/SKILL.md它会完成三件事检查 GPU 主机上的 Docker 与 NVIDIA 驱动、核对NGC_KEY/HF_TOKEN等凭据是否存在只显示变量名、绝不打印密钥、并注入跨技能发现流程。31 个模型技能想微调哪个模型就装哪个技能模型技能是这套技能库的核心资产每个目录都自带 SKILL.md 训练手册、references/skill_info.yaml结构化契约和固定的容器镜像。举几个典型例子任务场景推荐技能支持动作实时 2D 目标检测tao-train-rtdetr训练/蒸馏/量化/评估/导出/推理零样本检测微调tao-train-grounding-dino训练/评估/导出图像分割tao-train-mask2former训练/评估/量化自监督预训练tao-train-dinov3、tao-train-mask-auto-encoder训练/评估OCR 文字检测tao-train-ocrnet、tao-train-ocdnet训练/评估工业表面缺陷检测tao-train-visual-changenet、tao-train-optical-inspection训练/评估深度估计 / 立体匹配tao-train-depth-anything-v2、tao-train-foundation-stereo训练/评估视频动作识别 / 3D 检测tao-train-action-recognition、tao-train-bevfusion、tao-train-sparse4d训练/评估大视觉模型微调tao-finetune-huggingface-model、tao-finetune-clip、tao-finetune-cosmos-reason训练/评估每个技能文件还内置了安全规范所有会产生副作用的操作如docker run、提交训练任务必须先经用户确认凭据只在环境中校验存在性永远不在对话中索取容器镜像按技能固定版本不会悄悄换 tag。数据技能让智能体先帮你的数据集体检微调质量一半取决于数据。TAO 数据技能可以自动完成常见的数据工程工作格式转换与校验tao-convert-dataset-format 把数据转成 TAO 可识别的格式如 COCOtao-validate-dataset-format 在开训前自动检查标注质量、防止脏数据浪费 GPU数据挖掘tao-mine-aoi-images 从海量素材中筛出感兴趣区域AOI图片tao-mine-nearest-neighbors 找最相似样本智能标注tao-generate-image-embeddings、tao-generate-image-grounding、tao-generate-referring-expressions 利用现成模型批量生成嵌入、定位框和指代表达质量分析tao-analyze-detection-kpi 分析检测模型的漏检/误检分布tao-analyze-gaps-vlm-bcq 用视觉语言模型找出数据短板以 RT-DETR 为例技能文件里直接写明了各动作的数据要求images.tar.gzannotations.json的 COCO 格式智能体读取后会自动构造数据路径你只需确认数据集在哪 AutoML 调参让智能体替你搜索最优超参数手动调参是最耗时的环节之一。tao-run-automl 技能把整个超参数优化HPO流程交给AutoMLRunner自动执行基线评估先用选定验证集跑一次基线记录起始指标算法选择默认贝叶斯搜索也支持 Hyperband、ASHA、BOHB、LLM 引导搜索llm/hybrid/autoresearch等算法自动推荐-训练-反馈闭环生成超参数推荐 → 提交训练任务 → 提取指标如 RT-DETR 的val_mAP50→ 反馈给优化器直到预算耗尽启动前审查提交任何任务前智能体必须先展示一份启动审查——模型、平台、镜像、GPU 数量、搜索空间、预估总时长——得到你的确认才真正开跑整个过程对智能体无感模型是否支持 AutoML 由references/skill_info.yaml中的automl_enabled声明和schemas/action.schema.json搜索空间文件共同决定不支持就明确报告不会凭空编造搜索空间。多平台运行与技能发现一套流程多种算力训练任务可以跑在你手边任何算力上平台技能实现统一的submit/status/logs/cancel四动词接口tao-run-on-docker本地 GPU 服务器最常用tao-run-on-kubernetes / tao-run-on-slurm集群批量任务tao-run-on-brev云端按需 GPUtao-run-on-virtualenv无 Docker 环境下的轻量运行如果你还没装好 GPU 驱动tao-setup-nvidia-gpu-host 可以检查并按需安装 NVIDIA 驱动、CUDA Toolkit 与容器工具链。想快速了解已装技能的能力边界直接对智能体说TAO 能做什么即可它会调用 tao-list-capabilities 基于打包的清单文件生成准确答案而不是凭记忆瞎编。安全与信任签名技能与技能卡片这套技能库对信任很上心每个技能目录都附带skill.oms.sig签名文件和skill-card.md技能卡片用于在分发渠道中验证技能来源技能安全扫描与签名机制详见 docs/scanning-agent-skills.mdx、docs/signing-agent-skills.mdx 和 docs/agent-skill-trust-pipeline.mdx。结合前面提到的确认后才执行副作用操作、凭据只校验不显示等规范基本可以做到放心把重复性微调工作交给智能体。快速上手清单npx skills add nvidia/skills --list浏览并安装 TAO 技能运行tao-setup完成主机预检与凭据检查用数据技能校验 → 转换 → 挖掘准备好 COCO 等格式的训练集对智能体描述任务如用我的数据集微调 RT-DETR跑 AutoML 优化 mAP审阅智能体给出的启动审查确认后等待status/logs反馈用export动作导出模型部署到边缘或云端从数据准备到模型上线TAO 技能库把 66 个环节拆成可组合的积木——你负责提需求智能体负责把流程走通。这正是 Agent Skills 想要证明的事编码智能体不只是写代码的工具更是能操作整个 AI 工程工作流的专业助手 ✨【免费下载链接】skillsAgent Skills for NVIDIA products — install into Claude Code, Codex, and other coding agents to run Physical AI, robotics, simulation, CUDA, and RAG workflows end to end.项目地址: https://gitcode.com/gh_mirrors/skills36/skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考