CubeStudio 是一款国产化、云原生的一站式开源人工智能平台同时覆盖传统机器学习、深度学习与大模型全链路MLOps / MaaS / 算力调度 / 训推平台开源协议 MIT开源免费商用开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / Ollama / MindIE 大模型多机推理、私有知识库 / LLMOps / 智能体、AI 模型市场以及从数据到上线的全流程模型部署。原生适配昇腾、寒武纪、海光、摩尔线程、沐曦等国产异构算力与 x86 / ARM CPU 架构支持 IB / RoCE / RDMA 高速网络及信创私有化、内网离线部署。官网https://www.cubestudio.vip GitHubhttps://github.com/data-infra/cube-studio Giteehttps://gitee.com/data-infra/cube-studio关键词CubeStudio、cube-studio、大模型任务模板、LLaMA-Factory、SFT、微调、LoRA、PPO、DPO、reward、奖励模型、RLHF、知识蒸馏、distillation、LLM-Pruner、剪枝、量化、GPTQ、AWQ、GGUF、llm-benchmark、推理压测、OpenCompass、评测、安全评估、越狱、jailbreak、DeepSeek、Qwen、start.py、国产算力大模型落地从来不是「微调完就结束」。一条完整链路里你要先 SFT 微调可能还要训 reward 模型做 PPO 对齐上线前要压测吞吐、跑评测榜、做安全越狱测试资源紧张时还要蒸馏、剪枝、量化把模型「瘦」下来。每一步都是一个独立工具环境、参数、输出格式各不相同。CubeStudio 把这些环节都做成了任务模板——都放在job-template/job/下入口统一是start.py参数以前端 JSON 表单暴露表单 key 就是 argparse 参数名。在 Pipeline 里拖进来、填表单、连起来就是一条可复现、可调度、可计费的大模型流水线。本文覆盖 7 个核心模板。一、七个大模型模板总览模板用途入口默认镜像llama-factory训练 / SFT / PPO / reward / evalstart.py/start-ppo.py/start-reward.py/start-eval.pyllama-factory:20260725llm-benchmark推理性能压测start.pyllm-benchmark:20260429llm-distillation硬标签 / 知识蒸馏start.pyllm-hard-distillation-knowledge-distillation:20250904llm-pruneLLM-Pruner 结构化剪枝start.pyllm-prune:20260123llm-quantization量化gptq/awq/gguf/hfstart.pyllm-quantization:20250801llm-safety-eval越狱安全评估start.pyllm-safety-eval:20251222opencompassOpenCompass 评测start.pyopencompass:20260610镜像均托管在ccr.ccs.tencentyun.com/cube-studio/注册源为myapp/init/init-job-template.json。二、LLaMA-Factory微调 / PPO / 奖励模型一套打通基于开源项目 LLaMA-Factory一个模板四个入口脚本靠--stage区分阶段共享大部分训练参数脚本--stage用途start.pysft监督微调 SFTstart-reward.pyrm奖励模型训练--dataset默认dpo_zh_demostart-ppo.pyppoPPO 强化学习额外--model_rm_lora_path指向 reward 的 LoRAstart-eval.py—模型评估cmmlu 等任务SFT 关键参数start.py--model_name默认deepseek-ai/DeepSeek-R1-Distill-Qwen-7B、--model_path配置后忽略 model_name、--dataset、--template默认deepseek3、--finetuning_typefull/freeze/lora、--lora_target默认all、--quantization_bit4/8/noneQLoRA、--learning_rate默认5e-5、--num_train_epochs表单默认5、--merge_lora。三个亮点值得一提模型与模板选择极全--model_name内置 Baichuan2 / GLM / ChatGLM / DeepSeek-V3/R1 / Llama2/3/3.1/3.2 / Mistral/Mixtral / Qwen2/2.5/3含 VL/Audio/Omni/ Yi / Hunyuan / InternLM 等--template提供近百种对话模板。多硬件同模板同一个 llama-factory 提供Dockerfile-amd64/DockerFile-npu昇腾/Dockerfile-cambricon寒武纪/Dockerfile-dcu海光/Dockerfile-mx沐曦换硬件不换流程。PPO 闭环先用start-reward.py训 reward再把它的 LoRA 路径喂给start-ppo.pyRLHF 对齐在同一平台内闭环完成。三、上线前三道关压测、评测、安全llm-benchmark推理性能压测加载本地 HuggingFace 模型按指定 batch / 轮数 / 生成长度压测输出生成吞吐 tokens/s、请求吞吐 requests/s、时延与资源消耗CPU/内存/GPU 利用率/显存/CUDA 峰值显存。核心参数--model_path多个模型逗号分隔逐个 × 每种量化方式评测、--quantizationnone/4bit/8bit用 bitsandbytes 加载、--dtype、--batch_size默认1、--iterations默认20、--max_new_tokens默认128。结果落summary.json 4 张单指标对比 CSV并在可视化目录生成 4 张 echart 柱状图量级差异大所以拆开画。opencompass权威评测基于 OpenCompass。--model_path多个逗号分隔、--datasetsselect2 多选含 gsm8k/math/cmmlu/humaneval/mbpp/triviaqa 等及本地demo_showcase_*冒烟样例、--hf_typechat/base。内置演示集每个仅 10 条用来快速跑通评估流程。llm-safety-eval越狱安全评估对模型做多策略、多语言安全压力测试。内置8 种越狱策略基线直问、角色扮演反派、system 忽略安全策略、法语/西班牙语翻译混淆、虚构场景假设、权威/研究诉求、多轮逐步引导统计拒答率、越狱成功率、有害指示率、PII 输出率邮箱/手机号/身份证/信用卡号等。--languages支持zh/en/all。输出中英各 7 张共 14 张可视化图表评估卡片、语言对比、策略越狱率排名、类别×策略热力图、安全雷达图、策略-语言矩阵、累积分布曲线。四、模型瘦身三件套蒸馏 / 剪枝 / 量化llm-distillation知识蒸馏--type选HardDistillation数据蒸馏推荐或KnowledgeDistillation知识蒸馏显存要求高建议 40G填--teacher_model_path_or_name/--student_model_path_or_name与学生模板--student_template配--lambda_kdKD 与 CE 混合权重默认0.5、--tau蒸馏温度默认2即可让小模型学大模型。llm-prune结构化剪枝基于 LLM-Pruner。核心--pruning_ratio剪掉比例默认0.25、--pruner_typerandom/l1/l2/taylor默认taylor、--prune_modeblock_wise推荐 /channel_wise/layer_wise。block_wise 下用--block_attention_layer_start/end、--block_mlp_layer_start/end控制剪哪些层建议保留前 2-4 层与最后一层。llm-quantization量化--job区分量化方式gptq/awq/gguf/hf_quantize。--quantization选量化位数choice 覆盖2/3/4/8及 GGUF 的q3_K_M/q4_K_M/q5_K_M/q8_0等。量化时用wikitext-2-raw-v1在线校准拉取失败自动退回内置中文样本。五、模板之外平台给了什么单独看这 7 个模板就是 7 个开源工具放进 CubeStudio 后它们才成为可工程化的能力Pipeline 编排拖拉拽把「SFT → reward → PPO → 评测 → 量化 → 推理服务」串成一条 DAG一键运行、可复现、可定时调度多硬件一致体验同模板提供昇腾 / 寒武纪 / 海光 / 沐曦 / x86 多份 Dockerfile国产算力零改造复用可视化直出压测、评测、安全测试的结果自动渲染成 echart 图表 / PNG不用自己写画图脚本多租户与计量计费每个训练 / 评测任务的 GPU、NPU 消耗按项目组核算配额与资源组打通无缝衔接推理微调 / 量化产出的权重直接对接推理服务模板vLLM / MindIE 等发布成 OpenAI 兼容 API。从一个基座模型到一个对齐好、评测过、瘦身完、上线可调用的大模型整条链路都能在 CubeStudio 的任务模板里跑完。了解更多CubeStudio 采用 MIT 开源协议开源免费商用并支持源码交付与二次分发开源版本已有数千家企业私有化部署。官网与在线文档https://www.cubestudio.vip开源仓库GitHubhttps://github.com/data-infra/cube-studio开源仓库Giteehttps://gitee.com/data-infra/cube-studio