DataFlex YAML配置完全指南一文掌握大模型动态训练train_type、warmup_step全部参数【免费下载链接】DataFlex可用于大模型训练时动态进行训练动态训练数据选择、领域比例调整及动态加权提升训练速度和性能与 LLaMA-Factory 无缝集成提供灵活强大的训练控制能力。项目地址: https://gitcode.com/OpenDCAI/DataFlexDataFlex是一款构建在 LLaMA-Factory 之上的大模型动态训练数据选择框架支持在训练过程中动态进行数据选择Data Selection、领域比例调整Data Mixture与动态加权Data Reweighting。本文带你系统读懂 DataFlex 的 YAML 配置文件从最关键的train_type训练模式开关到warmup_step、update_step等全部动态参数一张表、一张图讲清楚新手也能快速上手写出自己的训练配置。 仓库自带data/演示数据集alpaca、c4、wiki 等可配合下方示例配置直接跑通一次小规模动态训练。一、配置文件由哪两部分组成DataFlex 的配置文件 标准 LLaMA-Factory 字段DataFlex 动态训练字段通常用注释分成几个段落段落作用典型字段### model指定模型model_name_or_path### method训练阶段与方法stagept/sft、finetuning_typelora/full### dataset数据集与模板dataset、template、cutoff_len### train常规超参learning_rate、num_train_epochs、bf16### dynamic_train⭐ DataFlex 专属train_type、component_name、warmup_step动态参数的定义源码在 dynamic_params.py 与 dynamic_data_params.py 中每个字段的 help 注释都写得很清楚。二、train_type4 种训练模式怎么选train_type是 DataFlex 配置的总开关决定使用哪个动态训练器取值模式适用场景static静态训练默认不做任何动态调度等价于原生 LLaMA-Factorydynamic_select动态数据选择定期暂停训练按策略LESS/NICE/Loss 等重新挑选样本dynamic_mix动态领域混合多数据集按比例混合比例可动态调整DoReMi/ODMdynamic_weight动态样本加权反传时按样本特征动态调整 loss 权重 未写train_type或设为static时DataFlex 不会修改 LLaMA-Factory 的任何默认行为完全兼容。三、核心动态参数速查表这是整篇文章最重要的一张表收藏即可参数类型默认值含义train_typestrstatic训练模式四选一见上表components_cfg_filestrconfigs/components.yaml算法参数文件路径component_namestrLoss选择具体算法须与 components 文件中定义的 key 一致warmup_stepint0预热步数。选择/混合模式下为开始动态调度前的常规训练步数加权模式下是全局步数阈值达到后才开始重加权update_stepint0每次动态更新之间的间隔步数update_timesint1每个 Flex epoch 内更新次数0表示不设固定次数static_mixboolfalsedynamic_mix下为true时固定混合比例、不动态更新DoReMi 第 1/3 步使用train_stepint0总训练步数。大于 0 时覆盖num_train_epochs计算出的步数mixture_sample_rulestr-仅dynamic_mixmixture按初始比例/stratified按数据集大小/uniform均匀init_mixture_proportionslist-各源数据集的初始混合比例如[0.5, 0.5]四、步数怎么算Flex Epoch 的语义这是新手最容易踩坑的地方。对dynamic_selectnum_train_epochs重复的是Flex epoch一个 Flex epoch 包含一个 Flex epoch warmup_step update_step × update_times例如warmup_step: 10、update_step: 10、update_times: 2、num_train_epochs: 3则总共运行3 × (10 10×2) 90个优化步。若要回到单 Flex epoch的老行为设num_train_epochs: 1.0即可。对dynamic_weightwarmup_step是全局步数阈值跨 epoch 不重置重加权从global_step warmup_step开始生效。⚠️ 官方建议动态训练时优先使用eval_strategy: steps/save_strategy: steps或干脆用no关闭避免按 epoch 评估与 Flex epoch 边界对不齐。五、三种动态模式的典型配置模板以 less.yaml 为例dynamic_train段核心写法① 动态选择—— examples/train_lora/selectors/less.yamltrain_type: dynamic_select components_cfg_file: src/dataflex/configs/components.yaml component_name: less # 可选less / nice / loss / delta_loss / tsds / near / random warmup_step: 10 update_step: 10 update_times: 2② 动态混合—— doremi_step2_dynamic_qwen_pt_lora.yamltrain_type: dynamic_mix component_name: doremi # 可选doremi / odm / static / random mixture_sample_rule: mixture init_mixture_proportions: [0.5, 0.5] # 多数据集用逗号dataset: wiki_demo,c4_demo warmup_step: 100 update_step: 200 update_times: 3③ 动态加权—— examples/train_lora/weighters/loss.yamltrain_type: dynamic_weight component_name: loss # 可选loss / adapt / joint_update_aware / custom warmup_step: 100 train_step: 500 # 固定 500 步多 epoch 运行请设为 0最小混合冒烟测试可参考 test_mix.yaml。六、components.yaml算法专属参数放在哪里训练 YAML 只负责选哪个算法每个算法的超参数统一写在 src/dataflex/configs/components.yaml 中按三大类分节selectors如less的gradient_type、proj_dimtsds/near需要先运行 offline_tsds_selector.py、offline_near_selector.py 生成.npy文件再填入路径mixers如doremi的reweight_eta、odm的alpha、initial_proportionsweighters如loss的strategy: linupper、adapt的tau需配置eval_dataset作为锚点集。这种训练配置 组件配置分离的设计让你换算法时只改一行component_name。七、配置自查清单 写完后逐条对照能避开 90% 的报错component_name在components_cfg_file指定文件的对应分类selectors/mixers/weighters下真实存在dynamic_mix的dataset用逗号列出多个数据集且init_mixture_proportions长度一致warmup_step是步数而非 epoch动态模式建议 ≥ 几百步让模型先热身想让num_train_epochs生效时确保train_step为 0或 CLI 传train_step0多卡训练加环境变量FORCE_TORCHRUN1 dataflex-cli train config.yaml也支持 CLI 覆盖单个参数dataflex-cli train config.yaml learning_rate5e-5 warmup_step20更多示例配置集中在examples/目录LoRA 选择器在examples/train_lora/selectors/混合器在 examples/train_lora/mixers/加权器在 examples/train_lora/weighters/DeepSpeed 配置在 examples/deepspeed/。八、常见问题 FAQQ1只想体验不想改参数怎么办直接跑仓库内置示例dataflex-cli train examples/test/test_mix.yaml小数据集几分钟即可验证动态混合流程。Q2warmup_step设 0 可以吗可以。动态调度从第 0 步就开始但模型初期状态不稳定一般建议留出少量预热步数示例中普遍为 10~200。Q3DoReMi 为什么要用static_mix: trueDoReMi 是三步流程第 1 步用静态比例训参考模型、第 2 步动态优化域权重、第 3 步再用优化后的权重静态训练。第 1/3 步把static_mix设为true即固定比例、不动态更新完整流程参考 examples/train_full/mixers/ 下的 step1~step3 配置。Q4完整文档在哪里看仓库内置使用指南 skills/how_to_use.md包含安装、CLI 命令、训练模式与全部支持算法的详细说明想扩展新算法可参考 skills/how_to_add_algorithm.md。✅ 掌握train_type选模式、component_name选算法、warmup_step/update_step定节奏这三个核心你就已经会写 DataFlex 90% 的场景配置了——现在就可以复制一份示例 YAML开始你的第一次动态数据训练【免费下载链接】DataFlex可用于大模型训练时动态进行训练动态训练数据选择、领域比例调整及动态加权提升训练速度和性能与 LLaMA-Factory 无缝集成提供灵活强大的训练控制能力。项目地址: https://gitcode.com/OpenDCAI/DataFlex创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考