如何第一次跑通DataFlex从环境安装到首次动态数据选择训练的完整快速开始教程【免费下载链接】DataFlex可用于大模型训练时动态进行训练动态训练数据选择、领域比例调整及动态加权提升训练速度和性能与 LLaMA-Factory 无缝集成提供灵活强大的训练控制能力。项目地址: https://gitcode.com/OpenDCAI/DataFlexDataFlex是一个构建在 LLaMA-Factory 之上的大模型动态训练框架能在训练过程中智能地做动态数据选择、动态数据配比与动态数据加权帮助你在更少的样本上更快、更稳地训出更强的模型。本教程面向新手手把手带你完成环境安装、读懂 YAML 配置并最终启动第一次动态数据选择训练。 先认识 DataFlex它能做什么DataFlex 把大模型训练中的数据调度变成了可配置的选项三大核心能力如下能力训练模式train_type已支持算法 动态数据选择dynamic_selectLESS、NICE、Loss、Delta Loss、TSDS、NEAR、Random⚖️ 动态数据配比dynamic_mixDoReMi、ODM、Static、Random️ 动态数据加权dynamic_weightLoss Reweighting、ADAPT、Joint-Update-Aware它的用法与 LLaMA-Factory 高度兼容入口命令类似YAML 配置在标准字段之外只需增加几个 DataFlex 动态参数。完整说明可参考 skills/how_to_use.md 和 README-zh.md。 第一步环境准备与一键安装硬件与软件要求GPUNVIDIA 显卡CUDA 环境推荐 CUDA 12.4Python3.11依赖LLaMA-Factory 0.9.5、transformers 4.55~5.6 会随核心依赖自动安装安装步骤按顺序执行1. 先安装指定版本的 PyTorch避免 pip 解析到不兼容的构建版本pip install --index-url https://download.pytorch.org/whl/cu124 \ torch2.6.0 torchvision0.21.0 torchaudio2.6.0 python -c import torch; print(torch.__version__, torch.cuda.is_available())第二行输出True即代表 CUDA 可用 ✅2. 安装 DataFlex二选一# 方式一直接安装发布版 pip install dataflex # 方式二从源码安装推荐便于查看示例配置 git clone https://gitcode.com/OpenDCAI/DataFlex cd DataFlex pip install -e .3. 可选依赖按需安装pip install dataflex[deepspeed] # 使用 examples/deepspeed 下的 ZeRO 配置时需要 pip install dataflex[less] # 使用 LESS 选择器需要 TRAK时安装 小贴士DeepSpeed 被刻意限制在 0.17 以下这是与钉住的 torch 版本的兼容性要求请勿手动升级。✅ 第二步验证安装是否成功安装完成后用版本命令做最简单的冒烟测试dataflex-cli version能正常打印版本号说明 CLI 入口与核心依赖都装好了。dataflex-cli train config.yaml就是之后启动训练的唯一入口还支持在命令行末尾用keyvalue方式覆盖 YAML 中的参数例如learning_rate5e-5多卡训练时加上环境变量FORCE_TORCHRUN1即可。 第三步读懂训练配置 YAMLDataFlex 的训练配置 标准 LLaMA-Factory 字段 DataFlex 动态字段。以官方示例 examples/test/test_select.yaml 为例动态字段只有 5 个### Dataflex args train_type: dynamic_select # 训练器类型dynamic_select / dynamic_mix / dynamic_weight / static_full components_cfg_file: src/dataflex/configs/components.yaml component_name: delta_loss # 算法名对应 components.yaml 中定义的组件 warmup_step: 4 # 预热步数先用随机数据热身 update_step: 3 # 每隔多少步触发一次动态更新 update_times: 4 # 每个 Flex epoch 内更新几次图 1DataFlex 仓库内置演示数据集中的多模态题目图片展示了 demo 数据集如mmfinereason_sft_demo中图文样本的真实形态。这些字段定义了动态训练的节奏预热 → 每隔update_step步暂停一次、运行选择器重选样本 → 重建 dataloader 继续训练。一个 Flex epoch 的总步数为warmup_step update_step × update_times再乘以num_train_epochs得到总步数。数据集方面仓库data/目录已内置alpaca_en_demo、alpaca_zh_demo、c4_demo等小样本演示数据集登记信息见 data/dataset_info.json新手可以直接用它们跑通全流程无需准备自己的数据。 第四步启动第一次动态数据选择训练仓库已备好最小冒烟测试配置 examples/test/test_select.yamlLoRA delta_loss选择器 演示数据集一条命令即可启动dataflex-cli train examples/test/test_select.yaml训练过程中的典型日志节奏预热阶段前warmup_step步在随机数据上正常训练不做任何动态操作动态选择阶段到达更新点时暂停训练delta_loss选择器根据滑动窗口内的损失变化挑出最有价值的样本重建 dataloader持续训练重复更新 → 训练循环直到步数跑满结果保存在 YAML 中output_dir指定的目录。想换算法只需把配置里的component_name改成loss、random、tsds、near等算法各自的超参在 src/dataflex/configs/components.yaml 中定义。各选择器的 LoRA 完整示例都在 examples/train_lora/selectors/ 下如 loss.yaml。⚠️ 注意TSDS和NEAR需要先运行离线预处理脚本生成索引/概率文件offline_selector/首次上手建议从delta_loss、loss或random开始。图 2演示评测数据mmfinereason_eval_demo中的一道图文题这类小样本评测集可用于观察动态训练后的模型表现。️ 附赠切换其他动态模式只需改 3 行跑通选择器后切换到动态配比几乎零成本。官方冒烟配置 examples/test/test_mix.yaml 演示了用dynamic_mix混合两个数据集train_type: dynamic_mix component_name: random # 或 doremi、odm、static dataset: alpaca_en_demo,alpaca_zh_demo # 多个数据集用逗号分隔 init_mixture_proportions: [0.7, 0.3] # 初始域比例dataflex-cli train examples/test/test_mix.yaml同理把train_type换成dynamic_weight并选择component_name: loss就进入了动态加权模式示例见 examples/train_lora/weighters/。三种模式的完整参数语义含 Flex epoch 步数计算规则在 skills/how_to_use.md 中有详细表格。️ 新手常见问题排查现象可能原因与解决办法torch.cuda.is_available()输出Falsetorch 版本与 CUDA 不匹配按第一步重装 cu124 版本启动即报Invalid train_type检查train_type拼写必须是static/dynamic_select/dynamic_mix/dynamic_weight之一多卡训练卡住或报进程数错误加环境变量FORCE_TORCHRUN1 dataflex-cli train ...动态更新迟迟不触发warmup_step/update_step相对总步数太大调小或检查train_step设置评估/保存时机异常动态训练建议用eval_strategy: steps、save_strategy: steps避免按 epoch 触发 总结你已经完成了第一次动态训练恭喜跟着本教程你已经完成了DataFlex 安装 → 验证 CLI → 读懂动态配置 → 跑通首次动态数据选择训练的全流程。接下来的进阶路线想深入算法细节阅读 README-zh.md 中的实验结果部分想加自定义选择器/混合器/加权器参考 skills/how_to_add_algorithm.md 的 Registry 扩展机制想要完整的预处理流水线可以用生态项目 DataFlow 产出数据后直接喂给 DataFlex。动态数据调度的世界才刚刚打开祝你训练顺利【免费下载链接】DataFlex可用于大模型训练时动态进行训练动态训练数据选择、领域比例调整及动态加权提升训练速度和性能与 LLaMA-Factory 无缝集成提供灵活强大的训练控制能力。项目地址: https://gitcode.com/OpenDCAI/DataFlex创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考