AutoGluon 0.4.0 版本全解析MXNet 到 PyTorch 的深度学习迁移、Tabular 提速与新训练约束【免费下载链接】autogluonFast and Accurate ML in 3 Lines of Code项目地址: https://gitcode.com/GitHub_Trending/au/autogluon本篇技术指南以 docs/whats_new/v0.4.0.md 发布说明为主体系统梳理 AutoGluon 0.4.0 的核心变更从 MXNet 全面迁移到 PyTorch、Text 模块的 PyTorch Lightning 重构与多语言支持、Tabular 模块的新增训练约束infer_limit、伪标签、特征剪枝、模型校准以及新模型NN_TORCH、VW、加速后的 LR。读者读完后既能理解每个新特性的使用方式与参数含义也能通过仓库源码定位其实现位置快速评估或复现 0.4 时代引入的 API 设计。版本与适用性说明当前仓库已演进至 v1.6.2见 VERSION本文描述的是历史发布版本 v0.4.0支持 Python 3.7–3.9的内容作为理解 AutoGluon API 演进脉络的参考文中给出的 API 在后续版本中大多得以保留但个别依赖如 VowpalWabbit 模型已在后续版本中调整请以实际安装版本为准。一、版本概况151 个提交、14 位贡献者与不破坏兼容的升级v0.4.0 是 AutoGluon 发展历程中的一个里程碑版本从 2021 年 9 月到 2022 年 3 月共积累了 151 个提交、14 位贡献者。本次发布最重要的定位是从 v0.3.1 升级不破坏兼容性non-breaking但官方明确提醒只能使用与训练时相同版本的 AutoGluon 加载模型跨版本加载已训练模型不被支持。支持 Python 3.7–3.9Python 3.6 停止支持并新增 Python 3.9 支持。所有深度学习模型从 MXNet 迁移到 PyTorch带来整体训练速度的大幅提升。新增 WindowsCPU 与 GPU平台支持并添加了 Linux、macOS、Windows 的跨平台测试。这些变更背后对应着仓库中的模块结构调整autogluon.mxnet与autogluon.extra子模块被移除同时新增autogluon.common以简化未来子模块的依赖管理common/src/autogluon/common。这一结构调整在后续版本中持续沿用当前仓库中core、features、tabular、multimodal、timeseries五大子模块的布局正是从这一时期逐步定型。二、深度学习后端迁移从 MXNet 到 PyTorch0.4.0 最根本性的架构变化是深度学习后端全面切换为 PyTorch。这带来了两个直接结果Text 模块以 PyTorch Lightning 重构可以直接加载 huggingface/transformers 中的预训练骨干网络backbone并新增了实验性的AutoMMPredictor多模态 DL 模型。Tabular 新增 Torch 版神经网络模型TabularNeuralNetTorchModel别名NN_TORCH取代默认配置中的 MXNet 神经网络模型且默认启用。从当前仓库结构看这一迁移的成果延续至今tabular 的神经网络实现位于 tabular/src/autogluon/tabular/models/tabular_nn/torch/tabular_nn_torch.pyTabularNeuralNetTorchModel继承自AbstractNeuralNetworkModel多模态预测器的实现则沉淀为 multimodal/src/autogluon/multimodal/predictor.py 中的MultiModalPredictor。三、Text 模块重构更优性能、更快速度与多语言支持AutoGluon-Text 在 0.4.0 中完成了 PyTorch Lightning 重构发布说明中给出的关键收益包括性能在 NeurIPS 2021 的多模态 text-tabular benchmark 上相对 v0.3 取得 72.22% 的 win-rate使用presetshigh_quality时借助 DeBERTa-v3 骨干网络提升至 77.8%。速度训练约 2.88x 加速、推理约 1.40x 加速在 g4dn.12x 实例上配合 4 块 GPU 可再获得 2.26x 加速。多语言支持通过设置presetsmultilingual触发跨语言迁移cross-lingual transfer可以在英文数据集上训练后直接用于德文、日文、意大利文等语言的数据。AutoMMPredictor实验性支持融合 timm 图像骨干、huggingface/transformers 文本骨干以及 CLIP 等多模态骨干官方表示可能优于 ImagePredictor 与 TextPredictor 的集成方案。连续训练加载已训练模型后再次调用.fit()即可从已有 checkpoint 继续训练。3.1 多语言预设的源码印证在 0.4.0 中多语言能力由presetsmultilingual触发其背后是文本骨干的跨语言选择逻辑。在后续演进中该能力被收敛到多模态模块中当前仓库的 multimodal/src/autogluon/multimodal/configs/presets 目录24 个.py配置中即包含多语言/多模态相关预设定义。这印证了发布说明中以预设驱动模型选择的设计思路——用户不需要关心底层 backbone 细节只需声明目标场景。3.2 连续训练fit 的幂等语义调用.fit()继续训练在源码层面的支撑是预测器在已训练状态下再次fit时会基于已有模型与 checkpoint 继续迭代而不是从零开始。该能力在多模态预测器中同样保留multimodal/src/autogluon/multimodal/predictor.py 的fit入口支持已训练模型的二次调用适合数据集持续增长的增量训练场景。四、Tabular 模块五类核心新能力0.4.0 对 AutoGluon-Tabular 做了大量优化发布说明汇总的整体收益为Good / High / Best 质量预设下约2x训练加速约1.3x推理加速相对 v0.3.1 的 63% win-rateAutoMLBenchmark 结果在行数 ≥ 100,000 的数据集上 win-rate 提升到 93%。具体新增能力如下每一项都在当前仓库源码中留有对应实现与测试。4.1 推理延迟约束infer_limit与infer_limit_batch_size这是面向在线推理场景的 fit 期约束fit-time constraint。用户可以在TabularPredictor.fit()中指定最终模型的端到端推理延迟目标例如 50msAutoGluon 会自动训练满足该约束的模型组合。参数位置fit()签名中并在 tabular/src/autogluon/tabular/learner/default_learner.py 与 tabular/src/autogluon/tabular/trainer/abstract_trainer.py 中贯穿传递与执行。工作方式AutoGluon 在训练过程中会持续评估候选模型的推理延迟自动淘汰无法满足约束的模型最终保留在延迟预算内精度最高的模型组合。应用场景端到端延迟必须达标的在线推理服务如 API 网关背后 50ms 的 SLA。from autogluon.tabular import TabularPredictor predictor TabularPredictor(labeltarget).fit( train_datatrain, infer_limit0.05, # 期望端到端推理延迟不超过 50ms infer_limit_batch_size1, # 延迟以单条样本批大小评估 )注意infer_limit的单位为秒infer_limit_batch_size用于指定评估延迟时的批大小二者共同决定模型取舍。4.2 自动化半监督与直推学习fit_pseudolabel0.4.0 为TabularPredictor新增了fit_pseudolabel(...)方法支持两类高级训练模式有标签伪数据将pseudo_data作为额外训练数据加入各 fold 的模型训练bagging 时每个 fold 都会使用全部pseudo_data但pseudo_data永远不会参与验证/评分。无标签直推学习transductive learning先用现有预测器对pseudo_data打分挑出置信度最高的行例如预测概率高于 95%将其伪标注后加入训练随后在max_iter次迭代中反复用新模型对剩余未使用行打分直到验证分数不再提升早停。当前仓库中 tabular/src/autogluon/tabular/predictor/predictor.py 保留了完整的fit_pseudolabel实现其参数如下参数默认值含义pseudo_data必填额外数据 DataFrame可带或不带label列max_iter3伪标签迭代最大轮数return_pred_probFalse是否返回伪数据上的留出预测概率无标签数据推荐设为 Trueuse_ensembleFalse是否用集成模型而非单最佳模型进行伪标签打分fit_ensembleFalse训练结束后是否对有/无伪标签训练的模型拟合加权集成fit_ensemble_every_iterFalse是否在每一轮伪标签迭代后都拟合加权集成源码 docstring 给出了一个具体的 bagging 示例10000 行train_data 10 折 bagging若加入 5000 行无标签pseudo_data第一轮可能选出 965 行高置信行加入训练第二轮再新增 188 行依此类推直到max_iter或验证分数不再提升。测试覆盖见 tabular/tests/unittests/test_tabular.py有标签与无标签两种模式、默认与 best quality 配置。# 无标签直推学习示例test_data 无 ground truth predictor, y_pred_proba TabularPredictor(labellabel).fit_pseudolabel( pseudo_datatest_data, max_iter3, return_pred_probTrue, )需要特别说明的局限源码明确标注pseudo_data仅用于 L1第一层模型L2 模型只使用原始train_data。4.3 自动化特征剪枝feature_prune_kwargs0.4.0 实现了自动化特征选择feature pruning。使用方式是在fit()中传入feature_prune_kwargs{}字典参数。参数入口tabular/src/autogluon/tabular/predictor/predictor.py其 docstring 指向AbstractTabularTrainer._proxy_model_feature_prune的详细说明。底层实现通过代理模型评估各特征的重要性自动剔除对精度贡献低或无贡献的特征再以剪枝后的特征集训练最终模型通常能带来训练/推理加速与模型体积下降。测试佐证tabular/tests/unittests/test_tabular.py 的test_tabular_feature_prune直接使用feature_prune_kwargs验证该路径。predictor TabularPredictor(labeltarget).fit( train_datatrain, feature_prune_kwargs{}, # 启用自动化特征剪枝 )4.4 自动化模型校准calibrate与calibrate_decision_threshold0.4.0 为分类问题实现了自动化的预测概率校准calibration默认启用可通过calibratefit 参数开关同时为分位数回归quantile regression增加了校准conformalization。此外predictor.calibrate_decision_threshold()用于在验证集上计算最优决策阈值。当前源码中的行为细节tabular/src/autogluon/tabular/predictor/predictor.pycalibrate默认auto当问题类型为分类时使用温度缩放temperature scaling校准预测类别概率当问题类型为分位数回归时使用 conformalization 校准预测分位数不适用的问题类型自动跳过校准。校准只作用于验证分数最优的模型inner_ag_post_fit_kwargs[calibrate] False相关逻辑确保校准不重复施加。calibrate_decision_threshold默认autofit结束后依据评估指标自动校准.predict使用的决策阈值。测试覆盖见 tabular/tests/unittests/calibrate/test_calibrate.py。4.5 并行 Bag 训练基于 Ray 的资源优化0.4.0 通过 Ray 实现了并行 bagbagging训练对无法有效利用全部核心的模型通过更高效的资源调度获得约2x训练加速相同硬件、相对 v0.3.1、启用 bagging 时。当前仓库中 Ray 相关基础设施沉淀于 core/src/autogluon/core/ray 目录资源分配测试见 core/tests/unittests/ray/test_resource_calculator.py。4.6 其他 Tabular 增强发布说明还包含多项细节改进自适应早停在时间预算内显著提升模型质量XGBoost、CatBoost、LightGBM 均受益。datetime 特征处理增强。特征重要性支持自定义置信水平feature_importance相关参数。神经网络 HPO 搜索空间改进。one-hot 编码预处理优化。refit_full逻辑重构简化用户自定义模型贡献改善与高级预设结合时的多模态支持。实验性 TabularPredictor 配置助手后续演化为 tabular/src/autogluon/tabular/configs 目录的配置体系。新增 GPU 训练与特征工程教程对应仓库中的 docs/tutorials/tabular/tabular-gpu.ipynb 与 docs/tutorials/tabular/tabular-feature-engineering.ipynb。五、Tabular 模型层更新NN_TORCH、VW 与加速的 LR5.1 新模型 TabularNeuralNetTorchModel别名 NN_TORCH作为 MXNet→Torch 迁移的一部分新 Torch 版表格神经网络相比旧 MXNet 版本具备约1.9x训练加速、约4.7x推理加速、51%win-rate。该模型已取代 MXNet 版本进入默认超参数配置并默认启用。当前实现位于 tabular/src/autogluon/tabular/models/tabular_nn/torch/tabular_nn_torch.py。5.2 新模型 VowpalWabbitModel别名 VWVowpalWabbitVW作为新模型加入 AutoGluon特别适合含文本特征的数据集并被用于hyperparametersmultimodal预设中。注意安装要求VW 默认不随 AutoGluon 安装需要单独安装pip install autogluon.tabular[all, vowpalwabbit] # 或 pip install vowpalwabbit8.10,8.11需要说明的是在当前仓库版本中tabular/src/autogluon/tabular/models目录下已不再保留 VowpalWabbit 模型实现后续版本调整了模型列表本文按 v0.4.0 发布说明记录其引入时的用法实际使用时请以所装版本为准。5.3 XGBoostXGB、CatBoostCAT、LightGBMGBM优化XGBoostModel优化序列化方式带来约 5.5x 推理加速与磁盘占用减半自适应早停带来 54.7% win-rate训练代价较高的指标如 F1优化后约 10x 加速默认num_cpus改为物理核心数而非虚拟核心数。CatBoostModel加入回调机制以增强对内存错误的稳定性与韧性更先进的自适应早停带来 63.2% win-rate。LightGBMModel高代价指标训练约 10x 加速自适应早停带来 51.1% win-rate默认num_cpus同样改为物理核心数。上述模型的当前实现分别位于 tabular/src/autogluon/tabular/models/xgboost/xgboost_model.py、tabular/src/autogluon/tabular/models/catboost/catboost_model.py、tabular/src/autogluon/tabular/models/lgb/lgb_model.py。5.4 FastAIModelFASTAI改进新增自适应 batch size 与 epoch 选择首次支持 HPO此前 FastAI 不支持 HPO训练确定性统一设置随机种子保证可复现修复 GPU 指定逻辑正确遵循num_gpus参数fit 与推理期间强制正确的线程数避免全局线程更新问题。5.5 LinearModelLR20x 训练/推理加速线性模型经多项优化后获得约20x训练与20x推理加速但需要额外安装 Intel 的scikit-learn-intelexpip install scikit-learn-intelex2021.5,2021.6需要特别注意LinearModel 在 0.4.0 中默认不启用必须通过hyperparameters显式指定LR键才会被使用官方计划在后续版本中评估将其纳入默认模型。当前实现位于 tabular/src/autogluon/tabular/models/lr/lr_model.py。predictor TabularPredictor(labeltarget).fit( train_datatrain, hyperparameters{LR: {}}, # 显式启用线性模型 )六、Vision 模块与杂项工程改进Vision 模块在 0.4.0 中完成了三项修复后端逻辑重构更稳健、新增 CPU 推理支持此前无 GPU 会报错、HPO 逻辑重构。工程与依赖清理对安装体验影响很大移除对 ConfigSpace、cython、dill、paramiko、autograd、openml、d8、graphviz 的依赖大幅简化安装尤其是 Windows 平台。HPO 逻辑整体重构本版本以随机搜索random search为默认官方明确说明正在为后续版本重新引入 bayesopt 等更高级的 HPO 方法同时删除约 40,000 行过时代码。日志系统重构避免干扰其他包修复 Kaggle kernel 中拟合时无日志输出的问题。新增autogluon.common子模块common/src/autogluon/common集中承载特征元数据、数据加载/保存、工具函数等跨子模块能力。添加 Linux / macOS / Windows 平台测试保证跨平台稳定性。七、从 v0.4.0 到当前仓库API 演进脉络小结v0.4.0 引入的多个核心概念在后续版本中持续演进本文梳理的对应关系可供参考v0.4.0 引入的能力当前仓库中的延续位置infer_limit/infer_limit_batch_sizetabular/src/autogluon/tabular/trainer/abstract_trainer.py、tabular/src/autogluon/tabular/learner/default_learner.pyfit_pseudolabeltabular/src/autogluon/tabular/predictor/predictor.pyfeature_prune_kwargstabular/src/autogluon/tabular/predictor/predictor.pycalibrate/calibrate_decision_thresholdtabular/src/autogluon/tabular/predictor/predictor.pyNN_TORCHTorch 表格神经网络tabular/src/autogluon/tabular/models/tabular_nn/torch/tabular_nn_torch.py多模态预测AutoMM 演进multimodal/src/autogluon/multimodal/predictor.py多语言/多模态预设multimodal/src/autogluon/multimodal/configsRay 并行 bag 训练core/src/autogluon/core/ray自动化特征剪枝测试tabular/tests/unittests/test_tabular.py模型校准测试tabular/tests/unittests/calibrate/test_calibrate.pyv0.4.0 是 AutoGluon 从多框架混合走向PyTorch 统一 约束驱动训练的关键转折点infer_limit把延迟 SLA 变成了一等公民的训练约束fit_pseudolabel把半监督/直推学习封装成了三行代码calibrate让预测概率更可信而 NN_TORCH 与多语言/多模态能力则为后续版本的多模态产品形态奠定了架构基础。对于想要理解 AutoGluon 现代 API 设计来源的开发者这份发布说明连同上述源码路径是一份很好的历史参照。【免费下载链接】autogluonFast and Accurate ML in 3 Lines of Code项目地址: https://gitcode.com/GitHub_Trending/au/autogluon创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考