人工智能机器学习【免费下载链接】xgboostScalable, Portable and Distributed Gradient Boosting (GBDT, GBRT or GBM) Library, for Python, R, Java, Scala, C and more. Runs on single machine, Hadoop, Spark, Dask, Flink and DataFlow项目地址https://gitcode.com/gh_mirrors/xg/xgboost点击查看免费下载导读XGBoost 自 1.3 版本起为 Python 包重新设计了全新的回调Callback接口体系用于在训练迭代的生命周期中注入自定义逻辑从而灵活地扩展训练过程。本指南以 doc/python/callbacks.rst 为主线深入讲解如何复用内置回调早停、学习率调度、评估监控、模型检查点并手把手教你基于TrainingCallback基类编写自己的训练扩展。读完本文你将掌握xgb.train/xgb.cv与 sklearn 接口中回调的完整用法、回调与early_stopping_rounds、verbose_eval等参数的等价关系以及如何读取回调内部状态如stopping_history验证训练行为。1. 回调机制概览训练循环中的四个钩子点回调Callback的本质是在训练循环的特定时机执行用户注入的函数。XGBoost 的 Python 包通过 TrainingCallback 抽象类定义了四个钩子方法其调用顺序如下before_training(model)训练开始前调用可对模型做预处理如记录起始轮数、校验状态必须返回模型对象before_iteration(model, epoch, evals_log)每轮迭代开始前调用返回True表示提前终止训练after_iteration(model, epoch, evals_log)每轮迭代结束后调用返回True表示提前终止训练——这是最常用的钩子内置回调的早停判断、日志打印、检查点保存都发生在这里after_training(model)训练全部结束后调用可对最终模型做后处理如截取最优轮数必须返回模型对象。其中model参数在普通训练时是 Booster 对象当调用xgb.cv时则是 CVPack 包装对象见 callback.py 的文档说明。evals_log是一个嵌套字典结构为{data_name: {metric_name: [score_0, score_1, ...]}}即「数据集名 → 指标名 → 每轮得分列表」这也是xgb.train(evals_result...)返回结果的数据结构。需要特别说明的是after_iteration中返回True才会触发训练提前停止而各回调之间通过「任一返回True即停止」的逻辑聚合对应CallbackContainer.after_iteration中any(...)的实现见 callback.py。2. 内置回调总览四种开箱即用的训练扩展xgboost.callback模块通过__all__导出了以下内置回调类见 callback.py回调类核心用途关键参数EarlyStopping监控验证集指标连续 N 轮无改善即停止训练rounds、metric_name、data_name、maximize、save_best、min_deltaLearningRateScheduler按轮次动态调度学习率learning_rates可调用对象或序列EvaluationMonitor周期性打印各验证集评估结果rank、period、show_stdv、loggerTrainingCheckPoint每隔若干轮保存模型检查点directory、name、as_pickle、interval这些回调类的完整 API 签名与详细说明可在 doc/python/python_api.rst 的「Callback API」章节查看通过 Sphinxautoclass自动生成。2.1 EarlyStopping精细化早停控制EarlyStopping是使用频率最高的内置回调。相比xgb.train中简单的early_stopping_rounds参数它额外支持metric_name/data_name精确定位用「哪个数据集、哪个指标」做早停判断而不是默认取evals中最后一个数据集、eval_metric中最后一个指标默认行为见 training.py 的文档maximize指标是否为越大越好None时按旧版兼容逻辑自动推断auc、aucpr、pre、map、ndcg等视为越大越好见 callback.pymin_delta判定「有改善」所需的最小绝对变化量避免微小抖动触发重置计数1.5 版本新增必须大于等于 0save_best训练结束时返回「最优轮数处截断」的模型而非最后一轮模型。需要说明的是该参数仅支持树模型gblinear不支持且xgb.cv不返回模型、不适用该参数见 callback.py 的文档与after_training中的截断实现 callback.py。早停状态会同步写入模型的best_score、best_iteration属性回调自身的stopping_history则记录了用于判断的那条指标曲线可供训练后分析。此外xgb.train文档特别提醒默认xgb.train返回的是最后一轮模型而非最优模型需要最优模型时应显式使用EarlyStopping(save_bestTrue)或 Booster 切片。2.2 LearningRateScheduler动态学习率LearningRateScheduler接受两类输入可调用对象learning_rates(epoch) - float按轮次返回学习率序列与 boosting 轮数等长的list/tuple内部会被包装成lambda epoch: sequence[epoch]见 callback.py。每轮迭代后它会通过model.set_param(learning_rate, ...)更新 Booster 参数从而支持「预热warm-up」「余弦退火」等自定义学习率策略。2.3 EvaluationMonitor评估日志打印EvaluationMonitor对应xgb.train(verbose_eval...)的内部实现。period控制每隔几轮打印一次分布式场景下可用rank指定由哪个 worker 打印默认仅 rank 0logger默认使用collective.communicator_print以保证分布式输出收敛见 callback.py。需要留意即使设置了period训练结束时会补打最后一条被跳过的日志保证早停轮次的信息不丢失。2.4 TrainingCheckPoint模型检查点TrainingCheckPoint按interval轮间隔将模型保存到directory目录文件命名形如name_0.ubj、name_1.ubj…… 自 XGBoost 2.1.0 起默认格式为 UBJSONdefault_format ubj。as_pickleTrue时以 pickle 保存全部训练状态含参数而非仅模型本身。官方在文档与示例中均建议由于 XGBoost 不处理分布式文件系统在分布式环境做检查点时应自行确认 worker rank避免多个 worker 写入同一路径见 callback.py且检查点操作较慢实际使用中应调大interval以减小性能开销。3. 内置回调的等价物early_stopping_rounds 与 verbose_eval 的幕后实现xgb.train与xgb.cv中历史遗留的early_stopping_rounds、verbose_eval参数本质上是在训练入口处自动构造上述回调并塞进CallbackContainer。以 xgb.train 为例其内部逻辑等价于callbacks [] if verbose_eval: verbose_eval 1 if verbose_eval is True else verbose_eval callbacks.append(EvaluationMonitor(periodverbose_eval)) if early_stopping_rounds: callbacks.append(EarlyStopping(roundsearly_stopping_rounds, maximizemaximize)) cb_container CallbackContainer( callbacks, metriccustom_metric, output_margincallable(obj) )xgb.cv的入口处也做了完全对称的处理并额外以show_stdvshow_stdv、is_cvTrue构造容器见 training.py。因此用户传入callbacks[...]与使用旧参数并不互斥——它们会被合并进同一个CallbackContainer依次执行只有明确需要精细控制如指定早停指标、保存最优模型、自定义学习率曲线时才需要直接构造回调对象。sklearn 风格接口XGBClassifier/XGBRegressor等同样支持callbacks与early_stopping_rounds参数二者在fit内部以相同方式接入训练循环见 sklearn.py。唯一的例外是随机森林估计器接口_check_rf_callback会直接抛出NotImplementedError即 RF 模式下不支持回调与早停见 sklearn.py。此外有两点使用约束值得注意回调对象不可跨训练会话复用回调内部状态如计数器、历史记录不会在训练间自动重置多次训练前需重新初始化或深拷贝官方文档给出了网格搜索场景的示例见 training.py数据集名不能包含-字符CallbackContainer.after_iteration会显式断言name.find(-) -1因为内部以-分隔数据集名与指标名见 callback.py。4. 使用内置回调结合自定义评估指标的早停实战doc/python/callbacks.rst给出了一个完整的实战示例自定义评估指标CustomErr并用EarlyStopping精确指定「以 Valid 数据集上的 CustomErr 为准」进行早停。完整可运行代码如下import numpy as np import xgboost as xgb D_train xgb.DMatrix(X_train, y_train) D_valid xgb.DMatrix(X_valid, y_valid) # 定义用于早停的自定义评估指标返回指标名与得分。 def eval_error_metric(predt, dtrain: xgb.DMatrix): label dtrain.get_label() r np.zeros(predt.shape) gt predt 0.5 r[gt] 1 - label[gt] le predt 0.5 r[le] label[le] return CustomErr, np.sum(r) # 指定用哪个数据集、哪个指标做早停判断。 early_stop xgb.callback.EarlyStopping(roundsearly_stopping_rounds, metric_nameCustomErr, data_nameValid) booster xgb.train( {objective: binary:logistic, eval_metric: [error, rmse], tree_method: hist}, D_train, evals[(D_train, Train), (D_valid, Valid)], fevaleval_error_metric, num_boost_round1000, callbacks[early_stop], verbose_evalFalse) dump booster.get_dump(dump_formatjson) assert len(early_stop.stopping_history[Valid][CustomErr]) len(dump)示例末尾的断言验证了回调状态的可观测性stopping_history[Valid][CustomErr]记录了截至停止时每一轮的CustomErr得分其长度与最终模型的树数量get_dump长度严格相等——因为早停后不再产生新的树。该用例在仓库测试中也有对应实现 test_callback.pytest_early_stopping_customize并额外断言len(dump) - booster.best_iteration early_stopping_rounds 1即停止轮与最优轮之间恰好间隔设定的rounds轮同时测试还覆盖了min_delta与save_best的组合场景当min_delta设置过大导致任何轮次都无法「改善」时best_iteration 0且模型只剩 1 棵树见 test_callback.py可作为理解这两个参数行为的可复现样例。5. 自定义回调继承 TrainingCallback 编写自己的训练扩展用户自定义回调需继承TrainingCallback并覆写相应钩子方法。下面是一个「训练过程中实时绘制评估曲线」的完整实现摘自 demo/guide-python/callbacks.pyfrom typing import Dict import numpy as np from matplotlib import pyplot as plt import xgboost as xgb class Plotting(xgb.callback.TrainingCallback): 训练过程中实时绘制评估曲线仅演示用matplotlib 绘图较慢。 def __init__(self, rounds: int) - None: self.fig plt.figure() self.ax self.fig.add_subplot(111) self.rounds rounds self.lines: Dict[str, plt.Line2D] {} self.fig.show() self.x np.linspace(0, self.rounds, self.rounds) plt.ion() def _get_key(self, data: str, metric: str) - str: return f{data}-{metric} def after_iteration( self, model: xgb.Booster, epoch: int, evals_log: Dict[str, dict] ) - bool: 每轮结束后更新绘图。 if not self.lines: for data, metric in evals_log.items(): for metric_name, log in metric.items(): key self._get_key(data, metric_name) expanded log [0] * (self.rounds - len(log)) (self.lines[key],) self.ax.plot(self.x, expanded, labelkey) self.ax.legend() else: for data, metric in evals_log.items(): for metric_name, log in metric.items(): key self._get_key(data, metric_name) expanded log [0] * (self.rounds - len(log)) self.lines[key].set_ydata(expanded) self.fig.canvas.draw() # 返回 False 表示训练不应停止。 return False # 传入 callbacks 列表即可生效。 xgb.train( {objective: binary:logistic, eval_metric: [error, rmse], tree_method: hist}, D_train, evals[(D_train, Train), (D_valid, Valid)], num_boost_round100, callbacks[Plotting(100)], )该示例展示了两个关键点evals_log的遍历方式外层遍历数据集名、内层遍历指标名每个指标对应一条得分历史列表提前停止的约定钩子方法必须返回布尔值True表示请求停止训练多个回调时任一返回True即停止。仓库中的 sklearn 接口测试还展示了更高级的用法——在cv场景的自定义回调中访问各折数据model.cvfolds见 test_basic.py说明自定义回调同样适用于交叉验证流程。6. 回调的调度中枢CallbackContainer 如何串联多个回调当传入多个回调或与early_stopping_rounds等参数自动构造的回调合并时XGBoost 通过内部的CallbackContainer统一调度见 callback.py。它承担了三项职责类型校验与去重构造时断言每个回调都是TrainingCallback实例并以list(dict.fromkeys(callbacks))去重评估历史维护after_iteration中调用model.eval_set(...)cv 场景为model.eval(...)_aggcv聚合各折均值与标准差得到字符串得分再经_parse_eval_str解析后写入history嵌套的EvalsLog。cv 场景下每个得分以(mean, std)元组形式追加对应show_stdv的显示需求分布式指标归约_update_history内通过_allreduce_metric对得分做跨 worker 求和平均collective.allreduce保证多机训练时各 worker 的早停判断依据一致见 callback.py。自定义回调接收到的evals_log正是这个共享的history对象这也是「早停与日志打印能看到同一条指标曲线」的根本原因。7. 综合示例检查点 学习率调度 早停的组合使用最后将各类回调组合使用展示一个「动态学习率 周期检查点 早停」的完整训练流程检查点部分参考 demo/guide-python/callbacks.pyimport os import tempfile import xgboost as xgb # 1) 学习率前 5 轮线性升温之后衰减。 def lr_schedule(epoch: int) - float: if epoch 5: return 0.01 0.09 * epoch / 5 return 0.1 * (0.99 ** (epoch - 5)) callbacks [ xgb.callback.LearningRateScheduler(lr_schedule), # 2) 每 10 轮保存一次检查点生产环境建议 interval 更大。 xgb.callback.TrainingCheckPoint(directorytmpdir, interval10, namemodel), # 3) 以验证集 logloss 为准做早停并返回最优模型。 xgb.callback.EarlyStopping( rounds20, metric_namelogloss, data_nameValid, save_bestTrue ), # 4) 每 5 轮打印一次评估日志。 xgb.callback.EvaluationMonitor(period5), ] # 注意回调对象不可跨训练复用网格搜索时需在每次训练前重新创建。 bst xgb.train( {objective: binary:logistic, tree_method: hist, eval_metric: logloss}, D_train, evals[(D_train, Train), (D_valid, Valid)], num_boost_round500, callbackscallbacks, ) print(bst.best_iteration, bst.best_score)执行后tmpdir下会产出model_10.ubj、model_20.ubj等检查点文件as_pickleTrue时后缀为.pkl且包含完整训练参数训练因早停提前结束时bst已被截断到best_iteration处可直接用于后续推理或通过xgb.load_model恢复。结语与延伸阅读回调机制是 XGBoost Python 包最具扩展性的设计之一内置的四种回调覆盖了早停、学习率调度、日志监控与检查点等高频需求而TrainingCallback基类则允许你把任意「训练期逻辑」——从实时可视化到自定义分布式协调——注入到训练循环中。需要系统化查阅各回调类的完整参数签名可参考 python_api.rst 的 Callback API 章节若想深入了解模型保存与加载含 UBJSON 格式可继续阅读 doc/tutorials/saving_model.rst更多端到端示例可运行 demo/guide-python/callbacks.py 亲自体验。赞分享人工智能机器学习【免费下载链接】xgboostScalable, Portable and Distributed Gradient Boosting (GBDT, GBRT or GBM) Library, for Python, R, Java, Scala, C and more. Runs on single machine, Hadoop, Spark, Dask, Flink and DataFlow项目地址https://gitcode.com/gh_mirrors/xg/xgboost点击查看免费下载相关推荐沉浸式翻译扩展发布包深度拆解配置项、翻译引擎与功能清单实战指南沉浸式翻译扩展发布包深度拆解配置项、翻译引擎与功能清单实战指南 沉浸式翻译Immersive Translate是一款主打原文译文双语并行显示的浏览前端AI 应用PyTorch Lightning Callback 机制完全指南从自定义钩子到内置回调与状态持久化PyTorch Lightning Callback 机制完全指南从自定义钩子到内置回调与状态持久化 本指南以 callbacks.rst https://l人工智能深度学习机器学习预训练分布式训练微调Tasmota 回调 API 完全指南从 Callback Id 到驱动开发实战Tasmota 回调 API 完全指南从 Callback Id 到驱动开发实战 本篇技术指南以 Tasmota 仓库根目录下的 API.md https:/嵌入式物联网固件智能家居创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考