通过这篇文章我们需要理解信息增益率的意义知道C4.5树的构建方法理解基尼指数的作用知道cart构建的特征选择方法知道分类决策树的特点。一、C4.5决策树1.ID3树的不足偏向于选择种类多的特征作为分裂依据原因ID3 用信息增益做特征选择选择信息增益最大的特征做分裂。核心特征的取值类别越多越容易把数据集切得很碎子集纯度很高信息增益就会偏大。2.简单回顾信息增益H(D)原数据集的熵混乱程度H(D|A)按特征 A 分裂之后的条件熵信息增益 分裂前混乱度 − 分裂后加权平均混乱度信息增益越大代表这个特征分裂之后整体数据变得越 “干净”。条件熵公式n特征 A 有多少个不同取值。3.举个栗子特征b特征a目标值1αA2αA3βB4αA5βB6αB特征a有2个取值特征b有6个取值1特征M作为分裂特征会构造一棵深度为2的决策树该树的预测准确率可能非常高2但整棵树过于依赖少数的特征只根据少数特征进行学习导致过拟合二、信息增益率信息增益率 信息增益/特征熵1.计算方法2.信息增益率的本质特征的信息增益 ➗ 特征的内在信息相当于对信息增益进行修正增加一个惩罚系数特征取值个数较多时惩罚系数较小特征取值个数较少时惩罚系数较大。惩罚系数数据集D以特征a作为随机变量的熵的倒数。3.总结ID3 基于信息增益当某个特征取值种类很多时分裂后会产生大量小的子集子集容易达到高纯度条件熵大幅下降信息增益偏大算法会优先挑选这类特征造成偏向取值多的特征。C4.5 使用信息增益比引入特征自身熵做分母对高基数特征进行惩罚缓解该问题。4.举个例子已知数据集特征b特征a目标值1αA2αA3βB4αA5βB6αB需求求特征a、b的信息增益率1.特征a的信息增益率2.特征b的信息增益率结论特征a的信息增益率大于特征b的信息增益率根据信息增益率应该选择特征a作为分裂特征5.关于信息增益率的总结信息增益率的作用•信息增益偏向于选择种类多的特征作为分裂依据•缓解ID3树中存在的不足信息增益率•信息增益率信息增益/特征熵•相当于对信息增益进行修正增加一个惩罚系数二、CART决策树Classification and Regression TreeCart模型是一种决策树模型它即可以用于分类也可以用于回归。Cart回归树使用平方误差最小化策略Cart分类生成树采用的基尼指数最小化策略。基尼值GiniD从数据集D中随机抽取两个样本其类别标记不一致的概率。故GiniD值越小数据集D的纯度越高。基尼指数Gini_indexD选择使划分后基尼系数最小的属性作为最优化分属性。注意1.信息增益ID3、信息增益率值越大C4.5则说明优先选择该特征。2.基尼指数值越小cart则说明优先选择该特征。物理含义基尼值代表从数据集随机抽两个样本它们类别不一样的概率。Gini 越大 → 数据集越混乱、纯度越低Gini 越小 → 数据集越纯净举个例子已知是否拖欠贷款数据。需求计算各特征的基尼指数选择最优分裂点1是否有房2婚姻状况3年收入4CART树原理举例三、三种分类树的对比名称提出时间分支方式特点ID31975信息增益1.ID3只能对离散属性的数据集构成决策树2.倾向于选择取值较多的属性C4.51993信息增益率1.缓解了ID3分支过程中总喜欢偏向选择值较多的属性2.可处理连续数值型属性也增加了对缺失值的处理方法3.只适合于能够驻留于内存的数据集,大数据集无能为力CART1984基尼指数1.可以进行分类和回归可处理离散属性也可以处理连续属性2.采用基尼指数计算量减小3.一定是二叉树