机器算法验证 - xgboost 中树复杂度的定义 - 吾爱随笔录

xgboost 中树复杂度的定义

机器算法验证大车正则化助推梯度下降过拟合

2022-03-08 19:07:40

在研究 xgboost 算法时，我浏览了文档。

在这种方法中，树使用复杂度定义进行正则化

Ω (f) = γ T + \frac{1}{2} λ \sum_{j = 1}^{T} w_{j}^{2}

$\Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2$ 在哪里

γ

$\gamma$ 和

λ

$\lambda$ 是参数，

T

$T$ 是终端叶子的数量和

w_{j}

$w_j$ 是每片叶子的得分。

我想知道：这如何定义复杂性？ $T$ ，终端节点的数量，对我来说似乎很自然。但是最终分数的总和是平方的？

也许是过拟合的意思。意味着非常大的分数会给人太多的信心？是否选择获取弱学习器？选择复杂度函数的自然解释是什么？

1个回答

这对我来说很有意义。

我将专注于高斯案例。这里的每一棵树 $T_i$ 拟合当前模型的残差，模型更新为 $M_{i+1} = M_{i} + \alpha T_i$ . 梯度增强器的想法是通过一棵一棵地添加这些树来小心缓慢地减少模型的偏差。

在这种情况下，较大的值 $w_i$ 将对应于一个终端（叶）节点，它对先前的模型进行了非常大且重要的更新。正则化项的想法是最大限度地减少大型单树更新的这些事件（仅在模型损失函数的减少量大到足以抵消正则化惩罚时才允许它们）。如果这样的更新针对单个树进行了正则化，但结果证明是合理的，那么根据提升的理念，它将在多个模型更新中被烘焙。

这与岭回归非常相似。

其它你可能感兴趣的问题

上一篇为什么因子分析模型中的回归系数称为“载荷”？下一篇为什么我使用 Fisher 方法获得的组合 p 值如此之低？