我试图通过遵循弗里德曼教授的原始论文：Greedy Function Approximation: A Gradient Boosting Machine来理解 Gradient Tree Boosting 。基本上，在每次迭代中，回归树将用作基础学习器，其中将学习树中区域的权重。我注意到在不同迭代中使用的回归树实际上具有相同的区域（尽管在每次迭代中学习的权重可能不同），因为这些区域仅根据数据特征进行分割。请问我的理解是否正确？如果是这样，我觉得只有一棵树不足以学习鲁棒的梯度提升模型。
如何在 Gradient Tree Boosting 的每次迭代中选择回归树（基础学习器）？
机器算法验证
大车
助推
2022-04-12 18:01:37
1个回答
区域不会仅基于数据特征进行分割。
在梯度提升的每次迭代中，您将回归树拟合到当前预测的损失函数的残差，在哪里是你目前学到的功能。由于这些残差在每次迭代中都会发生变化（因为每次迭代都不同），每个基础学习器将学习以不同的方式拆分数据。