如果一个特征已经分裂了,那么在梯度提升树的后续树中是否很难再选择分裂?

数据挖掘 机器学习 随机森林 决策树 助推 梯度提升决策树
2022-03-12 22:38:00

我在这里问过这个问题,但似乎没有人对此感兴趣:

https://stats.stackexchange.com/questions/550994/if-a-feature-has-already-split-will-it-hardly-be-selected-to-split-again-in-the

如果一个特征已经分裂了,那么在梯度提升树的后续树中是否很难再选择分裂?其动机是,对于单个树中的重度相关特征,通常只会选择其中一个进行分裂,因为在分裂后它们的不确定性仍然很少。现在在梯度提升树中,残差与不确定性相似吗?

目前,我碰巧发现相关特征对 Gradient Boosting Tree 选择的特征重要性的影响有多大。我猜结果是梯度提升树只会从相关特征之一中选择重要性,就像 LASSO 一样。

1个回答

如果一个特征已经分裂了,那么在梯度提升树的后续树中是否很难再选择分裂?

是的,这更难,但很常见。在同一棵树中,它不可能发生在同一点。在随后的树中它可以。

其动机是,对于单个树中的重度相关特征,通常只会选择其中一个进行分裂,因为在分裂后它们的不确定性仍然很少。现在在梯度提升树中,残差与不确定性相似吗?

如果您想了解梯度提升,我不会将它与不确定性混为一谈。有几种方法可以通过梯度提升来计算不确定性,NGBoost是一种但不是唯一的。

您的问题需要进一步重新调整才能正确回答。您将高度相关的特征与不确定性混合在一起。在尝试回答这个问题之前,您需要澄清它们。