我在这里问过这个问题,但似乎没有人对此感兴趣:
如果一个特征已经分裂了,那么在梯度提升树的后续树中是否很难再选择分裂?其动机是,对于单个树中的重度相关特征,通常只会选择其中一个进行分裂,因为在分裂后它们的不确定性仍然很少。现在在梯度提升树中,残差与不确定性相似吗?
目前,我碰巧发现相关特征对 Gradient Boosting Tree 选择的特征重要性的影响有多大。我猜结果是梯度提升树只会从相关特征之一中选择重要性,就像 LASSO 一样。
我在这里问过这个问题,但似乎没有人对此感兴趣:
如果一个特征已经分裂了,那么在梯度提升树的后续树中是否很难再选择分裂?其动机是,对于单个树中的重度相关特征,通常只会选择其中一个进行分裂,因为在分裂后它们的不确定性仍然很少。现在在梯度提升树中,残差与不确定性相似吗?
目前,我碰巧发现相关特征对 Gradient Boosting Tree 选择的特征重要性的影响有多大。我猜结果是梯度提升树只会从相关特征之一中选择重要性,就像 LASSO 一样。
如果一个特征已经分裂了,那么在梯度提升树的后续树中是否很难再选择分裂?
是的,这更难,但很常见。在同一棵树中,它不可能发生在同一点。在随后的树中它可以。
其动机是,对于单个树中的重度相关特征,通常只会选择其中一个进行分裂,因为在分裂后它们的不确定性仍然很少。现在在梯度提升树中,残差与不确定性相似吗?
如果您想了解梯度提升,我不会将它与不确定性混为一谈。有几种方法可以通过梯度提升来计算不确定性,NGBoost是一种但不是唯一的。
您的问题需要进一步重新调整才能正确回答。您将高度相关的特征与不确定性混合在一起。在尝试回答这个问题之前,您需要澄清它们。