计算梯度提升树中可训练参数的数量

数据挖掘 决策树 xgboost 助推 装袋
2022-02-16 06:46:37

我最近使用 scikit-learn 通过以下方式运行梯度增强树回归器:

GradientBoostingRegressor()

该模型依赖于以下超参数:

  • 估计器 (N1)
  • 最小样本叶 (N2)
  • 最大深度 (N3) 这反过来又决定了该模型中可训练参数的数量。我的问题是,如何计算将最终模型确定为上述函数的参数数量(可训练或以其他方式随机分配)?

我的猜测是N1×N2×N3但这是正确的吗?

1个回答

也许这可能是您的网格大小,但不是scikit learn 的 Gradient Boosting Regressor 的可能可训练超参数的数量。

我添加了更多 GBDT Regressor 的超参数:

  • loss{'ls', 'lad', 'huber', 'quantile'},
  • 学习率
  • 标准{'friedman_mse', 'mse', 'mae'}
  • max_features{'auto', 'sqrt', 'log2'},

这只是需要的一些超参数,这是从文档 https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingRegressor.html中提取的