GradientBoostingRegressor 中的损失函数

数据挖掘 机器学习 scikit-学习 损失函数 术语 gbm
2022-03-07 04:03:08

Scikit Learn GradientBoostingRegressor:

Scikit Learn GradientBoostingRegressor

我正在查看GradientBoostingRegressor的 scikit-Learn 文档。

这里它说我们可以使用“ls”作为最小二乘回归的损失函数。但我很困惑,因为最小二乘回归是一种最小化 SSE 损失函数的方法。

那么他们不应该在这里提到 SSE 吗?

2个回答

您似乎过度解释了本质上只是模型参数的方便简写名称,而不是正式术语;在这里,“ ‘ls’是指最小二乘回归”应该解释为“ ‘ls’是最小二乘回归中使用的损失函数”。

形式上你当然有一点 -sse在这里会是一个更合适的命名约定;关于这种命名约定的讨论在社区中并不少见,例如参见梯度提升中的线程损失函数名称一致性(顺便说一句,这里已解决)。并且非常欢迎您为此处使用的约定打开一个相关问题。

请注意,该算法称为 Gradient Boosting Regressor。

这个想法是你提升决策树最小化梯度。这个梯度是一个可以采取更多形式的损失函数。

该算法在先前拟合和预测的决策树的误差中聚合每个决策树。那里你有你想要的损失函数。

该参数与此有关。