使用决策树进行多类分类:我们为什么要计算分数并应用 softmax?

数据挖掘 决策树 xgboost 软最大
2022-02-13 03:24:34

我试图弄清楚为什么在使用决策树进行多类分类时,通常计算分数并应用 softmax,而不是仅仅取终端节点概率的平均值?

假设我们的模型是两棵树。树 1 的终端节点在具有 20% 类 1、60% 类 2 和 20% 类 3 的节点中具有示例 14。树 2 的终端节点在具有 100% 类 2 的节点中具有示例 14。那么我们的预测训练示例 14 是 [10%, 80%, 10%]。

为什么使用 Softmax 而不是这种平均方法?

注意:我希望将这些知识应用于更好地理解 xgboost 以及简单的 1 树分类模型。

1个回答

根据您用于模型的参数,它可能未按概率进行校准。也就是说,您的模型输出一个分数,这有助于给出实例之间的相对顺序,但该分数可能无法反映输出发生的真实百分比。

Softmax,至少会保证你的输出在 0 和 1 之间并且总和为 1。这将为您提供更接近概率的输出(但这可能不足以校准为“历史”概率)。

PS:我认为没有与 xgboost 的链接,除非您有非常具体的选项。