数据挖掘 - 如何证明 Softmax 数值稳定性？ - 吾爱随笔录

如何证明 Softmax 数值稳定性？

数据挖掘神经网络激活函数软最大

2022-02-23 01:09:24

我正在使用 softmax 函数并尝试使用 softmax 的数值稳定性。如果我们将分子和分母中的指数增加相同的值，softmax 的输出保持不变（见下图，其中添加了 -Smax）。我不知道如何证明这种数值稳定性（尽管我读到这是真的）。任何人都可以帮我证明吗？

1个回答

考虑到 $e^{a-b} = e^a \cdot e^{-b}$ ，所以：

$\dfrac{e^{s_{y_i} - s_{max}}}{\sum e^{s_k - s_{max}}} = \dfrac{e^{s_{y_i}} e^{- s_{max}}}{\sum e^{s_k} e^{- s_{max}}} = \dfrac{e^{s_{y_i}} e^{- s_{max}}}{e^{- s_{max}} \sum e^{s_k}} = \dfrac{e^{s_{y_i}}}{\sum e^{s_k}}$

其它你可能感兴趣的问题

上一篇不平衡和有序分类的评估指标下一篇如何将预测输出与原始观察联系起来？