分数输出层包含模型为当前样本生成的类分数,并通过 softmax 层以概率向量的形式获得最终输出。
我的问题是,与数据集中其他样本的分数相比,这些分数是否具有全局意义?
在我看来,标准分类模型是在 softmax 层的输出上训练的,所以模型只“关心”每个样本中的相对分数。所以它没有降低样本全局分数的机制——[101,102,103] 的分数向量得到与 [1,2,3] 相同的处理。我的理解正确吗?
分数输出层包含模型为当前样本生成的类分数,并通过 softmax 层以概率向量的形式获得最终输出。
我的问题是,与数据集中其他样本的分数相比,这些分数是否具有全局意义?
在我看来,标准分类模型是在 softmax 层的输出上训练的,所以模型只“关心”每个样本中的相对分数。所以它没有降低样本全局分数的机制——[101,102,103] 的分数向量得到与 [1,2,3] 相同的处理。我的理解正确吗?
在 softmax 激活之前,最后一层的输出是类的对数几率。Softmax 不是线性函数,因此进入 softmax 的 [10,20,30] 不会给出与 [1,2,3] 相同的答案。