单边标签平滑如何通过降低对正确类别的置信度来使鉴别器更加健壮?
GAN 中的一侧标签平滑
数据挖掘
深度学习
统计数据
可能性
甘
2022-03-02 07:32:54
1个回答
好吧,让我们从什么是标签平滑开始。我们在一个热编码中替换 0 和 1,例如对于具有 10 个类别的 MNIST 数据集,我们通过平滑值来替换,例如:0.1 表示 1,0.9 表示 9 等。
如果我们将正分类目标替换为和负面目标最优判别器变成:
.
在哪里对应于原始分布;至少我们认为。和对应于我们想要定位的分布,并且是判别器的输入特征.
现在,当, 错误样本来自没有动力靠近数据,即它加强了当前的生成器行为。因此,我们只对正标签进行平滑处理,将负标签设置为 0。这种行为可以防止鉴别器向生成器提供非常大的梯度信号。