GAN 中的一侧标签平滑

数据挖掘 深度学习 统计数据 可能性
2022-03-02 07:32:54

单边标签平滑如何通过降低对正确类别的置信度来使鉴别器更加健壮?

1个回答

好吧,让我们从什么是标签平滑开始。我们在一个热编码中替换 0 和 1,例如对于具有 10 个类别的 MNIST 数据集,我们通过平滑值来替换,例如:0.1 表示 1,0.9 表示 9 等。

如果我们将正分类目标替换为α和负面目标β最优判别器D变成:

D(x)=αpdata(x)+βpmodel(x)pdata(x)+pmodel(x)
.

在哪里pdata(x)对应于原始分布;至少我们认为。pmodel(x)对应于我们想要定位的分布,并且x是判别器的输入特征D.

现在,当β0, 错误样本来自pmodel没有动力靠近数据,即它加强了当前的生成器行为。因此,我们只对正标签进行平滑处理α,将负标签设置为 0。这种行为可以防止鉴别器向生成器提供非常大的梯度信号。