输入而不是输出的辍学= DropConnect?

数据挖掘 机器学习 神经网络 深度学习 辍学
2021-10-09 07:16:07

丢弃部分输入向量是否比丢弃部分输出向量更好?

后者实际上使相同的神经元对任何其他层都不可见。相反,忽略输入的片段意味着一些进一步的神经元将能够看到这个神经元。

屏蔽输入是否与屏蔽权重(又名 DropConnect)几乎相同,从而提供更高质量的正则化?

1个回答

这取决于输入模式的类型,但要做出决定,我建议不要。有不同的原因。首先,您正在损坏输入信号。我不知道你是否熟悉信息论,但信噪比会太小,如果你这样做,你会得到一个远离真实信号的信号。

此外,在卷积层中添加 dropout 也不好,因为它们是特征提取器,并且它们是分类问题的重要特征。如果您错过了它们,则意味着您丢失的信息比平时更多。考虑到您对网络的输入已经调整为比其原始形状更小的形状,例如,典型的输入形状CNNs224 * 224,而原始形状可能在每个方向上大十倍甚至更多。

您可能已经看到,在 Lenet-5 中,作者使用了一种数据增强技术,可以改变具有不同分布的输入的颜色。关键是他们没有改变输入信号的位置。此外,由于他们没有将输入特征设置为零,因此信噪比也不是一个太小的数字。他们只是稍微改变了它们。

最后,最后一层不应采用 drop-out。因为输出大小必须具有指定的特征,所以总和为 1。由于具有大量权重,因此具有大量激活,密集层是利用 drop-out 的好点。