假设我有一个 CNN,它在第一(conv)层采用 1 通道信号(输入)并给出 2 通道输出。让我们进一步假设从任何这些通道的角度来看,网络的其余部分具有对称架构。此外,让我们假设所有的权重都初始化为零(或相同的数字)。
考虑到这种网络的对称性,我们怎么知道训练后的特征图(通道的内核)不相似?具体来说,具有相同特征图的内核是什么不合理的?
假设我有一个 CNN,它在第一(conv)层采用 1 通道信号(输入)并给出 2 通道输出。让我们进一步假设从任何这些通道的角度来看,网络的其余部分具有对称架构。此外,让我们假设所有的权重都初始化为零(或相同的数字)。
考虑到这种网络的对称性,我们怎么知道训练后的特征图(通道的内核)不相似?具体来说,具有相同特征图的内核是什么不合理的?
您不应该将所有权重都初始化为零,而是使用随机初始化。否则你不能打破对称性,网络中的所有输出都是相同的。