在为卷积神经网络选择了层数之后,我们还必须为每个卷积层选择过滤器/通道的数量。
过滤器空间维度背后的直觉是图像中执行识别/检测任务必须考虑的像素数。
但是,我仍然找不到过滤器数量背后的直觉。文献中经常使用数字 128 和 256,但为什么呢?
在为卷积神经网络选择了层数之后,我们还必须为每个卷积层选择过滤器/通道的数量。
过滤器空间维度背后的直觉是图像中执行识别/检测任务必须考虑的像素数。
但是,我仍然找不到过滤器数量背后的直觉。文献中经常使用数字 128 和 256,但为什么呢?
由于内存和效率的原因,使用通道大小 32、128 等。这些数字没有什么神圣之处。
选择通道数背后的直觉如下——初始层提取低级特征——它们由边缘检测器等组成。这样的特征并不多。因此,我们不会通过添加大量过滤器获得太多收益(当然,如果我们在 RGB 图像上使用 3x3 过滤器,我们将有即使我们的神经元只有 0 和 1 作为它们的值,也可以使用不同的过滤器。但是,它们中的大多数对我们的工作非常相似/毫无意义)。使用大量过滤器甚至可能导致过度拟合。
后面的层负责从先前提取的较低级别特征中检测更细微的特征,例如肘部/鼻子形状。所以,如果我们增加频道的数量,我们可能会做得更好。另外,请注意,随着我们深入,生成的层变得越来越稀疏。
尽管在超分辨率图像等应用中可能会有所不同,但总的来说,当我们深入时,通道数保持不变或增加。
一个不错的实验是尝试增加通道的数量,直到您不再从中受益。我相信有一篇论文正是这样做的(如果有人记得,请引用它)。您甚至可以在此阶段尝试可视化过滤器,看看过滤器是否相似。