每个卷积层的过滤器/通道数量背后的直觉是什么?

人工智能 卷积神经网络 超参数 过滤器 卷积层
2021-11-16 10:28:23

在为卷积神经网络选择了层数之后,我们还必须为每个卷积层选择过滤器/通道的数量。

过滤器空间维度背后的直觉是图像中执行识别/检测任务必须考虑的像素数。

但是,我仍然找不到过滤器数量背后的直觉。文献中经常使用数字 128 和 256,但为什么呢?

1个回答

由于内存和效率的原因,使用通道大小 32、128 等。这些数字没有什么神圣之处。

选择通道数背后的直觉如下——初始层提取低级特征——它们由边缘检测器等组成。这样的特征并不多。因此,我们不会通过添加大量过滤器获得太多收益(当然,如果我们在 RGB 图像上使用 3x3 过滤器,我们将有227即使我们的神经元只有 0 和 1 作为它们的值,也可以使用不同的过滤器。但是,它们中的大多数对我们的工作非常相似/毫无意义)。使用大量过滤器甚至可能导致过度拟合。

后面的层负责从先前提取的较低级别特征中检测更细微的特征,例如肘部/鼻子形状。所以,如果我们增加频道的数量,我们可能会做得更好。另外,请注意,随着我们深入,生成的层变得越来越稀疏。

尽管在超分辨率图像等应用中可能会有所不同,但总的来说,当我们深入时,通道数保持不变或增加。

一个不错的实验是尝试增加通道的数量,直到您不再从中受益。我相信有一篇论文正是这样做的(如果有人记得,请引用它)。您甚至可以在此阶段尝试可视化过滤器,看看过滤器是否相似。