卷积神经网络中的池化层如何学习梯度?

数据挖掘 美国有线电视新闻网 汇集
2022-03-05 12:56:15

假设我们可以在训练神经网络时计算误差函数的分层 Hessian,池化层的误差子表面将是平坦的。??

那是对的吗?

池化层没有要学习的权重,但例如。最大池在不同的迭代中可以有不同的值?这会影响误差面吗?

1个回答

1) 错误地下是平坦的吗?

无法找到池化层的粗麻布或任何此类错误次表面,因为像 max 和 avg pooling 这样的常见池化层没有任何要学习的参数(如您所述)!

2)但是,我们可以说池化层对前一层误差表面的影响。对于不同类型的池化层,效果是不同的。对于最大池化,它为前一层上的参数生成一个相对稀疏的梯度流,因为在前向传播过程中只选择了前一层的少数输出。而对于平均池化,它允许更平滑的梯度流到前一层的所有可学习参数。