假设我们可以在训练神经网络时计算误差函数的分层 Hessian,池化层的误差子表面将是平坦的。??
那是对的吗?
池化层没有要学习的权重,但例如。最大池在不同的迭代中可以有不同的值?这会影响误差面吗?
假设我们可以在训练神经网络时计算误差函数的分层 Hessian,池化层的误差子表面将是平坦的。??
那是对的吗?
池化层没有要学习的权重,但例如。最大池在不同的迭代中可以有不同的值?这会影响误差面吗?
1) 错误地下是平坦的吗?
无法找到池化层的粗麻布或任何此类错误次表面,因为像 max 和 avg pooling 这样的常见池化层没有任何要学习的参数(如您所述)!
2)但是,我们可以说池化层对前一层误差表面的影响。对于不同类型的池化层,效果是不同的。对于最大池化,它为前一层上的参数生成一个相对稀疏的梯度流,因为在前向传播过程中只选择了前一层的少数输出。而对于平均池化,它允许更平滑的梯度流到前一层的所有可学习参数。