反向传播算法对网络中的每个权重进行惩罚。为了获得每个权重的相关梯度，我们需要使用导数链规则将误差反向传播回其层。

展平层

层的导数取决于所应用的功能。在展平层的情况下，它只是简单地重塑（映射）值。因此在这一层不会增加额外的损失。您只需要知道扁平化是如何发生的。

例如，如果前传扁平化是

$flatten\begin{pmatrix} a & b\\ c & d \end{pmatrix} = \begin{pmatrix} a \\ b \\ c \\ d \end{pmatrix}$，

那么您可以轻松地将迄今为止的相关成本映射回特征图。$2 \times 2 \times 1$

最大池化层

在前向传递中，最大池化层在沿图像传递窗口中取最大值。例如，前窗口中的粗体值最大为。$3 \times 3$$3 \times 3$$11$

$maxpooling \begin{pmatrix} \bf{1} & \bf{2} & \bf{3} & 4 \\ \bf{5} & \bf{6} & \bf{7} & 8 \\ \bf{9} & \bf{10} & \bf{11} & 12 \\ 13 & 14 & 15 & 16 \end{pmatrix} = \begin{pmatrix} \bf{11} & 12\\ 15 & 16 \end{pmatrix}$

因此，产生的误差反向传播只会通过正向传递传递下来的最大值。对于所有其他值，误差项不会反向传播。因此，您在此之前反向传播的当前误差矩阵将乘以

$\begin{pmatrix} 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 1 & 1 \\ 0 & 0 & 1 & 1 \end{pmatrix}$

因此只有 4 个错误项会继续到较早的层。

卷积层

我在这里详细介绍了如何通过卷积进行反向传播：CNN 层间反向传播。