顾名思义，梯度下降 (GD) 优化是根据梯度原理工作的，梯度基本上是特定函数的所有偏导数的向量。根据维基百科，

在向量微积分中，梯度是导数的多变量推广。

GD 的核心是计算复合函数（神经网络本身就是复合函数）的导数（根据神经网络），因为梯度下降更新规则是，

$\Large \theta = \theta - \alpha \frac{\partial J}{\partial \theta}$

在哪里$\theta$是需要优化的参数。在神经网络中，这个参数可以是权重或偏差。$J$是需要最小化的目标函数（NN 中的损失函数）。因此对于$\frac{\partial J}{\partial \theta}$，我们需要重复应用链式法则，直到我们得到关于该参数的损失函数的导数。

直觉：

对不起，奇怪的图像。当 GD 远离函数最小值时（它趋向于到达的地方），$\frac{\partial J}{\partial \theta}$更大，因此更新的值$\theta$比上一个小。这个更新的值由学习率（$\alpha$）。负号表示我们正朝着与梯度相反的方向移动。