要训​​练模型，必须遵循两个过程。根据预测输出，必须根据实际输出计算误差。一旦计算出误差，模型的权重就必须相应地改变。

均方误差是一种计算误差的方法。根据输出的类型，误差计算会有所不同。有绝对误差、交叉熵误差等，代价函数和误差函数几乎是一样的。

梯度下降是一种优化算法或简单的更新规则，用于改变权重值。一些变化是随机梯度下降、动量、AdaGrad、AdaDelta、RMSprop 等。更多关于优化算法

梯度下降是一种用于最小化某些函数（如均方误差函数）的算法。如前所述，GD 在负梯度方向上迭代下坡以找到最小值。正规方程是一种直接求解最小化 MSE 的权重的二次方程的方法。但求解 Normal Eqns 涉及反转大小为 N_features x N_features 的矩阵，即 O(N_features**3) 操作。因此，当 N_features > 1000 左右时它开始变慢，而 GD 为 O(N)。