在典型的 LSTM 块中，遗忘门根据其输入（来自下层）和与每个输入相关的权重计算其值。训练权重，通常是通过使用反向传播计算的梯度进行梯度下降。

您可以将遗忘门视为简单的逻辑回归分类器，经过训练可将输入分为两类（遗忘/不遗忘）。然而，在 LSTM 的情况下，由于输出误差是从上述单元反向传播的，因此不会明确地将类分配给输入。

因此，可以（非正式地）说遗忘门通过调整其输入的权重以最小化整体网络输出误差的方式来学习最佳遗忘时间。

遗忘门仅适用于存储的单元格值。如果忘记接近1，他会考虑存储值，否则，存储值将被忽略，他只需要为忘记值找到一个误差最小的值。