是在权重更新前更新还是在权重更新后更新？

这通常没关系，只要您的 NN 框架具有独立的梯度计算阶段和参数更新阶段。

梯度应以当前值（在反向传播期间）收集所有权重和参数。然后使用这些梯度更新参数。在更新步骤期间，参数之间不应有交互。

但是，如果您自己从头开始实现训练代码，并且交错了梯度计算和权重更新，那么这仅适用于纯在线情况，权重随着梯度的计算而更新。在这种情况下，您可能应该在更新同一层的 PReLU 参数之前更新该层的权重，以防止激活函数在计算期间改变梯度（这与通常的权重更新无关）。

或者，将梯度计算与权重更新步骤分开。这更灵活，允许您使用其他更高级的优化和层设计。