我认为 PReLU 和 Leaky ReLU 都是

$$f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1)$$

然而，Keras 在docs中具有这两种功能。

泄漏的 ReLU

LeakyReLU 的来源：

return K.relu(inputs, alpha=self.alpha)

因此（见relu 代码）

$$f_1(x) = \max(0, x) - \alpha \max(0, -x)$$

前路

PReLU 的来源：

def call(self, inputs, mask=None):
    pos = K.relu(inputs)
    if K.backend() == 'theano':
        neg = (K.pattern_broadcast(self.alpha, self.param_broadcast) *
               (inputs - K.abs(inputs)) * 0.5)
    else:
        neg = -self.alpha * K.relu(-inputs)
    return pos + neg

因此

$$f_2(x) = \max(0, x) - \alpha \max(0, -x)$$

问题

我是不是搞错了什么？不是$f_1$和$f_2$相当于$f$（假设$\alpha \in (0, 1)$?)