好的，让我们自己尝试一下。对于后向传递，我们得到：

$$\frac{\partial E}{\partial Y}\frac{\partial Y}{\partial X} = λ, x>0$$

$$\frac{\partial E}{\partial Y}\frac{\partial Y}{\partial X} = λ * a * e ^x , x=<0$$

λ=1.0507 ，$λ=1.0507, a=1.6733$

Selu 函数的导数 ( d ) 可以从 Selu 函数的输入 ( x ) 和输出 ( y ) 中找到。

从输入求导数：

$$d = seluDerivative(x) = \begin{cases} \lambda & \text{if } x > 0\\ \lambda\alpha e^x & \text{if } x \leqslant 0\\ \end{cases}$$

在 backprop中使用这个函数的问题是你可能不想保存由 forwardprop 生成的临时x值并且重新计算它会很慢。

幸运的是，Selu 函数是完全可逆的，因此我们可以使用它从 Selu 函数中找到y的导数：

$$y = selu(x) = \lambda \begin{cases} x & \text{if } x > 0\\ \alpha e^x - \alpha & \text{if } x \leqslant 0\\ \end{cases}$$

$$x = seluInverse(y) = \begin{cases} y \over \lambda & \text{if } y > 0\\ \ln \left( y + \lambda\alpha \over \lambda\alpha \right) & \text{if } y \leqslant 0\\ \end{cases}$$

$$d = seluInverseDerivative(y) = \begin{cases} \lambda & \text{if } y > 0\\ y + \lambda\alpha & \text{if } y \leqslant 0\\ \end{cases}$$