我正在尝试训练一个深度神经网络，但我遇到了濒临死亡的 ReLU 问题。我正在使用泄漏的 Relu，但仍然有同样的问题。是不是leaky relu应该没有这样的问题？
垂死的泄漏 ReLU
数据挖掘
机器学习
神经网络
深度学习
美国有线电视新闻网
激活函数
2022-03-03 05:38:29
1个回答
实际上，除非负输入的斜率非常小，否则泄漏的 ReLU 不可能遇到死亡问题。尝试对负部分的斜率使用 0.2 之类的值。
另一方面，我相信你的问题不在于 ReLU 死亡，因为如果它发生了，你几乎所有的激活都将输出零。我的回答基本上是告诉你，你的输出可能很小，而且变化很慢。
其它你可能感兴趣的问题