在 Colah 的博客中，他解释了这一点。
从理论上讲，RNN 绝对有能力处理这种“长期依赖”。人类可以为他们仔细挑选参数来解决这种形式的玩具问题。遗憾的是，在实践中，RNN 似乎无法学习它们。Hochreiter (1991) [德语] 和 Bengio 等人深入探讨了这个问题。（1994），他发现了一些非常基本的原因，为什么它可能很困难。
快速解释一下是什么fundamental reasons why it might be difficult？
为什么 RNN 不能学习长期依赖=？
数据挖掘
rnn
2022-03-11 15:04:44
1个回答
没有明确的内存概念（如 lstm 和 gru 中的门）
Gates 是一种选择性地让信息通过的方式，省略了这个功能，我们只会更新权重，这些权重会在处理过程中逐渐消失，因此很难学习更长的记忆。