我正在寻找有关 skip-connections 的科学工作。
每个人都在谈论改善通过网络的梯度流,这感觉是有道理的。但我很想理解和阅读数学上的含义。
除了 resnet论文之外,我还没有找到任何关于那些神奇的跳过连接的深入信息。
我正在寻找任何提示、论文或方程式。
我最近阅读了这篇论文,该论文提出了一种不使用跳跃连接的新技术。它提出通过增加网络的宽度而不是深度可以达到相同的精度。