我们有不同类型的算法来优化损失，如 AdaGrad、SGD + Momentum 等。有些算法比其他算法更常用。在某些算法中，它们通常会在收敛之前进行范围调整，达到最陡峭的斜率并找到最小值。但是其中一些算法的速度非常快。所以我的问题是速度在这里更多是决定因素还是路线也很重要？或者它只是依赖于问题？
这是我所说的路线的图片。
在不同的损失优化算法（速度或路线）的情况下，哪一个更重要？
人工智能
卷积神经网络
优化
2021-11-02 10:48:55
1个回答
优化算法遵循的路线/轨迹基本上取决于您的数据集和损失函数。然而，对于最终精度性能而言，真正重要的是轨迹收敛到的最终点。