雅可比矩阵如何帮助更快地优化?

计算科学 线性代数 优化 雅可比
2021-12-19 17:36:06

我尝试了一些 python 优化函数,其中一些需要 Jacobian 矩阵才能更快地收敛。我理解雅可比矩阵基本上是从一个空间到另一个空间的数据或携带梯度信息的变换矩阵。有人可以用一些文献参考来解释我,加速是如何实现的?

1个回答

您还没有确切地告诉我们您正在使用什么优化程序,因此很难为您的问题提供一个非常具体的答案。

但是,如果您不提供自己的雅可比函数,那么您正在使用的优化例程可能是使用有限差分逼近方案来逼近导数。计算导数的有限差分近似需要许多函数评估,这会减慢优化过程。此外,这种近似导数的不准确性会导致算法需要更多的步骤才能收敛到最优解,从而运行更慢。

大多数关于非线性规划的教科书都讨论了使用精确解析导数而不是有限差分近似的优点。例如,参见Gill、Murray 和 Wright 的 Practical Optimization 。