我正在尝试实施 BFGS。目的是仅近似 Hessian 矩阵（不使用准牛顿优化步骤），因此我使用最陡上升进行优化。我观察到的是，最终的 Hessian 近似值对 Hessian 的初始猜测非常敏感。如果我从单位矩阵开始，最终 Hessian 的大部分奇异值都接近于 1。类似地，如果我从单位的任何倍数（比如说 5*I）开始，最终 Hessian 的奇异值接近于 5。

这是一个最大化问题，而且解决方案也不是唯一的，所以我期望一个负半定 Hessian 矩阵。

我希望我的问题很清楚。

提前致谢。