近端梯度的线搜索包围。这是个好主意吗?

计算科学 优化 凸优化 收敛
2021-12-06 17:41:20

也许我的问题很明显,但我找不到任何好的来源来回答它

我试图了解近端梯度。我不清楚的一件事是线搜索的特定算法。根据此演示文稿(幻灯片 20)和其他一些来源,使用先前的步长回溯线搜索作为初始化是不错的选择。

我用近端梯度实现了 LASSO 的简单版本,看起来不时增加步长可以显着加快收敛速度​​。

所以我的问题是:在近端梯度中使用包围是个好主意吗?

(根据“Nocedal 和 Wright 的数值优化”,我使用术语“包围”来表示“寻找回溯的初始间隔”)

我的第二个问题是:LASSO/一般近端梯度的最佳线搜索算法是哪个?

对不起我的英语不好

1个回答

对于 LASSO Case,您可能可以估计L非常好,最好使用 FISTA 来加速近端梯度法。

一般来说,您可以使用上述线搜索(Neal Parikh 和 Stephen Boyd - Proximal Algorithms Page 20):

在此处输入图像描述

或者(L. Vandenberghe - Proximal Gradient Method第 6-20 页):

在此处输入图像描述

我希望它们是等效的,尽管 Boyd 的计算似乎更容易。

更好和更稳健的选择将是乘法器的交替方向方法(ADMM)。