如果正规方程有效,为什么我们需要梯度下降?

人工智能 机器学习 优化 梯度下降
2021-10-25 10:40:07

最近,我学习了开放课程 CS229, http:
//cs229.stanford.edu/notes/cs229-notes1.pdf 这位讲师介绍了一种梯度下降的替代方法,称为“Normal Equation”,方程如下:

θ=(XTX)1XTy

正规方程可以直接计算θ.

如果正规方程有效,为什么我们需要梯度下降?这两种方法之间的权衡是什么?

1个回答

正规方程有时被称为闭式解

对您的问题的简短回答是,在某些情况下,封闭形式的解决方案可能不切实际或不可用,或者迭代数值方法(例如梯度下降)可能更有效(就资源而言)。

该答案为您提供了更多详细信息和示例。