什么时候$(X^TX)$是不可逆的，没有一个解决方案，而是几个：仿射子空间。但它们在某种程度上仍然是封闭形式的解决方案。它们是线性系统的解： $(X^TX)\beta=X^Ty$. 从根本上解决这个系统并不比我认为的矩阵反转复杂。

也可以用凸优化算法来解决它。但是没有一个最小值，因为函数在仿射子空间上达到一个恒定的最小值：将一条直线想象为山谷的底部（一条笔直的河流）。该函数不是严格凸的，而只是凸的。我认为大多数凸优化算法都会收敛到其中一种解决方案：在仿射子空间中的任何位置完成。

因此，就矩阵方法与凸优化算法而言，矩阵不可逆的情况并没有那么特别。只是线性回归允许使用矩阵或线性系统的特殊简单解决方案，而一般问题则不允许，并且您必须使用迭代方法找到最小值：优化算法。

请注意，尽管表面上很简单，但在某些情况下，矩阵求逆的算法复杂度要比相当精确的凸优化算法高得多。这通常是当有很多功能（数亿到数百万）时。这就是为什么人们甚至对线性回归也使用凸优化方法的原因。

最后，当矩阵不可逆时，通常是没有足够的数据来真正估计$\beta$具有现实的精度。该解决方案非常过拟合。然后人们将使用岭正则化。解决方案是$\beta=(X^TX+\lambda I)^{-1}X^Ty$. 矩阵$(X^TX+\lambda I)$总是可逆的 ($\lambda>0$）。