我会尝试从线性代数的角度来解释它，但我不确定它是否是你需要的。

首先，在系统不一致的情况下求解方程时，我们知道是的列空间上的正交投影。换句话说，可以通过来估计。其次，我们知道当我们减去时，我们创建了正交分量，它与的列空间正交。$\hat y$$y$$X$$\hat y$$X \hat \beta$$y - \hat y$$X$

此外，我们知道，正交性意味着如果某个正交的向量相乘，结果将。的列空间，而不是行空间，我们需要对其进行转置。$a$$b$$b$$0$$X$

所以，我们有一个方程$X^T(y - X\hat \beta) = 0$

当打开括号并将等式的不同部分放在不同的边上时，我们会收到您一直在谈论的相同等式。

$\hat \beta = (X^TX)^{-1}X^Ty$

人们有时会以不同的方式分解该数量，并将称为P投影矩阵、影响矩阵或帽子矩阵。值和预测值 之间的映射。$\bf{P=X(X^T X)^{-1}}X^{T}$$y$

投影矩阵有许多方便的属性。特别是，个元素 ( ) 包含第个数据的杠杆分数，这可能是一条有用的诊断信息。$k$$\mathbf{P}_{k,k}$$k$

假设我们有一个线性系统$m$方程在$\mathrm x \in \mathbb R^n$

在哪里$\mathrm A \in \mathbb R^{m \times n}$具有完整的列秩，并且$\mathrm b \in \mathbb R^m$. 两边左乘$\mathrm A^T$，我们得到一个线性系统$n \leq m$方程在$\mathrm x \in \mathbb R^n$

这通常被称为“正规方程”。自从$\mathrm A$具有满列秩，方阵$\mathrm A^T \mathrm A$是可逆的。因此，后一种线性系统具有唯一解$(\mathrm A^T \mathrm A)^{-1} \mathrm A^T \mathrm b$，而原来的线性系统，$\mathrm A \mathrm x = \mathrm b$，甚至可能没有解决方案。请注意，“正规方程”的解不一定是原始线性系统的解。

那么，什么是“意义”$\mathrm A^T \mathrm b$? 这是一个比例投影$\mathrm b$到的列空间上$\mathrm A$. 右手边的尺寸从$m \geq n$至$n$，从而可以找到唯一的解决方案。作为列$\mathrm A$不一定归一化，左乘$(\mathrm A^T \mathrm A)^{-1}$提供所需的规范化。