机器算法验证 - 最小二乘中的常数会发生什么 - 吾爱随笔录

机器算法验证回归最小二乘算法

2022-04-09 11:29:33

预赛

为简单起见，假设我们正在处理示例的二维数据集 $(x_i, y_i) \in \mathbb{R}^2$ 它们分为训练集（已知对象及其标签）和测试集（仅已知对象）。

可以使用以下矩阵过程表示使用最小二乘法的预测：

问题

完成上述过程的第 1 部分后，如何找到最佳线性最小二乘线？

如果可以使用线性线表示 $y = w'x + c$ 你如何找到常数 $c$ ?

1个回答

通常在教科书和文献中，作者会在数据矩阵中隐含地添加一个1 的常量列 $X$ . 如果你的原始向量 $x$ 好像

x = [\begin{matrix} \frac{5}{6} \\ \frac{1}{6} \\ 3 \end{matrix}]

$x = \begin{bmatrix} \frac{5}{6} \\ \frac{1}{6} \\ 3 \end{bmatrix}$

然后你的增强 $X$ 是这样的

X = [\begin{matrix} \frac{5}{6} & 1 \\ \frac{1}{6} & 1 \\ 3 & 1 \end{matrix}]

$X = \begin{bmatrix} \frac{5}{6} & 1 \\ \frac{1}{6} & 1 \\ 3 & 1 \end{bmatrix}$

因此你的 $w$ 向量实际上是一个二维向量：第一个分量表示 $x$ ，第二个分量表示 1 的系数（在您的示例中，这表示为 $c$ .)

如果我们表示 $w = [w_1, w_0]$ ，那么，您的最佳最小二乘线由下式给出

y = w_{1} x + w_{0}

$y = w_1 x + w_0$

其它你可能感兴趣的问题