数据挖掘 - 使用线性回归学习多项式回归 - 吾爱随笔录 - 问答

使用线性回归学习多项式回归

数据挖掘机器学习回归线性回归麻木的

2022-02-23 02:47:07

让我们从考虑一维数据开始，即 $d=1$ . 在 OLS 回归中，我们将学习函数

f (x) = w_{0} + w_{1} x,

$f(x)=w_{0}+w_{1} x,$ 在哪里

x

$x$ 是数据点和

w = (w_{0}, w_{1})

$\mathbf{w}=\left(w_{0}, w_{1}\right)$ 是权重向量。实现多项式拟合度

p

$p$ ，我们将前面的表达式修改为

f (x) = \sum_{j = 0}^{p} w_{j} x^{j}

$f(x)=\sum_{j=0}^{p} w_{j} x^{j}$ 在哪里

p

$p$ 是多项式的次数。我们将使用一组基函数重写这个表达式为其中和。我们只需将此转换应用于每个数据点以获得新的数据集。然后我们对这个数据集使用线性回归，得到权重和非线性预测器它是原始观察空间中的多项式（非线性）函数。笔记

f (x) = \sum_{j = 0}^{p} w_{j} ϕ_{j} (x) = w^{⊤} ϕ

$f(x)=\sum_{j=0}^{p} w_{j} \phi_{j}(x)=\mathbf{w}^{\top} \boldsymbol{\phi}$

ϕ_{j} (x) = x^{j}

$\phi_{j}(x)=x^{j}$

ϕ = (ϕ_{0} (x), ϕ_{1} (x), \dots, ϕ_{p} (x))

$\phi=\left(\phi_{0}(x), \phi_{1}(x), \ldots, \phi_{p}(x)\right)$

x_{i}

$x_{i}$

{(ϕ (x_{i}), y_{i})}

$\left\{\left(\phi\left(x_{i}\right), y_{i}\right)\right\}$

w

$\mathbf{w}$

f (x) = \sum_{j = 0}^{p} w_{j} ϕ_{j} (x),

$f(x)=\sum_{j=0}^{p} w_{j} \phi_{j}(x),$

这是如何运作的？谁能给我一个例子并简单地向我解释一下吗？我将如何在 Numpy 中实现这一点？

1个回答

这很容易理解（并使用矩阵来实现）。

考虑一个具体的例子（稍后概括）。你有一个单一特征的多项式函数）： $x$

f (x) = ω_{0} x^{0} + ω_{1} x^{1} + \dots ω_{n} x^{n}

$f(x) = \omega_0 x^0 + \omega_1 x^1 + \ldots \omega_n x^n$

您可以在向量中组织系数和特征，并通过标量积获得： $f$

ω = (\begin{matrix} ω_{0}, \\ ⋮ \\ ω_{n} \end{matrix}), x = (\begin{matrix} 1, \\ x \\ x^{2} \\ ⋮ \\ x^{n} \end{matrix})

$\mathbf{\omega} = \begin{pmatrix} \omega_0, \\ \vdots \\ \omega_n \end{pmatrix}, \qquad \mathbf{x} = \begin{pmatrix} 1, \\ x \\ x^2 \\ \vdots \\ x^n \end{pmatrix}$

因此。

f (x) = ω^{T} x

$f(x) = \omega^T\mathbf{x}$

这只不过是一个多特征线性回归，其中第个特征现在次方。 $i$ $i$ $x$

在 numpy 中，假设您有一个 data 数组x。

要创建上面的向量，您可以这样做（例如，对于） $\mathbf{x}$ $n=3$

X = np.ones((len(x), 4))
X[:,1] = x
X[:,2] = np.power(x,2)
X[:,3] = np.power(x,3)

然后使用 sklearn LinearRegression，

model = LinearRegression()
model.fit(X, y)

更新：sklearn最近引入了 In PolynomialFeatures，它精确地执行了我在 numpy 中描述的转换（你在 numpy 中问过，但这也可能有用）。

其它你可能感兴趣的问题

上一篇具有类别变量的线性回归下一篇如何正确使用过采样而不夸大结果？