一些模型（这里：线性回归）有参数：$\beta$

$$\hat{y} = \sum_{i\in\{1..p\}} \beta_i x_i + \beta_0$$

对于相同数量的输入特征，更复杂的模型（这里：基扩展到二次模型）具有更多参数：

$$\hat{y} = \sum_{i,j\in\{1..p\} \atop i\le j} \beta_{ij} x_ix_j + \sum_{i\in\{1..p\}} \beta_{i} x_i + \beta_0$$

一般来说，具有更多参数的模型更灵活（因为要调整更多参数以使模型适应数据），但更难以拟合，因此更容易过度拟合。正则化通过降低调整的自由度来帮助克服这些问题，从而稍微降低复杂性：

$$\hat{y} = \sum_{i,j\in\{1..p\} \atop i\le j} \beta_{ij} x_ix_j + \sum_{i\in\{1..p\}} \beta_{i} x_i + \beta_0 \textrm{, with} \sum \beta^2 \textrm{ small}$$

我们可以用“有效参数”来表达“模型复杂性”或“调整自由度”：对于您研究的模型，找到具有相同调整自由度的基于参数的模型（没有正则化） . 该模型的参数数量是模型的有效参数数量。

这种概括还可以进一步扩展到不基于参数的模型（例如 k 最近邻）。然后复杂度被称为Vapnik-Chervonenkis (VC) 维度。方便地，对于（非正则化的）线性回归，它是，参数的实际数量。 Elements of Statistical Learning，第 7.9 节，提供了更多相关信息（他们似乎或多或少地互换使用术语“VC”、“有效参数数量”和“模型复杂性”）。$p+1$

“有效参数”也可以称为“有效自由度”。在线性模型中，我们注意到杠杆——拟合值随实际值的变化量——可以相加以获得模型的自由度。然后可以将这种计算自由度的方法应用于非线性模型。$\partial \hat y_i \over \partial y_i$

例如，假设您的“模型”是取个最近邻居的平均值。对于每个观测值，拟合值是值的平均值。观察本身将在这个最近点之间，它自己的贡献将是，因此每个观察的杠杆是，对于观察，有效自由度是。$k$$k$$k$$y_i/k$$1/k$$n$$n/k$