截距参数的正则化

数据挖掘 回归 线性回归 逻辑回归 正则化 成本函数
2022-03-09 15:17:48

为什么正则化参数不适用于截距参数?

根据我对线性和逻辑回归成本函数的阅读,正则化参数 (λ) 适用于除截距之外的所有项。例如,这里分别是线性回归和逻辑回归的成本函数(注意 j 从 1 开始):

在此处输入图像描述

在此处输入图像描述

2个回答

正则化试图通过降低对输入数据微小变化的敏感性来减少过度拟合的机会。对于截距项(相对于系数)而言,这不是什么大问题,因此通常不包括在内。

正则化的主要目的是减少参数值,这反过来又会减少与该参数相关的特征对模型预测的影响。例如,由于截距 Theta0 基本上没有与之关联的特征,我们不对其进行惩罚。