将弹性净惩罚应用于逻辑回归背后的数学

机器算法验证 回归 物流 弹性网
2022-03-23 12:10:45

我了解 Ridge / Lasso / Elastic Net 回归惩罚如何应用于线性回归的成本函数,但我试图弄清楚它们如何应用于 Logistic 回归的最大似然成本函数。

我试过通过谷歌查看页面,看起来可以做到(我相信 Sci-Kit 的逻辑回归模型接受 L1 和 L2 参数,我看过一些 YouTube 视频说惩罚可以应用于逻辑模型),我发现它们是如何添加到残差平方和成本函数中的,但我很好奇惩罚是如何与最大似然成本函数一起应用的。是最大可能性减去惩罚吗?

2个回答

弹性净项被添加到最大似然成本函数中。即最终成本函数为:

i=0N[(ylog(p)+(1y)log(1p))]+λ1i=0k|wi|+λ2i=0kwi2

第一项是似然性,第二项是弹性网络的范数部分,第三项是范数部分。l1l2

即,网络试图最小化负对数似然,并试图最小化权重。

是的,惩罚只是简单地添加到成本函数中(负/正取决于您是最小化还是最大化函数)。

您可以将成本函数中的惩罚项(例如似然性成本函数)视为等价于拉格朗日乘数等问题的问题,例如

maximizef(β) subject to g(β)t and h(β)t2

f(β)=L(β|x)g(β)=||β||1h(β)=||β||2

简单来说。您最大化对数似然函数,限制系数的二次范数的大小(相当于岭回归)和范数的(相当于套索)。||β||2l1||β||1

另请参阅弹性网络公式之间的等效性