我了解 Ridge / Lasso / Elastic Net 回归惩罚如何应用于线性回归的成本函数,但我试图弄清楚它们如何应用于 Logistic 回归的最大似然成本函数。
我试过通过谷歌查看页面,看起来可以做到(我相信 Sci-Kit 的逻辑回归模型接受 L1 和 L2 参数,我看过一些 YouTube 视频说惩罚可以应用于逻辑模型),我发现它们是如何添加到残差平方和成本函数中的,但我很好奇惩罚是如何与最大似然成本函数一起应用的。是最大可能性减去惩罚吗?
我了解 Ridge / Lasso / Elastic Net 回归惩罚如何应用于线性回归的成本函数,但我试图弄清楚它们如何应用于 Logistic 回归的最大似然成本函数。
我试过通过谷歌查看页面,看起来可以做到(我相信 Sci-Kit 的逻辑回归模型接受 L1 和 L2 参数,我看过一些 YouTube 视频说惩罚可以应用于逻辑模型),我发现它们是如何添加到残差平方和成本函数中的,但我很好奇惩罚是如何与最大似然成本函数一起应用的。是最大可能性减去惩罚吗?
弹性净项被添加到最大似然成本函数中。即最终成本函数为:
第一项是似然性,第二项是弹性网络的范数部分,第三项是范数部分。
即,网络试图最小化负对数似然,并试图最小化权重。
是的,惩罚只是简单地添加到成本函数中(负/正取决于您是最小化还是最大化函数)。
您可以将成本函数中的惩罚项(例如似然性成本函数)视为等价于拉格朗日乘数等问题的问题,例如
简单来说。您最大化对数似然函数,限制系数的二次范数的大小(相当于岭回归)和范数的(相当于套索)。
另请参阅弹性网络公式之间的等效性