如果 MLE(Maximum Likelihood Estimation)不能为 Logistic Regression 中的参数给出适当的闭式解,为什么要对这种方法进行如此多的讨论?为什么不坚持使用梯度下降来估计参数?
当 MLE 不能给出明确的解决方案时,为什么要在 Logistic Regression 中考虑 MLE?
数据挖掘
回归
逻辑回归
参数估计
2022-02-16 20:16:18
1个回答
我想你在这里比较苹果和橘子。最大似然是似然函数的最大值,它以某种方式描述了您的数据生成过程。给定您想象的数据生成模型,特别是可能性为您提供观察数据的概率。在这方面,它类似于损失度量。
梯度下降是一种以最大化/最小化某些函数(例如损失度量)的方式改变参数的方法。
那么,您为什么要尝试比较这两件事呢?在我看来,您可以将可能性用作损失函数(通常是对数似然),然后运行梯度下降以使其最大化。
也许这就是你的意思。为什么要使用可能性作为梯度下降的损失度量?在我的用例中,当可用数据不是均匀采样或非同调数据时,它会有所帮助,例如,如果您想进行回归以获得 y 作为 x=0...1 的函数,但 y 的方差在该区域更大x=0.2...0.4 与其他地区相比。使用最小二乘作为损失度量可能会导致拟合不佳(因为最小二乘的内在假设是您在 y 中的方差是相同的)。
其它你可能感兴趣的问题