为什么在评估逻辑回归模型的“好”程度时使用 ROC 曲线?

机器算法验证 物流 广义线性模型 预测模型 拟合优度
2022-04-14 19:16:25

假设您拟合了一个逻辑回归模型,并发现它经过了很好的校准,即观察到的结果和预测之间的一致性很好。另外,假设它也与一些训练数据一致。到目前为止我们很高兴,但是......

我只是不明白为什么有人会费心检查模型预测区分有结果和没有结果的能力。为什么要关心岩石曲线下的区域。为什么我的模型需要区分好?

ROC曲线下的大面积是否意味着一个校准良好的模型?

1个回答

逻辑回归不“同意”任何事情,因为结果的性质是 0/1,而预测的性质是连续概率。一致性需要可比较的尺度:0.999 不等于 1。从概率开发分类器的一种方法是在阈值处进行二分法。该方法的明显限制是:阈值是任意的,可以人为地选择以产生非常高或非常低的灵敏度(或特异性)。因此,ROC 会考虑所有可能的阈值。

判别模型能够根据人们的风险对他们进行排名。该模型的预测风险可能会很遥远,但如果您想设计一个子研究或临床试验来招募“高风险”参与者,那么这样的模型为您提供了前进的道路。作为此类研究的结果,建议对乳腺癌风险最高的女性使用预防性他莫昔芬。

歧视!=校准。如果我的模型将所有非事件的概率分配为 0.45,将所有事件的概率分配为 0.46,则即使发生率/流行率 <0.001,区分也是完美的。