如何解释模型的置信区间?

数据挖掘 机器学习 机器学习模型 评估 工作室 信心
2022-03-08 20:26:30

我正在使用 R 做一些工作,在获得混淆矩阵后,我获得了与逻辑回归相对应的以下指标:

Accuracy : 0.7763         
                 95% CI : (0.6662, 0.864)
    No Information Rate : 0.5395         
    P-Value [Acc > NIR] : 1.629e-05 

我不清楚如何解释 CI。

也许准确度可以取 0.666 到 0.864 之间的值?CI 这么大是什么意思?

如果有人可以向我澄清,我将不胜感激。最好的祝福。

2个回答

另一个答案是正确的,并且总结得很好:我们有 95% 的把握准确度值会落在 0.666 和 0.864 之间。这是关于您的号码的代表性的概率声明。

对于您的另一个问题,根据您的数据,CI 的含义可能意味着几件不同的事情。一般来说,CI 越大,数字的范围就越大。例如,我们可以 95% 确定准确度介于 0.666 和 0.864 之间,但您可以将 CI 更改为 99%,它可能会给您一个类似于 0.333 和 1.264 之类的值。

当 CI 的范围很大时,通常意味着数据的可变性很高(一些数据点在 0.666 左右,而另一些在 0.864 左右)。您拥有的数据越多,数据越相关,范围就越小。

这取决于您处理这些数字的目的,但一般来说,较高的置信区间(如 95%)可以让您获得更多的数据确定性,而较小的置信区间(如 75%)可以在牺牲一些准确性的同时编制更清晰易懂的图表。

希望这个对你有帮助!:)

它告诉您以 95% 的概率估计准确度位于这些界限之间。因此,当非常频繁地重复实验,计算每次运行的准确度时,您将仅在 5% 的情况下获得超出这些界限的准确度值。