为什么使用后验分布的平均值而不是概率?

机器算法验证 可能性 贝叶斯 意思是 后部 贝叶斯
2022-03-18 10:47:50

我正在阅读 Allen B. Downey 的Think Bayes(pdf 链接),在这个例子中,我不太了解Mean第 3.2 章中的机车问题的目的。

在第 24 页上,作者提出了计算后验概率的另一种变体:计算后mean验分布,这对我来说不是很清楚。为什么更好?它可以告诉我们后验概率没有说明什么?在什么情况下使用Mean而不是后验概率更好?

2个回答

铁路将其机车编号为 1..N。有一天,你看到一辆编号为 60 的机车。估计铁路有多少个机车。

该示例涉及所谓的德国坦克问题据我所知,Allen B. Downey 并不建议采用后验分布的均值来计算后验概率。问题是仅根据存在编号为 60 的机车的信息来猜测机车的数量。对该问题的贝叶斯分析导致使用该数据并在获得后验分布之前进行统一。关于机车数量的“最佳猜测”是该分布的平均值。在这种情况下,我们对概率或感兴趣参数的分布不感兴趣,而是对它的点估计感兴趣。后验分布的均值是我们可以使用的这种点估计之一。

正如评论和@peuhp的回答中提到的,在这种情况下,均值最小化 L2 范数(平方差),但我们也可以选择不同的估计量,例如最小化 L1 范数(绝对差)的中位数,最小化 L0 范数的模式等等。所有这些都取决于您想要最小化的损失函数,即您在决定什么“最佳猜测”时用来选择的标准。

您也可能有兴趣阅读有关最大后验估计的信息。

事实上,后验的平均值并没有说明后验密度本身不包含。然而,因为它最小化了损失函数 它提供了一个数字(比完整分布更容易解释),可以解释为对感兴趣数量的满意的最佳客人估计。

mean(p(θ|x))=argminθθ||θθ||2p(θ|x)dθ

此外,有时密度本身很难以接近的形式获得或使用算法无法估计,而平均值可以更容易地推导/估计。