贝叶斯与常客估计

机器算法验证 贝叶斯 估计 意思是 推理 常客
2022-03-31 20:09:22

我不太了解贝叶斯与“正常”频率估计之间的联系。

假设我们要估计给定样本的总体的期望值。

在频率统计中,我会计算样本均值,正如我们所知,它是无偏的、一致的和有效的 - 因此是“最好的“我们可以使用的真实均值的估计器。该估计器的标准差为x¯=1ni=1nxiSEx¯ =sn

与贝叶斯统计相比,我有一些先验分布,插入数据并使用贝叶斯公式计算后验分布。

  • 那么这个后验分布与样本平均点估计相比如何呢?
  • 后验分布的期望值是否等于样本均值?
  • 后验分布的标准差是否等于样本均值的标准差?
  • 这两种方法中哪一种更好——或者贝叶斯方法只是给你更多信息(它给你一个分布,而频率估计只给你点值)
  • 是否有可能从后验分布(例如,真实均值的点估计的期望值)中获得像常客估计中的点估计?

编辑:

好的,我明白了,但真正困扰我的是https://en.wikipedia.org/wiki/German_tank_problem#Example 德国坦克问题。

我们想估计情报官员发现的坦克总数 k = 4 坦克,序列号为 2、6、7 和 14。

坦克计数的常客估计是,而贝叶斯是(尽管常客的答案在贝叶斯的标准差)。16.519.5±10

同一问题的两种不同的数学(科学)方法如何导致两个不同的答案?直觉上必须有一个“更多”的正确答案,或者没有?

2个回答

您所有问题的简单答案是:在贝叶斯模型中,除了数据之外,您的模型中还包含先验信息,

posteriorlikelihood×prior

因此,如果您在模型中包含其他信息,那么您的估计(平均值、标准偏差等)可能与最大似然估计不同。您可以使用非信息性先验,在这种情况下估计应该与最大似然情况相同。贝叶斯方法可以胜过其他方法的一个例子是我们处理小样本的情况(参见这里的好例子),即使在诸如在尚未发生此类碰撞的时候预测未来的空中碰撞的情况下 - 在这种情况下超过 -数据信息有助于我们从不足的数据中学习。

您还询问后验分布与样本均值以及点估计。在后验分布中,您感兴趣的参数有一个完整的分布而不是一个点值,您可以采用该分布的平均值(或中位数,或可能的其他统计数据)来获得一个点值。如果您只对点估计感兴趣,您可以使用最大后验方法,而不用担心后验分布。

最后,这两种方法都不是“更好”或“更差”。他们只是不同。通过查看标记为的多个问题您可以了解很多关于它们的优缺点,例如:贝叶斯方法何时优于频率学方法?,或者为什么贝叶斯方法被广泛认为特别“方便”?.

我已经在下面列出的其他线程上讨论了这个主题。我将在这里解决您的具体问题。

  • 那么这个后验分布与样本平均点估计相比如何呢?后验分布的期望值是否等于样本均值?后验分布的标准差是否等于样本均值的标准差?

后验分布的均值和标准差通常与样本均值及其标准误差相似,但并非总是如此。它取决于所选的先验分布和数据的概率模型。

  • 这两种方法中哪一种更好 - 或者贝叶斯方法只是给你更多信息(它给你一个分布,而常客估计只给你点值)

对这个问题的简短回答是,这取决于您要测量的内容、实验或实验者。频率论者根据实验的长期频率来定义概率。对未知固定参数的推断使用基于重复实验抽样概念的置信水平和 p 值。历史数据(外部信息)通过可能性合并观察或执行汇总级元分析(Johnson 2021a)被纳入分析。常客可以使用 p 值构建显示每个假设的合理性的置信分布或置信曲线。这类似于贝叶斯后验。

贝叶斯将概率定义为实验者的信念,因此对于如何形成先验来影响对参数的推断没有任何限制。这也意味着这些信念陈述是不可证伪的。贝叶斯不是通过可能性来合并历史数据(外部信息),而是通过先验来合并它。如果先验分布的选择方式是后验受似然性支配,贝叶斯信念更客观地被视为基于实验频率概率的置信形式(Johnson 2021b)这是使用常客方法的一个论据。

  • 是否有可能从后验分布(例如,真实均值的点估计的期望值)中获得像常客估计中的点估计?

是的,贝叶斯将使用后验分布的均值、中位数或众数作为参数的点估计。在非正态设置和考虑参数的非线性变换时,使用后验均值会在估计中引入偏差(考虑到参数是未知的固定量)。