如果我更改贝叶斯推理的平坦先验范围会发生什么?

机器算法验证 贝叶斯 事先的 点估计
2022-04-05 07:02:25

我正在研究一个使用平坦先验对二项分布进行贝叶斯推断的示例,并试图了解选择先验的影响。我知道,如果我们使用平坦的先验,它相当于,我们可以使用二项分布的共轭对来得出后验为的点估计等于分布的平均值但是,我想知道如果我们选择具有不同均匀分布的先验会发生什么,比如θ[0,1]θB(1,1)θB(α+1,β+1)θ=α+1α+β+2θ[0.1,1]. 我不知道得出的后验是否相同(),但点估计会改变;或者如果得出的后验会不同。我也想过:θB(α+1,β+1)

  • ,假设新的 ; 或者,E[X+ab]=E[X]+abθ=x0.110.1
  • 通过更改积分范围来更改平均值的计算

但这两种方法似乎都是错误的。所以我被困在这个问题上,想对此提出一些建议。

非常感谢您的时间!

* 注意:我知道通常我们不应该使用平面先验,而使用普通先验可以得到更好的结果,但这是我正在研究的示例的重点,即调查选择先验的效果。

Edit1:通过改变平均值的计算,我的意思是通常,我们使用为了计算的平均值,我们做01xxα(1x)βB(α+1,β+1)dx=α+1α+β+2θ[0,1]0.11xxα(1x)βB(α+1,β+1)dx

3个回答

如果你从参数支持的统一先验开始,你会得到归一化的可能性作为后验(我将把注意力限制在可能性可以归一化为密度的情况)。

因此,如果您从一些支持开始,并且可能性与成正比(对于某些来说),那么后验就是相同的 beta 分布( ) 自然而然地回来了。θ(0,1)B(α,β)αβB(α,β)

[请注意,我的与你的略有不同。你没有指定你的二项式,这样做可能会简化讨论,但没关系。]αβ

如果你用“更短”的连续统一统一替换先验(即其支持完全包含在第一个统一),你只需得到相同后验的截断版本,它被截断为新的先验的支持。B(α,β)

同样的想法适用于您可能拥有的任何其他可能性。

(如果您使用指标符号,这很简单。)

注释:

如果先验分布有支持那么后验分布的支持包含在或等于所以后验分布不可能是任何普通的(双参数)beta分布。[.1,1],[.1,1],

此外,如果尝试对二项式成功概率使用正态先验,则必须将其截断以具有支持 这种截断的正态先验与二项式似然不共轭,因此后验必须通过数值方法计算。[0,1].

此外,还有与疾病流行率相关的推理应用(必须位于,其中来自医学筛查测试的碎片信息,其中传统(非贝叶斯)推理可以导致流行率的点和区间估计之外的无意义值。但是,具有 beta 先验的贝叶斯方法必须给出这里 给出一个例子[在这个特定的应用程序中,吉布斯采样器用于查找后验分布。][0,1])[0,1].[0,1].

注意:不可否认,是二项式成功概率然而,从技术上讲,这种分布是否是非信息性的存在争议。Jeffries 先验已被提议为更接近无信息的先验分布。Beta(1,1)Unif(0,1)θ.Beta(.5,.5)

后验的标准比例结果仍然成立,但后验现在集中在与先验相同的受限集上。之前限制您的一般情况如果你使用与成比例的先验,那么你会得到后验:Dπ(θ)I(θD)

π(θ|x)Lx(θ)π(θ)I(θD),

这与无限制的后验成正比,但限制在集合上。D