使用 BIC 或 AIC 作为贝叶斯模型平均的近似值

机器算法验证 贝叶斯 aic 比克 权重 模型平均
2022-04-05 16:22:28

我想比较使用 EM 算法和基于信息准则的 BMA 执行的“真实”贝叶斯模型平均 (BMA)。

BIC 或 AIC 哪个更接近“真实”BMA?

顾名思义,BIC?我想比较苹果和苹果。

我的模型没有嵌套至少 1 个参数和最多 3 个参数。

1个回答

我不太了解第一句话,但是如果您询问是否应该使用 BIC 或 AIC 来近似 BMA,那么答案相当简单。

您将使用 BIC 而不是 AIC 来近似后验模型概率,然后可以将其用作 BMA 中的权重。

给定一组模型和各自的 BIC 分数,模型的后验概率可以近似为: 其中是“数据”。我在这里简要介绍一下为什么会出现这种情况您还可以在这里看到一个很好的参考资料,或者查看衍生 BIC 的原始论文(Schwarz,1978),这不可避免地导致了这个结果。M1,M2,,MnB1,B2,,Bnj{1,2,...,n}

Pr(Mj|D)exp(Bj2)i=1nexp(Bi2)
D

后验概率用作 BMA 中的权重,显然Pr(Mj|D)j=1nPr(Mj|D)=1

如果您打算在现实生活中这样做,我建议您使用贝叶斯因子来避免计算困难(上溢/下溢)。在这种情况下,您将选择一个 BIC 值,比如最低的一个,我们将其表示为然后让计算;BΔi=BiB

Pr(Mj|D)exp(Δj2)i=1nexp(Δi2)

这有助于避免在对 BIC 值求幂时获得极大/极小的正数的问题。

  • 施瓦茨,G.(1978 年)。估计模型的维度。统计年鉴,6(2),461-464。