分层模型中逆 Wishart 先验的缺点

机器算法验证 贝叶斯 多层次分析 分层贝叶斯 愿望分配 无信息先验
2022-03-20 20:04:17

我正在使用一个贝叶斯层次模型,该模型具有每个实验单元的多个参数(6 个参数)。我真的不太了解它们的先验知识,但它们可能以某种方式相关是很合理的。

因此,我正在考虑随机效应的多元正态分布,其中随机效应的均值和协方差矩阵的先验信息非常不明确。例如,具有维度 + 1 自由度(在我的示例中 = 7)和单位矩阵作为比例矩阵的逆 Wishart 似乎是合乎逻辑的,因为它在我的软件包中默认可用,并且被认为相对缺乏信息。

我在 Gelman 的贝叶斯数据分析一书中看到,另一种选择可能是为每个参数使用单独的随机效应标准差,并结合逆 Wishart 的想法,即可以指定关于随机效应标准差的更多信息先验(同时保持相关结构更无信息;此外还有 LKJ 先验,据我所知,它仅在 Stan 中实现。)。我想知道的部分原因是,当我对先验知识了解不多并期望有足够的数据以希望数据将主导我指定的任何先验知识时,我是否真的需要这样做(只要先验分布允许足够的灵活性)这实际上发生了)。

1个回答

以下是一些相关资源(完全披露:第一个链接是我的一篇论文):

协方差矩阵的先验可以被认为是方差(即协方差矩阵的对角线)和相关性(即非对角线元素除以行和列对角线元素的平方根)的联合先验。

在我看来,IW 先验的问题是

  1. 所有方差参数的不确定性由单个自由度参数控制,
  2. 方差的边际分布是逆伽玛(IW(7,I) 意味着边际 IG(1,1/2)),其具有接近零且密度极低的区域,当真实的方差很小,并且
  3. 方差和相关性之间存在先验依赖性,因此较大的方差与接近 +/- 1 的相关性相关联,而较小的方差与接近于零的相关性相关联。因此,当真实方差很小时,相关性将被估计为零,而不管相关性的真实值如何,并且即使对于相对较大的样本量,这种偏差仍然存在。

根据您的描述,问题 #1 不太相关,但问题 2 和 3 可能相关。尽管使用更复杂的先验可以解决这个问题,但实用的解决方案是更仔细地考虑 IW 先验中的比例矩阵。不要使用单位矩阵,而是使用对角矩阵,其中每个元素的值在给定您正在分析的数据的情况下是合理的。或者,您可以通过尝试以下形式的比例矩阵来执行先前的敏感性分析ϵ乘以单位矩阵。

上述讨论主要集中在对任何协方差矩阵使用逆 Wishart 分布的问题上。当使用逆 Wishart 作为分层协方差矩阵的先验时,还有一个额外的问题。Gelman (2006)中,逆伽玛被证明可以为层次方差提供信息,并且这个问题将延续到层次协方差矩阵上的逆 Wishart。该论文中的建议是在分层标准差上使用半柯西分布(或均匀分布)。如果您为分层标准差和相关性分别定义先验,那么您仍然需要相关矩阵的先验,例如 LKJ 先验。

所以是的,我认为你真的需要仔细考虑这个先验并进行敏感性分析以确定先验的影响力。有了足够的数据,可能性应该能够压倒先验,但尚不清楚有多少数据就足够了。