我一直在使用 Metropolis/Gibbs 采样器组合来为某些参数生成联合密度(它是一个分层模型,具有, )。我可以使用哪些技术来降低自相关(它存在于和中)?我一直在使用细化,但即使我使用巨大的滞后(4950,达到我的计算机使用的内存限制),仍然存在显着的自相关。我可以对我的步长分布做些什么来帮助解决这个问题吗?我一直在从正态分布和
如何减少 Metropolis 算法中的自相关?
首先,为了使您的模型具有层次结构,您需要和的超先验(正如 Procrastinator 已经解释的那样)。为简单起见,让我们假设实轴正部分的先验是一致的。所以有一个层次模型如下:
现在你有两组参数:{ }和 { }。您需要从后验分布中抽取这两组参数的随机样本。尽管模型本身不是很复杂,但您可能会坚持使用非常缓慢的参数混合链,特别是如果您的非常大(例如 1000)。您可以为整个参数集选择作为您的提议正态分布(只记得拒绝正确的负提议值),在这种情况下,您需要 ( ) 变量正态分布作为提议,或者您可以使用 N 变量lambda 的正态分布和的二元正态分布和。
我建议首先单独提出 lambda 和 gamma 参数 - 即在 Gibbs 采样器中使用 Metropolis。这将允许您稍微解耦 thouse 链。在这个调查步骤中,我将使用没有自相关的协方差矩阵(即对角矩阵)用于变量正态分布。
如果这不起作用,我将引入相关性不等于零的提案分布协方差矩阵 - 这应该会改善混合。如果这不能产生混合良好的链,我会求助于哈密顿蒙特卡洛。但首先尝试使用多元正态建议的不同矩阵。我还建议修改你的模型:而不是泊松强度
使用然后对具有未知均值和方差参数
似乎无法弄清楚如何添加评论,所以这是部分评论部分答案:
首先,从评论中听起来你正在使用 Random Walk Metropolis 步骤来联合(或可能单独)更新β然后是 Gibbs 步骤来更新。
您说您在(随机游走)Metropolis 步骤中使用了截断的 Normal 提案:它可能不会对您的情况产生太大影响,但从技术上讲,我认为您需要从完整的高斯提出,而不是截断 - 否则您的提案分布不是对称的,所以,所以 Metropolis 接受率不会产生会收敛到所需密度的马尔可夫链。或者,您可以保留截断的并使用完整的 Metropolis-Hastings 接受率。
其次,正如 Procrastinator 所说,您可能因此有的后验,因此您必须为这些设置先验。它是什么?具有固定超参数的伽马先验(类似于 shape=1,rate=0.001)可能会起到作用)。
现在,尝试回答你的一些问题:假设你已经做对了所有事情并且你得到了很大的自相关,因为每个都与每个,那么 Random Walk Metropolis 可能不是绘制和的最佳方法。由于您的 MH 步骤只有两个维度,因此独立采样器可能会更好。Metropolis-adjusted Langevin 算法和 Hamiltonian Monte Carlo 等稍微高级的方法也旨在减少自相关,但这在这里可能有点过头了。所以也许可以尝试一个独立采样器(不要忘记使用完整的 Metropolis-Hastings 比率接受)。