对于贝叶斯模型,度量与 R^2 一样简单

机器算法验证 贝叶斯 混合模式 拟合优度 咕噜咕噜
2022-04-05 20:12:42

因此,或 GLM 中基于偏差的伪的美妙之处在于它们对非专业人士的直观解释。GLMM 在这方面也有一些不错的发展(参见 Nakagawa 和 Schielzeth 的 (2013) 方法和来自民间的扩展,例如 @jslefche 的https://github.com/jslefche/piecewiseSEM包)。R2R2

但是 - 当谈到更时髦的模型时,特别是那些使用贝叶斯方法的模型,我有点不知所措。虽然如果您深入了解 LOO 指标的含义,那么 LOO 指标是有意义的,但对于我们这些与非专业人士合作的人来说,是否有一些东西——测试统计或类似的东西——可以直接沟通作为我最近一直在使用分位数残差来评估 GLMM 和更时髦的模型 - https://cran.r-project.org/web/packages/DHARMa/vignettes/DHARMa.html - 并且想知道是否有可能有什么东西吗?R2

但是,我们如何为普通人解释的复杂贝叶斯模型制定拟合指标?

2个回答

另请参阅 Andrew Gelman 的论文,标题为“贝叶斯回归模型的 R 平方”:

http://www.stat.columbia.edu/~gelman/research/unpublished/bayes_R2.pdf

在那篇论文中,他提出具有相似的解释然而,由于这是贝叶斯,该值现在是 rv 并且需要总结,例如通过后中位数。R2=Var(y^)/(Var(y^)+Var(e))R2

他还提供了一个小的 R 函数来计算它。

为了检查模型的充分性,分层贝叶斯模型的评估通常与 DHARMa 中的完全一样——您从拟合模型中模拟并计算分位数残差。与 DHARMa 的唯一区别是您在进行模拟时也会改变参数。

这种方法在许多教科书中都有解释。关键词是“后验预测模拟”、“后验模型检查”或“贝叶斯 p 值”。几点注意事项

  1. 至于混合模型,问题在于您重新模拟了多少层次的层次结构。尤其是在仅重新模拟最终观察模型时,状态空间人口模型看起来很棒,但是如果您也重新模拟过程模型,它通常看起来非常不同 -> 当人们只显示最终拟合时,有充分的理由持怀疑态度在 SSM 中,即使模型非常错误,这看起来也很棒。

  2. 对于复杂模型,这些残差的分布理论并不十分清楚——对于 GLMM,我迄今为止所做的所有模拟都表明,模拟的分位数残差具有良好的近似平坦度,但对于任何复杂的模型结构可能并非如此。如有疑问,请在正确指定的模型上运行测试。

  3. DHARMa 具有输入后验预测模拟的功能(createDHARMa),因此您可以将 DHARMa 的所有工具与分层贝叶斯模型一起使用

但是,所有这些更多地是标准残差诊断的替代品,而不是 R2,后者是衡量您对目标变量的解释程度的衡量标准。

对于 R2,您可以简单地在后验预测分布上计算 R2 或 RMSE,无论您最喜欢什么,但是,对于混合模型出现的所有警告,即您必须考虑“解释”的含义,会产生随机效应“解释”数据与否——这在状态空间模型中尤为明显,即使模型基本上不知道为什么数据会以这种方式移动,您也可以让拟合状态非常接近数据。