混合模型中高阶与低阶随机项的相对方差

机器算法验证 混合模式 方差 参考 多层次分析 随机效应模型
2022-03-21 06:11:00

TL、DR总结:

是否有任何理论或经验基础来支持以下陈述作为一般经验法则是正确的?

“在估计混合模型时,通常与‘高阶’项相关的随机效应的估计方差/标准差(例如,双向、三向和超越交互项的随机效应)结果小于与“低阶”项相关的随机效应的估计方差/标准偏差(例如,残差方差、与分组因素的简单效应相关的方差)。

这个说法的来源是我。;)


好的,现在是更长的版本...

通常,当我坐下来开始分析一个我知道需要混合模型的新数据集时,这是我第一个适合的模型之一(在查看数据集中的观察、绘制各种事物、交叉制表的统计前戏之后)不同的因素等)是一个非常接近“最大”随机效应规范的规范,其中估计了原则上可以从数据中估计的每个随机效应。

自然地,这种近乎最大的模型会有一些计算问题(收敛误差,或古怪的方差/协方差估计等)并不少见,我必须修剪这个模型以找到一个我的数据更容易支持。美好的。

在这些情况下,我更喜欢修剪随机项的方法不是依赖显着性检验或似然比,而是仅仅识别似乎具有最小标准偏差的随机效应(这可能有点棘手当预测变量在非常不同的尺度上时,但我尝试在我的评估中考虑到这一点)并首先在迭代过程中依次删除这些术语。这个想法是我想尽可能少地改变模型的预测,同时仍然降低模型的复杂性。

在花费大量时间后,我似乎注意到了一种模式,即遵循这种方法通常会导致我首先修剪与模型的高阶项(如上定义)相关的随机效应。这并不总是正确的,有时一些高阶项解释了很多差异,但这似乎不是一般模式。与之形成鲜明对比的是,我通常发现低阶随机项——尤其是那些与分组因素的简单影响相关的项——解释了相当多的方差,并且对模型来说是相当重要的。在极端情况下,残差项通常解释接近最大的方差,尽管当然删除该项是不明智的。

这种完全非正式的观察使我形成了我在这个问题开始时所说的假设。

如果这是真的,那么它就构成了一条有用的建议,可以传递给对这种模型选择过程缺乏经验的人。但在我开始这样做之前,我想与其他更有经验的混合模型用户核实他们对这一观察结果的反应。在你看来,它或多或少是真实的?它与您将许多不同的混合模型拟合到许多不同的数据集的经验大致一致吗?您知道为什么我们实际上可能期望在很多情况下这是真的吗?或者它只是看起来像胡说八道?

一个可能的答案是,即使在我自己的情况下也不是真的,我只是在欺骗自己。当然,我愿意接受这种可能性。

另一种可能性是,在我自己的情况下可能是正确的,但这可能只是一种巧合,与我经常使用的数据集类型有关(仅供参考,是心理/社会科学中的数据集,一小部分是实验性的,但也有相当一部分非实验性的东西)。如果是这种情况,那么可能没有充分的理由期望我的观察结果在处理非常不同类型的数据的其他领域中普遍存在。尽管如此,如果有一个连贯的非巧合原因可以解释为什么这可能是真的,即使只是针对这些特定类型的数据集,我也很想听听。

当然,另一种可能性是其他人他们自己的数据中注意到了类似的模式,并且它代表了某种一般的经验法则,人们发现在将混合模型拟合到各种不同的数据时需要牢记这一点。如果是这种情况,那么似乎必须有一些令人信服的统计理论原因来解释为什么会出现这种模式。但我真的不知道这个原因会是什么样子。

我欢迎任何人对此提出想法和意见。请注意,就我而言,对这个问题的完全合法的回答可能就像评论一样简单,比如“是的,我注意到我处理过的数据中有类似的东西,但我不知道为什么它应该是真的”或者相反,“在我处理过的数据中,我没有注意到任何类似的东西。” 当然,我也欢迎更长时间和更多参与的讨论......

2个回答

块引用

总的来说,我同意最初的假设,即高阶项通常与较小的方差相关联。但是,这也取决于数据的类型。

在植物育种中,多环境试验的经验法则(Gauch,1996,第 90 页)是数据的变化是:70% 的位置,20% 的位置,10% 的品种

非常近似,但相当一致的是,高阶项“location-by-variety”方差大于主效应“variety”方差。

参考:HG Gauch 和 RW Zobel,1996 年。书籍:环境相互作用的基因分型。章:产量试验的 AMMI 分析。CRC出版社。

我发现我在问题中描述的规律性实际上是由几位作者在有关实验设计 (DoE) 的文献中撰写的。它被称为“分层排序原则”,有时也被称为“效果稀疏原则”。

在 Montgomery(2013 年,第 290 页)关于部分因子设计的章节中,他写道:

部分因子设计的成功使用基于三个关键思想:

  1. 效果稀疏原则当存在多个变量时,系统或过程很可能主要由一些主效应和低阶相互作用驱动。

...

Wu & Hamada (2000, p. 143) 将其称为“分层排序原则”,并使用“效果稀疏性”一词来指代相关但独特的观察:

因子效应的三个基本原则:

分层排序原则:(i)低阶效应比高阶效应更可能重要,(ii)相同阶效应可能同样重要。

效应稀疏原则:因子实验中相对重要的效应数量很少。

...

Li, Sudarsanam, & Frey (2006, p. 34) 给出了两种可能的解释,解释了为什么会出现分层排序。首先,他们认为这“部分是由于实验者通常探索因素的范围”:

在实验者探索因素的微小变化以及系统表现出响应及其导数的连续性的限度内,因素的线性效应往往占主导地位。因此,在一定程度上,分层排序在实验中很常见,这是由于许多实验是为了小细化而不是大范围探索而进行的。

他们接下来建议“部分取决于实验者转换系统输入和输出以获得对系统行为的简洁描述的能力”:

例如,众所周知,机翼的升力和阻力更简单地描述为机翼面积和展弦比的函数,而不是翼展和弦长。因此,工程师在进行实验指导机翼设计时,很可能将跨弦(翼面积)与跨弦比(展弦比)的乘积作为自变量。

参考

  • Li, X.、Sudarsanam, N. 和 Frey, DD (2006)。阶乘实验数据的规律性。复杂性,11(5),32-45。
  • 哥伦比亚特区蒙哥马利(2013 年)。实验设计与分析(第 8 卷)。纽约:威利。
  • Wu, CJ 和 Hamada, MS (2000)。实验:计划、分析和优化(第 552 卷)。约翰威利父子公司。