在混合效应建模之前去除异常值

机器算法验证 正态分布 多层次分析 异常值
2022-03-30 06:50:36

我正在分析来自语法判断任务的反应时间数据(在掩蔽启动实验中收集)。刺激物为名词-名词复合词,包括3类复合词(取决于语义关系)。每种化合物测试 4 次,采用 2x2 设计(素数 = N1 或 N2;顺序 = 符合语法或不符合语法)。参与者包括母语和非母语人士。

我已经删除了具有物理上不可能短的 RT 和延迟(不包括 5 秒)的项目,现在我担心应该在分析之前删除更微妙的异常值。Baayen & Milin (2010) [pdf]之后,我将反应时间转换为 1/RT。他们建议“如果满足正态性的前提条件,[...] 在模型拟合之前去除异常值是不必要的”。当按受试者考虑时,我的数据不是正态分布的(夏皮罗测试表明 21 名受试者中只有 1 名产生 p > 0.05),但我想这是可以预期的设计?

我应该在模型拟合之前筛选异常值的数据吗?

@article{
   Author = {Baayen, R. Harald and Milin, Petar},
   Title = {Analysing Reaction Times},
   Journal = {International Journal of Psychological Research},
   Volume = {3},
   Number = {2},
   Pages = {12--28},
      Year = {2010} }
2个回答

如果您绝对确定没有人会批判性地审查您的分析,怀疑地考虑它,或者只需要相信您的结果,那么继续并删除异常值(但如果是这种情况,那么可能没有必要做分析)。

如果您删除异常值,那么您就会受到指责,即只挑选那些证实您的先入为主的数据点。

如果您担心正态性假设(并注意它是残差,而不是需要正态的响应),那么您应该考虑一种使用所有数据但不依赖于正态性而不是删除点的方法(例如数据转换、置换测试、引导程序或其他非参数方法)。

如果您的点是真正的异常值而没有明显的解释,那么检查它们为什么不同可能会导致比原始分析更有趣的发现。

请注意,常见的正态性检验通常在重要差异时发现重要差异的能力较差,而在无关紧要时发现微小差异的能力较高。关于是否使用基于正态的推理的决定应该来自您(以及其他研究人员)对产生数据的科学的了解。虽然罐头正态性测试是由可能比我聪明,也可能比你聪明的人开发的,但不能指望他们(在他们开发测试时)比你更了解你的数据和问题。

看过引用的论文后,它并没有我想象的那么糟糕——他们基本上建议将正态性检验作为一种识别可能会破坏分析的极端异常值的方法,他们说混合建模允许不那么“激进”的异常值识别/移动。(他们使用术语“最小修剪”和“温和”与“积极”先验数据筛选/异常值去除,乍一看,我没有在论文中看到精确定义:也许它们在参考文献中定义? ?)

至少根据严格规定的规则进行预筛选,仅基于响应变量而不考虑预测变量,不会导致数据窥探的危险(例如,在没有筛选的情况下运行初始分析然后返回只有当您发现结果不符合您的喜好时才进行筛选)。

不过,我仍然不喜欢它,并且可能会说只有对异常值的存在不存在具有定性稳健性的结果才应该被完全认真对待。)但是,我之前对 r-help 的回答仍然成立:

  • 异常值检测等应该在条件分布上进行,而不是边际分布——鉴于定性预测器的强烈影响,边际分布将是多峰的 = 根本不正常(我不明白 Baayen 和 Milin 是如何逃脱的)这个);
  • 的1/21 值非常接近空值情况下的预期。p<0.05

我个人更希望您完全跳过基于先验测试的筛选(删除论文中建议的物理上不可能/非常长的值是完全明智的)并改用模型批评(如论文所建议的那样),但您必须遵守符合您社区的规范,它们并不完全令人发指。如果可能,将您的结果与筛选数据和未筛选数据进行比较,看看它们在质量上是否相似。