我使用 Mann-Whitney U 检验来检查两个相对较小的组（每个组 12 个受试者）在 15 个不同项目上可能存在的差异。对于哪些项目会有所不同，我没有任何预定义的假设。然而，这个简单的 Mann-Whitney U 检验对所有测试项目产生了显着差异 (P<0.05)。
我的问题：如果/我应该在这里使用多重比较的修正？我发现所有项目都有显着差异这一事实有什么不同吗？
关于多重比较的修正
机器算法验证
多重比较
假设检验
2022-04-20 07:02:39
3个回答
亚历山大的回答很好，提出了很好的建议。当样本量相对较小（如您的示例中）时，一切都很重要，这似乎有点令人惊讶。如果某些 p 值接近 0.05，Bonferroni 界限可能过于保守。我建议使用引导或排列方法进行 p 值调整可能会更好。在 SAS 中，您可以使用 PROC MULTTEST 执行此操作。如果您不熟悉这些方法，请查看 Westfall 和 Young 的文本。
我认为您在所有 15 个比较中都发现了显着差异这一事实不会产生影响。为了保持家庭错误率，我很想简单地应用 Bonferroni 校正。考虑到您的样本量较小（实际上，甚至比您进行的比较次数还小），以及您在没有预定义假设的情况下开始分析的事实，在这种情况下保持保守也许是件好事。尽管如果后一个事实是正确的，那么如果您想得出更有力的结论，那么在独立人群中进行复制确实是有必要的。
这是此处涉及多重比较问题的众多问题之一。事实上，对于研究人员来说，查看他们的结果然后问，“对于看起来像这样的 p 值，什么样的多重比较校正是合适的？”基本上是荒谬的。研究人员应该在查看 p 值之前（或至少独立于 p 值是什么）决定什么校正适合于正在测试的假设。
由于这种类型的问题相当频繁地出现，也许我们应该创建一个页面，所有这些问题都可以以某种方式重定向到。