当我重复一个实验时,为什么会有这么多大的 p 值?

机器算法验证 t检验 p 值 解释 直方图
2022-04-11 05:21:21

我有一个快速的问题:

在对多个实验使用 t.test 时,我为每个实验得到一个 p 值。
当我绘制这些 p 值的直方图时,我发现分布看起来像一个钟形曲线,即大多数以 0.5 到 0.8 为中心,很少 > 0.9,但也有一些 < 0.05。

我可以从这种 p 值直方图模式中看出什么?
这是否意味着测试在某些方面存在缺陷?

谢谢!
在此处输入图像描述

1个回答

如果原假设为真,则您期望均匀分布。如果原假设不成立,那么您会期望 P 值更小。但是你有更高的 P 值,这很奇怪。

两个想法:

  • 你在计算一个尾 P 值吗?如果是这样,并且实际效果与假设效果相反(并且您正确计算了单尾 P 值),那么您会期望更高的 P 值。

  • 数据收集和争论有多主观?做实验的人期望没有差异,所以有偏见吗?也许他们只有在看到意想不到的巨大差异时才会抛出“异常值”?也许他们在差异(效果)出乎意料地大时重复测量,但在效果很小时接受?