机器算法验证 - 非均匀分布pp-值...再次 - 吾爱随笔录 - 问答

非均匀分布pp-值...再次

机器算法验证 p 值拟合优度

2022-04-06 20:03:25

似乎有许多多重假设检验情况会导致分布不均匀 $p$ -价值观。我想描述一个简单的数值实验，并理解为什么它不会导致“预期”的结果。

认为 $X$ 是一个瑞利随机变量（具有形状参数 $b$ ）。可以证明，随机变量 $Y=X/\text{mean}(X)$ 有以下pdf：

$P(Y)=(\pi/2) Y \exp[(-\pi/4)Y^2]$ ,

我将其称为 SR（用于标准化的瑞利）分布。请注意，SR 分布与参数无关 $b$ . 另请注意，SR 分布等价于具有形状参数的瑞利分布 $b=\sqrt{2/\pi}$ .

数值实验如下：我使用任意值生成 1000 个瑞利随机数 $b$ 然后通过将每个数字除以整体样本均值来标准化这些数字。然后我执行 KS 拟合优度检验（零假设是数据来自 SR 分布）并保存 $p$ -价值。前面重复多次（例如，1000 次）。结果 1000 的直方图 $p$ -values 被绘制。

下面是 MATLAB 代码。问：为什么是 $p$ -值不是均匀分布的？

SR=makedist('Rayleigh','b',sqrt(2/pi));

for p_counter=1:1000
    X=random('Rayleigh',11,1000,1);   
    Y=X/mean(X);
    [h_ks(p_counter),p_ks(p_counter)]=kstest(Y,'Alpha',0.01,'CDF',SR);
end

histogram(p_ks);

1个回答

当你写这个：

假设 X 是一个瑞利随机变量（形状参数为 b）。可以证明随机变量Y=X/mean(X)

你说的是除以人口平均值 $\mu_X$ ，一个固定常数，给出 $Y_i=X_i/\mu_X$ .

然后在您的实验中，除以样本均值：

通过将每个数字除以总体样本均值来标准化这些数字。

这改变了分布。的分布 $X_i/\bar{X}$ 不是瑞利。

更具体地说，我认为与实际具有标准 Rayleigh 分布的统计数据相比，您应该倾向于看到与 Rayleigh cdf 的大偏差更少，因为样本估计将产生“更接近数据”的拟合 cdf比真实的；因此，除以该估计值会产生一个标准化的 ecdf，它比除以总体平均值时更接近假设分布。

结果，我希望您应该获得过多的大 p 值和不足的小 p 值。

你的结果和我预期的差不多。

这种效果是众所周知的。我们在其他发行版中看到它。这就是为什么Lilliefors 检验* 的临界值小于 Kolmogorov-Smirnov（没有估计参数）。总体思路是使用与 Kolmogorov Smirnov 相同的“cdf 最大差异”检验统计量，但“理论”cdf 基于一个或多个估计参数（或等效地，使用估计参数将样本缩放到某种标准形式）。

*（不幸的是，链接中的 Wikipedia 文章文本目前表明 Lilliefors 检验仅适用于正态性，但他也涵盖了指数情况，如您在文章底部的“来源”部分中所见）

实际上，您可以将 Lilliefors 测试 [1] 的指数版本用于 Rayleigh 分布——因为 Rayleigh 随机变量的平方是指数的，您可以将原始数据平方并测试指数。（在这种情况下，您将平方数据除以其平均值，而不是平方您的缩放值。）

请注意，Kolmogorov-Smirnov 的渐近 5% 临界值为 $1.36/\sqrt{n}$ 而对于 Lilliefors 在测试指数时是 $1.077/\sqrt{n}$ （即，正如我上面建议的那样，将指数样本除以其平均值会产生一个缩放的 ecdf，它往往比除以总体平均值时更接近假设）。

[您可以在原假设下使用模拟获得 Lilliefors 检验的临界值（和/或 p 值）。这就是 Lilliefors 实际所做的，但他的模拟规模非常小（那是 1960 年代，因此计算设施有限）——所以你可能想要重做模拟，特别是如果你想要 p 值。如果临界值足够，则有更新/更准确的表格可用]

在编辑中添加：经过一番谷歌搜索后，Edgeman & Scott (1987) [2] 中讨论了使用 Lilliefors 测试（用于指数）来测试 Rayleigh（转换后）的想法。

[1] Lilliefors, H. (1969)，
“关于均值未知的指数分布的 Kolmogorov-Smirnov 检验”，
美国统计协会杂志，卷。64 . 第 387-389 页。

[2] RL Edgeman, RC Scott (1987)，
“Lilliefors 对转换变量的检验”，
巴西概率与统计杂志，1, 101–112。

其它你可能感兴趣的问题

上一篇将多个变量组合成一个“分数” 下一篇分层模型中逆 Wishart 先验的缺点