当根据数据估计参数时,可替代 Kolmogorov-Smirnov 检验

机器算法验证 假设检验 非参数 离散数据 kolmogorov-smirnov 测试
2022-03-24 06:42:31

当值按每个分布的平均值缩放时,我需要比较两个分布是否相似。根据http://www.itl.nist.gov/div898/handbook/eda/section3/eda35g.htm,ks-test的一个限制是“如果从数据中估计位置、比例和形状参数,则关键区域KS 测试不再有效。”

考虑例如:

Data1由来自均匀随机分布 [0,1] 的 10000 个数字组成,均值为 0.5

Data2由来自均匀随机分布 [0,10] 的 10000 个数字组成,均值为 5.001

如果我将 Data1 与 Data2/10 进行比较,则 ks-test 给出的分布相同;而将 Data1/0.5 与 Data2/5.001 进行比较,则得出分布不同。在这种情况下,有没有办法检查分布之间的相似性?

编辑: 正如答案所示,我可以使用 ks-test ,其中 p 值是通过排列确定的。

我的另一个困难是数据点是整数:

Data1由来自均匀随机分布 [0,10] 的 10000 个整数组成,均值为 5

Data2由来自均匀随机分布 [0,100] 的 10000 个整数组成,平均值为 50.001

有没有一个测试来比较除了规模之外是否相似Data1Data2此外,我不知道实际规模,我是根据数据确定的。

这些示例只是我的实际数据的一个代理,这是两个实验,其中 10000 人以 [0,10] 的比例对一部电影进行评分,而在其他情况下,10000 人以 [0,100] 的比例对同一部电影进行评分。除了规模之外,我还想检查一下分布是否相同。

3个回答

一种选择是仍使用 KS 检验统计量,但不使用 KS 检验中的标准 p 值(正如您所说,在从数据估计时不合适),而是使用置换检验计算 p 值。基本步骤是:

按原样计算数据的 KS 检验统计量(除以估计值)。

现在组合 2 个数据集(已经划分)并将它们随机分成 10,000 个(或任何原始样本大小)的 2 组,并计算这些新“样本”的 KS 测试。

重复上述多次(999 或 9,999)。

p 值是与原始检验统计量一样极端或更极端的检验统计量的比例。

在任何层面上我都无法理解这个问题。关于整数值的细节非常重要!

  1. 似乎正在使用随机数生成器来生成具有不同范围的统一整数(否则您怎么知道您的分布是统一的?)。当您从 [0, 10] 上的分布中采样时,有 11 个可能的值,并且分布的平均值必然为5。这不是您从样本数据中估计平均值的情况;你知道的意思。类似地,[0, 100] 上的分布有 101 个可能的值,并且这种分布的平均值是 50。扩展这一点,关于位置、尺度和形状参数以及 Kolmogorov-Smirnov 检验的通常一般建议是无关紧要的,因为均匀分布唯一地定义了分布。

  2. 如果您按每个分布的平均值进行缩放,那么在一种情况下可能的值是 0, 0.2, ..., 1.8, 2 和 0, 0.02, ..., 1.98, 2 原则上不完全相同的分布. 如果样本量足够大,Kolmogorov-Smirnov 检验可能会检测到这一点,但问题是 KS 检验无法判断任何差异的哪一部分是 (a) 抽样变化 (b) 分布域的差异 (c ) 别的东西。

  3. 如果您使用随机数生成器,那么您的问题(除了不同域的问题)归结为生成器是否好用,您将需要更好的不同测试来发现任何受人尊敬的统计软件的随机数生成器中的缺陷。

  4. 您可能只有关于 0, 1, ..., 9, 10 和 0, 1, ..., 99, 100 的数据,并且您的假设是两个分布都是均匀的,在这种情况下,问题 #2 仍然存在。我仍然认为方法是假设的一部分,不需要从数据中估计。

个人的偏见是,Kolmogorov-Smirnov 测试无论如何都被高估了。如果它揭示了问题,您需要其他方法来找出问题所在。对于 10,000 个数据点,重要的差异将分别显示在两个分布的分位数-分位数图和/或每个分位数图上。或者,直方图应该明显是平坦的,这很容易尝试。

KS 测试在离散分布上的效果如何也是一个关键问题。其他人会更深入地研究文献和理论,但我的直觉是离散并没有帮助。

像Wilcoxon-Mann-Whitney这样的无分布测试可能是基于排名而非价值的测试。在您的示例中,将所有值相乘Data1不会改变它们各自的内部等级,但现在它们将与Data2. 因此,MWW 测试可以让您深入了解“重新调整”Data1是否与Data2. 当然, 中会有“簇” Data1,可能没有Data2,在这种情况下,您可能需要考虑某种类型的内核平滑。