假设我有两个数据集，和. 我想以统计学上显着的方式测试这两个数据集是否不同。
为了计算 F 检验，我取每个数据集的方差之比，并根据某个显着性水平将其与 F 值进行比较（例如) 和自由度数。如果我计算的 F 值超出，则拒绝原假设（即两个数据集在统计上显着不同）。
为了计算 KS 测试，我找到每个数据集的 ECDF，并找到 ECDF 之间的最大垂直距离来计算 D 统计量。与 F 检验类似，如果 D 统计量大于某个临界值，则拒绝原假设（即两个数据集在统计上显着不同）。
我的直觉是测试通常应该给出相似的结果。如果某件事在统计上显着，那么这两个测试都应该在统计上显着，不是吗？也许这种直觉是错误的。但是，至少，我认为 KS 测试比 F 测试更敏感。因此，如果 F 检验拒绝原假设，那么我肯定认为KS 检验也会拒绝原假设。
但我发现很多情况并非如此。我有一些例子，其中 F 检验导致拒绝原假设，而 KS 检验则没有！
任何解释为什么可以这样做都值得赞赏。
F 检验专门检查方差的差异，不需要对平均值等其他差异敏感。KS 必须对各种分布差异敏感，无论这种差异是均值、方差还是多模态。
将 F 检验视为专家，它非常擅长发现方差差异，但可能会遗漏其他差异。如果您只想检查方差差异，请使用专门研究方差差异的测试。如果您的问题更广泛，如果人群之间存在任何差异，那么 KS 将是更合适的测试。KS 的一个缺点是它不会告诉您差异是什么，而 F 检验会发出方差差异的信号（因为 t 检验会发出均值差异的信号）。
你是对的，如果你的人口有不同的方差并且 F 发现 KS 错过了它，那是 KS 的 II 型错误。
Significance testing consists of defining a rejection region, and rejecting if the data is in that region. The size of the region is its value. If two different regions are different shapes, then even if one is smaller than the other, there can be places that are inside the smaller one but not in the larger one.
Dave’s answer explains that KS tests many different attributes, such as mean, variance, and multimodality. Suppose we restrict our attention to just mean and variance. We can then represent the sample on a two-dimensional plot, with one, say, differences in mean being the horizontal dimension and difference in variance being vertical:
The -test 的拒绝区域（蓝色）是该空间中的两条水平带：如果方差差异过大或过负，则拒绝零。KS 测试的拒绝区域（绿色）是（经过一些简化）一个环：在任何方向上离原点太远的任何东西都将被拒绝。我们可以（再次，通过一些简化）认为每个都有一个“半径”，并且该半径之外的任何内容都会导致 null 被拒绝。但对于-test，只有垂直距离- 轴被考虑，而与原点的距离被考虑用于 KS 测试。
如果两者相同，那么由于 KS 考虑两个维度，因此它的半径必须更大。因此，如果您的样本的均值差异很小，而方差差异略大于-test’s “radius”, then it will be within the KS radius.