阅读这篇文章：

Murdock, D, Tsai, Y, and Adcock, J (2008) _P-Values are Random
 Variables_. The American Statistician. (62) 242-245.

它谈到了这样一个事实，即如果原假设为真，则 p 值是一个统一的随机变量。这意味着您很可能会看到 0.09、0.06、0.01 或 0.99 的 p 值。（当 null 以测试旨在检测的方式为假时，则 p 值是一个随机变量，其值更接近 0 更常见）。

这是一个添加的示例（在 R 中）：

> out1 <- replicate(1000, ks.test(rt(100, 10), pnorm)$p.value )
> out2 <- replicate(1000, ks.test(rt(100, 50), pnorm)$p.value )
> 
> mean(out1 < out2)
[1] 0.522

该模拟数据来自 10 df 分布和 50 自由度分布，并对每个模拟数据集进行 ks 检验并获得 p 值。然后它查看每一对并查看 10df 的 p 值小于 50df 的 p 值的频率（50df 应该比 10df“更正常”）。但模拟的正确率只有 52.2%，只比掷硬币略好。我不想在这样的事情上做出任何重要的决定。

现在，如果您将非常不正常的事物与接近正常的事物进行比较，那么 p 值可能会显示这一点，但是简单的直方图或 qqplot 也会使这一点变得明显。

一般来说，p 值越低，您对原假设的信任就越少（事实上，p 值​​是如果原假设为真，那么检验统计量如此极端（或更多）的机会，如将获得从您的样品中获得的一种）。

因此，可以合理地说，p 值越低，您就越有信心找到更有可能给出这种极端统计数据的替代方案。由于我们通常旨在“证明”原假设（例如，表明回归中的系数不为零），因此我们通常说较低的 p 值意味着更好的结果。

对于 KS 检验，情况有点不同：实际上，在这里，我们通常希望原假设为真。这就是问题所在：“最好”我们可以说有压倒性的证据表明原假设不正确（当 p 值非常低时），或者我们使用的测试没有提供反对原假设的证据（例如如果您发现 p 值为 0.5）。不幸的是，没有什么可以说没有替代方案（对于 KS，它可能是例如 T 分布而不是正常分布）可以提供更好的结果！

以这种方式，将较高的 p 值称为“更好的结果”并不是一个好主意。最多你可以说有“更少的证据反对”它的零假设。

如果有一些合理的理由应用 5% 的硬阈值（实际上这通常是相当随意的），那么无论如何都没关系，就像你指出的那样。

较小的 p 值表示反对零假设的更有力的证据，但可能不是第一个分布比第二个分布“更好或更正态”。相反，它可能不太容易与正态分布区分开来。

请注意，在 0.06 或 0.09 的 p 值中反对零假设的证据数量非常少。但是，如果您的样本很小，那么 KS 测试提供证据的能力也很小。