在将模型的预测输出与实际输出进行比较时,在交叉验证期间取 p 值的平均值是否有效?

机器算法验证 交叉验证 p 值 预言
2022-03-24 21:36:48

我正在进行交叉验证研究,在输入上训练模型以预测目标。

在训练期间,我的模型生成一个输出向量,保证与相应的训练目标向量大小相同。我可以使用或 RMS 误差等指标来量化这一点。R2

在测试期间,我的模型可以生成与输入大小不同的输出向量(但它们的数量级相同)。我想知道是否有任何方法可以量化模型输出和测试集目标之间的相似性。

到目前为止,我想出的是在模型输出分布与测试目标分布相同的零假设下比较分布我正在使用诸如 Kolmogorov–Smirnov 检验、Ansari-Bradley 检验或置换检验之类的东西。对于每个交叉验证折叠,有 1 个 p 值。报告 p 值的平均值来总结这一点是否有效?还是有更好的方法来做到这一点?

1个回答

如何使用Fisher 方法或 Stouffer 方法组合独立 p 值来拒绝全局零假设?在您的情况下,我认为全局零假设是训练和测试数据遵循相同的分布。欲了解更多信息,您可以访问以下页面

当组合 p 值时,为什么不只是平均呢?

组合多个 p 值