MSE 显着性测试：

如果您的样本足够大以应用中心极限定理（例如，大于 30），您可以测试显着不同的 MSE。

您想要测试两个样本的均值是否显着不同，在这种情况下，样本是来自健康和阿尔茨海默病组的平方误差。这成为假设检验的标准案例。要测试真正的差异是否为零，假设：

$MSE_1 - MSE_2 \sim N(0, \frac{s_1^2}{N_1} + \frac{s_2^2}{N_2})$

这与教科书*案例相同：

$\overline X_1 - \overline X_2 \sim N(0, \frac{s_1^2}{N_1} + \frac{s_2^2}{N_2})$

其中 s ₁是第一组平方误差的样本标准差，N ₁是第一组的样本量，依此类推。从那里你可以找到单边 p 值

$Pvalue = P(Z \le \frac{MSE_1 - MSE_2}{\sqrt{\frac{s_1^2}{N_1} + \frac{s_2^2}{N_2}}})$

另一种简单的方法是运行平方误差的 2 个样本 t 检验，它应该提供几乎相同的结果。

*假设您的教科书是Devore 和 Berk 的Modern Mathematical Statistics with Applications, Second Edition，尤其是第 490-491 页

替代选项 - 检验回归系数的显着性：

在您的回归中，您可以为阿尔茨海默氏症添加一个虚拟变量，并使用估计系数的标准误差来测试它是否与零显着不同。或者，如果您认为年龄和阿尔茨海默氏症相互作用，请添加一个年龄*阿尔茨海默氏症相互作用变量并测试该系数的显着性。

听起来像是一个有趣的设置。

只是为了重新陈述你的计划，你正在创建两个人群——健康人群和阿尔茨海默氏症人群。你们十个计划只对健康组使用 5 折交叉验证方法。然后，您计划将模型拟合到折叠的训练部分，最后比较应用于折叠测试部分的误差与阿尔茨海默氏症。

如果这是正确的，我认为最简单的方法是训练你的 5 个模型，将它们应用于各自的测试集以及阿尔茨海默氏症池。至少最初我会按倍数来比较人群之间的比较。如果结果是一致的，我认为你的状态很好。否则，您可能会对您训练的各种模型的系数进行比较。

如果您的结果非常奇怪，我只会跟进倒数第二段。