我正在使用一些分段线性回归模型，我想将它们的预测与多个（加权）线性回归模型产生的预测进行比较。两种模型都描述了相同的物理系统，但自变量的参数化非常不同。两种不同的参数化使得自变量的平均值相差很大——也就是说，在第一个参数化下，将称为自变量，将称为 ind。瓦尔斯。在第二个参数化下。一般来说，我有。这（反过来）意味着模型系数可能非常不同。
此外，有时分段线性回归可能有一个斜率 = 0 且截距 = 0 的段，这似乎会导致像 CVRMSE 这样的统计数据出现问题。
我认为比较这两个模型的最好方法是只使用一个训练集和一个测试集，但是，我不确定我应该计算出什么样的统计数据（从算法上）说“这个更好”。有没有更好的方法先验地区分这两种模型？
由于两个模型不是嵌套的（即一个模型的自变量不是另一个模型的自变量的子集），因此不能使用最大似然检验。但是，您可以考虑 AIC（Akaike 信息标准）或其变体之一。如果您有模型的可能性，我们称它们为和，您可以轻松计算模型的 AIC
其中是第一个模型中可估计参数的数量。现在，单个 AIC 值没有提供信息，或者更确切地说，它只是相对于替代模型的信息。因此，当您有多个模型时，通常会计算模型的 AIC 相对于具有最小 AIC 的模型的 AIC 的差异：
现在，您将没有统计测试来比较这些值。这是信息论方法，与 Neyman-Pearson 假设检验框架不同，两者不应混为一谈（Anderson 2001）。但是，对于人们认为“显着”的增量的大小有一些经验法则（但在该词的一般含义中，而不是在“统计上显着”中）。在“模型选择和多模型推理”中，Burnham 和 Anderson 给出了下表：
Delta_i Level of empirical support of model i
0-2 Substantial
4-7 Considerably less
> 10 Essentially none
也就是说，如果您的两个模型的 AIC 差异为 4-7，您可以假设其中一个模型比另一个模型“明显”得到更好的证据支持。事实上，作者指出
似乎最好不要将重要或拒绝的词与信息论范式下的结果联系起来。关于集合中模型的证据强度的问题最好使用证据比率以及残差分析、调整后的和其他模型诊断或描述性统计来解决。
AIC 的变体包括（或 c-AIC）和 QAIC（适用于过度分散的计数数据）。
当然，还有其他选择，可以让您实际进行假设检验。例如看这个问题。
您可能会对查看Vuong 的测试和随后的文献感兴趣。