数据科学家和建模专业人士关心模型的稳定性是很正常的。这基本上意味着，如果一个变量在今天很重要，它就不能随着时间的推移而改变其重要性，因为这种不稳定性将证明模型的弱点。
很难说稳定性是好的。但是在信用建模领域（例如，产生信用评分），人们被稳定性破解了，以至于更喜欢歧视较少的模型而不是更稳定的模型。
我的问题是稳定性的真正效用是什么，以及用模型的歧视性指标（KS、Gini、AUC 等）进行权衡的正确方法是什么。
我猜测（个人猜测）稳定性以某种方式将模型与不太理想的指标联系起来，因为它不允许行为随时间变化。如果它们没有真正改变，就不会有问题，但如果变量的影响随着时间的推移而改变，通常会假设这反映在稳定性较低的情况下，分析师通过放置更简单的模型或删除变量。
我认为这里可能会有些混淆：通常所说的稳定模型是指在对训练数据或测试数据的不同子集进行采样时性能没有变化（或不显着）的模型。换句话说，如果机会不影响其性能，则模型是稳定的. 通常可以使用交叉验证来评估模型的稳定性：如果不同拆分之间的方差很大，则模型是不稳定的。不稳定通常是过度拟合的标志，因此即使看起来表现良好，也应该对不稳定的模型非常谨慎：风险是模型可能会偶然在测试集上获得良好的性能，这意味着它实际上会执行在新数据上表现不佳，但无法检测到问题。这就是为什么人们可能会在某些应用程序中偏爱稳定模型而不是高性能，因为在生产中部署不稳定模型的后果是代价高昂的。
但是您所说的不是一般的模型稳定性，而是基于时间的数据在时间上的性能稳定性。这是一个完全不同的问题，它是关于模型是否可以准确地表示时间变化。有许多类型的模型可以做到这一点，但是当然模型越复杂，它需要的数据越多，过度拟合的风险就越高。