假设一个连续的因变量$Y$. 然后，$\hat{Y}$是基于机器学习的模型使用一组自变量做出的预测$X$.

然而，在这种情况下，众所周知$Y$不是此变量的最佳可能值。那是，$Y$实际上是总和$Y^{true}$和$\epsilon$. $Y^{true}$是任何人都不知道的变量的隐藏真实值。$\epsilon$不遵循已知的分布或模式。

在这种情况下，任何错误度量$f(Y, \hat{Y}$) 不受信任。原则上，相信人类专家可以判断预测的质量$\hat{Y}$通过检查的值$X$. 但是，有很多方法可以使偏见潜入此评估，并且可能难以量化预测质量。

是否有既定的方法（即专家数量、遵循的程序、预测质量的判断标准、如何解释相互冲突的专家意见等）来评估此类预测的质量？

如果它易于理解或回答，则可以假定数据和问题位于业务领域中。