目前,我正在寻找可能性,以证明经过训练的神经网络(基于回归任务)基于测试集指标的陈述在整个样本空间上表现良好。换句话说,假设样本空间是有限的,我想确保没有样本或样本区域存在网络性能不佳的情况。
是否有任何完善的方法来解决这个问题?
目前,我正在寻找可能性,以证明经过训练的神经网络(基于回归任务)基于测试集指标的陈述在整个样本空间上表现良好。换句话说,假设样本空间是有限的,我想确保没有样本或样本区域存在网络性能不佳的情况。
是否有任何完善的方法来解决这个问题?
只有通过检查整个样本空间才能获得关于对抗样本存在的确定性和确定性答案,您说这是有限的,因此是可行的,但计算成本可能太高。
我建议在整个空间上生成一个样本网格,以获得一个具有一定代表性的子空间并在其上评估模型。正如您所建议的,根据我猜的子空间的大小,其中的正态错误分布会给您或多或少可靠的关于未来模型错误的概率陈述。
但是,我也很好奇是否有更好的方法来评估模型的可靠性。
检查神经网络是否表现良好的最简单方法是通过可解释的方法。
这个库:https ://github.com/datamllab/xdeep
将轻松显示您的神经网络正在查看的确切位置,几乎没有任何额外的计算能力或时间。该过程还需要很少的代码行!
有关更多详细信息,请查看可解释的 AI!
下面给出了鸟类的示例图像: