未经训练的网络提供 80% 的准确率

数据挖掘 机器学习 神经网络 深度学习
2022-03-05 06:21:14

我有一个两类分类问题,我的神经网络在训练之前的预测准确率为 80%。训练后,我的准确率为 75%。你能告诉我这是怎么可能的吗?

2个回答

如果您的类别不平衡大约为 4:1,那么始终预测更频繁类别的网络将具有 80% 的准确度。(这就是为什么仅准确率是一个不足的指标:对于二元分类,您应该使用 ROC 和 PRC 曲线。还有更全面的标量指标,例如 MCC)

假设您的正样本是频繁类。如果没有训练,随机网络可能总是输出正值(80% 的准确率)。在这种情况下,您只有真阳性和假阳性。训练后,网络可能也开始预测负数;那么除了真假阴性之外,您还将开始得到真假阳性,这可能会产生较低的准确性。

由于多种原因,您的模型可能比随机猜测更糟糕。其中一些可能是

  • 噪声数据:您的模型专注于数据集中的噪声,而不是具有预测价值的特征。可能值得检查您的数据集并寻找相关问题和类别不平衡
  • 提前停止/最佳模型:值得查看学习曲线并确保您存储了在训练期间表现最佳的模型的权重。
  • 数据集中没有价值:模型将产生不一定与标签相关的预测,尤其是在没有什么要学习的情况下。