建立模型后，我们要检查其性能，我做了以下
- 在训练集上预测它。
- 在训练集上计算混淆矩阵和 ROC 曲线。
- 在测试集上预测
- 在测试集上计算混淆矩阵和 ROC 曲线。
我想知道这是一种正确的方法，可以做什么更精确？
我正在使用决策树随机森林 SVM 和线性径向朴素贝叶
逻辑回归和神经网络。他们都有不同的吗
性能指标
测试模型性能
数据挖掘
r
预测建模
表现
2022-02-13 18:53:41
1个回答
您应该提供有关您的问题的更多信息。你的数据集有多大？你有超参数吗？你的分类器是什么？
通常，您应该将整个数据集分成三个部分：训练集、验证集和测试集。在最终调整模型之前，您永远不应该使用的测试集。如果您的数据集不够大，您应该使用交叉验证方法来衡量分类器的误差。
有几个指标可以评估分类器的性能：准确度、精确度和召回率、科恩 kappa、F1 分数等。
如果您正在使用 python 和 scikit-learn，我建议您查看这本书。它写得很好，并解释了模型评估的基础知识。