非常概念性的问题:
我有一个运行良好的 TensorFlow 模型。我已经隔离了大约 70 个特征价值的数据,在训练时,我的验证准确率保持在 32% 左右,而我的训练准确率高达 89%!然而,当我只使用这 70 个特征中的 24 个时,我得到了 38% 的验证准确率和 53% 的训练准确率。我正在使用正则化、严重辍学和提前停止。
这是一个很好的问题吗?我应该在提升过拟合参数的同时保留 70 个特征吗?我该怎么办?也许继续只使用 24 个最佳功能是个好主意?
通常可以通过丢弃某些功能来摆脱它们吗?绝对是对我的特征的一些情感依恋,但是对于 ML 过程来说,简单地丢弃这些特征而不是使用它们来获得更高的准确性是否很常见?