如果您的预测变量与结果无关，那么您应该无法构建在样本外有效的模型。这是机器学习的一个功能，而不是错误。例如，您是否考虑过我在早上设置闹钟的时间来预测您早餐是否吃麦片？

然而，特征可能与结果只有很小的关系，并且结合起来非常具有预测性。也许我的警报不会影响你的早餐选择，但有很多因素会影响，每个因素都可能无法预测结果，但综合考虑$3$或者$10$可能非常具有预测性。在极端情况下，考虑 MNIST 数字的单个像素。中间像素本身是否具有区分数字的能力？其他像素呢？每个单独的像素都不能很好地预测数字，但所有$784$结合导致强劲的表现。