更清楚地了解您要解决的问题类型将非常有用。

• 无论如何，我建议的第一件事是请检查您的功能并尝试了解与响应的关系。所有基于树的方法都非常容易过度拟合，因此它们不能很好地泛化。如果您得出的结论是某些变量显示出线性关系，而另一些显示出非线性关系，那么您最好使用线性方法，例如 LogisticRegression 或 LinearDiscriminantClassifier（如果您的特征表明它们是从正态分布中采样的） . 显然，如果您确定某些特征高度相关并且不提供预测值，则可以使用 PCA 或正则化方法。

• 其次，如果您已经完成了上述所有操作，那么您可能已经完成了特征选择步骤。下一个方法是特征创建。查看某些变量是否本质上是非线性的。然后尝试添加更高次的多项式项。尝试诊断特征之间的交互效果，尝试为这些交互包含特征。如果有任何您认为对问题多余的功能。再想想。看看您是否可以从中提取任何信息。

请在此处标记问题的链接。

这个问题有两个步骤：特征选择/降维和选择预测模型。选择模型中使用的“最佳”特征通常会提高准确性，并且您可以使用很多方法。

• 在处理连续数据时，可以使用Lasso或ElasticNet等正则化方法为模型选择最佳特征。这些都在 sklearn 中可用，但它们确实需要一些参数调整才能找到正确的超参数以获得最佳结果。
• 您还可以查看sklearn.feature_selection。这些是选择特征的更多统计方法，通常基于它们的 p 值。这也仅适用于连续数据。
• 另一种方法是从决策树模型（例如 RandomForest）计算基尼重要性。当您拥有连续和分类数据时，这很有用。 这是一个例子。

选择最佳特征后，您需要选择正确的二元分类模型。在这种情况下，首选模型是逻辑回归。sklearn.linear_model.LogisticRegression 中有多个超参数，为了获得最佳结果，您可能必须执行一些网格搜索才能找到正确的参数。

以下是一些可能有用的额外资源：

• http://blog.nycdatascience.com/student-works/bnp-claims/
• http://blog.kaggle.com/2016/07/21/approaching-almost-any-machine-learning-problem-abhishek-thakur/
• http://insidebigdata.com/2014/10/22/ask-data-scientist-bias-vs-variance-tradeoff/

我添加了最后一个链接，讨论了偏差与方差的权衡，因为我认为在测试模型时理解这一点很重要。