特征重要性和xgboost?

数据挖掘 xgboost 特征工程 lightgbm
2022-03-03 13:44:33

假设我得到了 xgclassifier 的特征重要性

sorted(zip(xgb.feature_importances_, X.columns), reverse=True)

[(0.10650729, 'modelMag_i'),
 (0.08187373, 'psfMag_g'),
 (0.070714064, 'modelVar'),
 (0.06747197, 'modelMag_z'),
 (0.061302684, 'fiberMag_g'),
 (0.05923392, 'fibVar'),
 (0.057112347, 'psfMag_u'),
 (0.05275245, 'psfMag_r'),
 (0.047756154, 'modelMag_g'),
 (0.046770878, 'psfMag_z'),
 (0.034744404, 'modelMag_r'),
 (0.034687676, 'psfMag_i'),
 (0.032622278, 'petroMag_i'),
 (0.028391415, 'modelMag_u'),
 (0.025683628, 'petroMag_r'),
 (0.024703711, 'petroMag_z'),
 (0.022656566, 'fiberMag_z'),
 (0.021865964, 'petroMag_g'),
 (0.01854887, 'fiberMag_r'),
 (0.018389946, 'fiberMag_u'),
 (0.01721868, 'modelMean'),
 (0.016091293, 'fiberMag_i'),
 (0.013110901, 'fibMean'),
 (0.011618578, 'modelSum'),
 (0.010491995, 'fiberID'),
 (0.008898865, 'fibSum'),
 (0.008779789, 'petroMag_u')]

删除最低功能是否会改善 xgboost 或 lgb 分类器?或 xgboost 或 lgb 与功能重要性无关

1个回答

没有确定的答案,只有反复试验。虽然它应该有所帮助。

让我详细说明。特征重要性显示了特征对模型质量的影响:使用该特征进行拆分的次数或从该特征上拆分获得的收益。特征越好,重要性越高。但是由于与其他功能的交互,某些功能可能很重要。此外,如果某些特征在它们之间具有高度相关性,则可以在它们之间分割重要性值。一般来说,删除低重要性特征应该对度量产生很小的影响。它可以是积极的或消极的。试试看:)