背景：
Dropout 正则化减少了神经网络中的过度拟合，尤其是深度信念网络 ( srivastava14a )。它也有机会加速学习，因为个人学习迭代在模型的简化集上。
梯度提升树（如那些 xgboost 或 gbm）以出色的集成学习器而闻名，但存在过度拟合的问题。
问题：
在 GBM 学习中是否使用了 dropout 回归的类比？
“二次采样”或“随机梯度学习”是否与此相关 - 它是否算作 dropout 回归的一个版本？
我认为随机梯度学习是关于“随机禁用输入”而不是“随机禁用单个学习者”。
查看这篇论文：DART：Dropouts meet Multiple Additive Regression Trees (Arxiv PDF)。
他们对 dropout 的解释是：不是从所有先前树的残差中开发下一棵树，而是从先前树样本的残差中开发下一棵树。对模型的影响是相似的，因为单个组件被迫更加自给自足。他们观察到一些相当显着的收益。
正如 Soren 所指出的，colsample_bytree并且colsample_bylevel类似于输入层 dropout。
通过设置 DART 已经在 xgboost 中可用booster="dart"