我想量化 xgboost 模型的超参数搜索的计算成本。一种方法是使用为训练选择的一种特定超参数配置来测量训练时间,并将其用作计算成本的代理。我们是否可以根据选择的超参数的值来量化基于该模型的超参数的计算成本,例如基于最大深度、估计器数量、最小子体重、伽马等的分析表达式,或者您能否建议一些其他方法来量化此计算成本? 我想测量为在同一组数据上训练而选择的每个特定超参数,模型性能和计算成本是多少!
如何量化 xgboost 模型训练的“计算成本”?
数据挖掘
机器学习
xgboost
超参数调整
2022-02-16 06:42:28
1个回答
如果您手头有时间,您可以简单地测量网格搜索中所有超参数值组合所花费的时间,最好是重复。任何理论分析表达式都不太可能为预测计算成本提供足够的准确性,因为有太多因素会影响计算时间。
如果你愿意,你甚至可以建立一个回归模型来预测新的超参数组合的计算成本。