使用scipy.optimize.fmin可以轻松地在采样点上评估您的模型或滚动您自己的优化程序。这是有多少模型起作用的基础，因此值得详细了解。例如，参见这些讲义。

不过，这可能不是您想要的。这$r^2$您交叉验证的是输入空间的分布。这$\operatorname*{arg\,max}_x f(x)$随机森林将评估的可能处于低置信度邻域，远离训练数据的支持。

您需要一个生成置信区间的模型。在 Scikit-Learn 中，GaussianProcess 和 GradientBoostingRegressor 都这样做。如果您没有超过一千个训练观察值，高斯过程非常适合这个问题。

如果您在咨询您的模型后可以收集更多数据，那么您可以在$\arg\max$置信上限，将结果添加为新数据点并重复直到没有变化。

这个问题被称为上下文强盗。置信区间的选择取决于探索直到收敛/利用您想要的间歇值。由于您不关心模型在训练时的表现有多差，因此您会选择一个较大的置信上限，以便模型更快地收敛。

有几个相关的工具包可以解决这类问题。留兰香、Hyperopt和教育部。

如果您无法收集更多数据，那么您应该采取$\arg\max$模型的置信下限。这会惩罚模型不确定的预测。