采用贪心策略，每次只调节一个参数，固定其他参数，按次依次更新所有要调节的参数。

即通过网格搜索进行调整，该方法只是穷举参数组合，参数一多直接爆炸。

随机抓取超参数组合进行训练，一般要比网格搜索效果好。

首先算法会先取几个点（参数组合）作为开始， 之后根据先验，估计其他所有超参数组合的均值和方差， 均值代表该点的期望，方差表示估计的可信度。 然后就是据此根据一定策略选择下一个点进行测试，这样我们就得到一个 新的参数组合的实际效果，之后像这样不断迭代优化。

以下为只调节一个超参数（随机森林中树的数量）的情况演示， 黑色线为实际的模型表现，是未知的，其中的圆点是我们已经测试过的组合， 紫**域代表了均值和方差。