超参搜索算法一般包括的要素（1）目标函数（2）搜索范围，上限和下限缺点（3）其他参数，如搜索步长。

1. 网格搜索

查找搜索范围内所有的点来确定最优值；实际应用中先用较大搜索范围和较大步长，寻找全局最优值可能位置；然后逐步缩小搜索范围和搜索步长，寻找更精确位置。

优点

简单
如果采用较大的搜索范围和较小步长，有很大概率找到全局最优值

缺点

耗时
目标函数非凸时，可能错过全局最优解

2. 随机搜索

不再测试上界和下界之间的所有值，而是在搜索范围中随机选取样本点。如果样本点集足够大，通过随机搜索也能大概率找到全局最优解或其近似。

优点

   更快

缺点

   可能错过全局最优解

3. 贝叶斯优化算法

对目标函数形状进行学习，找到使目标函数向全局最优值提升的参数。

优点

不同于前两种方法测试一个新点时会忽略前一个点的信息；贝叶斯优化算法充分利用之前的信息

缺点

容易陷入局部最优值