激活函数(Activation functions)

1.Sigmoid函数

Sigmoid激活函数

这是Sigmoid激活函数，除非用在二元分类的输出层，不然绝对不要用！如果是要完成二元分类，那么Sigmoid函数很适合作为输出层的激活函数，其余层都使用ReLU函数。在输出层，如果我们需要输出的数据介于0至1而不是-1至1，相比tanh函数，则选择Sigmoid函数更好。

2.tanh函数

tanh函数图像

tanh函数的表现在各种场合几乎总是比Sigmoid函数要好。使得输入数据的平均值接近0，更有益于神经网络吸收。

tanh和Sigmoid函数都有的缺点是，在输入数据非常大或者非常小时，其函数的斜率趋近于0，从而使得梯度下降算法进行的很慢

3.ReLU函数

ReLU函数图像

ReLU已经成为选择激活函数的默认选择，如果不确定隐层使用哪个激活函数，那么就用ReLU

由于ReLU的斜率为1，因此如果采用ReLU，我们神经网络的学习速度会比其他激活函数快得多

ReLU的一个缺点是当输出小于0时，其导数为0，不过在实际使用中，有足够多的隐藏单元，使得输入大于0，因此没有什么影响

4.Leaky ReLU

Leaky ReLU函数图像

对ReLU的改进就是提出了Leaky ReLU，Leaky ReLU在输入小于0时，依然有一个斜率，尽管很缓，他的表现通常比ReLU要好，不过使用的频率并不高