relu

在神经网络最后的输出层，通常会使用激活函数将最后一层神经元得到的数据再进行计算，最终得到一个输出的结果，这里称该函数为激活函数，比对输出表达式为，当最后一层输出元得到的数据大于0，则输出1，小于0则输出0，这种称为阶跃函数，常见的激活函数有阶跃函数，sigmoid，ReLU，tanh函数 函数比较简单，但是通常情况下，我们输入的数一般不会只是简单的一个数，一般是一个向量，将上面的函数使用numpy模块进行一下改造。 y=x>0 利用numpy的广播功能，将numpy数组依次和0进行对比，当大于0的时候返回True，否则返回False再将True和False转换为int的0和1 阶跃函数在行为上表现的过于激进，更多的情况下我们希望在神经网络中得到一种更为平滑的输出，由其在分类问题中，比如我们一共可能有5种输出结果，我们希望在最后的激活函数中得到这5种结果的概率，取概率最大的那种可能结果，这时我们就不希望用到上面这种过于激进的函数，我们可以使用sigmoid函数。 版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议

在神经网络的训练过程中，我们一般会将输入样本特征进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话，由于样本特征分布较散，可能会导致神经网络学习速度缓慢甚至难以学习。 上图中样本特征的分布为椭圆，当用梯度下降法进行优化学习时，其优化过程将会比较曲折，需要经过好久才能到达最优点