在神经网络的训练过程中，我们一般会将输入样本特征进行归一化处理，使数据变为均值为0，标准差为1的分布或者范围在0~1的分布。因为当我们没有将数据进行归一化的话，由于样本特征分布较散，可能会导致神经网络学习速度缓慢甚至难以学习。
上图中样本特征的分布为椭圆，当用梯度下降法进行优化学习时，其优化过程将会比较曲折，需要经过好久才能到达最优点。
上图中样本特征的分布为比较正的圆，当用梯度下降法进行优化学习时，其有过的梯度方向将往比较正确的方向走，训练比较快就到达最优点。
但是我们以前在神经网络训练中，只是对输入层数据进行归一化处理，却没有在中间层进行归一化处理。要知道，虽然我们对输入数据进行了归一化处理，但是输入数据经过σ(WX+b)σ(WX+b)这样的矩阵乘法以及非线性运算之后，其数据分布很可能被改变，而随着深度网络的多层运算之后，数据分布的变化将越来越大。如果我们能在网络的中间也进行归一化处理，是否对网络的训练起到改进作用呢？答案是肯定的。
这种在神经网络中间层也进行归一化处理，使训练效果更好的方法，就是批归一化Batch Normalization（BN）。BN在神经网络训练中会有以下一些作用：
既然BN这么厉害，那么BN究竟是怎么样的呢？
BN可以作为神经网络的一层，放在激活函数（如Relu）之前。BN的算法流程如下图：
上述是BN训练时的过程，但是当在投入使用时，往往只是输入一个样本，没有所谓的均值μβμβ的无偏估计得到。
本课程旨在帮助学习者快速入门R语言： 课程系统详细地介绍了使用R语言进行数据处理的基本思路和方法。 课程能够帮助初学者快速入门数据处理。 课程通过大量的案例详细地介绍了如何使用R语言进行数据分析和处理 课程操作实际案例教学，通过编写代码演示R语言的基本使用方法和技巧
近年来深度学习捷报连连，声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法，将对于训练深度网络，简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化等，这些参数的选择对我们的训练至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的去调整学习率这些参数。就像什么激活函数层、卷积层、全连接层一样，
研读：Batch Normalization: Acceleration Deep Network Training by Reducing Internal Covariate Shift 1.批量正则化简要介绍 1.1 相关背景知识：深度学习 我们知道，神经网络是如图所示的结构，具有输入层、输出层以及中间的隐含层。种树最好的时间是10年前，其次是现在！