1 什么是BatchNormalization?

（1）Batch Normalization 于2015年由 Google 提出数据归一化方法，往往用在深度神经网络中激活层之前。

（2）其规范化针对单个神经元进行，利用网络训练时一个 mini-batch 的数据来计算该神经元的均值和方差,因而称为 Batch Normalization。

（3）BatchNormalization层在每个batch上将前一层的激活值重新规范化，即使得其输出数据的均值接近0，其标准差接近1

（4）是Normalization 方法中的一种，其他方法有
Layer Normalization —— 横向规范化
Weight Normalization —— 参数规范化

2 作用

（1）将输入神经网络的数据先对其做平移和伸缩变换，将数据分布规范化成在固定区间范围的标准分布

（2）可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失

（3）并且起到一定的正则化作用，几乎代替了Dropout。控制过拟合，可以少用或不用Dropout和正则

（4）降低网络对初始化权重不敏感

（5）允许使用较大的学习率

3 使用

在调用keras.layers.BatchNormalization 时，我们几乎不需要设定任何参数，只需要输入数据就好。

from tensorflow.python.keras.layers import *

input_bits = Input(shape=(256 ,))
temp = BatchNormalization()(input_bits)