Batch Normalization 的作用

Batch Normalization（批归一化）是深度学习中常用的一种技术，用于加速神经网络的训练过程，并提高模型的稳定性和性能。其主要作用包括：

1. 加速训练：

   • 通过减少内部协变量偏移（Internal Covariate Shift），即每层输入分布的变化，Batch Normalization 可以使网络更快地收敛。

   • 归一化操作使得每一层的输入分布更加稳定，从而减少了梯度消失和梯度爆炸的问题。

2. 提高模型性能：

   • 归一化后的输入数据具有更稳定的分布，有助于模型更好地学习特征。

   • 可以在一定程度上减少过拟合，特别是在小数据集上。

3. 允许使用更高的学习率：

   • 由于归一化操作使得梯度更加稳定，可以使用更高的学习率进行训练，从而加快训练速度。

4. 简化超参数调优：

   • Batch Normalization 可以减少对其他超参数（如权重衰减、学习率等）的敏感性，简化了模型的调优过程。

数学表示

假设 x 是某一层的输入，Batch Normalization 的步骤如下：

数学表示

假设 x 是某一层的输入，Batch Normalization 的步骤如下：

1. 计算均值和方差：

   μB=1m∑i=1mxi

   σB2=1m∑i=1m(xi−μB)2

   其中，m 是批量大小，xi 是批量中的第 i 个样本。

2. 归一化：

   x^i=xi−μBσB2+ϵ

   其中，ϵ 是一个很小的常数，用于防止除零错误。

3. 缩放和平移：

   yi=γx^i+β

   其中，γ 和 β 是可学习的参数，用于恢复归一化后可能丢失的信息。