重点介绍一下Xavier和Kaiming初始化：
Xavier
为了使得网络中信息更好的流动，每一层输出的方差应该尽量相等。
正态分布参数初始化
N ( 0 , 2 n in + n out ) \mathcal{N}\left(0, \frac{2}{n_{\text {in }}+n_{\text {out }}}\right) N(0,nin +nout 2)
均匀分布参数初始化
U ( − 6 n in + n out , 6 n in + n out ) \mathcal{U}\left(-\sqrt{\frac{6}{n_{\text {in }}+n_{\text {out }}}}, \sqrt{\frac{6}{n_{\text {in }}+n_{\text {out }}}}\right) U(−nin +nout 6,nin +nout 6)
Kaiming
Xavier初始化的问题在于，它只适用于线性激活函数，但实际上，对于深层神经网络来说，线性激活函数是没有价值，神经网络需要非线性激活函数(例如ReLU)来构建复杂网络。
前向传播时每层的方差都是1
反向传播时梯度的方差都是1
正态分布参数初始化
N ( 0 , 2 n in ) \mathcal{N}\left(0, \frac{2}{n_{\text {in }}}\right) N(0,nin 2)
均匀分布参数初始化
U ( − 6 n in , 6 n in ) \mathcal{U}\left(-\sqrt{\frac{6}{n_{\text {in }}}}, \sqrt{\frac{6}{n_{\text {in }}}}\right) U(−nin 6,nin 6)
n i n n_{in} nin表示每层输入的神经元数量
参考
- ChatGPT: 什么是xavier和kaiming初始化，给出公式和详细解释
- Xavier参数初始化方法和Kaiming参数初始化方法详细介绍及其原理详解
