从反向传播过程看激活函数与权重初始化的选择对深度神经网络稳定性的影响

之前使用深度学习时一直对各种激活函数和权重初始化策略信手拈用，然而不能只知其表不知其里。若想深入理解为何选择某种激活函数和权重初始化方法卓有成效还是得回归本源，本文就从反向传播的计算过程来按图索骥。

为了更好地演示深度学习中的前向传播和反向传播，有必要图文结合，先按下面这个计算图造些数据。

这是一个输入只有单个样本、包含两个特征，两个隐藏层、分别带有2个神经元，以及一个输出的三层全连接神经网络。

输入和权重

输入 $Input$ (每行表示一个样本，每列表示一个特征)

$X=[x_1,x_2]=[1,-1]$

标签 $y=[1]$

权重 $W$ (每列对应一个神经元，行数等于样本特征数)

$$\begin{array}{rl}{W}_1& =\left[\begin{array}{cc}{w}_1& w_3\\ w_2& w_4\end{array}\right]\\ & =\left[\begin{array}{cc}1& -1\\ -2& 1\end{array}\right]\end{array}$$

$$\begin{array}{rl}{W}_2& =\left[\begin{array}{cc}{w}_5& w_7\\ w_6& w_8\end{array}\right]\\ & =\left[\begin{array}{cc}2& -2\\ -1& -1\end{array}\right]\end{array}$$

$$\begin{array}{rl}{W}_3& =\left[\begin{array}{cc}{w}_9& w_{11}\\ w_{10}& w_{12}\end{array}\right]\\ & =\left[\begin{array}{cc}3& -1\\ -1& 4\end{array}\right]\end{array}$$

偏置 $b$ (长度等于神经元数量)

$b_1=[b_{11},b_{12}]=[1,0]$

$b_2=[b_{21},b_{22}]=[0,0]$

$b_3=[-2]$

前向传播过程

前向传播就是从输入经隐藏层到输出层的计算过程。

从输入到第一个隐藏层的计算

$z_1=w_1\cdot x_1+w_2\cdot x_2+b_{11}=4$

$z_2=w_3\cdot x_1+w_4\cdot x_2+b_{12}=-2$

$a_{11}=\sigma (z_1)=0.9820$

$a_{12}=\sigma (z_2)=0.1192$

其中，$\sigma =sigmoid=\frac{1}{1+e^{-x}}$ ，其导数为 ${\sigma }^{\prime }=sigmoid\ast (1-sigmoid)=\frac{1}{1+e^{-x}}-\frac{1}{(1+e^{-x}{)}^2}$

隐藏层 $H_1=[a_{11},a_{12}]$ ，作为第二个隐藏层的输入。

从第一个隐藏层到第二个隐藏层的计算

$z_3=w_5\cdot a_{11}+w_6\cdot a_{12}+b_{21}=1.8448$

$z_4=w_7\cdot a_{11}+w_8\cdot a_{12}+b_{22}=-2.0832$

$a_{21}$