构架神经网络的第一步：确定激活函数
神经网络的表现形式及输出：
每一个神经元相当于进行了一次逻辑回归计算，涉及下图右边两步的计算，输入层没有计算。
单个样例：
多个样本：将样本按照列排列方式写入矩阵中
激活函数：
建立神经网络想要确定隐藏层需要使用什么激活函数，以及神经网络的输出单位是什么。
不同激活函数
随机初始化参数：
在神经网络中，所有的权重参数初始化为0，两个隐藏层功能相同，但是参数b并不会影响
为了不同隐藏层具有不同的功能，随机化初始参数（0.01为了避免斜率绝对值小，下降速度慢的问题），避免对称问题（失效问题）
深度神经网络：
各个参数的规格：
正确的矩阵维数
为什么使用深层神经网络：
对于人脸识别：
神经网络的第一层试图找出图片的边缘，通过将像素分组，形成边缘的方法，第二层网络可以取消检测边缘，将边缘组合在一起，形成面部的一部分，开始检测面部的不同部位：眼睛。第三层网络将不同部位组合在一起，可以尝试识别和检测不同了类型的面部。
可以将神经网络的浅层看作简单的检测函数：检测边缘，在神经网络的后一层将他们组合在一起，以便可以学习更多等复杂的功能。
对于语音识别，第一层神经网络可以学习到语言发音的一些音调，后面更深层次的网络可以检测到基本的音素，再到单词信息，逐渐加深可以学到短语、句子。
超参数和参数：
参数：期望模型学到的，如w,b
超参数：控制参数的输出，如：学习速率、迭代次数、隐藏层层数、每一层神经元的数目、激活函数，在某种程度上决定了期望学习到的参数的输出结果
目前超参数的确定依赖于不断的试错。
