深度残差收缩神经网络

深度残差收缩神经网络由“残差网络”和“收缩”两部分所组成的。

“收缩”是“软阈值化”，它是很多信号降噪算法的关键步骤。在深度残差收缩网络中，软阈值化所需要的阈值，实质上是借助注意力机制设置的。

• 残差网络是CNN,同时采用了跨层恒等连接。
• 软阈值化：是一种非线性变换，许多信号降噪方法的核心步骤。它的用处是将绝对值低于某个阈值的特征置为零，将其他的特征也朝着零进行调整，也就是“收缩”。与ReLU激活函数非常相似的性质：梯度要么是0，要么是1。可以作为激活函数。
• 注意力机制：将注意力集中于局部关键信息

1. 通过扫描全局信息，发现局部有用信息；
2. 增强有用信息并抑制冗余信息。

深度残差收缩网络：

实际数据存在冗余，利用软阈值化消除冗余信息，由于每个样本冗余不同，利用注意力机制自适应地给各个样本设置不同的阈值。

基本模块                                                                    整体网络

恒等映射：恒等函数，对任何元素，象于原象相同的映射。

何凯明2016年ResNet的论文表明：恒等捷径连接和恒等映射-加法后的激活对信息传播的流畅度至关重要。

随着网络的深入而导致梯度小时，浅层的参数无法更新。（由反向传播递推式可知，小数的累乘次数会越来越多）
当网络达到一定深度后，模型性能会暂时陷入一个瓶颈很难增加，当网络继续加深，模型在测试集的性能会下降，这就是网络退化。

过拟合是过多的拟合了训练集，因此在训练集上效果好，而在测试集上效果差

参考：

残差网络？收缩？深度残差收缩网络看这篇就够了-CSDN博客

ResNet之残差结构的理解_resnet残差结构-CSDN博客