深度学习基础知识总结

1.BatchNorm2d

加速收敛：Batch Normalization 可以使每层的输入保持较稳定的分布（接近标准正态分布），减少梯度更新时的震荡问题，从而加快模型训练速度。
减轻过拟合：批归一化引入了轻微的正则化效果，因为它依赖于 mini-batch 中的统计信息，这种方式可以减少对单个样本的过度拟合。
提高模型性能：在训练过程中，Batch Normalization 通过动态调整激活值的分布，让模型更容易适应数据，减少了对权重初始化的敏感性。

2. SELayer 是一种 通道注意力机制

旨在让模型学会“关注哪些通道重要”，从而获得更高的性能。
通常在卷积神经网络（CNN）中使用，增强特征表达能力。
例如，一张图片经过卷积后，每个通道可能代表某些特定的特征（比如颜色、边缘等），SELayer 会告诉网络“哪些通道更重要”。

3.卷积核和输出通道数的关系

在 2D 卷积 (nn.Conv2d) 中：输入通道数 (in_channels) 决定每个卷积核的深度。
输出通道数 (out_channels) 决定有多少个卷积核（即生成多少个输出通道）。
每个卷积核都会与所有输入通道进行卷积计算，然后汇总（例如通过加权求和的方式）生成一个对应的 输出通道。
 

4.激活函数：