一、模型权重
权重的作用：
权重是模型学习的关键组成部分。在神经网络中，权重表示连接不同神经元之间的强度，它们决定了输入特征对模型输出的贡献。通过训练过程，模型调整权重以最小化损失函数，使模型能够对输入数据进行有效映射。
权重的初始化：
权重的初始值对模型的性能有很大的影响。通常，在训练开始时，权重会被初始化为较小的随机值。常见的初始化方法包括零初始化、正态分布初始化、均匀分布初始化等。良好的权重初始化有助于加速模型的收敛并提高性能。
可解释性：
对于某些模型，权重的值可能提供一些关于模型的解释性信息。例如，在卷积神经网络（CNN）中，卷积核的权重可以显示模型学到的图像特征，这有助于理解网络在图像数据上的学习。
二、正则化技术
L1正则化：
L1正则化，也称Lasso正则化，是一种常用的正则化技术，用于控制模型的复杂度和防止过拟合。它的原理是通过在模型的损失函数上增加权重的L1范数（权重向量的绝对值之和）作为惩罚项，从而鼓励模型产生稀疏权重，即让一部分权重趋近于零，实现特征选择的效果。
L1正则化的损失函数：
其中， 是模型的数据损失，通常是模型的预测值与真实标签之间的误差，例如均方误差(MSE)或交叉熵损失(Cross-entropy loss)。
是正则化参数，用于控制正则化项的强度。
表示模型的权重的绝对值。
L2正则化：
L2正则化，也称为Ridge正则化。它通过向模型的损失函数添加一个权重参数的L2范数的惩罚项来实现。
L2正则化的损失函数：
其中， 是模型的数据损失，通常是模型的预测值与真实标签之间的误差
是正则化参数，用于控制正则化的强度
是权重向量w的L2范数的平方，表示为权重向量中各个参数的平方和。
使用L2正则化的损失函数时，优化算法在优化过程中会同时考虑数据损失和正则化项，从而在保持对训练数据的拟合能力的同时，尽可能减小模型参数的大小，降低模型的复杂度。
三、数据增强
数据增强通过在原始数据上应用各种变换和扩展操作，生成新的训练样本。这些变化可以包括但不限于旋转、缩放、翻转、裁剪、平移、色彩变换等。例如，在图像分类任务中，可以通过旋转、镜像、缩放等方式生成更多样的图像样本。
作用：增加数据多样性和丰富性、减少过拟合风险、提升模型的鲁棒性、节省数据采集成本、提高模型的性能
