深度学习经典网络之LeNet-5详解

内容摘要

本文深入剖析卷积神经网络LeNet-5。介绍其提出背景与在深度学习发展历程中的重要地位，详细解析模型结构，包括各层参数配置、连接方式，探讨模型特性，如卷积、下采样、非线性映射等操作组合的意义。

关键词：LeNet-5；卷积神经网络；模型结构；模型特性

---

1. 引言

• CNN已成为图像识别核心技术
• LeNet-5是深度学习重要里程碑（1998年）
• 主要应用：手写数字识别和机器印刷字符识别

---

2. LeNet-5模型介绍

关键点	说明
命名由来	Yann LeCun名字+"5"代号
核心贡献	参数共享机制
结构特点	卷积+下采样+非线性映射组合

---

3. LeNet-5模型结构

3.1 整体架构

输入层(32×32×1) 
→ C1(卷积) → S2(下采样) 
→ C3(卷积) → S4(下采样) 
→ C5(卷积) → F6(全连接) 
→ 输出层(10分类)

其网络结构如图1所示：

图1 LeNet-5网络结构图

各层的具体参数配置如表1所示：

网络层	输入尺寸	核尺寸	输出尺寸	可训练参数量
卷积层$C_1$	32×32×1	5×5×1/1,6	28×28×6	$(5\times 5\times 1+1)\times 6$
下采样层$S_2$	28×28×6	2×2/2	14×14×6	$(1+1)\times 6$
卷积层$C_3$	14×14×6	5×5×6/1,16	10×10×16	1516
下采样层$S_4$	10×10×16	2×2/2	5×5×16	$(1+1)\times 16$
卷积层$C_5$	5×5×16	5×5×16/1,120	1×1×120	$(5\times 5\times 16+1)\times 120$
全连接层$F_6$	1×1×120	120×84	1×1×84	(120 + 1)×84
输出层	1×1×84	84×10	1×1×10	(84 + 1)×10

表1 LeNet-5网络的参数配置

3.2 各层详解

卷积层

• C₁层：5×5卷积核/6通道，输出28×28×6
• C₃层：稀疏连接设计（参数量1516）

下采样层

• S₂层：2×2采样窗口，输出减半
• 特殊设计：带可训练参数的均值采样

全连接层

• F₆层：120→84维度转换
• 输出层：84→10分类

---

4. LeNet-5模型特性

✅ 三级组合结构：卷积→下采样→非线性
✅ 参数共享：大幅减少参数量
✅ 稀疏连接：降低60%计算开销
✅ 空间均值下采样：增强平移不变性

---

5. 总结

LeNet-5奠定了现代CNN基础：

1. 首创端到端特征学习范式
2. 确立多层特征提取+分类架构
3. 虽被AlexNet/VGG超越，但设计理念仍具指导意义