网络优化方法
梯度下降算法
梯度下降算法是一种寻找使损失函数最小化的方法,从数学上的角度来看,梯度的方向是函数增长速度最快的方向,那么梯度的反方向就是函数减少最快的方向
在进行模型训练时有三个基础的概念:
1.Epoch:使用全部的数据对模型进行以此完成训练,训练轮次
2.Batch_size:使用训练集中的小部分样本对模型权重进行以此反向传播的参数更新,每次训练每批次样本数量
3.Itation:使用一个Batch数据对模型进行一次参数更新的过程
反向传播算法(BP算法)
前向传播: 指的是数据输入的神经网络,逐层向前传输,一直到运算到输出层为止.
反向传播:利用损失函数 ERROR, 结合梯度下降算法,依次求各个参数的偏导,并进行参数更新
反向传播对神经网络各个节点的权重进行更新.一个简单的神经网络用来举例:激活函数为 sigmoid
深度学习--网络优化方法
2025/2/13 17:21:49
来源:https://blog.csdn.net/djylovehzt/article/details/141712987
浏览:
次
关键词:深度学习--网络优化方法
版权声明:
本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。
我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com
热文排行
- 本周后半段,北方将遭今春首场沙尘天气
- 编程-设计模式 6:适配器模式
- 如何利用大数据技术来识别和预防网络赌博行为?
- 2024年全国青少年信息素养python编程复赛真题+答案
- LLMs之Llama 3.1:Llama 3.1的简介、安装和使用方法、案例应用之详细攻略
- arm64架构kvm情景分析 - type1型和type2型虚拟机管理器
- JVM:SpringBoot TomcatEmbeddedWebappClassLoader
- No module named ‘tvtk.custom.light‘ mayavi
- 解决 Ubuntu 系统中 “Temporary Failure in Name Resolution“ 错误
- YOLOv10有效涨点专栏目录