欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 新闻 > 会展 > 深度学习--网络优化方法

深度学习--网络优化方法

2025/2/13 17:21:49 来源:https://blog.csdn.net/djylovehzt/article/details/141712987  浏览:    关键词:深度学习--网络优化方法

网络优化方法
    梯度下降算法
梯度下降算法是一种寻找使损失函数最小化的方法,从数学上的角度来看,梯度的方向是函数增长速度最快的方向,那么梯度的反方向就是函数减少最快的方向
        在进行模型训练时有三个基础的概念:
1.Epoch:使用全部的数据对模型进行以此完成训练,训练轮次
2.Batch_size:使用训练集中的小部分样本对模型权重进行以此反向传播的参数更新,每次训练每批次样本数量
3.Itation:使用一个Batch数据对模型进行一次参数更新的过程
    反向传播算法(BP算法)
前向传播: 指的是数据输入的神经网络,逐层向前传输,一直到运算到输出层为止.
反向传播:利用损失函数 ERROR, 结合梯度下降算法,依次求各个参数的偏导,并进行参数更新
反向传播对神经网络各个节点的权重进行更新.一个简单的神经网络用来举例:激活函数为 sigmoid

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com