期刊文献+
任意字段
题名或关键词
题名
关键词
文摘
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到2篇文章
< 1 >
每页显示 20 50 100
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于差分修正的SGDM算法 被引量：2
1
作者 袁炜 胡飞 《计算机系统应用》 2021年第7期220-224,共5页
当前,应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器,前者以SGDM为代表,后者以Adam为代表,这两类方法都使用指数滑动平均法来估计总体的梯度.然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的... 当前,应用广泛的一阶深度学习优化器包括学习率非自适应优化器和学习率自适应优化器,前者以SGDM为代表,后者以Adam为代表,这两类方法都使用指数滑动平均法来估计总体的梯度.然而使用指数滑动平均法来估计总体梯度是有偏差且具有滞后性的,本文提出基于差分修正的SGDM算法——RSGDM算法.我们的贡献主要有3点:1)分析SGDM算法里指数滑动平均法带来的偏差和滞后性.2)使用差分估计项来修正SGDM算法里的偏差和滞后性,提出RSGDM算法.3)在CIFAR-10和CIFAR-100数据集上实验证明了在收敛精度上我们的RSGDM算法比SGDM算法更优. 展开更多
关键词 深度学习 一阶优化器 sgdm算法 差分
在线阅读 下载PDF
DBAdam:一种具有动态边界的自适应梯度下降算法
2
作者 张帅 刘曜齐 姜志侠 《长春理工大学学报（自然科学版）》 2024年第5期105-111,共7页
在神经网络中,梯度下降算法是优化网络权值阈值参数的核心部分,它在很大程度上影响着神经网络的性能。对于许多自适应算法,如AdaGrad、RMPprop、Adam等,虽然在训练前期收敛速度快,但它们的泛化性通常不如SGDM算法。为结合自适应算法和S... 在神经网络中,梯度下降算法是优化网络权值阈值参数的核心部分,它在很大程度上影响着神经网络的性能。对于许多自适应算法,如AdaGrad、RMPprop、Adam等,虽然在训练前期收敛速度快,但它们的泛化性通常不如SGDM算法。为结合自适应算法和SGDM算法各自的优点,提出了DBAdam算法。通过利用梯度和学习率信息,构造了基于自适应学习率的动态上界函数和下界函数,将学习率约束在一个可控的范围内。这样使算法能够更好地适应不同参数的梯度变化,从而加快收敛速度。基于多种深度神经网络模型在三个基准数据集上对DBAdam算法进行实验,结果表明该算法的收敛性能较好。 展开更多
关键词 神经网络 自适应算法 sgdm算法 收敛性
在线阅读 下载PDF
已选择0条
导出题录 引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 下一页 到第 页
使用帮助 返回顶部