秦岭地表温度时空变化及影响因子分析

1

作者 赵杰 黄远程 +2 位作者 董金芳 赵国梁 竞霞 《大气与环境光学学报》 2026年第2期238-252,共15页

秦岭是中国最重要的南北分界线,认识其地表温度的时空变化有助于深入了解秦岭的热环境演变过程,为长期监测秦岭生态变化提供帮助。本文借助于谷歌地球引擎(GEE)获取秦岭生态区2003―2021年MYD11A1数据,采用归一化分级对该研究区地表温度... 秦岭是中国最重要的南北分界线,认识其地表温度的时空变化有助于深入了解秦岭的热环境演变过程,为长期监测秦岭生态变化提供帮助。本文借助于谷歌地球引擎(GEE)获取秦岭生态区2003―2021年MYD11A1数据,采用归一化分级对该研究区地表温度(LST)进行了5个等级的划分,利用趋势分析、空间变化分析等方法分析了研究区19年间的LST时空演变特征。同时,还利用多尺度加权回归模型,结合选取的高程(DEM)、湿度(WET)、植被净生产力(NPP)、归一化植被指数(NDVI)以及干度(NDBSI)5个影响LST的参数,研究分析了LST影响因子的作用尺度和作用效力。结果表明:(1)2003—2021年秦岭生态区年均白天LST呈现微弱下降趋势,而年均夜晚LST呈现较强上升趋势,年均LST呈现微弱增长趋势,其中冬季对于LST增长或者降低的贡献最大;(2)19年来秦岭生态区所有年份的LST都是呈现出北部低、南部高的空间格局,但LST增温表现为北部高、南部低的趋势;(3)南北坡年均、年均白天、年均夜晚LST与海拔均呈现显著负相关关系,其中南北坡夜晚LST梯度递减率低于白天LST梯度递减率;(4)影响因子中,NPP和NDBSI对LST具有正向影响,WET、NDVI、DEM和常数项对LST具有负向影响,而DEM具有较强的作用尺度以及最强的作用效力。 展开更多

关键词 地表温度 中分辨率成像光谱仪 秦岭 时空变化 梯度递减率 多尺度地理加权

在线阅读 下载PDF 职称材料

不同训练算法下光子神经网络鲁棒性能研究

2

作者 陆鸣豪 陆云清 +3 位作者 曹雯 刘美玉 邵晓锋 王瑾 《自动化技术与应用》 2026年第1期17-21,共5页

优化了训练算法和学习率组合以提高光子神经网络(optical neural network,ONN)对器件误差的鲁棒性能,同时确保其对数字图像的高精确识别。仿真搭建两种全连接ONN架构,即GridNet和FFTNet,其中使用马赫曾德尔干涉仪(mach-zehnder interfer... 优化了训练算法和学习率组合以提高光子神经网络(optical neural network,ONN)对器件误差的鲁棒性能,同时确保其对数字图像的高精确识别。仿真搭建两种全连接ONN架构,即GridNet和FFTNet,其中使用马赫曾德尔干涉仪(mach-zehnder interferometers,MZI)作为光子器件,并对含有器件误差的ONN进行了不同算法的训练,包括随机梯度下降(stochastic gradient descent,SGD)、均方根传递(root mean square prop,RMSprop)、适应性矩估计(adaptive moment estimation,Adam)和自适应梯度下降(adaptive gradient,Adagrad)。结果表明,在不同程度的器件误差下,FFTNet型ONN比GridNet型ONN更鲁棒。具体来说,采用学习率为0.005的RMSprop和Adam算法以及学习率为0.5的Adagrad算法训练的FFTNet型ONN在数字图像识别精度和器件误差鲁棒性上表现最佳。优化训练算法和学习率的组合可以有效提高ONN的鲁棒性能。 展开更多

关键词 光子神经网络 器件误差 马赫曾德尔干涉仪 梯度下降算法 学习率

在线阅读 下载PDF 职称材料

一类非凸Bregman梯度法的线性收敛研究

3

作者 李蝶 郭科 《西华师范大学学报（自然科学版）》 2025年第1期30-35,共6页

梯度下降算法是一类求解无约束优化问题的重要方法,其研究中光滑性的假设具有重要作用。Bregman梯度下降算法是对梯度下降算法的一种推广,本质上可以看作将经典的光滑性削弱成相对光滑性时自然产生的。文章研究了Bregman梯度下降算法求... 梯度下降算法是一类求解无约束优化问题的重要方法,其研究中光滑性的假设具有重要作用。Bregman梯度下降算法是对梯度下降算法的一种推广,本质上可以看作将经典的光滑性削弱成相对光滑性时自然产生的。文章研究了Bregman梯度下降算法求解相对强quasar-凸和相对光滑问题的线性收敛性,证明了当目标函数为相对强quasar-凸且相对光滑时,Bregman梯度下降算法产生的函数值序列具有线性收敛速度,同时,给出了迭代序列的收敛性。 展开更多

关键词 相对光滑 强quasar-凸 相对强quasar-凸 Bregman梯度下降算法 线性收敛率

在线阅读 下载PDF 职称材料

基于随机采样的方差缩减优化算法

4

作者 郭振华 闫瑞栋 +2 位作者 邱志勇 赵雅倩 李仁刚 《计算机科学与探索》 北大核心 2025年第3期667-681,共15页

随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此... 随机梯度下降(SGD)算法因其性能优异而引起了机器学习和深度学习等领域研究人员的广泛关注。然而,SGD使用单样本随机梯度近似样本全梯度导致算法在迭代过程中引入了额外的方差,使得算法的收敛曲线震荡甚至发散,导致其收敛速率缓慢。因此,有效减小方差成为当前关键挑战。提出了一种基于小批量随机采样的方差缩减优化算法(DM-SRG),并应用于求解凸优化及非凸优化问题。算法主要特征在于设计了内外双循环结构:外循环结构采用小批量随机样本计算梯度近似全梯度,以达到减少梯度计算开销的目的;内循环结构采用小批量随机样本计算梯度并代替单样本随机梯度,提升算法收敛稳定性。针对非凸目标函数与凸目标函数,理论分析证明了DMSRG算法具有次线性收敛速率。此外,设计了基于计算单元性能评估模型的动态样本容量调整策略,以提高系统训练效率。为评估算法的有效性,分别在不同规模的真实数据集上开展了数值模拟实验。实验结果表明算法较对比算法损失函数减少18.1%并且平均耗时降低8.22%。 展开更多

关键词 随机梯度下降 方差缩减 凸优化 非凸优化 收敛速率

在线阅读 下载PDF 职称材料

分布式训练系统及其优化算法综述 被引量：13

5

作者 王恩东 闫瑞栋 +1 位作者 郭振华 赵雅倩 《计算机学报》 EI CAS CSCD 北大核心 2024年第1期1-28,共28页

人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本... 人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向. 展开更多

关键词 分布式训练系统 (去)中心化架构 中心化架构算法 (异)同步算法 并行随机梯度下降 收敛速率

在线阅读 下载PDF 职称材料

RBF神经网络的梯度下降训练方法中的学习步长优化 被引量：21

6

作者 林嘉宇 刘荧 《信号处理》 CSCD 2002年第1期43-48,共6页

梯度下降法是训练ＲＢＦ神经网络的一种有效方法。和其他基于下降法的算法一样，ＲＢＦ神经网络的梯度下降训练方法中也存在学习步长的取值问题。本文基于误差能量函数对学习步长的二阶Ｔａｙｌｏｒ展开，构造了一种优化学习步长的方法... 梯度下降法是训练ＲＢＦ神经网络的一种有效方法。和其他基于下降法的算法一样，ＲＢＦ神经网络的梯度下降训练方法中也存在学习步长的取值问题。本文基于误差能量函数对学习步长的二阶Ｔａｙｌｏｒ展开，构造了一种优化学习步长的方法，进行了较详细的推导：实验表明，本方法可有效地加速梯度下降法的收敛速度、提高其性能。该方法的思想可以用于其他基于下降法的学习步长的优化中。 展开更多

关键词 梯度下降法 学习步长优化 RBF神经网络

在线阅读 下载PDF 职称材料

一种BP网的学习速率与动量项自适应算法 被引量：8

7

作者 宫宁生 钱春阳 张媛 《小型微型计算机系统》 CSCD 北大核心 2013年第8期1872-1876,共5页

针对BP网络学习速率和动量项参数较难选取以及学习过程中学习效率较为低下的问题,提出BP网络的改进算法模型—AB网络模型,来选取学习速率和动量项的参数值,即通过一个为给定先验知识的A网,动态调节另一个执行实际应用的B网中的学习速率... 针对BP网络学习速率和动量项参数较难选取以及学习过程中学习效率较为低下的问题,提出BP网络的改进算法模型—AB网络模型,来选取学习速率和动量项的参数值,即通过一个为给定先验知识的A网,动态调节另一个执行实际应用的B网中的学习速率和动量项的参数值,并以此提高整个网络的学习效率.实验结果表明,通过AB网络自适应调整参数的算法比普通BP算法的学习效率大大提高.在实际应用中,我们可以通过AB网络自适应调节的方法,对学习速率参数和动量项参数进行合适的选取. 展开更多

关键词 AB网络 BP算法 动量项 学习速率 梯度下降法

在线阅读 下载PDF 职称材料

具有最优学习率的RBF神经网络及其应用 被引量：51

8

作者 卫敏 余乐安 《管理科学学报》 CSSCI 北大核心 2012年第4期50-57,共8页

传统固定学习率的RBF神经网络在金融时间序列预测方面已经有比较成功的应用,但网络学习率的选择问题却给传统RBF神经网络的使用带来了不便.利用梯度下降法及优化方法推导出了RBF神经网络的动态最优学习率并将其应用于网络学习算法,具有... 传统固定学习率的RBF神经网络在金融时间序列预测方面已经有比较成功的应用,但网络学习率的选择问题却给传统RBF神经网络的使用带来了不便.利用梯度下降法及优化方法推导出了RBF神经网络的动态最优学习率并将其应用于网络学习算法,具有最优学习率的RBF神经网络能够在保证网络稳定学习的同时兼顾网络的收敛速度.为了检验具有动态最优学习率的RBF神经网络的预测效果,对沪深300指数波动率进行了预测实验.实验结果表明,具有动态最优学习率的RBF神经网络比传统的固定学习率的RBF神经网络有着更快的收敛速度,同时也避免了人为选定学习率的不便. 展开更多

关键词 RBF神经网络 最优学习率 梯度下降法

在线阅读 下载PDF 职称材料

自适应光学随机并行梯度下降算法波前整形规律仿真(英文) 被引量：7

9

作者 王卫兵 王挺峰 郭劲 《中国光学》 EI CAS 2014年第3期411-420,共10页

本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速... 本文首先介绍了基于Zernike模式的SPGD算法对大气湍流畸变波前的整形原理,通过推导得到了关于性能指标的简明表达式,使SPGD算法收敛速率得到明显提升。然后建立了自适应光学随机并行梯度下降算法波前整形系统模型,主要对SPGD算法收敛速率、整形能力和整形效果随波前畸变量和变形镜模型的变化规律作了较为详细的仿真研究,整体定性结果表明：三者的变化规律有一定的相似性,同时利用最小二乘法得到了关于整形能力和整形效果变化规律的定量表达式,若从自适应光学波前整形系统的实时性和简单性考虑,在保证一定整形效果的情况下,选择37单元变形镜对畸变波前的3~27（25）阶Zernike像差进行整形即可。 展开更多

关键词 自适应光学波前整形 随机并行梯度下降算法 收敛速率 整形能力 整形效果

在线阅读 下载PDF 职称材料

改进的RBF学习算法及其相似性应用 被引量：5

10

作者 胡斌 宫宁生 郇洪江 《计算机工程与设计》 CSCD 北大核心 2009年第18期4287-4289,共3页

针对RBF网络梯度下降法容易造成网络收敛速度不够快和陷入局部极小的缺陷,引入一个具有步长先验知识的神经网络来动态调整梯度下降法中的学习步长。该算法中构造了两个RBF网络,分别设为A网和B网,其中A网具有步长先验知识。当B网络陷入... 针对RBF网络梯度下降法容易造成网络收敛速度不够快和陷入局部极小的缺陷,引入一个具有步长先验知识的神经网络来动态调整梯度下降法中的学习步长。该算法中构造了两个RBF网络,分别设为A网和B网,其中A网具有步长先验知识。当B网络陷入局部极小时,则调用A网获得优化的学习步长,进而来提高B网络的收敛速度。实验结果表明了该算法的有效性和优越性。同时,该算法对相似性问题也有较好的解决能力。 展开更多

关键词 径向基函数 梯度下降法 优化步长 收敛速度 相似性

在线阅读 下载PDF 职称材料

基于Elman小波神经网络的垦区地下水位预测模型研究 被引量：4

11

作者 吴昌友 王福林 《中国农村水利水电》 北大核心 2010年第1期30-33,共4页

在现有Elman神经网络和小波分析理论研究的基础上,提出了Elman小波神经网络模型。给出了Elman小波神经网络梯度下降法训练的推导过程,为了避免梯度下降法收敛速度慢、容易产生振荡和陷入局部最优等缺点,在Elman小波神经网络的训练过程... 在现有Elman神经网络和小波分析理论研究的基础上,提出了Elman小波神经网络模型。给出了Elman小波神经网络梯度下降法训练的推导过程,为了避免梯度下降法收敛速度慢、容易产生振荡和陷入局部最优等缺点,在Elman小波神经网络的训练过程中引入动量项和自适应学习速率,并将该网络应用到垦区地下水位预测中,取得了良好的预期效果。在训练过程中,该网络具有收敛速度快,精度高等优点,同时也具有较好的泛化能力。 展开更多

关键词 Elman小波神经网络 学习速率 梯度下降法

在线阅读 下载PDF 职称材料

基于动态矩阵分解模型的电影推荐系统研究 被引量：6

12

作者 王璇 杜宇超 +1 位作者 杜军 邹军 《电子器件》 CAS 北大核心 2022年第2期483-489,共7页

推荐系统已成为电子商务企业吸引客户、实现盈利的有效技术支持,它能够根据用户的网络点击数据预测其偏好,做出个性化推荐。研究了一个基于动态矩阵分解模型的NETFLIX电影推荐系统。该系统通过训练一个来自NETFLIX平台、包含9000部电影... 推荐系统已成为电子商务企业吸引客户、实现盈利的有效技术支持,它能够根据用户的网络点击数据预测其偏好,做出个性化推荐。研究了一个基于动态矩阵分解模型的NETFLIX电影推荐系统。该系统通过训练一个来自NETFLIX平台、包含9000部电影历史评分的数据集进行预测评分。核心算法包括运用矩阵分解(Matrix Factorization,MF)建立有效的数据处理模型,以及使用随机梯度下降(Stochastic Gradient Descent,SGD)训练该模型。数据集采用稀疏矩阵存储,以节省空间。在训练过程中,对预测评分增加了特定的偏向值。该系统与市场同类产品相比拥有更高的预测准确度,并向电影观众推荐符合他们喜好的电影,能极大地提高电影观看票房值。 展开更多

关键词 电影推荐系统 动态矩阵分解模型 随机梯度下降算法 稀疏矩阵 预测评分

在线阅读 下载PDF 职称材料

在线学习情感分类模型研究 被引量：1

13

作者 邱宁佳 沈卓睿 +2 位作者 胡小娟 王鹏 高奇 《长春理工大学学报（自然科学版）》 2019年第5期102-108,115,共8页

本文结合Adadelta算法学习率自适应调整和Adam算法避免了训练后期频繁抖动的特点,提出了Adamdelta算法,解决了传统FTRL-Proximal在线学习算法学习率随着训练次数增加逐渐消失的问题。使用一阶和二阶矩估计进行偏差修正调整FTRL-Proxima... 本文结合Adadelta算法学习率自适应调整和Adam算法避免了训练后期频繁抖动的特点,提出了Adamdelta算法,解决了传统FTRL-Proximal在线学习算法学习率随着训练次数增加逐渐消失的问题。使用一阶和二阶矩估计进行偏差修正调整FTRL-Proximal算法学习率,再使用梯度下降求解模型权重参数,进而得到LR模型,并以此模型完成在线学习情感分类工作。为了验证改进算法的优越性,利用IMDB电影评论文本做实验数据,与5种模型进行对比分析。实验表明,改进算法具有更好的分类效果,有效的提高了分类器的准确率和召回率。 展开更多

关键词 在线学习 学习率 梯度下降 情感分类

在线阅读 下载PDF 职称材料

基于局部差分隐私的增强矩阵分解推荐算法 被引量：2

14

作者 孟小燕 《计算机工程与设计》 北大核心 2023年第7期2070-2079,共10页

为增强隐私保护能力以及推荐干扰鲁棒性,有效减少通信成本,提出一种基于局部差分隐私的增强矩阵分解推荐算法。提出用于矩阵分解的局部差分隐私梯度下降算法,同时保护用户项目和评级;通过随机过程的维度还原技术减少由于大量项目而产生... 为增强隐私保护能力以及推荐干扰鲁棒性,有效减少通信成本,提出一种基于局部差分隐私的增强矩阵分解推荐算法。提出用于矩阵分解的局部差分隐私梯度下降算法,同时保护用户项目和评级;通过随机过程的维度还原技术减少由于大量项目而产生的大扰动误差,通过稳定噪声半径减少由于迭代而产生的误差;引入一个因子,通过数据集稳定扰动梯度。通过两个数据集验证了提出方法的有效性。 展开更多

关键词 推荐算法 差分隐私 矩阵分解 梯度下降 隐私保护 扰动梯度 用户评级

在线阅读 下载PDF 职称材料

协同过滤算法在电影推荐中的应用 被引量：7

15

作者 王越 程昌正 《四川兵工学报》 CAS 2014年第5期86-88,共3页

推荐系统是很多网站最关心的机器学习应用,因为其准确率的提高对网站收入有直接贡献。构建了一个电影推荐系统,使用基于相似度的KNN算法、Baseline预测、随机梯度下降以及SVD共4种方法进行预测评分。使用RMSE评价标准,对比了不同算法预... 推荐系统是很多网站最关心的机器学习应用,因为其准确率的提高对网站收入有直接贡献。构建了一个电影推荐系统,使用基于相似度的KNN算法、Baseline预测、随机梯度下降以及SVD共4种方法进行预测评分。使用RMSE评价标准,对比了不同算法预测精度的差异和不同参数设定下预测精度的变化。 展开更多

关键词 电影评分预测 RMSE 随机梯度下降 SVD

在线阅读 下载PDF 职称材料

BP网络局部学习速率自适应SA算法的改进 被引量：2

16

作者 李波 李赣华 +2 位作者 王成友 蔡宣平 张尔扬 《信号处理》 CSCD 北大核心 2005年第6期615-620,596,共7页

Silva-Almeida(SA)算法是最好的局部学习速率自适应算法之一,在对SA算法进行研究分析的基础上,提出 两项改进措施,使改进后的SA算法较原SA算法震荡现象大大减弱,训练速率有较大加快,训练精度有较大提高。在仿 真实验中,改进的SA算法在... Silva-Almeida(SA)算法是最好的局部学习速率自适应算法之一,在对SA算法进行研究分析的基础上,提出 两项改进措施,使改进后的SA算法较原SA算法震荡现象大大减弱,训练速率有较大加快,训练精度有较大提高。在仿 真实验中,改进的SA算法在一定程度上优于RPROP算法。 展开更多

关键词 局部学习速率自适应 全局学习速率自适应 批训练算法 梯度下降 BP神经网络

在线阅读 下载PDF 职称材料

BP神经网络预测新生儿丁胺卡那霉素消除速率常数 被引量：2

17

作者 陈敏燕 王珏 梁文权 《中国药学杂志》 CAS CSCD 北大核心 2008年第18期1420-1423,共4页

目的用BP网络预测新生儿丁胺卡那霉素消除速率常数。方法建立梯度下降BP网络(GD-BP-NN),贝叶斯标准化BP网络(BR-BP-NN)和遗传BP网络(G-BP-NN),以23例新生儿静脉滴注丁胺卡那霉素相关临床资料为研究对象,研究新生儿胎龄,日龄和体重对丁... 目的用BP网络预测新生儿丁胺卡那霉素消除速率常数。方法建立梯度下降BP网络(GD-BP-NN),贝叶斯标准化BP网络(BR-BP-NN)和遗传BP网络(G-BP-NN),以23例新生儿静脉滴注丁胺卡那霉素相关临床资料为研究对象,研究新生儿胎龄,日龄和体重对丁胺卡那霉素消除速率的影响,预测患者的消除速率常数,并比较3种网络的预测精度和运行效率。结果GD-BP-NN,BR-BP-NN和G-BP-NN预测值和实验计算值的相关系数分别为0.92,0.91和0.98;均方预测误差平方根(RMSE)分别是0.020,0.024和0.010;相同的预测精度条件下,GD-BP-NN,BR-BP-NN和G-BP-NN分别运行了2 000,219和82步。结论遗传算法对BP神经网络权值和学习进行优化,从而克服了BP神经网络训练速度慢,容易陷入局域极小和全局搜索能力弱等缺点,故G-BP-NN预测效果更好。 展开更多

关键词 丁胺卡那霉素 消除速率常数 梯度下降BP网络 贝叶斯标准化BP网络 遗传BP网络

暂未订购

随机梯度下降法的收敛速度(英文) 被引量：8

18

作者 汪宝彬 戴济能 《数学杂志》 CSCD 北大核心 2012年第1期74-78,共5页

本文研究了正则化格式下随机梯度下降法的收敛速度.利用线性迭代的方法,并通过参数选择,得到了随机梯度下降法的收敛速度.

关键词 收敛速度 Mercer核 再生核 希尔伯特空间 随机梯度下降法

在线阅读 下载PDF 职称材料

基于递归神经网络的广告点击率预估研究 被引量：9

19

作者 陈巧红 孙超红 +1 位作者 余仕敏 贾宇波 《浙江理工大学学报（自然科学版）》 2016年第6期880-885,共6页

为提高广告点击率的预估准确率,从而提高在线广告的收益,对广告数据进行特征提取和特征降维,采用一种基于LSTM的改进的递归神经网络作为广告点击率预估模型。分别采用随机梯度下降法和交叉熵函数作为预估模型的优化算法和目标函数。实... 为提高广告点击率的预估准确率,从而提高在线广告的收益,对广告数据进行特征提取和特征降维,采用一种基于LSTM的改进的递归神经网络作为广告点击率预估模型。分别采用随机梯度下降法和交叉熵函数作为预估模型的优化算法和目标函数。实验表明,与逻辑回归、BP神经网络和递归神经网络相比,基于LSTM改进的递归神经网络模型,能有效提高广告点击率的预估准确率。该模型不仅有助于广告服务商制定合理的价格策略,也有助于广告主合理投放广告,实现广告产业链中各个角色的收益最大化。 展开更多

关键词 广告点击率 递归神经网络 LSTM 随机梯度下降 交叉熵

在线阅读 下载PDF 职称材料

基于NAG的BP神经网络的研究与改进 被引量：3

20

作者 景立森 丁志刚 +1 位作者 郑树泉 廖威 《计算机应用与软件》 北大核心 2018年第11期272-277,共6页

针对当前BP神经网络存在的问题,在NAG(Nesterov Accelerated Gradient)动量更新的基础上,建立基于黄金分割比梯度动量GNAG(Golden ratio Nesterov Accelerated Gradient)更新策略。并把黄金分割比运用到隐含层神经元的确定上,进一步提高... 针对当前BP神经网络存在的问题,在NAG(Nesterov Accelerated Gradient)动量更新的基础上,建立基于黄金分割比梯度动量GNAG(Golden ratio Nesterov Accelerated Gradient)更新策略。并把黄金分割比运用到隐含层神经元的确定上,进一步提高了BP神经网络的性能。将该算法应用于MNIST手写字体识别,得到了较好的收敛速度和预测评估结果。应用实例表明,基于黄金分割比梯度动量更新策略的BP神经网络收敛速度更快,泛化能力更强。 展开更多

关键词 BP神经网络 NAG 梯度下降 学习率

在线阅读 下载PDF 职称材料