期刊文献+
共找到128篇文章
< 1 2 7 >
每页显示 20 50 100
多目标Proximal-Gradient算法的收敛性分析
1
作者 张世豪 张露方 李尹 《杭州师范大学学报(自然科学版)》 2025年第6期657-663,共7页
为研究求解无约束多目标优化问题的Proximal-Gradient算法的收敛性问题,对经典Polyak-Lojasiewicz不等式(P-L不等式)、近点P-L不等式及多目标近点P-L不等式进行推广,引入了带有指数的多目标近点P-L不等式(多目标广义近点P-L不等式).在... 为研究求解无约束多目标优化问题的Proximal-Gradient算法的收敛性问题,对经典Polyak-Lojasiewicz不等式(P-L不等式)、近点P-L不等式及多目标近点P-L不等式进行推广,引入了带有指数的多目标近点P-L不等式(多目标广义近点P-L不等式).在目标函数的可微部分满足梯度Lipschitz连续条件,以及多目标广义P-L不等式成立的条件下,得到了Proximal-Gradient算法的收敛性结果,并在引入指数为1的情况下,得到了Proximal-Gradient算法的线性收敛性. 展开更多
关键词 多目标优化 Proximal-gradient算法 收敛速率 线性收敛
在线阅读 下载PDF
一类非凸Bregman梯度法的线性收敛研究
2
作者 李蝶 郭科 《西华师范大学学报(自然科学版)》 2025年第1期30-35,共6页
梯度下降算法是一类求解无约束优化问题的重要方法,其研究中光滑性的假设具有重要作用。Bregman梯度下降算法是对梯度下降算法的一种推广,本质上可以看作将经典的光滑性削弱成相对光滑性时自然产生的。文章研究了Bregman梯度下降算法求... 梯度下降算法是一类求解无约束优化问题的重要方法,其研究中光滑性的假设具有重要作用。Bregman梯度下降算法是对梯度下降算法的一种推广,本质上可以看作将经典的光滑性削弱成相对光滑性时自然产生的。文章研究了Bregman梯度下降算法求解相对强quasar-凸和相对光滑问题的线性收敛性,证明了当目标函数为相对强quasar-凸且相对光滑时,Bregman梯度下降算法产生的函数值序列具有线性收敛速度,同时,给出了迭代序列的收敛性。 展开更多
关键词 相对光滑 强quasar-凸 相对强quasar-凸 Bregman梯度下降算法 线性收敛率
在线阅读 下载PDF
求解非光滑约束多目标优化问题的一种光滑化投影梯度算法
3
作者 张丹 刘宝钰 《绵阳师范学院学报》 2025年第5期6-14,共9页
提出一种多目标光滑化投影梯度算法解决非光滑约束多目标优化问题,相比于之前非光滑问题中常用的次梯度方法,此算法使用光滑化解决非光滑问题,直接使用光滑函数的梯度,同时结合一种每个变量都可行的Nesterov加速梯度方法,将非光滑问题... 提出一种多目标光滑化投影梯度算法解决非光滑约束多目标优化问题,相比于之前非光滑问题中常用的次梯度方法,此算法使用光滑化解决非光滑问题,直接使用光滑函数的梯度,同时结合一种每个变量都可行的Nesterov加速梯度方法,将非光滑问题转为光滑优化问题进行求解.同时还证明了该算法的收敛性以及其具有O(k^(-1)log k)的收敛率. 展开更多
关键词 约束多目标优化问题 投影梯度算法 光滑化方法 收敛率
在线阅读 下载PDF
一类Bundle型分解算法(英文)
4
作者 王薇 徐以凡 《江苏师范大学学报(自然科学版)》 CAS 1998年第2期12-15,共4页
给出一个修正的分解算法和一类Bundle分解算法,并且证明了算法的全局收敛性和线性收敛速度.
关键词 凸规划 Bundle分解方法 近似点算法 全局收敛 收敛速度
全文增补中
分布式训练系统及其优化算法综述 被引量:9
5
作者 王恩东 闫瑞栋 +1 位作者 郭振华 赵雅倩 《计算机学报》 EI CAS CSCD 北大核心 2024年第1期1-28,共28页
人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本... 人工智能利用各种优化技术从海量训练样本中学习关键特征或知识以提高解的质量,这对训练方法提出了更高要求.然而,传统单机训练无法满足存储与计算性能等方面的需求.因此,利用多个计算节点协同的分布式训练系统成为热点研究方向之一.本文首先阐述了单机训练面临的主要挑战.其次,分析了分布式训练系统亟需解决的三个关键问题.基于上述问题归纳了分布式训练系统的通用框架与四个核心组件.围绕各个组件涉及的技术,梳理了代表性研究成果.在此基础之上,总结了基于并行随机梯度下降算法的中心化与去中心化架构研究分支,并对各研究分支优化算法与应用进行综述.最后,提出了未来可能的研究方向. 展开更多
关键词 分布式训练系统 (去)中心化架构 中心化架构算法 (异)同步算法 并行随机梯度下降 收敛速率
在线阅读 下载PDF
Geometrically Nonlinear Analysis of Structures Using Various Higher Order Solution Methods: A Comparative Analysis for Large Deformation
6
作者 Ali Maghami Farzad Shahabian Seyed Mahmoud Hosseini 《Computer Modeling in Engineering & Sciences》 SCIE EI 2019年第12期877-907,共31页
The suitability of six higher order root solvers is examined for solving the nonlinear equilibrium equations in large deformation analysis of structures.The applied methods have a better convergence rate than the quad... The suitability of six higher order root solvers is examined for solving the nonlinear equilibrium equations in large deformation analysis of structures.The applied methods have a better convergence rate than the quadratic Newton-Raphson method.These six methods do not require higher order derivatives to achieve a higher convergence rate.Six algorithms are developed to use the higher order methods in place of the Newton-Raphson method to solve the nonlinear equilibrium equations in geometrically nonlinear analysis of structures.The higher order methods are applied to both continuum and discrete problems(spherical shell and dome truss).The computational cost and the sensitivity of the higher order solution methods and the Newton-Raphson method with respect to the load increment size are comparatively investigated.The numerical results reveal that the higher order methods require a lower number of iterations that the Newton-Raphson method to converge.It is also shown that these methods are less sensitive to the variation of the load increment size.As it is indicated in numerical results,the average residual reduces in a lower number of iterations by the application of the higher order methods in the nonlinear analysis of structures. 展开更多
关键词 Geometrically nonlinear analysis higher order methods predictor-corrector algorithms convergence rate sensitivity to the increment size
在线阅读 下载PDF
Improving the accuracy of heart disease diagnosis with an augmented back propagation algorithm
7
作者 颜红梅 《Journal of Chongqing University》 CAS 2003年第1期31-34,共4页
A multilayer perceptron neural network system is established to support the diagnosis for five most common heart diseases (coronary heart disease, rheumatic valvular heart disease, hypertension, chronic cor pulmonale ... A multilayer perceptron neural network system is established to support the diagnosis for five most common heart diseases (coronary heart disease, rheumatic valvular heart disease, hypertension, chronic cor pulmonale and congenital heart disease). Momentum term, adaptive learning rate, the forgetting mechanics, and conjugate gradients method are introduced to improve the basic BP algorithm aiming to speed up the convergence of the BP algorithm and enhance the accuracy for diagnosis. A heart disease database consisting of 352 samples is applied to the training and testing courses of the system. The performance of the system is assessed by cross-validation method. It is found that as the basic BP algorithm is improved step by step, the convergence speed and the classification accuracy of the network are enhanced, and the system has great application prospect in supporting heart diseases diagnosis. 展开更多
关键词 multilayer perceptron back propagation algorithm heart disease momentum term adaptive learning rate the forgetting mechanics conjugate gradients method
暂未订购
关于ND算法的几点讨论
8
作者 迟彦惠 《湖北汽车工业学院学报》 1998年第2期64-68,共5页
本文对《基于二阶导数的优化算法》一文中提出的ND算法的收敛性等问题进行了讨论。从理论上证明了:当步长充分小时,ND算法较梯度法收敛速度快。计算机计算结果也证实了ND算法有较快的收敛速度。
关键词 梯度法 nd算法 收敛速度 收敛性 二阶导数 优化算法
在线阅读 下载PDF
基于动量梯度下降的回声消除算法 被引量:2
9
作者 陈张良 卢敏 曾桂根 《现代电子技术》 北大核心 2024年第9期71-77,共7页
针对极端环境话音系统下声学回波影响工作人员正常施工,且常规声学回声消除算法收敛速度慢的问题,提出一种基于动量梯度下降的基于l0范数的改进系数成比例归一化最小均方误差算法(L0⁃IPNLMS)。该算法将动量因子引入L0⁃IPNLMS算法中,解... 针对极端环境话音系统下声学回波影响工作人员正常施工,且常规声学回声消除算法收敛速度慢的问题,提出一种基于动量梯度下降的基于l0范数的改进系数成比例归一化最小均方误差算法(L0⁃IPNLMS)。该算法将动量因子引入L0⁃IPNLMS算法中,解决在算法运行过程中梯度下降时梯度摆动幅度可能过大的问题,也提高了自适应滤波器的收敛速度,且残余回声下降明显,声学回波抑制效果更好。仿真实验表明,与L0⁃IPNLMS算法相比,新算法在模拟随机多音信号与真实语音信号输入时,均方误差(MSE)可以降低3.47 dB和3.69 dB,回波抑制比(ERLE)提高了3.46 dB和3.68 dB,在低信噪比情况下,使用新算法对真实语音信号进行回声消除,收敛速度高于L0⁃IPNLMS等算法,且收敛效果有明显改进。 展开更多
关键词 回声消除算法 动量梯度下降 极端环境话音通信系统 归一化 最小均方算法 收敛速度
在线阅读 下载PDF
分裂可行性问题的一个惯性共轭梯度投影法
10
作者 简金宝 代钰 尹江华 《数学物理学报(A辑)》 CSCD 北大核心 2024年第4期1066-1079,共14页
基于分裂可行性问题的凸约束非线性单调方程组等价问题,提出了一个新的惯性共轭梯度投影法.该算法不需要计算矩阵A^(⊤)A的最大特征值和多次的复杂投影.在较弱的条件下,证明了算法的全局收敛性,并分析了算法的收敛率.数值试验结果初步表... 基于分裂可行性问题的凸约束非线性单调方程组等价问题,提出了一个新的惯性共轭梯度投影法.该算法不需要计算矩阵A^(⊤)A的最大特征值和多次的复杂投影.在较弱的条件下,证明了算法的全局收敛性,并分析了算法的收敛率.数值试验结果初步表明算法是有效的和鲁棒的. 展开更多
关键词 分裂可行性问题 惯性技术 共轭梯度投影法 全局收敛性 收敛率
在线阅读 下载PDF
基于PRP共轭梯度的图像去噪算法
11
作者 孙敏 孙肖丽 田茂英 《曲阜师范大学学报(自然科学版)》 CAS 2024年第1期53-60,共8页
两阶段算法是去除椒盐噪声的一类非常有效的方法.该文设计了一类PRP共轭梯度法来求解两阶段法中的无约束最优化问题.该方法具有两个显著特点:搜索方向具有充分下降性;结合一类定制的Armijo型非精确线搜索,其点列的梯度趋于零,而不是通... 两阶段算法是去除椒盐噪声的一类非常有效的方法.该文设计了一类PRP共轭梯度法来求解两阶段法中的无约束最优化问题.该方法具有两个显著特点:搜索方向具有充分下降性;结合一类定制的Armijo型非精确线搜索,其点列的梯度趋于零,而不是通常共轭梯度法的下极限趋于零.将所设计方法及一些经典的共轭梯度法应用到两阶段算法的最优化问题中,数值结果表明该文设计的方法在收敛速度与计算精度方面都具有优势. 展开更多
关键词 PRP共轭梯度法 两阶段算法 椒盐噪声 全局收敛性
在线阅读 下载PDF
加速随机递归梯度下降算法的复杂度分析
12
作者 费经泰 程一元 查星星 《萍乡学院学报》 2024年第3期5-11,共7页
课题组为进一步降低传统随机递归梯度下降算法(SARAH)复杂度,利用内循环数目倍增技术,提出了一种新的算法--Epoch-Doubling-SARAH算法,并通过构造Lyapunov函数证明了Epoch-Doubling-SARAH算法在非强凸条件下具有线性收敛阶,且推导出了... 课题组为进一步降低传统随机递归梯度下降算法(SARAH)复杂度,利用内循环数目倍增技术,提出了一种新的算法--Epoch-Doubling-SARAH算法,并通过构造Lyapunov函数证明了Epoch-Doubling-SARAH算法在非强凸条件下具有线性收敛阶,且推导出了算法的复杂度为O(1/ε+nlog(1/ε)),该结果优于SARAH算法复杂度。再将Epoch-Doubling-SARAH算法与SARAH算法在Mnist和Mushroom两个数据集上进行对比实验,实验结果表明Epoch-Doubling-SARAH算法具有更快的收敛速度,进而说明了本文算法理论分析的正确性。 展开更多
关键词 机器学习 随机递归梯度 下降算法 循环倍增 收敛速率 算法复杂度
在线阅读 下载PDF
前馈神经网络的一种简单共轭梯度学习算法 被引量:10
13
作者 梁久祯 何新贵 黄德双 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2000年第5期596-599,共4页
针对前馈神经网络学习误差函数维数高、计算复杂度大的特点 ,对梯度下降BP算法加以改进从而构造出一种简单共轭梯度下降算法 (MPARTAN算法 ) .该算法计算复杂度不高于动量BP算法 ,与FR共轭梯度法相比 ,该算法的稳定性好 ,又具有共轭梯... 针对前馈神经网络学习误差函数维数高、计算复杂度大的特点 ,对梯度下降BP算法加以改进从而构造出一种简单共轭梯度下降算法 (MPARTAN算法 ) .该算法计算复杂度不高于动量BP算法 ,与FR共轭梯度法相比 ,该算法的稳定性好 ,又具有共轭梯度法的优点 ,收敛速度快 .文中给出了该算法的收敛定理 ,并用 2个实验例子比较了动量BP算法。 展开更多
关键词 前馈神经网络 共轭梯度法 BP算法 MPARTAN算法
在线阅读 下载PDF
快速收敛的混合遗传算法 被引量:5
14
作者 李炯城 王阳洋 +3 位作者 李桂愉 王强 肖恒辉 刘海林 《计算机工程与设计》 CSCD 北大核心 2014年第2期686-689,699,共5页
针对传统的遗传算法在后期搜索能力差和收敛速度慢的缺点,提出了一种基于共轭梯度法和遗传算法的快速收敛混合算法。在充分利用遗传算法的全局搜索能力和共轭梯度法的快速局部搜索能力后,加快了遗传算法的收敛速度,提升了遗传算法的搜... 针对传统的遗传算法在后期搜索能力差和收敛速度慢的缺点,提出了一种基于共轭梯度法和遗传算法的快速收敛混合算法。在充分利用遗传算法的全局搜索能力和共轭梯度法的快速局部搜索能力后,加快了遗传算法的收敛速度,提升了遗传算法的搜索精度。以复杂的一维函数和含圈脊的二维多峰函数Shaffer的全局优化问题为例,验证了这种混合遗传算法的性能优于单独的共轭梯度法和遗传算法,并取得较好的效果。 展开更多
关键词 共轭梯度法 遗传算法 混合遗传算法 快速收敛 全局优化
在线阅读 下载PDF
Mean Shift算法的收敛性分析 被引量:48
15
作者 文志强 蔡自兴 《软件学报》 EI CSCD 北大核心 2007年第2期205-212,共8页
作为迭代算法,Mean Shift的收敛性研究是应用的基础,而Comaniciu和李乡儒分别证明了Mean Shift的收敛性,但证明过程存在错误.首先指出了Comaniciu和李乡儒的证明过程存在错误;然后,从数学上重新证明了Mean Shift算法的局部收敛性,并指... 作为迭代算法,Mean Shift的收敛性研究是应用的基础,而Comaniciu和李乡儒分别证明了Mean Shift的收敛性,但证明过程存在错误.首先指出了Comaniciu和李乡儒的证明过程存在错误;然后,从数学上重新证明了Mean Shift算法的局部收敛性,并指出其收敛到局部极大值的条件;最后,从几何上举反例分析了Mean Shift的收敛性,并进行了深入比较和讨论.这为Mean Shift算法的深入研究及应用奠定了基础. 展开更多
关键词 Mean SHIFT算法 收敛性 核函数 核密度估计 梯度上升方法
在线阅读 下载PDF
峭度自适应学习率的盲信源分离 被引量:11
16
作者 孙守宇 郑君里 +1 位作者 吴里江 赵莹 《电子学报》 EI CAS CSCD 北大核心 2005年第3期473-476,共4页
本文提出了一种自适应学习率盲信源分离的自然梯度算法 ,自适应学习率仅依赖于神经网络输出峭度平方和的负指数 .开始阶段由于小的峭度 ,学习率大收敛速度快 .之后 ,随着峭度变大 ,学习率慢慢变小 ,产生小的稳态误差 .在线性无记忆混合... 本文提出了一种自适应学习率盲信源分离的自然梯度算法 ,自适应学习率仅依赖于神经网络输出峭度平方和的负指数 .开始阶段由于小的峭度 ,学习率大收敛速度快 .之后 ,随着峭度变大 ,学习率慢慢变小 ,产生小的稳态误差 .在线性无记忆混合的情况下 ,用欠高斯信源进行的模拟实验表明 ,与固定学习率相比 ,本文提出的峭度自适应学习率盲信源分离算法具有收敛速度快和稳态误差小的特点 . 展开更多
关键词 自适应 学习率 盲信源分离 峭度
在线阅读 下载PDF
一类新的Wolfe线性搜索下的记忆梯度法 被引量:5
17
作者 汤京永 董丽 张秀军 《山东大学学报(理学版)》 CAS CSCD 北大核心 2009年第7期33-37,共5页
提出一类新的求解无约束优化问题的记忆梯度法,在较弱条件下证明了算法具有全局收敛性和线性收敛速率。算法在每步迭代中利用当前和前面迭代点的信息产生下降方向,不需计算和存储矩阵,适于求解大规模优化问题。初步的数值试验表明算法比... 提出一类新的求解无约束优化问题的记忆梯度法,在较弱条件下证明了算法具有全局收敛性和线性收敛速率。算法在每步迭代中利用当前和前面迭代点的信息产生下降方向,不需计算和存储矩阵,适于求解大规模优化问题。初步的数值试验表明算法比Wolfe搜索下的FR,PRP和HS共轭梯度法及最速下降法有效。 展开更多
关键词 无约束优化 记忆梯度法 全局收敛性 线性收敛速率
原文传递
基于基团贡献神经网络集成法估算有机物常压凝固点 被引量:6
18
作者 贺益君 高华 陈钟秀 《化工学报》 EI CAS CSCD 北大核心 2004年第7期1124-1130,共7页
基于基团贡献法应用人工神经网络对有机物的常压凝固点进行了估算 ,输入参数为有机物的基团数和表征异构体的参数 ,输出为常压凝固点 .分析了采用最速梯度下降法的BP算法在训练过程中产生误差饱和情况的原因 ,采用在隐含层节点中加入误... 基于基团贡献法应用人工神经网络对有机物的常压凝固点进行了估算 ,输入参数为有机物的基团数和表征异构体的参数 ,输出为常压凝固点 .分析了采用最速梯度下降法的BP算法在训练过程中产生误差饱和情况的原因 ,采用在隐含层节点中加入误差饱和预防函数用来防止误差饱和情况的出现 .仿真结果表明 ,所采用的方法能有效地减小网络在误差表面陷入低谷的可能性和提高网络的收敛速率 .采用神经网络集成法建立了神经网络集成模型 ,通过仿真合理选择隐含层节点数和采用交叉验证法用于防止BP网络的过度训练 ,增强了网络的泛化能力 .估算结果表明 ,所建立的神经网络集成模型 ,其网络有良好的稳定性和预测精度 ,2 0 7个样本估算的绝对平均相对误差为 8 6 2 % . 展开更多
关键词 神经网络集成 常压凝固点 基团贡献 误差饱和预防函数 交叉验证 泛化
在线阅读 下载PDF
混沌梯度组合优化算法 被引量:6
19
作者 胡志坤 桂卫华 彭小奇 《控制与决策》 EI CSCD 北大核心 2004年第12期1337-1340,共4页
提出一种混沌梯度组合全局优化算法,并对该算法进行了收敛性分析.算法首先采用改进的变步长梯度法得到某个优化值,然后利用变尺度混沌搜索跳出局部极小,经过反复组合迭代,直至到达最优解.仿真结果表明,该算法能充分发挥梯度法寻优的快... 提出一种混沌梯度组合全局优化算法,并对该算法进行了收敛性分析.算法首先采用改进的变步长梯度法得到某个优化值,然后利用变尺度混沌搜索跳出局部极小,经过反复组合迭代,直至到达最优解.仿真结果表明,该算法能充分发挥梯度法寻优的快速性和混沌法寻优的全局搜索能力. 展开更多
关键词 混沌优化 梯度搜索 组合算法
在线阅读 下载PDF
一种BP网的学习速率与动量项自适应算法 被引量:8
20
作者 宫宁生 钱春阳 张媛 《小型微型计算机系统》 CSCD 北大核心 2013年第8期1872-1876,共5页
针对BP网络学习速率和动量项参数较难选取以及学习过程中学习效率较为低下的问题,提出BP网络的改进算法模型—AB网络模型,来选取学习速率和动量项的参数值,即通过一个为给定先验知识的A网,动态调节另一个执行实际应用的B网中的学习速率... 针对BP网络学习速率和动量项参数较难选取以及学习过程中学习效率较为低下的问题,提出BP网络的改进算法模型—AB网络模型,来选取学习速率和动量项的参数值,即通过一个为给定先验知识的A网,动态调节另一个执行实际应用的B网中的学习速率和动量项的参数值,并以此提高整个网络的学习效率.实验结果表明,通过AB网络自适应调整参数的算法比普通BP算法的学习效率大大提高.在实际应用中,我们可以通过AB网络自适应调节的方法,对学习速率参数和动量项参数进行合适的选取. 展开更多
关键词 AB网络 BP算法 动量项 学习速率 梯度下降法
在线阅读 下载PDF
上一页 1 2 7 下一页 到第
使用帮助 返回顶部