一种求解矩阵填充问题的带有BB步长的交替下降法

1

作者 闫喜红 任晓嵘 《太原师范学院学报（自然科学版）》 2021年第4期1-6,共6页

矩阵填充问题是将采样矩阵(仅部分元素已知)合理精确地填充成一个低秩矩阵.目前已有很多算法求解矩阵填充.其中,交替最速下降法是求解大规模矩阵填充的有效算法,但其在每一步更新中都需要计算精确步长.而非精确的BB步长具有良好的数值效... 矩阵填充问题是将采样矩阵(仅部分元素已知)合理精确地填充成一个低秩矩阵.目前已有很多算法求解矩阵填充.其中,交替最速下降法是求解大规模矩阵填充的有效算法,但其在每一步更新中都需要计算精确步长.而非精确的BB步长具有良好的数值效果.因此提出一种带有BB步长的交替最速下降算法,并把此算法应用到随机产生的低秩矩阵填充问题中,数值实验结果显示了新算法的有效性. 展开更多

关键词 矩阵填充 交替下降法 下降梯度 bb步长

在线阅读 下载PDF 职称材料

带BB步长的自适应投影法解广义纳什均衡问题

2

作者 毕培培 徐玲玲 韩德仁 《南京师大学报（自然科学版）》 CAS CSCD 北大核心 2014年第4期31-40,共10页

广义纳什均衡问题是一种非合作博弈,其每个竞争者的策略集和目标函数都要依靠其他竞争者的策略.它在经济学、管理科学及交通运输等领域都有广泛的应用,但如何有效地求解广义纳什均衡问题仍然是备受关注的课题.本文提出了带有BB步长的自... 广义纳什均衡问题是一种非合作博弈,其每个竞争者的策略集和目标函数都要依靠其他竞争者的策略.它在经济学、管理科学及交通运输等领域都有广泛的应用,但如何有效地求解广义纳什均衡问题仍然是备受关注的课题.本文提出了带有BB步长的自适应投影法求解广义纳什均衡问题:首先,把广义纳什均衡问题转化成拟变分不等式问题,然后把BB步长推广到求解拟变分不等式问题上,并在函数余强制条件下证明了算法的全局收敛性.数值结果进一步说明该方法的有效性. 展开更多

关键词 广义纳什均衡问题 拟变分不等式 投影法 bb步长 收敛性

在线阅读 下载PDF 职称材料

基于BB步长的一类原始-对偶算法

3

作者 郑代秀 《西南师范大学学报（自然科学版）》 CAS 2023年第1期40-47,共8页

增广拉格朗日乘子法(ALM)是求解带等式约束的二次凸优化问题的常用方法,但罚参数选取不当时,收敛速度比较慢.提出ALM-BB算法,利用Barzilai-Borwein(BB)算法的步长去改进原始的ALM,证明ALM-BB算法的收敛性.最后将这类方法运用于求解范数... 增广拉格朗日乘子法(ALM)是求解带等式约束的二次凸优化问题的常用方法,但罚参数选取不当时,收敛速度比较慢.提出ALM-BB算法,利用Barzilai-Borwein(BB)算法的步长去改进原始的ALM,证明ALM-BB算法的收敛性.最后将这类方法运用于求解范数最优控制问题.数值算例表明改进的算法收敛速度更快. 展开更多

关键词 二次凸规划问题 增广拉格朗日乘子法 bb步长 范数最优控制问题

在线阅读 下载PDF 职称材料

一种赋有BB类步长的新随机方差缩减梯度算法

4

作者 陈炫睿 刘泽显 倪艳 《重庆师范大学学报（自然科学版）》 CAS 北大核心 2024年第5期7-17,共11页

为随机方差缩减梯度(stochastic variance reduced gradient,SVRG)算法引入自适应步长,并在此基础上进一步提高算法数值性能。首先利用具有二维二次终止性的BB类步长自适应计算SVRG算法的步长。然后在SVRG算法的内循环中引入停止准则和... 为随机方差缩减梯度(stochastic variance reduced gradient,SVRG)算法引入自适应步长,并在此基础上进一步提高算法数值性能。首先利用具有二维二次终止性的BB类步长自适应计算SVRG算法的步长。然后在SVRG算法的内循环中引入停止准则和负动量来加速算法的收敛速度。利用Matlab对提出的新算法进行数值实验,观察算法的数值性能。通过分析算法的数值实验结果,得出算法性能与在最佳步长调整下的SVRG算法相当,此外新算法对于初始步长的选取不敏感,且具有自动生成最优步长的能力。 展开更多

关键词 随机方差缩减梯度算法 bb类步长 自适应计算 负动量框架

原文传递

一种求解结构组合优化问题的BB型算法

5

作者 李凯 林彭壮汉 +1 位作者 胡子健 程万友 《东莞理工学院学报》 2024年第1期7-13,共7页

提出了一种求解一类非光滑复合凸优化问题的BB型算法,结合非单调线搜索技术和合适的BB步长,在适当的条件下,证明了所提出算法的收敛性。通过数值实验与现有的算法进行比较,证明了所提出的算法相比已有的算法,运行的CPU时间更短、迭代次... 提出了一种求解一类非光滑复合凸优化问题的BB型算法,结合非单调线搜索技术和合适的BB步长,在适当的条件下,证明了所提出算法的收敛性。通过数值实验与现有的算法进行比较,证明了所提出的算法相比已有的算法,运行的CPU时间更短、迭代次数更少、数值性能上更优。 展开更多

关键词 非光滑 非单调 bb步长 全局收敛性

在线阅读 下载PDF 职称材料

基于自适应Barzilai-Borwein步长的直接搜索共轭梯度法 被引量：2

6

作者 刘加会 刘红卫 杨善学 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2017年第3期571-576,共6页

利用最新迭代点附近的函数值信息,估计该点的单纯形梯度,并计算当前点的Barzilai-Borwein(BB)步长,提出一种基于自适应BB步长的网格步长更新策略,有效解决了网格步长下降过快的问题,同时结合新的正基更新策略提出一种新的直接搜索算法.... 利用最新迭代点附近的函数值信息,估计该点的单纯形梯度,并计算当前点的Barzilai-Borwein(BB)步长,提出一种基于自适应BB步长的网格步长更新策略,有效解决了网格步长下降过快的问题,同时结合新的正基更新策略提出一种新的直接搜索算法.数值结果表明,该算法在稳定性和效率上有较大改进. 展开更多

关键词 直接搜索 自适应Barzilai-Borwein(bb)步长 共轭梯度 单纯形梯度

在线阅读 下载PDF 职称材料

基于自适应梯度算法的SVM核极化参数选择方法 被引量：6

7

作者 易序峰 吴坚 喻高航 《赣南师范学院学报》 2015年第6期23-27,共5页

在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析.模型选择是影响SVM性能的主要因素,具体地讲是SVM中的核函数及其惩罚系数C的选择决定着SVM的分类能力.本文首先... 在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类以及回归分析.模型选择是影响SVM性能的主要因素,具体地讲是SVM中的核函数及其惩罚系数C的选择决定着SVM的分类能力.本文首先讨论了一种评价核函数好坏的重要标准,即核极化.在此基础上提出了基于核函数优化问题的自适应梯度算法,即用一种自适应步长去改进原来的固定步长.UCI数据集(机器学习数据库)上的实验结果验证了这种自适应梯度算法的有效性,结果表明该算法能有效减少程序运行的迭代步及SVM学习训练的时间. 展开更多

关键词 SVM参数选择 核极化 自适应梯度下降算法

在线阅读 下载PDF 职称材料

R-线性收敛的重要样本抽样随机梯度下降算法 被引量：5

8

作者 王福胜 甄娜 李晓桐 《工程数学学报》 CSCD 北大核心 2023年第5期833-842,共10页

针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势。另外,初始步长可以任意选取,且步长... 针对机器学习中一类有限光滑凸函数和的最小化问题,提出一种新的随机方差约简梯度下降算法。新算法的特点是将随机方差约简梯度算法和一种谱梯度BB步长方法有机结合,从而可以充分发挥两种方法的优势。另外,初始步长可以任意选取,且步长在算法运行中可以自适应地计算更新。此外,新算法使用了重要样本抽样方法,可以大大减少计算工作量。最后,在通常的假设条件下证明了新算法具有R-线性收敛速度,并给出了复杂度分析。数值实验验证了新算法是可行有效的。 展开更多

关键词 机器学习 随机梯度下降 重要样本抽样 线性收敛 bb步长

在线阅读 下载PDF 职称材料

机器学习中随机方差缩减梯度算法的一种新的步长规则 被引量：1

9

作者 杨一名 王福胜 《太原师范学院学报（自然科学版）》 2021年第4期37-42,共6页

针对大规模机器学习中常见的经验风险最小化问题,提出一种新的随机方差缩减梯度算法(SVRG-CABB).新算法结合了SVRG和复合BB步长的优势,对于初始步长的选取不敏感,在运算过程中通过动态调节步长,提高算法的运算效率.在标准数据集上的数... 针对大规模机器学习中常见的经验风险最小化问题,提出一种新的随机方差缩减梯度算法(SVRG-CABB).新算法结合了SVRG和复合BB步长的优势,对于初始步长的选取不敏感,在运算过程中通过动态调节步长,提高算法的运算效率.在标准数据集上的数值实验结果表明新算法是可行有效的. 展开更多

关键词 机器学习 随机梯度 方差缩减 复合bb步长

在线阅读 下载PDF 职称材料

基于BB步长的自适应加速随机方差缩减算法

10

作者 余天慧 龙宪军 《系统科学与数学》 北大核心 2025年第8期2554-2566,共13页

随机方差缩减类算法是求解大规模机器学习的有效方法,近年来受到许多学者的广泛关注.但是,如何选择此类算法的合适步长依然值得研究.文章提出了一种基于BB步长的自适应加速随机方差缩减算法求解随机凸优化问题.在强凸的假设条件下,证明... 随机方差缩减类算法是求解大规模机器学习的有效方法,近年来受到许多学者的广泛关注.但是,如何选择此类算法的合适步长依然值得研究.文章提出了一种基于BB步长的自适应加速随机方差缩减算法求解随机凸优化问题.在强凸的假设条件下,证明了算法具有线性收敛速率.最后,数值实验表明了新算法的有效性和优越性. 展开更多

关键词 随机凸优化 随机方差缩减 bb步长 线性收敛速率

原文传递

一种求解l_(1)正则化问题的积极集Barzilai-Borwein算法

11

作者 李凯 林彭壮汉 +1 位作者 胡子健 程万友 《系统科学与数学》 北大核心 2025年第9期2998-3008,共11页

Barzilai-Borwein(BB)型算法是一种被广泛应用于求解无约束优化问题的有效方法,其具有存储量小、迭代简单等优点,而积极集识别技术具有准确识别最优解附近的零分量的强大能力,该技术可以将每个迭代点区分成零分量和非零分量两部分.文章... Barzilai-Borwein(BB)型算法是一种被广泛应用于求解无约束优化问题的有效方法,其具有存储量小、迭代简单等优点,而积极集识别技术具有准确识别最优解附近的零分量的强大能力,该技术可以将每个迭代点区分成零分量和非零分量两部分.文章提出了一种求解大规模l_(1)正则化问题的子空间Barzilai-Borwein(BB)方法,通过积极集识别技术,结合非单调线搜索技术和合适的BB步长,在适当的条件下,文章证明了所提出算法的收敛性.通过数值实验与现有的算法进行比较,证明了所提出算法运行的CPU时间更短、迭代次数更少,数值性能上更优. 展开更多

关键词 稀疏优化 子空间 bb步长 收敛性

原文传递