期刊文献+
共找到2篇文章
< 1 >
每页显示 20 50 100
递归最小二乘循环神经网络 被引量:2
1
作者 赵杰 张春元 +3 位作者 刘超 周辉 欧宜贵 宋淇 《自动化学报》 EI CAS CSCD 北大核心 2022年第8期2050-2061,共12页
针对循环神经网络(Recurrent neural networks,RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最... 针对循环神经网络(Recurrent neural networks,RNNs)一阶优化算法学习效率不高和二阶优化算法时空开销过大,提出一种新的迷你批递归最小二乘优化算法.所提算法采用非激活线性输出误差替代传统的激活输出误差反向传播,并结合加权线性最小二乘目标函数关于隐藏层线性输出的等效梯度,逐层导出RNNs参数的迷你批递归最小二乘解.相较随机梯度下降算法,所提算法只在RNNs的隐藏层和输出层分别增加了一个协方差矩阵,其时间复杂度和空间复杂度仅为随机梯度下降算法的3倍左右.此外,本文还就所提算法的遗忘因子自适应问题和过拟合问题分别给出一种解决办法.仿真结果表明,无论是对序列数据的分类问题还是预测问题,所提算法的收敛速度要优于现有主流一阶优化算法,而且在超参数的设置上具有较好的鲁棒性. 展开更多
关键词 深度学习 循环神经网络 递归最小二乘 迷你批学习 优化算法
在线阅读 下载PDF
Trust Region Algorithm for a Class of Nonlinear Complementarity Problem 被引量:3
2
作者 ou yi-gui 《Chinese Quarterly Journal of Mathematics》 CSCD 北大核心 2007年第4期558-566,共9页
In this paper, an ODE-type trust region algorithm for solving a class of nonlinear complementarity problems is proposed. A feature of this algorithm is that only the solution of linear systems of equations is required... In this paper, an ODE-type trust region algorithm for solving a class of nonlinear complementarity problems is proposed. A feature of this algorithm is that only the solution of linear systems of equations is required at each iteration, thus avoiding the need for solving a quadratic subproblem with a trust region bound. Under some conditions, it is proven that this algorithm is globally and locally superlinear convergent. The limited numerical examples show its efficiency. 展开更多
关键词 nonlinear complementarity problems ODE methods trust region methods Fischer-Burmeister function
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部