针对非高斯环境下一般自适应滤波算法性能严重下降问题,本文提出了一种基于Softplus函数的核分式低次幂自适应滤波算法(kernel fractional lower algorithm based on Softplus function,SP-KFLP),该算法将Softplus函数与核分式低次幂准...针对非高斯环境下一般自适应滤波算法性能严重下降问题,本文提出了一种基于Softplus函数的核分式低次幂自适应滤波算法(kernel fractional lower algorithm based on Softplus function,SP-KFLP),该算法将Softplus函数与核分式低次幂准则相结合,利用输出误差的非线性饱和特性通过随机梯度下降法更新权重.一方面利用Softplus函数的特点在保证了SP-KFLP算法具有良好的抗脉冲干扰性能的同时提高了其收敛速度;另一方面将低次幂误差的倒数作为权重向量更新公式的系数,利用误差突增使得权重向量不更新的方法来抵制冲激噪声,并对其均方收敛性进行了分析.在系统辨识环境下的仿真表明,该算法很好地兼顾了收敛速度和跟踪性能稳定误差的矛盾,在收敛速度和抗脉冲干扰鲁棒性方面优于核最小均方误差算法、核分式低次幂算法和S型核分式低次幂自适应滤波算法.展开更多
修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了...修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.展开更多
文摘针对非高斯环境下一般自适应滤波算法性能严重下降问题,本文提出了一种基于Softplus函数的核分式低次幂自适应滤波算法(kernel fractional lower algorithm based on Softplus function,SP-KFLP),该算法将Softplus函数与核分式低次幂准则相结合,利用输出误差的非线性饱和特性通过随机梯度下降法更新权重.一方面利用Softplus函数的特点在保证了SP-KFLP算法具有良好的抗脉冲干扰性能的同时提高了其收敛速度;另一方面将低次幂误差的倒数作为权重向量更新公式的系数,利用误差突增使得权重向量不更新的方法来抵制冲激噪声,并对其均方收敛性进行了分析.在系统辨识环境下的仿真表明,该算法很好地兼顾了收敛速度和跟踪性能稳定误差的矛盾,在收敛速度和抗脉冲干扰鲁棒性方面优于核最小均方误差算法、核分式低次幂算法和S型核分式低次幂自适应滤波算法.
文摘修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.
