期刊文献+
共找到435篇文章
< 1 2 22 >
每页显示 20 50 100
基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法 被引量:1
1
作者 李海燕 乔仁超 +1 位作者 李海江 陈泉 《东北大学学报(自然科学版)》 北大核心 2025年第1期26-34,共9页
为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷,提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先,引入全局残差注意力机制编码模块自适应地提取非均... 为解决现有图像去雾算法因缺乏全局上下文信息、处理分布不均匀的雾时效果差且复用细节信息时引入噪声的缺陷,提出了基于全局残差注意力和门控特征融合的CNN-Transformer去雾算法.首先,引入全局残差注意力机制编码模块自适应地提取非均匀雾区的细节特征,设计跨维度通道空间注意力优化信息权重.然后,提出全局建模Transformer模块加深编码器的特征提取过程,设计带有并行卷积的Swin Transformer捕捉特征之间的依赖关系.最后,设计门控特征融合解码模块复用图像重建所需的纹理信息,滤除不相关的雾噪声,提高去雾性能.在4个公开数据集上进行定性和定量实验,实验结果表明:所提算法能够有效地处理非均匀雾区域,重建纹理细腻且语义丰富的高保真无雾图像,其峰值信噪比和结构相似性指数都优于经典对比算法. 展开更多
关键词 图像去雾 全局残差注意力机制 CNN-transformer架构 门控特征融合 图像重建
在线阅读 下载PDF
基于局部时序建模与Transformer的机器人运动技能学习
2
作者 朱晓庆 南博睿 +5 位作者 宫婉儒 毕兰越 郑忻宜 朱晓宇 吴通 张川 《北京理工大学学报》 北大核心 2025年第9期968-978,共11页
为了提高机器人运动技能学习的效率和精度,提出一种基于序列特征处理的动作决策Transformer模型,命名为门控机制Transformer(gated mechanism Transformer,GMT).模型以GPT-2为核心,结合门控机制提取隐藏状态特征,通过自回归建模捕捉时... 为了提高机器人运动技能学习的效率和精度,提出一种基于序列特征处理的动作决策Transformer模型,命名为门控机制Transformer(gated mechanism Transformer,GMT).模型以GPT-2为核心,结合门控机制提取隐藏状态特征,通过自回归建模捕捉时间依赖关系,解决机器人运动数据中深层特征难以提取的问题.同时,利用参数共享策略细化预测特征完成动作推理.GMT在MuJoCo平台的三个机器人运动技能任务中进行了验证.实验结果表明,GMT在学习效率和精度方面较Decision Transformer最高提升28.5%.研究表明,GMT能够高效建模机器人运动序列特征,为机器人动作决策提供新的技术方案. 展开更多
关键词 机器人运动 局部时序建模 transformER 门控机制 自回归建模
在线阅读 下载PDF
基于Transformer-TCN-GRU的场面滑行轨迹预测模型
3
作者 王兴隆 李国祥 +3 位作者 张钊 叶可 苏婷 葛京 《交通信息与安全》 北大核心 2025年第2期44-53,64,共11页
对于航空器滑行轨迹预测,现有方法在实时推算中等时间尺度内的未来位置精度较低,为进一步提高中等时间尺度内轨迹预测的精度,并保证实时预测的高效性,将Transformer网络、交叉注意力机制、时间卷积网络(temporal convolutional network,... 对于航空器滑行轨迹预测,现有方法在实时推算中等时间尺度内的未来位置精度较低,为进一步提高中等时间尺度内轨迹预测的精度,并保证实时预测的高效性,将Transformer网络、交叉注意力机制、时间卷积网络(temporal convolutional network,TCN)与门控循环单元(gated recurrent unit,GRU)相结合,构建1种输出多条候选轨迹的地面滑行轨迹预测模型。引入Transformer编码器捕捉航空器历史轨迹数据中的时间依赖性和运动状态,获取轨迹特征序列的全局特征表示;结合机场矢量地图和管制系统给出的滑行路径指令计算航空器在未来计划的滑行路径坐标序列,使用交叉注意力机制,以轨迹序列的全局特征作为查询,关注路径坐标序列中对未来滑行影响最大的位置,将融合路径特征后的轨迹全局特征映射为多种模态,对应每条候选轨迹的特征;TCN-GRU轨迹解码器对每种模态的轨迹特征进行解码,捕捉轨迹序列中的长期时间依赖,输出多条预测轨迹及其概率。以国内某大型机场航空器真实滑行轨迹进行验证,未来8 s的位置轨迹预测最小平均位移误差(minimum average displacement error,minADE)为1.932 m,最小最终位移误差(minimum final displacement error,minFDE)为1.811 m,相较于单一的GRU、TCN模型,minADE降低14.10%、16.62%,minFDE降低30.88%、34.72%,测试样本平均耗时17.70 ms,可以准确、快速预测滑行轨迹,有利于保障飞行区的安全运行。 展开更多
关键词 滑行轨迹 轨迹预测 transformer模型 时间卷积网络 门控循环单元
在线阅读 下载PDF
基于Transformer和门控融合机制的图像去雾算法 被引量:1
4
作者 王燕 陈燕燕 +1 位作者 刘晶晶 胡津源 《计算机系统应用》 2025年第2期1-10,共10页
针对现有的图像去雾算法仍然存在去雾不彻底、去雾后的图像边缘模糊、细节信息丢失等问题,本文提出了一种基于Transformer和门控融合机制的图像去雾算法.通过改进的通道自注意力机制提取图像的全局特征,提高模型处理图像的效率,设计多... 针对现有的图像去雾算法仍然存在去雾不彻底、去雾后的图像边缘模糊、细节信息丢失等问题,本文提出了一种基于Transformer和门控融合机制的图像去雾算法.通过改进的通道自注意力机制提取图像的全局特征,提高模型处理图像的效率,设计多尺度门控融合块捕获不同尺度的特征,门控融合机制通过动态调整权重,提高模型对不同雾化程度的适应能力,同时更好地保留图像边缘及细节信息,并使用残差连接增强特征的重用性,提高模型泛化能力.经实验验证,所提出的去雾算法可以有效恢复真实有雾图像中的内容信息,在合成的有雾图像数据集SOTS上的峰值信噪比达到了34.841 dB,结构相似性达到了0.984,去雾后的图像内容信息完整且没有出现细节信息模糊和去雾不彻底等现象. 展开更多
关键词 图像去雾 transformER 自注意力机制 门控融合机制 多尺度特征融合
在线阅读 下载PDF
基于分解技术的IZOA-Transformer-BiGRU短期风电功率预测 被引量:3
5
作者 蒲晓云 杨靖 +1 位作者 杨兴 宁媛 《电子测量技术》 北大核心 2025年第2期39-48,共10页
准确的风电功率预测对于保障电网平稳运行和提升风资源利用效率具有重要意义。针对风电功率数据的非平稳性和间歇性等特征,本文提出了一种结合数据分解技术的IZOA-Transformer-BiGRU组合预测模型,以提升短期风电功率预测的精度和可靠性... 准确的风电功率预测对于保障电网平稳运行和提升风资源利用效率具有重要意义。针对风电功率数据的非平稳性和间歇性等特征,本文提出了一种结合数据分解技术的IZOA-Transformer-BiGRU组合预测模型,以提升短期风电功率预测的精度和可靠性。首先,采用能量差值法确定变分模态分解(VMD)的子模态数,将具有较强随机波动性的原始风电功率分解为一系列相对平稳的子序列,从而更加充分地提取时序特征。其次,构建Transformer-BiGRU模型,引入多头注意力机制并行处理多个特征之间的交互关系,并利用BiGRU捕捉时序序列间的前后依赖性,从而提升预测性能。为了进一步优化模型性能,采用融合Singer混沌映射、透镜折射反向学习和单纯形法策略的改进斑马优化算法(IZOA),对Transformer-BiGRU模型的隐藏层神经元数、初始学习率、正则化系数和多头注意力头数四个关键超参数进行优化。最后,通过IZOA-Transformer-BiGRU对分解后的各子序列进行预测,经过叠加重构得到最终的预测结果。实验结果表明,与单一BiGRU模型相比,所提模型的决定系数提升了5.10%,平均绝对误差、均方根误差以及平均绝对百分比误差分别降低了56.17%、54.58%、54.55%,具有较高的预测精度。 展开更多
关键词 风电功率预测 变分模态分解 transformER 双向门控循环单元 能量差值法 斑马优化算法
原文传递
GTCG-Net:一种基于门控Transformer的CycleGAN视网膜图像增强方法
6
作者 熊冰清 余元辉 《集美大学学报(自然科学版)》 2025年第3期299-306,共8页
提出一个基于门控Transformer的CycleGAN视网膜图像增强方法(GTCG-Net)。通过使用生成对抗网络和循环一致性损失来实现视网膜图像的自动增强,从而改善图像质量和病变部分的可视化效果。并利用门控MLP提取更有用的特征,将生成器设计为类U... 提出一个基于门控Transformer的CycleGAN视网膜图像增强方法(GTCG-Net)。通过使用生成对抗网络和循环一致性损失来实现视网膜图像的自动增强,从而改善图像质量和病变部分的可视化效果。并利用门控MLP提取更有用的特征,将生成器设计为类U-Net结构,使用跳跃连接进行特征融合,以得到丰富的局部特征和细节信息。实验结果显示与其他视网膜图像增强方法GFE-Net、SCRNET、I-SECRET等相比,GTCG-Net不仅可以有效的去除伪影、恢复眼底结构和病理特征,同时在多个数据集上表现出了较好的泛化能力。 展开更多
关键词 CycleGAN transformER 门控MLP 跳跃连接 视网膜图像增强
在线阅读 下载PDF
改进的Transformer-LSTM模型在交通流量预测中的应用与优化 被引量:1
7
作者 刘海悦 伍添龙 毛自森 《陆军工程大学学报》 2025年第4期80-87,共8页
针对现有方法在捕捉交通流量复杂时空特征中的不足,提出了一种改进的Transformer长短期记忆(long short-term memory,LSTM)融合模型,旨在提升高速公路交通流量的预测精度。结合LSTM的长期依赖建模能力与Transformer的全局自注意力机制,... 针对现有方法在捕捉交通流量复杂时空特征中的不足,提出了一种改进的Transformer长短期记忆(long short-term memory,LSTM)融合模型,旨在提升高速公路交通流量的预测精度。结合LSTM的长期依赖建模能力与Transformer的全局自注意力机制,通过门控残差网络筛选关键特征、动态位置编码增强时序感知,并引入掩码机制优化多头注意力计算,有效降低模型复杂度。基于长深高速公路监控数据,对比HA、ARIMA、LSTM、GRN及传统Transformer、GRN-Transformer等基线模型,实验结果表明,在6、12、24步长预测任务中,所提模型平均绝对误差(mean absolute error,MAE)与均方根误差(root mean square error,RMSE)均显著优于其他模型。其中,24步长预测的MAE较Transformer模型降低7.7%,RMSE较GRN-Transformer模型降低7.2%,验证了模型在捕捉长期时空依赖与动态特征上的优势。所提模型为智能交通系统提供了高精度的流量预测解决方案,可助力实时交通管理与决策优化。 展开更多
关键词 交通流预测 长短期记忆网络 transformER 门控残差网络 位置编码
在线阅读 下载PDF
基于多编码器及双路径Transformer网络的单通道盲分离 被引量:1
8
作者 陈柄旭 高勇 《通信技术》 2025年第9期950-954,共5页
针对通信混合信号的单通道盲分离问题,提出了一种基于多编码器及双路径Transformer网络的新型分离方法。首先,为了在多个编码空间学习源混合信号的特征,设计了两个编码器,分别提取信号的波形特征与调制信息;其次,构建双路径Transformer... 针对通信混合信号的单通道盲分离问题,提出了一种基于多编码器及双路径Transformer网络的新型分离方法。首先,为了在多个编码空间学习源混合信号的特征,设计了两个编码器,分别提取信号的波形特征与调制信息;其次,构建双路径Transformer模块,通过局部路径和全局路径以直接上下文感知方式对信号序列进行建模;最后,利用双向循环神经网络充分捕捉序列数据中的长时依赖关系和特征,并用解码器重构源信号。仿真结果表明,所提出的网络可以有效地对两路混合信号进行分离,与卷积分离网络相比有约1 dB的性能提升。 展开更多
关键词 单通道盲分离 transformER 多编码器 双向门控循环单元
在线阅读 下载PDF
引入Transformer的RGBT自适应融合视觉跟踪
9
作者 郭勇 谌海云 +1 位作者 陈建宇 肖章勇 《红外技术》 北大核心 2025年第8期998-1008,共11页
RGBT目标跟踪利用可见光和热红外两种模态信息的互补性改善了在云雾遮挡、光照变化等场景下的跟踪性能,但由于可见光和热红外图像特征差异较大,导致大多数跟踪算法特征信息提取不充分、特征融合的冗余信息太多。针对以上问题,提出一种引... RGBT目标跟踪利用可见光和热红外两种模态信息的互补性改善了在云雾遮挡、光照变化等场景下的跟踪性能,但由于可见光和热红外图像特征差异较大,导致大多数跟踪算法特征信息提取不充分、特征融合的冗余信息太多。针对以上问题,提出一种引入Transformer的RGBT自适应融合目标跟踪算法SiamTAF。首先,在特征提取阶段,使用Transformer分别对可见光和热红外分支的AlexNet网络后两层进行改进,使其具有建立特征上下文依赖性的能力。其次,结合交叉注意力和挑选机制提出一种自适应融合模块,以促进两模态特征的互补性融合。最后,为了让线性互相关运算具有捕捉非线性相似特征的能力,在线性互相关运算中加入非线性门控注意力。在GTOT和RGBT234基准数据集上的实验结果表明,相比MANet、DAFNet、DAPNet等算法,SiamTAF算法在面对热交叉、光照变化等问题时,其跟踪性能更具鲁棒性。 展开更多
关键词 RGBT transformER 自适应融合 互相关运算 门控注意力
在线阅读 下载PDF
基于ISSA-Transformer的电梯制动力矩预测研究
10
作者 苏万斌 江叶峰 +2 位作者 李科 周振超 易灿灿 《机电工程》 北大核心 2025年第10期2027-2036,共10页
实现电梯制动器力矩的精确预测对确保电梯安全运行和实现预测性维护具有重要的意义。针对曳引式电梯在制动力矩预测方面存在准确性与可靠性不足的问题,以及现有Transformer存在计算复杂度高和训练时间长的局限性,提出了一种基于改进鲸... 实现电梯制动器力矩的精确预测对确保电梯安全运行和实现预测性维护具有重要的意义。针对曳引式电梯在制动力矩预测方面存在准确性与可靠性不足的问题,以及现有Transformer存在计算复杂度高和训练时间长的局限性,提出了一种基于改进鲸沙虫群算法优化Transformer网络(ISSA-Transformer)的电梯制动力矩预测方法。首先,为了提高Transformer的预测精度,在Transformer模型中添加了特征融合门(FFG)以提高模型的特征提取能力,使其能够更有效地捕捉制动力矩的全局与局部特征;然后,利用拉普拉斯交叉算子、混合对立学习方法以及高斯扰动对鲸沙虫群算法(SSA)进行了改进,以增强SSA的搜索能力和全局最优收敛性。并采用ISSA算法优化了Transformer的迭代次数、批次大小和学习率,以提高模型的计算效率并减少训练时间,从而建立了电梯制动器制动力矩的预测模型;最后,对曳引式电梯制动器数据进行了分析,将所得结果与LSTM、Transformer和SSA-Transformer模型进行了比较。研究结果表明:ISSA-Transformer的均方根误差(RMSE)较LSTM、Transformer和SSA-Transformer模型分别降低了0.0318、0.0144和0.0133,用于电梯制动力矩预测的准确率达到了98.7%,相较传统方法具有更高的精度和稳定性。该方法可为电梯的安全评估和预测性维护提供更可靠的技术支持。 展开更多
关键词 曳引式电梯 升降台 电梯制动器 改进鲸沙虫群算法 transformer网络 特征融合门 均方根误差 长短期记忆网络
在线阅读 下载PDF
基于轻量化门控卷积网络的实时Transformer水下目标检测方法
11
作者 李瑜辉 崔慧霞 +1 位作者 李耀敏 贾森平 《水下无人系统学报》 2025年第2期229-237,共9页
针对水下目标检测算法图像特征处理困难、模型结构冗余以及参数量庞大等问题,提出一种基于轻量化门控卷积网络的实时Transformer水下目标检测方法。该方法首先基于门控思想构建卷积门控线性单元,动态调节特征的传递,并以此为基础提出门... 针对水下目标检测算法图像特征处理困难、模型结构冗余以及参数量庞大等问题,提出一种基于轻量化门控卷积网络的实时Transformer水下目标检测方法。该方法首先基于门控思想构建卷积门控线性单元,动态调节特征的传递,并以此为基础提出门控通道交互模块,该模块通过完全解耦token mixer(词元混合器)和channelmixer(通道混合器),并针对tokenmixer部分引入结构重新参数化技术,极大降低了模型在推理过程中的计算成本。混合编码器针对门控骨干网络提取的3个特征分别进行尺度内信息交互和多尺度特征融合,实现浅层高频率信息和深层语义空间信息之间的高度融合。文中模型在多个不同模态数据集上进行了大量实验,实验结果显示,模型的mAP@0.5达到了0.849,整体参数量为23.3×10^(6),检测帧率为136.8。该模型在保持优秀检测精度的同时,实现了较小的模型参数量和较高的检测速度,整体性能优于其他模型。结果表明,与一系列优秀的目标检测模型相比,文中模型具备较高的检测性能和高效的实时检测能力。 展开更多
关键词 水下目标检测 轻量化网络 门控卷积 transformER
在线阅读 下载PDF
基于GatedTCN-Attentions的煤矿变压器顶层油温预测
12
作者 谢海峰 裴文良 +1 位作者 魏硕 张越超 《煤炭技术》 2025年第4期257-262,共6页
顶层油温预测可以为煤矿油浸式变压器的故障预警和老化评估提供重要依据,有利于保障煤矿安全。针对传统方法在信息提取、油温长周期预测方面的局限性,提出一种基于GatedTCN-Attentions的煤矿变压器顶层油温预测方法。首先,通过K-近邻算... 顶层油温预测可以为煤矿油浸式变压器的故障预警和老化评估提供重要依据,有利于保障煤矿安全。针对传统方法在信息提取、油温长周期预测方面的局限性,提出一种基于GatedTCN-Attentions的煤矿变压器顶层油温预测方法。首先,通过K-近邻算法将数据规范化;然后,由门控时序卷积神经网络和通道注意力模块建立分支通道进行特征提取,再通过块注意力机制进行多模态特征融合;最后,由回归预测模块输出油温预测值。实验结果表明,相比于其他传统深度学习模型,所提模型在长周期油温预测的准确性和稳定性方面均具有明显优势,对煤矿变压器的健康监测具有指导意义。 展开更多
关键词 煤矿变压器 顶层油温 门控时序卷积网络 注意力机制 长周期预测
原文传递
Predicting Wavelet-Transformed Stock Prices Using a Vanishing Gradient Resilient Optimized Gated Recurrent Unit with a Time Lag
13
作者 Luyandza Sindi Mamba Antony Ngunyi Lawrence Nderu 《Journal of Data Analysis and Information Processing》 2023年第1期49-68,共20页
The development of accurate prediction models continues to be highly beneficial in myriad disciplines. Deep learning models have performed well in stock price prediction and give high accuracy. However, these models a... The development of accurate prediction models continues to be highly beneficial in myriad disciplines. Deep learning models have performed well in stock price prediction and give high accuracy. However, these models are largely affected by the vanishing gradient problem escalated by some activation functions. This study proposes the use of the Vanishing Gradient Resilient Optimized Gated Recurrent Unit (OGRU) model with a scaled mean Approximation Coefficient (AC) time lag which should counter slow convergence, vanishing gradient and large error metrics. This study employed the Rectified Linear Unit (ReLU), Hyperbolic Tangent (Tanh), Sigmoid and Exponential Linear Unit (ELU) activation functions. Real-life datasets including the daily Apple and 5-minute Netflix closing stock prices were used, and they were decomposed using the Stationary Wavelet Transform (SWT). The decomposed series formed a decomposed data model which was compared to an undecomposed data model with similar hyperparameters and different default lags. The Apple daily dataset performed well with a Default_1 lag, using an undecomposed data model and the ReLU, attaining 0.01312, 0.00854 and 3.67 minutes for RMSE, MAE and runtime. The Netflix data performed best with the MeanAC_42 lag, using decomposed data model and the ELU achieving 0.00620, 0.00487 and 3.01 minutes for the same metrics. 展开更多
关键词 Optimized gated Recurrent Unit Approximation Coefficient Stationary Wavelet transform Activation Function Time Lag
在线阅读 下载PDF
基于Transformer的网络安全态势预测 被引量:21
14
作者 赵冬梅 李志坚 《华中科技大学学报(自然科学版)》 EI CAS CSCD 北大核心 2022年第5期46-52,共7页
针对当下网络安全态势预测准确率低的问题,将Transformer用于网络安全态势预测.首先,引入门控循环单元(GRU)来降低样本特征的维度,维度的下降有利于减少训练Transformer的代价和缓解Transformer过拟合问题;然后,将降维后的特征输入Trans... 针对当下网络安全态势预测准确率低的问题,将Transformer用于网络安全态势预测.首先,引入门控循环单元(GRU)来降低样本特征的维度,维度的下降有利于减少训练Transformer的代价和缓解Transformer过拟合问题;然后,将降维后的特征输入Transformer层,通过编码器提取具有时序关系的特征;最后,使用全局平均池化处理提取的特征,以减少全连接层的参数量,减缓过拟合问题.在两个网络安全数据集上的实验表明:该方法可以降低训练时间,并且在准确率、精确率和F1值三个指标上的综合表现优于其他方法. 展开更多
关键词 网络安全 态势预测 transformER 门控循环单元(GRU) 降维
原文传递
结合CSWin-Transformer和门卷积的壁画图像修复方法 被引量:6
15
作者 徐志刚 杨欣宇 《计算机工程与应用》 CSCD 北大核心 2024年第21期215-224,共10页
敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁... 敦煌壁画是珍贵的文化遗产,但现存壁画存在着大量破损现象。针对现有图像修复方法在处理敦煌壁画时面临着计算复杂度高、纹理模糊和特征提取不足等问题,提出了一种结合CSWin-Transformer(cross stripe window-Transformer)和门卷积的壁画图像修复方法。构建由全局层网络和局部层门卷积残差密集网络组成的并行网络,利用条纹窗口增强图像特征提取能力,并通过门卷积残差块提升结构纹理修复的准确性。设计全局-局部特征融合模块来融合全局层和局部层输出的特征图像,以保持修复结果整体的一致性。通过建立共享注意力机制实现全局层和局部层之间的信息交互,同时为了完成破损壁画的修复,采用谱归一化马尔科夫判别模型进行对抗训练。通过对真实破损壁画的修复实验,结果表明,所提方法在主客观指标上均优于所对比的方法。 展开更多
关键词 深度学习 壁画修复 门卷积 CSWin-transformer 全局-局部特征融合
在线阅读 下载PDF
基于门控循环单元和Transformer的车辆轨迹预测方法 被引量:4
16
作者 王庆荣 谭小泽 +1 位作者 朱昌锋 李裕杰 《汽车技术》 CSCD 北大核心 2024年第7期1-8,共8页
为增强自动驾驶车辆对动态环境的理解能力及其道路行驶安全性,提出基于门控循环单元(GRU)和Transformer的车辆轨迹预测模型STGTF,使用GRU提取车辆的历史轨迹特征,通过双层多头注意力(MHA)机制提取车辆的时空交互特征,生成预测轨迹。试... 为增强自动驾驶车辆对动态环境的理解能力及其道路行驶安全性,提出基于门控循环单元(GRU)和Transformer的车辆轨迹预测模型STGTF,使用GRU提取车辆的历史轨迹特征,通过双层多头注意力(MHA)机制提取车辆的时空交互特征,生成预测轨迹。试验结果表明,预测结果的均方根误差(RMSE)平均降低7.3%,STGTF在短期预测和长期预测方面均有不同程度的提升,验证了模型的有效性。 展开更多
关键词 车辆轨迹预测 门控循环单元 transformER 车辆交互 多头注意力机制
在线阅读 下载PDF
基于动态Transformer的轻量化目标检测算法 被引量:2
17
作者 方思凯 孙广玲 +1 位作者 陆小锋 刘学锋 《电光与控制》 CSCD 北大核心 2024年第2期52-57,共6页
针对Transformer检测模型计算复杂度高以及检测效率低的问题,提出一种轻量化的动态Transformer目标检测改进算法。首先,在自注意力模块中引入动态门来筛选重要的关注区域,设计了从局部到全局的动态稀疏自注意力机制,在减轻计算负载的同... 针对Transformer检测模型计算复杂度高以及检测效率低的问题,提出一种轻量化的动态Transformer目标检测改进算法。首先,在自注意力模块中引入动态门来筛选重要的关注区域,设计了从局部到全局的动态稀疏自注意力机制,在减轻计算负载的同时增强模型的多尺度泛化能力;其次,在模型结构层面上引入了动态跳层机制,使模型在推理过程中能够根据输入自适应调整参数和结构,在检测速率与精度之间取得更好的权衡。实验结果表明,改进后检测模型的计算冗余有效降低,相比现有的基准模型更加高效,实际应用空间更加广阔。 展开更多
关键词 目标检测 transformER 轻量化 动态门 多尺度 动态跳层
在线阅读 下载PDF
基于模态分解的Transformer-GRU联合电池健康状态估计 被引量:9
18
作者 陈欣 李云伍 +2 位作者 梁新成 李法霖 张志冬 《储能科学与技术》 CAS CSCD 北大核心 2023年第9期2927-2936,共10页
针对锂电池使用过程中因松弛效应导致健康状态(state of health,SOH)呈现非稳定退化并影响SOH预测准确性的问题,提出一种基于变分模态分解(variational mode decomposition,VMD)与粒子群优化(particle swarm optimization,PSO)的变换神... 针对锂电池使用过程中因松弛效应导致健康状态(state of health,SOH)呈现非稳定退化并影响SOH预测准确性的问题,提出一种基于变分模态分解(variational mode decomposition,VMD)与粒子群优化(particle swarm optimization,PSO)的变换神经网络(Transformer)和门控循环单元(gate recurrent unit,GRU)的联合方法。首先将锂电池容量信息通过变分模态分解算法分解,为避免分解程度不合理影响预测能力,使用中心频率法判断分解状态作为原数据信息有效解释依据;然后使用粒子群优化算法优化调整后的变换神经网络和门控循环单元结构的超参数,变换神经网络采用线性层代替解码器(decoder)更好适用时序数据,保留编码器(encoder)捕获数据全局特征及内部相关性,提升了单个Transformer及其联合模型预测精度;最后由Transformer和GRU分别对主趋势子序列和高频子序列预测,并将两种模型的预测进行融合以完成对锂离子电池SOH的估算。利用NASA锂电池数据集验证了模型的预测效果,并通过与多层感知机(multi-layer perception,MLP)、循环神经网络(recurrent neural network,RNN)等单一模型和高斯函数-GRU、Transformer-MLP等联合模型进行对比。结果表明本文预测模型无论在精度还是再生现象的拟合程度都优于其他单个模型或者联合模型,预测结果的平均绝对误差和均方根误差维持在0.62%和1.19%以内,决定系数在87.08%之上,验证了所提研究方法的有效性。 展开更多
关键词 锂离子电池 健康状态估计 变分模态分解 变换神经网络 门控循环单元
在线阅读 下载PDF
基于Transformer的脊椎CT图像分割 被引量:6
19
作者 卢玲 漆为民 《中国图象图形学报》 CSCD 北大核心 2023年第11期3618-3628,共11页
目的脊椎CT(computed tomography)图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络(convolutional neural network,... 目的脊椎CT(computed tomography)图像存在组织结构显示不佳、对比度差以及噪音干扰等问题;传统分割算法分割精度低,分割过程需人工干预,往往只能实现半自动分割,不能满足实时分割需求。基于卷积神经网络(convolutional neural network,CNN)的U-Net模型成为医学图像分割标准,但仍存在长距离交互受限的问题。Transformer集成全局自注意力机制,可捕获长距离的特征依赖,在计算机视觉领域表现出巨大优势。本文提出一种CNN与Transformer混合分割模型TransAGUNet(Transformer attention gate U-Net),以实现对脊椎CT图像的高效自动化分割。方法提出的模型将Transformer、注意力门控机制(attention gate,AG)及U-Net相结合构成编码—解码结构。编码器使用Transformer和CNN混合架构,提取局部及全局特征;解码器使用CNN架构,在跳跃连接部分融入AG,将下采样特征图对应的注意力图(attention map)与下一层上采样后获得的特征图进行拼接,融合低层与高层特征从而实现更精细的分割。实验使用Dice Loss与带权重的交叉熵之和作为损失函数,以解决正负样本分布不均的问题。结果将提出的算法在VerSe2020数据集上进行测试,Dice系数较主流的CNN分割模型U-Net、Attention U-Net、U-Net++和U-Net3+分别提升了4.47%、2.09%、2.44%和2.23%,相较优秀的Transformer与CNN混合分割模型TransUNet和TransNorm分别提升了2.25%和1.08%。结论本文算法较以上6种分割模型在脊椎CT图像的分割性能最优,有效地提升了脊椎CT图像的分割精度,分割实时性较好。 展开更多
关键词 脊椎CT图像 医学图像分割 深度学习 transformER 注意力门控机制(AG)
原文传递
基于FPGA的卷积神经网络和视觉Transformer通用加速器 被引量:2
20
作者 李天阳 张帆 +2 位作者 王松 曹伟 陈立 《电子与信息学报》 EI CAS CSCD 北大核心 2024年第6期2663-2672,共10页
针对计算机视觉领域中基于现场可编程逻辑门阵列(FPGA)的传统卷积神经网(CNN)络加速器不适配视觉Transformer网络的问题,该文提出一种面向卷积神经网络和Transformer的通用FPGA加速器。首先,根据卷积和注意力机制的计算特征,提出一种面... 针对计算机视觉领域中基于现场可编程逻辑门阵列(FPGA)的传统卷积神经网(CNN)络加速器不适配视觉Transformer网络的问题,该文提出一种面向卷积神经网络和Transformer的通用FPGA加速器。首先,根据卷积和注意力机制的计算特征,提出一种面向FPGA的通用计算映射方法;其次,提出一种非线性与归一化加速单元,为计算机视觉神经网络模型中的多种非线性和归一化操作提供加速支持;然后,在Xilinx XCVU37P FPGA上实现了加速器设计。实验结果表明,所提出的非线性与归一化加速单元在提高吞吐量的同时仅造成很小的精度损失,ResNet-50和ViT-B/16在所提FPGA加速器上的性能分别达到了589.94 GOPS和564.76 GOPS。与GPU实现相比,能效比分别提高了5.19倍和7.17倍;与其他基于FPGA的大规模加速器设计相比,能效比有明显提高,同时计算效率较对比FPGA加速器提高了8.02%~177.53%。 展开更多
关键词 计算机视觉 卷积神经网络 transformER FPGA 硬件加速器
在线阅读 下载PDF
上一页 1 2 22 下一页 到第
使用帮助 返回顶部