期刊文献+
共找到317,852篇文章
< 1 2 250 >
每页显示 20 50 100
基于Transformer架构的X波段双偏振雷达回波衰减订正研究
1
作者 张远康 胡志群 +1 位作者 郑佳锋 王丽荣 《高原气象》 北大核心 2026年第2期573-584,共12页
X波段天气雷达的衰减效应严重制约其探测精度。本研究基于Transformer设计了一个X波段雷达衰减订正架构XCORnet,将北京大兴S波段新一代天气雷达(CINRAD/SAD)数据作为真值,时空匹配北京房山X波段双偏振雷达(XPOL)观测的反射率因子Z_(H)... X波段天气雷达的衰减效应严重制约其探测精度。本研究基于Transformer设计了一个X波段雷达衰减订正架构XCORnet,将北京大兴S波段新一代天气雷达(CINRAD/SAD)数据作为真值,时空匹配北京房山X波段双偏振雷达(XPOL)观测的反射率因子Z_(H)、差分反射率因子Z_(DR),分别匹配2642624、2605583组样本。基于该数据集与XCORnet架构,训练Z_(H)和Z_(DR)的衰减订正模型,并用测试集评估。结果表明,人工智能模型显著优于传统方法。Z_(H)订正,模型将SAD与XPOL的比率偏差(BIAS)从0.875提升至0.972,优于经验公式订正后的0.901,均方根误差(RMSE)由8.693 dB降至5.811 dB,提升33.15%,而经验公式订正后仅降至6.820 dB,提升21.54%。Z_(DR)订正,模型将SAD与XPOL的BIAS从0.862提升至1.141,优于经验公式的过量订正(BIAS=1.273),RMSE由1.679 dB降至0.972 dB,提升42.10%,经验公式订正后降至1.382 dB,提升17.69%。平均绝对误差(MAE)模型订正同样较传统方法有明显优势。三个个例应用进一步验证了模型的稳定性和泛化能力。 展开更多
关键词 X波段双偏振雷达 衰减订正 深度学习 transformer架构
在线阅读 下载PDF
基于CNN-Transformer架构的电磁传播损耗预测算法
2
作者 万勇 李骏杰 +1 位作者 孙伟峰 戴永寿 《现代电子技术》 北大核心 2026年第6期43-48,共6页
为了解决传统经验传播损耗模型预测精度不足的问题,提出一种基于CNN-Transformer架构的电磁传播损耗预测算法,通过构建回归模型进行精准的传播损耗预测。通过斯皮尔曼系数法提取有效特征,利用CNN提取与传播损耗预测高度相关的浅层特征,... 为了解决传统经验传播损耗模型预测精度不足的问题,提出一种基于CNN-Transformer架构的电磁传播损耗预测算法,通过构建回归模型进行精准的传播损耗预测。通过斯皮尔曼系数法提取有效特征,利用CNN提取与传播损耗预测高度相关的浅层特征,将从卫星图像中获取的传播路径上地物特征序列进行位置编码,增强对传播路径中不同地物特征顺序对传播损耗影响的理解。最后将CNN提取的浅层特征与位置编码后的地物特征输入到Transformer模型,通过多头自注意力机制捕捉特征间的全局关联性,从而有效校正传播损耗的预测结果。实验结果表明,所提出的CNN-Transformer方法显著降低了传播损耗预测的均方根误差(RMSE),达到了3.3745 dB,同时保持了0.8956的较高确定性系数(R^(2))。所提的电磁传播损耗预测算法为无线通信传播特性研究领域提供了参考,具有一定的应用价值。 展开更多
关键词 电磁传播 损耗预测 transformer CNN 斯皮尔曼系数法 地物类型 位置编码
在线阅读 下载PDF
Transformer架构驱动下的综采工作面矿压时序特征智能预测
3
作者 杜锋 陈博 +7 位作者 王文强 浦海 杜雪明 李国栋 乔瑞 李鑫磊 徐杰 曹煜 《煤田地质与勘探》 北大核心 2026年第2期1-13,共13页
【背景】矿压预测是顶板灾害预警和管理的重要手段,是智能化矿井安全生产的前提和基础。开采过程中综采工作面环境复杂多变,导致基于电液控制系统采集的支架压力数据分布差异较大,预测困难。【方法】基于Transformer的矿压预测模型,使... 【背景】矿压预测是顶板灾害预警和管理的重要手段,是智能化矿井安全生产的前提和基础。开采过程中综采工作面环境复杂多变,导致基于电液控制系统采集的支架压力数据分布差异较大,预测困难。【方法】基于Transformer的矿压预测模型,使用线性插值填补缺失的矿压值,并使用滑动窗口算法调整训练时的矿压数据结构;针对矿压数据的时序特性,构建融合时序特征的输入序列,利用多头注意力(multi-head-attention)机制动态计算权重,根据数据本身自适应地聚焦关键时间步,从而有效捕捉复杂的非线性时序依赖,显著提升特征表征与预测能力,最后使用迁移学习方法,完成对上、中、下工作面支架工作阻力预测,并搭建基于矿压大数据的智能分析及预测平台。【结果和结论】使用多头注意力机制代替神经网络捕捉全局矿压数据特征,比循环神经网络(recurrent neural network,RNN)和长短期记忆网络(long short-term memory,LSTM)具有更强长序列依赖能力和特征学习能力,能有效降低模型损失,更加适用于预测矿压,Transformer模型在测试集上的均方误差和平均绝对误差损失精度分别达到0.34%和2.57%。Transformer模型也具有较强的泛化能力,使用迁移学习方法微调后,能够有效降低模型损失,在迁移同工作面其他支架时具有更好的泛化效果,Transformer预测模型进一步验证在矿压预测问题的适用性和可行性。平台可视化显示系统可精准分析预测前后的来压次数、推进距离、来压判据和工作面矿压云图等关键参数,为顶板灾害预警乃至其他灾害预警提供新思路,也为矿井安全高效开采与智能化建设奠定了坚实基础。 展开更多
关键词 综采工作面 深度学习 transformer模型 时间序列 矿压显现 矿压预测
在线阅读 下载PDF
基于Transformer架构的RNA二级结构预测方法
4
作者 喻定 李章维 《计算机科学》 北大核心 2026年第3期375-382,共8页
RNA二级结构预测是生物信息学中的核心问题,近年来,深度学习技术的发展为该领域带来了显著进步。然而,现有方法在预测精度和对外部先验模型的依赖性方面仍存在不足,这些限制可能对模型的鲁棒性和泛化能力造成影响。针对上述问题,提出了... RNA二级结构预测是生物信息学中的核心问题,近年来,深度学习技术的发展为该领域带来了显著进步。然而,现有方法在预测精度和对外部先验模型的依赖性方面仍存在不足,这些限制可能对模型的鲁棒性和泛化能力造成影响。针对上述问题,提出了一种基于Transformer架构的RNA二级结构预测模型。该模型设计了两条特征编码通路,通过线性嵌入和独热编码生成序列特征,并利用交叉注意力机制高效融合两种特征表示。在特征提取阶段,模型采用改进的Swin-Transformer与U-Net相结合的架构(Swin-UNet),实现深层次特征提取,并最终生成RNA二级结构配对概率矩阵。实验结果表明,该模型在多个标准数据集上的F1得分领先了其他模型3%以上,且无须依赖外部模型的先验信息。研究结果为RNA结构预测提供了新的解决方案,同时展现了Transformer架构在生物序列分析中的广阔前景。 展开更多
关键词 RNA二级结构预测 深度学习 Swin-transformer 交叉注意力 U-Net
在线阅读 下载PDF
改进Transformer架构的混合时频域增强分解模型的重大装备剩余寿命预测
5
作者 蔡志强 胡昌华 +1 位作者 王兆强 李榕泽 《火箭军工程大学学报》 2025年第3期76-89,共14页
针对航空航天领域重大装备的剩余寿命(remaining useful life,RUL)预测问题,提出一种基于改进Transformer架构的混合时频域增强分解模型。首先,通过融合时域与频域特征,全面提取多层次的设备退化特征;然后,设计了频域增强模块,结合傅里... 针对航空航天领域重大装备的剩余寿命(remaining useful life,RUL)预测问题,提出一种基于改进Transformer架构的混合时频域增强分解模型。首先,通过融合时域与频域特征,全面提取多层次的设备退化特征;然后,设计了频域增强模块,结合傅里叶变换和小波变换,从频域角度提取信号的周期性和局部特征;接着,利用分解趋势学习模块对信号进行多尺度趋势分解,提取周期性与趋势性成分;最后,通过基于分层预测的残差学习模块,进一步提高RUL预测的精度。为验证模型的性能,使用NASA C-MAPSS数据集进行了实验。结果表明:模型在FD001、FD002、FD003、FD004四个数据集上的均方根误差分别为10.83、17.53、11.42和20.56,相较于现有的深度学习方法,具有更优的预测性能和更快的收敛速度,在多工况和多传感器环境下具有更强的鲁棒性与泛化能力。 展开更多
关键词 重大装备 健康管理 剩余寿命预测 改进transformer架构 混合模型 深度学习
原文传递
一种基于Transformer架构的多层级自动睡眠分期模型 被引量:5
6
作者 金峥 贾克斌 《电子学报》 北大核心 2025年第2期545-557,共13页
睡眠是人体保持健康的重要生理过程,基于多导睡眠图(PolySomnoGraphy,PSG)的睡眠分期是诊疗睡眠疾病和评估睡眠质量的重要依据.人工睡眠分期法在处理大规模PSG数据时存在耗时久、效率低的问题,采用深度学习模型有效表征PSG的自动睡眠分... 睡眠是人体保持健康的重要生理过程,基于多导睡眠图(PolySomnoGraphy,PSG)的睡眠分期是诊疗睡眠疾病和评估睡眠质量的重要依据.人工睡眠分期法在处理大规模PSG数据时存在耗时久、效率低的问题,采用深度学习模型有效表征PSG的自动睡眠分期法显现出广阔的研究前景.针对现有模型未充分考虑PSG片段内波形信息、通道间相关性信息、片段间睡眠转换信息的问题,本文提出一种基于Transformer架构的多层级睡眠分期网络模型(Hierarchical transFormer sleep staging model,HierFormer),采用Transformer编码器有效提取片段内波形特征、通道相关性特征、片段间转换特征,并结合注意力机制综合提升模型对于PSG片段内、通道间、片段间三种视角信号特性的可解释性.基于睡眠集-欧洲数据格式(sleep-European Data Format,sleep-EDF)扩展睡眠数据集开展的实验结果表明:本文模型利用更少的参数量取得优于多种现有基线模型的分期性能,分类准确率、宏平均精确率、宏平均召回率、宏平均F1分数、科恩卡帕系数分别可达到0.807、0.784、0.735、0.750和0.721.通过在三种视角下不同特征编码方式的性能对比和注意力分数的可视化,本文进一步证明了所提模型良好的编码能力和可解释性.本研究旨在为睡眠分期领域的深度学习应用提供新途径和新技术,从而辅助医生提升睡眠疾病诊疗效率. 展开更多
关键词 多导睡眠图(PSG) 自动睡眠分期 深度神经网络 transformer架构 注意力机制 模型可解释性
在线阅读 下载PDF
利用Transformer架构求解电磁场分布
7
作者 田文丽 张俊杰 +4 位作者 孙铭言 李振锋 高银军 张冬晓 杜太焦 《现代应用物理》 2025年第4期195-202,共8页
受大语言模型在自然语言处理等领域成功应用的启发,越来越多的研究者开始探索利用注意力机制和深度学习来解码数据之间的关系,以快速求解偏微分方程。在之前的JefiAtten模型(一种基于改进Transformer架构的新型神经网络模型)基础上,本... 受大语言模型在自然语言处理等领域成功应用的启发,越来越多的研究者开始探索利用注意力机制和深度学习来解码数据之间的关系,以快速求解偏微分方程。在之前的JefiAtten模型(一种基于改进Transformer架构的新型神经网络模型)基础上,本文进一步开展了电磁场分布的求解研究。JefiAtten模型使用自注意力模块和交叉注意力模块代替传统Transformer架构中的位置掩码,实现了理解电荷密度、电流密度和电磁场之间相互作用的目的。本文展示了该模型在500组基于三角函数构造的时序数据集上的测试细节,结果表明,JefiAtten可很好地泛化到一系列场景,并在各种空间分布和处理振幅变化的情况下保持足够精度。该模型的泛化性表明其在计算物理中有更广泛的应用潜力,并可进一步加以改进以提高其预测能力和计算效率。 展开更多
关键词 注意力机制 电磁场分布 transformer架构 偏微分方程 深度学习
在线阅读 下载PDF
基于Transformer架构的端到端视频异常检测方法 被引量:2
8
作者 李石峰 罗晰 +1 位作者 刘晓茹 田野 《计算机技术与发展》 2025年第6期49-55,共7页
传统的卷积神经网络虽然能够处理空间结构数据,但在处理大规模视频数据时,其时空建模能力不足。为了解决这一问题,需要一个能够处理海量视频数据的高效模型。该文提出了一种新的基于Transformer架构的端到端视频异常检测方法。该方法结... 传统的卷积神经网络虽然能够处理空间结构数据,但在处理大规模视频数据时,其时空建模能力不足。为了解决这一问题,需要一个能够处理海量视频数据的高效模型。该文提出了一种新的基于Transformer架构的端到端视频异常检测方法。该方法结合Swin Transformer架构和Video Vision Transformer(ViViT)模型设计了时空信息融合模型,以提取视频帧序列的丰富时空信息。此外,通过将时空信息融合模型和深度支持向量数据描述(Deep SVDD)方法进行联合训练,实现了端到端的视频异常检测。在两个公开视频数据集上与最新的10种方法进行了对比实验,在UCSD Ped2数据集上,该模型取得了最高的96.5%的AUC;在CHUK Avenue数据集上,该模型也取得了80.7%的AUC,优于多数方法。与领先的视频异常检测方法相比,该方法具有一定的优势和竞争力。 展开更多
关键词 视频异常检测 transformer架构 时空信息融合模型 深度支持向量数据描述 联合训练
在线阅读 下载PDF
基于Transformer架构的跨模态语义理解研究
9
作者 蒋毅 《计算机应用文摘》 2025年第24期246-248,共3页
面对多媒体数据的爆炸式增长,跨模态语义理解已成为人工智能领域的核心挑战与前沿方向。Transformer架构凭借在自然语言处理中展现出的卓越能力,为解决这一难题提供了关键范式。文章系统性地研究了基于Transformer的跨模态语义理解方法... 面对多媒体数据的爆炸式增长,跨模态语义理解已成为人工智能领域的核心挑战与前沿方向。Transformer架构凭借在自然语言处理中展现出的卓越能力,为解决这一难题提供了关键范式。文章系统性地研究了基于Transformer的跨模态语义理解方法,重点探讨了该架构在语义对齐、信息融合与深层理解3个关键环节的创新应用。 展开更多
关键词 transformer架构 跨模态语义理解 语义对齐 数据融合
在线阅读 下载PDF
基于多种Transformer架构的股票价格预测模型研究
10
作者 宁小珊 杨燕 《人工智能与机器人研究》 2025年第3期629-637,共9页
时间序列预测是金融领域的重要研究课题,对提高决策效率和风险管理具有重要意义。本文提出并构建了多种基于Transformer架构的时间序列预测模型,包括Vanilla Transformer、Informer、FEDformer、Autoformer、PatchTST和TimesNet,并以浦... 时间序列预测是金融领域的重要研究课题,对提高决策效率和风险管理具有重要意义。本文提出并构建了多种基于Transformer架构的时间序列预测模型,包括Vanilla Transformer、Informer、FEDformer、Autoformer、PatchTST和TimesNet,并以浦发银行股票收盘价作为预测对象,探讨了单变量和多变量输入下这些模型的预测性能。实验结果表明,基于Transformer架构的模型在预测精度和稳定性方面显著优于传统模型(ARIMA和VAR)。其中Vanilla Transformer在单变量预测中表现最佳(MSE = 0.0455, MAE = 0.1480),而TimesNet在多变量预测中性能最优(MSE = 0.0463, MAE = 0.1513)。研究表明,基于Transformer的模型在处理复杂时间序列问题时具有显著优势,为金融时间序列预测提供了新的方法和参考。未来可进一步探索Transformer与其他深度学习技术的结合,以提升模型的泛化能力和实用性。Time series forecasting is an important research topic in the financial field, with significant implications for improving decision-making efficiency and risk management. This paper proposes and constructs several time series forecasting models based on the Transformer architecture, including Vanilla Transformer, Informer, FEDformer, Autoformer, PatchTST, and TimesNet. Using the closing price of Shanghai Pudong Development Bank stock as the forecasting target, the paper examines the predictive performance of these models under univariate and multivariate inputs. Experimental results show that Transformer-based models significantly outperform traditional models (ARIMA and VAR) in terms of prediction accuracy and stability. Among them, the Vanilla Transformer performs the best in univariate forecasting (MSE = 0.0455, MAE = 0.1480), while TimesNet has the best performance in multivariate forecasting (MSE = 0.0463, MAE = 0.1513). The study demonstrates that Transformer-based models have a significant advantage in handling complex time series problems, providing new methods and references for financial time series forecasting. Future research can further explore the combination of Transformer with other deep learning technologies to enhance the model’s generalization ability and practical utility. 展开更多
关键词 时间序列预测 transformer架构 自注意力机制 股票价格预测 TimesNet
在线阅读 下载PDF
Transformer架构中长序列依赖的高效注意力计算优化
11
作者 江雨欣 《信息与电脑》 2025年第22期82-84,共3页
文章提出了融合稀疏注意力预处理、低秩近似处理和递归计算整合的优化方法,详细阐述了其设计思路与算法流程,并通过长文本分类和时间序列预测实验进行了验证。结果表明,该优化策略显著提升了模型的性能,为Transformer在长序列任务中的... 文章提出了融合稀疏注意力预处理、低秩近似处理和递归计算整合的优化方法,详细阐述了其设计思路与算法流程,并通过长文本分类和时间序列预测实验进行了验证。结果表明,该优化策略显著提升了模型的性能,为Transformer在长序列任务中的应用提供了有力的技术支持。 展开更多
关键词 transformer架构 长序列依赖 注意力计算优化
在线阅读 下载PDF
基于CNN和Transformer架构的多聚焦图像融合研究及应用
12
作者 王宇轩 夏振平 +1 位作者 罗格 程成 《光学精密工程》 北大核心 2025年第22期3577-3591,共15页
针对单幅聚焦图像无法同时呈现场景完整信息的问题,本文提出一种端到端的多聚焦图像融合算法,以提升图像融合的准确性与实用性。在编码阶段,构建结合密集卷积CNN与Transformer并联结构的编码器,用于高效提取图像的高频与低频特征,并引... 针对单幅聚焦图像无法同时呈现场景完整信息的问题,本文提出一种端到端的多聚焦图像融合算法,以提升图像融合的准确性与实用性。在编码阶段,构建结合密集卷积CNN与Transformer并联结构的编码器,用于高效提取图像的高频与低频特征,并引入空间注意力机制以增强特征表达能力。在融合阶段,设计基于语义先验引导的交叉融合策略,在低频信息指导下准确嵌入高频细节,有效缓解了传统方法在远/近聚焦间的偏置问题,显著提升融合图像的对比度与细节保留能力。与最新研究方法在Lytro,COCO和MFFW数据集上与七种先进图像融合算法进行对比,所提方法在多个指标上取得显著优势,EN,PSNR,SSIM,MI,AG与SF分别提升了2.7%,13.6%,7.9%,6.5%,1.6%与3.7%。此外,在下游芯片引脚识别与芯片中心定位任务中均实现性能提升,验证了算法的实用性与通用性。本文方法在融合质量和下游任务效果方面均表现优异,具备良好的应用潜力,满足多聚焦图像融合在实际检测任务中的快速性与精确性需求。 展开更多
关键词 多聚焦图像融合 transformer 多头注意力机制 芯片识别 芯片检测
在线阅读 下载PDF
基于Transformer架构的DDoS攻击检测方法
13
作者 池碧蔚 孙瑞 《计算机与现代化》 2025年第5期36-40,共5页
随着互联网的快速发展,DDoS攻击已成为网络安全领域中的一大挑战。DDoS攻击通过控制大量分布式的计算机向目标服务器发送大量恶意请求,从而使其无法正常工作,严重影响网络服务的稳定性和安全性。传统的DDoS攻击检测方法,如基于规则的检... 随着互联网的快速发展,DDoS攻击已成为网络安全领域中的一大挑战。DDoS攻击通过控制大量分布式的计算机向目标服务器发送大量恶意请求,从而使其无法正常工作,严重影响网络服务的稳定性和安全性。传统的DDoS攻击检测方法,如基于规则的检测、统计学方法和机器学习方法,在应对复杂和动态变化的网络流量时,往往会面临高误报率和低检测效率等问题。为了解决这些问题,本文提出一种基于Transformer的DDoS攻击检测系统。该系统利用Transformer模型强大的自注意力机制来捕捉网络流量中的长期依赖关系,从而能够更准确地识别异常流量模式。此外,通过结合位置编码,系统能够更好地处理时序信息,增强模型对全局网络流量的感知能力。通过在数据集上的实验结果表明,基于Transformer的DDoS检测模型在检测准确率和召回率等方面明显优于对比方法,体现了本文所提方法的有效性。 展开更多
关键词 DDOS攻击检测 transformer模型 自注意力机制 网络安全
在线阅读 下载PDF
基于Transformer架构的通信问题识别模型研究
14
作者 王翔 李煜 《中国新技术新产品》 2025年第5期1-3,共3页
本研究以BERT语言模型为基础,构建统一架构的语言模型,并通过数据预处理提升了输入文本的质量和一致性。在参数设定和模型消融实验的过程中,详细规划了试验参数,并融入了交叉验证、对抗训练及梯度惩罚等技术,以期优化模型性能。在利用... 本研究以BERT语言模型为基础,构建统一架构的语言模型,并通过数据预处理提升了输入文本的质量和一致性。在参数设定和模型消融实验的过程中,详细规划了试验参数,并融入了交叉验证、对抗训练及梯度惩罚等技术,以期优化模型性能。在利用基线模型对结果进行深入分析后发现,本文所提方法提高了问题识别的准确性和效率。综上所述,Transformer技术在通信领域的问题识别中应用广泛,为实际场景提供了更高效的解决方案,推动通信技术的发展。 展开更多
关键词 transformer技术 基线模型 数据预处理
在线阅读 下载PDF
基于Transformer架构的智能路由决策系统研究与实现
15
作者 张思清 《中国宽带》 2025年第9期37-39,共3页
随着信息技术的发展,网络环境变得越来越复杂。现在的网络链路动态变化、拓扑变换频繁,传统的网络路由决策很难适应当前网络环境复杂性的需求。因此本文设计了一种基于Transformer架构的智能路由决策系统。通过结合深度学习模型及网络... 随着信息技术的发展,网络环境变得越来越复杂。现在的网络链路动态变化、拓扑变换频繁,传统的网络路由决策很难适应当前网络环境复杂性的需求。因此本文设计了一种基于Transformer架构的智能路由决策系统。通过结合深度学习模型及网络拓扑信息、网络链路状态等,进行路由实时决策。并设计了自定义模型结构和输入数据处理流程,使得系统在大规模负载网络环境下能够实现高效路径选择。通过实验表明,本文所设计的模型在路径选择的准确性、宽带利用率及决策实时性等方面,比传统方法的路由决策具有显著优势。 展开更多
关键词 transformer模型 智能路由 路径选择 网络优化
在线阅读 下载PDF
基于Transformer架构的智能SDN管理系统 被引量:2
16
作者 杨远奇 谢泽凌 +1 位作者 蔡岱立 江恩杰 《互联网周刊》 2024年第21期28-30,共3页
软件定义网络(SDN)被誉为新一代网络架构的基石,其核心优势在于通过集中式控制机制来精简网络架构,提升整体运作效率。本文针对SDN环境下的流量管理需求,提出了一种融合Transformer架构与MLP-Mixer模型的深度学习预测模型。针对这两种... 软件定义网络(SDN)被誉为新一代网络架构的基石,其核心优势在于通过集中式控制机制来精简网络架构,提升整体运作效率。本文针对SDN环境下的流量管理需求,提出了一种融合Transformer架构与MLP-Mixer模型的深度学习预测模型。针对这两种框架的功能及其在模型中的作用进行了深入研究和探索,实现了网络流量预测的高效协同,并将SDN环境中的数据输入模型中进行训练和预测。本文揭示了潜在的风险点,并针对性地提出了解决方案。这些研究成果不仅简化了运维人员的管理流程,也显著提升了用户的网络体验。 展开更多
关键词 软件定义网络 流量预测 transformer架构 MLP-Mixer模型 深度学习
在线阅读 下载PDF
面向樱桃番茄采摘识别的轻量化Transformer架构优化研究 被引量:7
17
作者 赵博 柳苏纯 +4 位作者 张巍朋 朱立成 韩振浩 冯旭光 王瑞雪 《农业机械学报》 EI CAS CSCD 北大核心 2024年第10期62-71,105,共11页
为进一步提升穗收型樱桃番茄识别准确率和识别速度,实现设施环境番茄自动采摘,提出了一种基于改进Transformer的轻量化樱桃番茄穗态识别模型。首先,构建了包含不同光照环境和采摘姿态的樱桃番茄数据集,并对樱桃番茄果穗姿态进行了划分... 为进一步提升穗收型樱桃番茄识别准确率和识别速度,实现设施环境番茄自动采摘,提出了一种基于改进Transformer的轻量化樱桃番茄穗态识别模型。首先,构建了包含不同光照环境和采摘姿态的樱桃番茄数据集,并对樱桃番茄果穗姿态进行了划分。然后,提出了一种基于改进RE-DETR的轻量化穗收樱桃番茄识别模型,通过引入一个轻量级的骨干网络EfficientViT替换RT-DETR原有的骨干网络,显著减少了模型参数和计算量;同时设计了一个自适应细节融合模块,旨在高效处理并融合不同尺度特征图,并进一步降低计算复杂度。最后,引入加权函数滑动机制和指数移动平均思想来优化损失函数,来处理样本分类中的不确定性。实验结果表明,该轻量化模型在保持高识别准确率(90%)的同时,实现了快速检测(41.2 f/s)和低计算量(8.7×10^(9) FLOPs)。与原始网络模型、Faster R-CNN和Swin Transformer相比,平均识别准确率提高1.24%~15.38%,每秒处理帧数(FPS)提高25.61%~255.17%,同时浮点运算量实现了69.37%~92.37%的大幅降低。该模型在综合性能上有着较强的鲁棒性,兼顾了精度与速度,可为番茄采摘机器人完成视觉任务提供技术支撑。 展开更多
关键词 樱桃番茄 目标检测 深度学习 RT-DETR 轻量化 transformer
在线阅读 下载PDF
基于非Transformer架构大模型的技术研究及应用探索 被引量:3
18
作者 赵明江 刘艳梅 +2 位作者 杨婧一 张星奎 贾占宇 《电力大数据》 2024年第6期11-21,共11页
随着人工智能技术的快速发展,大语言模型对各行各业产生了重大的影响,Transformer架构大模型因其独特的优势和潜力受到广泛关注,但也存在很多问题和疑惑。本文首先介绍了大模型的发展脉络,以及Transformer架构大模型的现状和问题,接着... 随着人工智能技术的快速发展,大语言模型对各行各业产生了重大的影响,Transformer架构大模型因其独特的优势和潜力受到广泛关注,但也存在很多问题和疑惑。本文首先介绍了大模型的发展脉络,以及Transformer架构大模型的现状和问题,接着介绍了非Transformer架构的Yan架构大模型的技术架构和实验效果,特别是在训练效果、吞吐量、计算资源消耗等方面与Transformer架构模型的差异和优势。此外,探讨了Yan架构大模型在某省级电网公司供应商智能客服领域的应用建设,即如何通过优化算法架构提供更快的响应速度和更准确的语义理解能力,以及如何优化供应商服务体验。最后,展望了非Transformer架构大模型在未来智能客服及其他自然语言处理领域的应用前景和发展趋势,指出其在推动AI技术进步和服务创新中的重要作用。 展开更多
关键词 大语言模型 transformer架构 Yan 智能客服
在线阅读 下载PDF
融合卷积注意力和Transformer架构的行人重识别方法 被引量:2
19
作者 王静 李沛橦 +2 位作者 赵容锋 张云 马振玲 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期466-476,共11页
行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关... 行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。 展开更多
关键词 行人重识别 深度学习 卷积神经网络 transformer 注意力机制
原文传递
Transformer架构下跨多尺度信息融合的遥感影像建筑提取 被引量:4
20
作者 刘异 张寅捷 +2 位作者 敖洋 江大龙 张肇睿 《遥感学报》 CSCD 北大核心 2024年第12期3173-3183,共11页
建筑物是城市中最为普遍的基础设施,获取遥感影像中的建筑区域对于城市规划、人口估计和灾情分析等具有重要的意义。本文基于Transformer结构,设计了一种端到端的遥感影像建筑区域提取方法。首先,针对多尺度影像特征存在的信息冗余和信... 建筑物是城市中最为普遍的基础设施,获取遥感影像中的建筑区域对于城市规划、人口估计和灾情分析等具有重要的意义。本文基于Transformer结构,设计了一种端到端的遥感影像建筑区域提取方法。首先,针对多尺度影像特征存在的信息冗余和信息差异问题,本文提出了一种多次特征金字塔结构Tri-FPN(Triple-Feature Pyramid Network),实现跨越近邻尺度的全局多尺度信息融合,提高多尺度特征的类别表征一致性并减少信息的冗余。其次,针对多尺度提取结果融合时仅考虑尺度因素的问题,本文设计了一种顾及“尺度—类别—空间”的注意力模块CSA-Module(Class-Scale Attention Module),有效融合了不同尺度下的建筑提取结果。最后,在Transformer结构上加入Tri-FPN与CSA-Module进行模型训练,获得最佳的建筑提取效果。实验对比分析表明,本文的方法有效提高了建筑区域的检出率,并提供出更为准确的建筑轮廓,提升了遥感影像中建筑的提取精度,在WHU Building数据集和INRIA数据集上分别取得了91.53%和81.7%的IOU分数。 展开更多
关键词 遥感影像 建筑提取 深度学习 transformer 影像特征金字塔 类别尺度注意力
原文传递
上一页 1 2 250 下一页 到第
使用帮助 返回顶部