基于掩码SwinTransformer与边界平滑的中文嵌套命名实体识别

1

作者 李欣 张纪炜 《北方工业大学学报》 2024年第5期39-48,共10页

在中文嵌套命名实体识别任务中,如何增强模型字符间位置关系的注意力以及如何提高对实体边界的预测能力,是许多科研人员都在尝试解决的热点问题。本文提出了一种基于掩码SwinTransformer与边界平滑的中文嵌套命名实体识别方法。通过在... 在中文嵌套命名实体识别任务中,如何增强模型字符间位置关系的注意力以及如何提高对实体边界的预测能力,是许多科研人员都在尝试解决的热点问题。本文提出了一种基于掩码SwinTransformer与边界平滑的中文嵌套命名实体识别方法。通过在训练过程中向语句中添加包含关系信息的掩码,提高空间特征表达,进而使模型学习到嵌套关系。同时在模型中使用边界平滑方法,减轻模型对标签的过度自信,提高了模型的准确性,并使用医疗和日常两种领域的数据集验证模型的有效性。实验结果表明,该模型相较于传统的中文嵌套命名实体识别模型的p值、R值和F1值在医疗领域数据集上分别提高了0.21、0.33和0.27个百分点,在日常领域数据集上分别提高了4.80、4.99和4.92个百分点。研究表明,本文提出的模型在中文嵌套命名实体任务中具有较高的性能。 展开更多

关键词 嵌套命名实体识别 边界预测 掩码swintransformer 边界平滑

在线阅读 下载PDF 职称材料

改进YOLOv5s的带钢表面缺陷检测方法

2

作者 彭晏飞 袁晓龙 +1 位作者 陈炎康 赵涛 《机械科学与技术》 北大核心 2025年第6期1062-1071,共10页

针对目前带钢表面缺陷检测算法在实际应用中检测精度低等问题,提出了一种基于改进YOLOv5s的带钢表面缺陷检测方法。以YOLOv5s模型为基础,首先在主干网络融合Swin Transformer结构,并与颈部网络进行特征融合,增强带钢表面缺陷的特征提取... 针对目前带钢表面缺陷检测算法在实际应用中检测精度低等问题,提出了一种基于改进YOLOv5s的带钢表面缺陷检测方法。以YOLOv5s模型为基础,首先在主干网络融合Swin Transformer结构,并与颈部网络进行特征融合,增强带钢表面缺陷的特征提取能力;其次,将全局注意力机制(Global attention mechanism)融合到C3结构中,在减少特征信息弥散的情况下放大全局跨纬度的交互特征,提高检测效率;最后,用解耦头(Decoupled head)替换模型中的检测头,更好的解决分类任务与回归任务之间的矛盾。用改进后的带钢表面缺陷检测方法在数据集上进行实验,结果表明,改进后的方法精确率达到85.0%,均值平均精度达到80.8%,较原YOLOv5s算法提高了9.5%和5.7%,进一步满足了对带钢表面缺陷检测精度的需求。 展开更多

关键词 缺陷检测 swintransformer 改进YOLOv5s 注意力机制 解耦头

在线阅读 下载PDF 职称材料

代理注意力下域特征交互的高效图像去雾算法

3

作者 杨燕 贾存鹏 《浙江大学学报(工学版)》 北大核心 2025年第12期2527-2538,共12页

针对SwinTransformer在图像去雾任务中难以平衡全局依赖关系与计算复杂度、细节信息捕获能力不足的问题,提出代理注意力下域特征交互的高效图像去雾算法.以代理注意力替换多头自注意力,构建以代理Swin Transformer和高效多尺度注意力为... 针对SwinTransformer在图像去雾任务中难以平衡全局依赖关系与计算复杂度、细节信息捕获能力不足的问题,提出代理注意力下域特征交互的高效图像去雾算法.以代理注意力替换多头自注意力,构建以代理Swin Transformer和高效多尺度注意力为基本单元的编解码网络,在降低模型计算复杂度的同时增强空间和通道特征之间的信息流动.设计高频空间增强模块和低频通道增强模块,在特征提取的同时减少空间特征冗余,提高频域信息的有效性,并以跳跃连接的方式对空间域特征进行补偿.在编码器中间层构造快速傅里叶卷积密集残差结构,利用频谱信息提升图像恢复视觉效果.实验表明,所提算法可以降低模型计算复杂度和特征冗余,显著提升推理速度,且恢复图像的细节纹理完整,各项客观指标均较优. 展开更多

关键词 图像去雾 代理swintransformer 高效多尺度注意力 小波变换 特征增强

在线阅读 下载PDF 职称材料

基于改进Swin Transformer的玉米植株品种识别方法

4

作者 王慎思 刘成忠 《软件工程》 2025年第8期26-31,共6页

玉米作为中国关键粮食作物,其品种识别技术随深度学习和计算机视觉技术的发展而进步。针对玉米籽粒品种识别技术已有所发展,但植株品种分类研究较少的不足,提出一种改进的Swin Transformer模型;通过多尺度特征融合和改进的CBAM注意力机... 玉米作为中国关键粮食作物,其品种识别技术随深度学习和计算机视觉技术的发展而进步。针对玉米籽粒品种识别技术已有所发展,但植株品种分类研究较少的不足,提出一种改进的Swin Transformer模型;通过多尺度特征融合和改进的CBAM注意力机制增强模型的特征表达,提升了模型性能。在自建数据集上的实验结果显示,该方法识别准确率达93.4%,较原模型提高2.7%,且优于ResNet34、VGGNet、MobileNetV2等模型。以上结果表明,所提方法能够进行高效的玉米植株品种识别。 展开更多

关键词 swintransformer 多尺度特征融合 CBAM 品种识别

在线阅读 下载PDF 职称材料

基于Swin Transformer的层次化年龄估计网络

5

作者 徐琳哺 胡春龙 《软件工程》 2025年第8期38-41,47,共5页

在人脸年龄估计任务中,针对现有深度学习模型在提取层次化特征方面存在不足的问题,提出了一种基于Swin Transformer的层次化年龄估计网络(HAEN-Swin)。该网络包含浅层和深层特征提取模块,分别捕获面部基础结构和细节特征,实现多层次特... 在人脸年龄估计任务中,针对现有深度学习模型在提取层次化特征方面存在不足的问题,提出了一种基于Swin Transformer的层次化年龄估计网络(HAEN-Swin)。该网络包含浅层和深层特征提取模块,分别捕获面部基础结构和细节特征,实现多层次特征提取,显著提升年龄估计准确性。此外,针对数据集样本分布不均衡的问题,网络还引入了Dice相似系数作为损失函数的一部分。实验结果表明,HAEN-Swin在MORPH数据集上表现最佳,平均绝对误差(MAE)为2.45,充分验证了该模型的有效性和优越性。 展开更多

关键词 年龄估计 swintransformer Dice相似系数

在线阅读 下载PDF 职称材料

基于YOLOv5-TGs的PCB缺陷检测算法研究 被引量：3

6

作者 徐一奇 肖金球 谢翔 《微电子学与计算机》 2024年第10期21-34,共14页

针对目前PCB缺陷检测算法在实际应用中检测精度低等问题,提出基于改进YOLOv5s的PCB缺陷检测算法YOLOv5-TGs。该算法以YOLOv5s算法模型为基础,首先在主干网络中引入Swin Transformer结构,并取代C3模块中的Bottleneck模块,并使用Ghost卷... 针对目前PCB缺陷检测算法在实际应用中检测精度低等问题,提出基于改进YOLOv5s的PCB缺陷检测算法YOLOv5-TGs。该算法以YOLOv5s算法模型为基础,首先在主干网络中引入Swin Transformer结构,并取代C3模块中的Bottleneck模块,并使用Ghost卷积模块替换Conv模块,降低了模型的计算复杂度,实现轻量化,同时增加了其接收域,增强PCB缺陷的小目标的特征表达能力;其次,在颈部网络的C3结构后面添加全局注意力机制,更大程度地保留通道和空间信息,在减少特征信息弥散的情况下放大全局跨纬度的交互特征,提高检测效率。最后用SIoU损失函数来代替原有的CIoU损失函数,通过在损失函数代价中引入方向性,加快模型收敛速度,提高回归精度。本文实验使用的是北京大学实验室公开发布的PCB缺陷数据集,结果表明:改进算法的平均精度均值达到98.2%,精确率达到95.5%;相较于YOLOv5s,改进算法的平均精度均值提升了7.3%,精确率提升了7.5%。 展开更多

关键词 PCB缺陷检测 YOLOv5s算法 Ghost卷积 swintransformer结构 全局注意力机制 SIoU损失

在线阅读 下载PDF 职称材料

基于注意力机制的船舶破舱浸水时间预测 被引量：1

7

作者 陈瞰君 齐跃 +2 位作者 严传续 章建峰 杨东梅 《应用科技》 CAS 2024年第5期1-7,共7页

为解决现有数值模拟方法难以快速模拟浸水时间的问题,本文提出一种使用注意力机制的船舶浸水时间预测算法。对现有复合神经网络方法进行改进,在基于端到端模型的基础上,通过引入Swin Transformer使得模型可以获得更加细致的图像特征。... 为解决现有数值模拟方法难以快速模拟浸水时间的问题,本文提出一种使用注意力机制的船舶浸水时间预测算法。对现有复合神经网络方法进行改进,在基于端到端模型的基础上,通过引入Swin Transformer使得模型可以获得更加细致的图像特征。其次将循环神经网络改进为多头注意力机制,使模型更容易关注到水面特征的变化,从而提高准确率。实验验证,最高的舱室准确率可以达到97.5%,平均舱室预测准确率达到了93.2%。对比现有方法,全舱室平均准确率提升了0.8%,单舱室准确率最高提升1.9%。该方法可以准确预测破损舱室浸水时间,从而帮助船长制定科学合理的人员疏散策略。 展开更多

关键词 循环神经网络 多头自注意力 浸水时间预测 swintransformer 复合神经网络 逃生决策 船舶损伤与浸水 水面特征

在线阅读 下载PDF 职称材料

基于边界感知网络的遥感影像输电线路通道隐患地物变化检测

8

作者 张国君 于小川 +7 位作者 张猛 蒋海龙 张常兴 王大鹏 白翔宇 翟欣欣 赵玉妹 韩晨 《电力设备管理》 2024年第17期175-178,共4页

保障输电线路安全运行是电力供应连续性和稳定性的重要保障,为了提高电力系统的安全性和可靠性,利用遥感技术及时获取输电线路周围环境变化信息,可以辅助动态检测输电线路周围的地物。针对遥感影像的特殊性,本文提出一种用于输电线路通... 保障输电线路安全运行是电力供应连续性和稳定性的重要保障,为了提高电力系统的安全性和可靠性,利用遥感技术及时获取输电线路周围环境变化信息,可以辅助动态检测输电线路周围的地物。针对遥感影像的特殊性,本文提出一种用于输电线路通道隐患地物变化检测的网络结构,并利用HRSCD和自有数据集进行对比试验,试验结果表明,提出的变化检测网络方法BANet相对于传统方法,能够自动提取图像的低层特征和高层语义特征,避免了繁琐的手动特征提取。此外,在检测结果方面表现出较高的loU和F1-measure,并且成功降低了误检率和漏检率。 展开更多

关键词 输电线路 变化检测 深度学习 高分辨率遥感图像 swintransformer

在线阅读 下载PDF 职称材料

基于注意力机制与Swin Transformer模型的腰椎图像分割方法 被引量：17

9

作者 田应仲 卜雪虎 《计量与测试技术》 2021年第12期57-61,共5页

腰椎图像的精确分割是腰椎间盘疾病自动化诊断的重要前提,现有的分割方法在实际应用于分割任务时仍然存在无法精确分割的问题。对此,本文提出了一种基于注意力机制与Swin Transformer模型的腰椎图像分割网络模型。该模型在卷积网络中引... 腰椎图像的精确分割是腰椎间盘疾病自动化诊断的重要前提,现有的分割方法在实际应用于分割任务时仍然存在无法精确分割的问题。对此,本文提出了一种基于注意力机制与Swin Transformer模型的腰椎图像分割网络模型。该模型在卷积网络中引入Swin Transformer模型,使用移动窗口的Transformer模块对卷积提取的高层语义信息进行全局信息建模;然后使用注意力机制对上采样过程中跳过连接中传递的低级特征施加权重,去除背景信息,最终实现腰椎图像的精细分割。实验结果表明,本文的腰椎图像分割方法相似度系数指标达到91.18%,性能优于UNet及其变型网络模型。 展开更多

关键词 腰椎图像分割 swintransformer模型 注意力机制

在线阅读 下载PDF 职称材料

GLnet:融合全局和局部信息的短临降雨预报网络 被引量：2

10

作者 尹传豪 秦华旺 +2 位作者 戴跃伟 陈浩然 包顺 《电子测量技术》 北大核心 2023年第17期102-108,共7页

基于雷达回波外推的定量降水预测具有广泛的应用前景。为了提高降水区域和强度的预测准确性,本文提出了一种新的基于Unet和Swin-Transformer的临近降水预报模型GLnet。该模型具有非对称双路特征提取结构,通过卷积和窗口自注意力机制分... 基于雷达回波外推的定量降水预测具有广泛的应用前景。为了提高降水区域和强度的预测准确性,本文提出了一种新的基于Unet和Swin-Transformer的临近降水预报模型GLnet。该模型具有非对称双路特征提取结构,通过卷积和窗口自注意力机制分别提取雷达回波图片的局部和全局特征。同时在两类特征融合前引入了CBAM注意力机制和Non-local非局部注意力机制。本文在公开的荷兰降水地图数据集上分别采样出至少包含20%和和50%降水像素点的子集NL-20和NL-50,并利用结构相似性损失函数进行了实验。结果表明本文模型相比原始的Unet, MSE误差分别下降了14.4%和10.6%。 展开更多

关键词 降水预报 注意力机制 特征融合 swintransformer

原文传递

基于注意力机制的接线端子文本检测与识别 被引量：2

11

作者 黄辉 吴建强 +5 位作者 肖豪 梁志龙 王家浩 谭晓茵 孙梦雪 舒展 《机电工程技术》 2023年第6期202-206,共5页

针对当下变电站二次保护屏柜电缆接线仍采用传统人工验收方式,存在效率低、容易漏检、错检等问题,提出一种基于注意力机制的接线端子文本检测与识别方法。在文本检测阶段,针对接线端子弯曲倾斜、排列密集等问题,提出一种改进DBNet方法... 针对当下变电站二次保护屏柜电缆接线仍采用传统人工验收方式,存在效率低、容易漏检、错检等问题,提出一种基于注意力机制的接线端子文本检测与识别方法。在文本检测阶段,针对接线端子弯曲倾斜、排列密集等问题,提出一种改进DBNet方法。使用SwinTransformer提取图像基础特征,搭建特征金字塔网络,提取并融合多尺度的图像特征,输出连接SEblock,增强重要特征权重,使检测框定位更加精准。在文本识别阶段,提出一种改进CRNN方法,使用ResNet提取特征,并在残差模块中加入SEblock,强化重要通道特征,进一步提升识别准确率。在检测和识别数据集上分别进行验证,结果表明:在检测数据集中,改进DBNet的精准率为95.6%,召回率为82.9%,调和平均数达到88.8%;在识别数据集中,改进CRNN方法的字符识别准确率达到87.2%。 展开更多

关键词 注意力机制 文本检测 文本识别 接线端子 swintransformer

在线阅读 下载PDF 职称材料

基于Swin Transformer的知识蒸馏模型在垃圾分类上的应用 被引量：1

12

作者 杜峰 付天生 《电脑知识与技术》 2023年第30期1-5,15,共6页

在绿色发展的主题下,深度学习高效地进行垃圾分类方法亟待研究。在垃圾图像分类问题中,大尺寸图像包含着更丰富的信息。然而主流的基于CNN的深度学习难以从大尺寸图片中提取长序列特征。针对此问题,文章基于垃圾图像数据设计了基于SwinT... 在绿色发展的主题下,深度学习高效地进行垃圾分类方法亟待研究。在垃圾图像分类问题中,大尺寸图像包含着更丰富的信息。然而主流的基于CNN的深度学习难以从大尺寸图片中提取长序列特征。针对此问题,文章基于垃圾图像数据设计了基于SwinTransformer模型的算法框架。该算法框架不仅解决了长序列特征提取问题,还通过知识蒸馏方法解决了大模型体积过大难以部署的问题。算法最优准确率为94.4%,相较CNN结构模型最高提升了11%的精度。为增加算法的实用性,文章使用了知识蒸馏方法把基础模型缩小为原来的1/3。实验结果表明文章的算法框架能较好地应用在大尺寸图像分类问题中,并且知识蒸馏方法能高效地提升大模型的部署实用性。 展开更多

关键词 计算机视觉 垃圾分类 CNN swintransformer 知识蒸馏

在线阅读 下载PDF 职称材料