基于联合学习和多级小波特征金字塔的MRI-TRUS图像配准方法

1

作者 蒋宏贵 胡冀苏 +3 位作者 钱旭升 郑毅 周志勇 戴亚康 《计算机工程》 北大核心 2025年第10期270-283,共14页

磁共振图像(MRI)和经直肠超声(TRUS)图像的配准是将术前MRI配准在超声图像上,结合两种模态图像的优势,快速定位病灶区域,在辅助诊断、穿刺、术中导航等医学手术中起重要作用。由于这两种图像模式之间固有的表征差异,具有显著的强度失真... 磁共振图像(MRI)和经直肠超声(TRUS)图像的配准是将术前MRI配准在超声图像上,结合两种模态图像的优势,快速定位病灶区域,在辅助诊断、穿刺、术中导航等医学手术中起重要作用。由于这两种图像模式之间固有的表征差异,具有显著的强度失真和变形,因此在这两种图像模式之间寻找精确的密集对应关系面临较大挑战。为此,提出一种基于联合学习和多级小波特征金字塔(MWFP)的弱监督可变形配准网络框架,对MRI和TRUS图像进行对齐。联合学习是基于预训练的半监督分割网络和配准网络组成的框架,在联合学习框架中分割网络和配准网络继续交替训练,分割网络为配准网络提供前列腺标签约束全局配准,有效解决了配准网络中标签不足的问题。MWFP是采用多分辨小波构成的配准网络,小波金字塔生成的多尺度图像过滤了噪声并减小了两种模式图像之间的表征差异,提高配准网络学习多尺度特征的能力,并在配准网络中设计多尺度特征融合注意力(MSFFA)模块,对特征进行更进一步筛选,为配准提供局部密集对应关系。此外,配准网络提供的形变分割图像和分割标签混合原有的人工标注标签和图像及其分割网络生成的伪标签和其图像放入分割网络继续训练,进一步提高多模态图像分割的性能。在642例公开前列腺MRI和TRUS图像活检数据集上的实验结果表明,所提的配准方法达到最优的Dice相似系数(DSC)值、95%Hausdorff距离(HD95)、互信息(MI)值和结构相似性(SSIM)值,分别是81.05%±1.77%、12.83±1.49 mm、18.12%±4.63%和27.12%±4.63%,优于对比的传统配准方法和先进的深度学习配准方法。此外,所提方法的平均配准时间为0.18±0.02 s,比传统的方法提升了近400倍。所提的配准方法能够准确实时地估计前列腺MRI和TRUS图像之间的形变场,具有更高的配准精度和更快的配准速度。 展开更多

关键词 联合学习 多级小波特征金字塔 可变形配准 多尺度特征融合注意力模块 半监督分割

在线阅读 下载PDF 职称材料

DACSNet:基于双注意力机制与分类监督的乳腺超声图像病变检测

2

作者 李方 王洁 《计算机科学》 北大核心 2025年第9期54-61,共8页

超声成像是乳腺病变最常用的检测技术,基于深度学习的乳腺超声图像自动化病变检测引起了越来越多的研究人员关注。然而,大部分研究未能充分融合图像信息来增强特征,也未考虑到注意力模块的引入带来的模型复杂度增大和假阳率升高的问题... 超声成像是乳腺病变最常用的检测技术,基于深度学习的乳腺超声图像自动化病变检测引起了越来越多的研究人员关注。然而,大部分研究未能充分融合图像信息来增强特征,也未考虑到注意力模块的引入带来的模型复杂度增大和假阳率升高的问题。因此,对现有的RetinaNet模型进行改进,以VMamba为骨干网络,提出了基于双注意力机制与分类监督的病变检测网络(DACSNet)以提高乳腺超声图像中病变检测的准确性,并降低检测假阳率。具体来说,将医学领域的知识引入注意力模块,通过双注意力模块(DAM)来增强通道维度和空间维度的特征。DAM仅涉及少量参数,且能有效提高模型的检测性能。此外,为了降低病变检测的假阳率,在模型中加入了分类监督模块(CSM)来融合病变分类信息,实现对疑似病变区域的二次关注。为了验证DACSNet的性能,在3组公开的乳腺超声图像数据集上进行了乳腺病变检测实验,结果证明了该方法的有效性。 展开更多

关键词 乳腺超声图像 病变检测 VMamba 双注意力模块 分类监督

在线阅读 下载PDF 职称材料

多层特征扰动半监督道路裂缝检测网络

3

作者 李铭娜 《黑龙江工程学院学报》 2025年第4期39-46,共8页

道路裂缝作为一种路面病害,需要及时检测并修复。深度学习技术一定程度上提高自动化裂缝检测能力。然而,深度学习技术需要大规模像素级人工标注样本,增加道路裂缝数据集采集和标注成本。因此,提出一种编解码结构的多层特征扰动半监督道... 道路裂缝作为一种路面病害,需要及时检测并修复。深度学习技术一定程度上提高自动化裂缝检测能力。然而,深度学习技术需要大规模像素级人工标注样本,增加道路裂缝数据集采集和标注成本。因此,提出一种编解码结构的多层特征扰动半监督道路裂缝检测网络。通过半监督学习方式,在保证检测性能的同时,减少对逐像素标注数据依赖。首先,针对卷积神经网络全局语义依赖建模能力不足以及Transformer模块缺乏归纳偏置等问题,分别在Semi-CrackNet编码器底部和顶部嵌入Transformer模块和CNN模块。其次,在解码器部分设计一个CNN和Transformer双流骨干网络结构,通过解耦解码器,引入特征扰动,输入无标签道路裂缝样本参与模型训练,提升Semi-CrackNet泛化能力和鲁棒性,并在网络中间层对双流解码器预测结果进行一致性约束,进一步利用特征扰动和无标签样本。对比实验表明:所提模型在20%的标注数据下,精度、召回率和F 1分数分别为58.82%、67.28%和62.76%,显著优于对比方法。此外,消融实验证明所提CNN-Transformer方法以及特征扰动结构对裂缝检测的有效性。 展开更多

关键词 道路裂缝检测 半监督学习 自注意力模块 Transformer模块 多层感知器

在线阅读 下载PDF 职称材料

面向城市复杂场景的多尺度监督融合变化检测

4

作者 潘建平 谢鹏 +2 位作者 郭志豪 林娜 张慧娟 《遥感信息》 CSCD 北大核心 2024年第4期23-32,共10页

城市复杂场景中,地物形状多样,光照和成像角度变化大会导致变化检测结果受到干扰。为解决这些问题,文章提出了一种双上下文多尺度监督融合的网络模型(dual context multi-scale supervised fusion network model,DCMSFNet)。首先,在编... 城市复杂场景中,地物形状多样,光照和成像角度变化大会导致变化检测结果受到干扰。为解决这些问题,文章提出了一种双上下文多尺度监督融合的网络模型(dual context multi-scale supervised fusion network model,DCMSFNet)。首先,在编码部分使用双上下文增强模块获得地物丰富的全局上下文信息。在解码部分,采用级联的方法组合特征,然后通过自适应注意力模块捕捉不同尺度的变化关系,设计多尺度监督融合模块,增强深度网络融合,获得具有更高辨别能力的变化区域特征,将不同层级的输出结果与主网络的重构变化图融合形成最终的变化检测结果。该模型在LEVIR-CD和SYSU-CD变化检测数据集取得了较好的结果,F1-score分别提高了1.58%和2.17%,可更加精确识别复杂场景的变化区域,进一步减少无关因素引起的误检和漏检,且对目标地物边缘的检测更加平滑。 展开更多

关键词 深度学习 变化检测 双上下文增强 自适应注意力模块 多尺度监督融合

在线阅读 下载PDF 职称材料

基于改进SAGGAN模型的齿轮故障分类方法研究

5

作者 刘洋 但斌斌 +2 位作者 易灿灿 严旭果 薛家成 《机电工程》 CAS 北大核心 2024年第12期2185-2194,共10页

针对齿轮故障样本获取困难,导致深度学习驱动故障分类模型的可靠性和准确性不足这一问题,提出了一种基于改进自注意力门单元生成对抗网络(SAGGAN)的半监督齿轮故障分类模型。首先,为增强改进SAGGAN模型的特征表示能力,提升齿轮故障的半... 针对齿轮故障样本获取困难,导致深度学习驱动故障分类模型的可靠性和准确性不足这一问题,提出了一种基于改进自注意力门单元生成对抗网络(SAGGAN)的半监督齿轮故障分类模型。首先,为增强改进SAGGAN模型的特征表示能力,提升齿轮故障的半监督分类效果,在自注意力生成对抗网络(SAGAN)的基础上,引入了门控通道转换模块(GCT)、改进自注意力门控模块(SAG)和预训练的Inception V3分支;然后,使用齿轮故障实验装置采集齿轮断齿、磨损、周节误差和正常四种状态下的振动信号,并将数据划分为训练集、验证集与测试集;最后,将计算结果与现有的半监督分类方法:TripleGAN、Bad-GAN、Reg-GAN、SF-GAN进行了对比,并对改进模块进行了消融实验研究。研究结果表明:在标签样本为40、60、80、100时,改进SAGGAN模型的整体分类准确率分别为89%、90%、92%、94.25%,远高于其他四种方法,特别在只有少量标签样本情况下的优越性更为明显。以上结果揭示了改进的SAGGAN模型在齿轮故障分类领域中的实用性和优越性。 展开更多

关键词 齿轮故障 模式分类 自注意力门单元生成对抗网络 半监督学习 自注意力生成对抗网络 门控通道转换模块 自注意力门控模块

在线阅读 下载PDF 职称材料

基于改进EfficientNet的细粒度图像识别

6

作者 许成君 《舰船电子工程》 2024年第5期116-119,共4页

普通CNN模型直接应用于细粒度图像识别时关键特征提取不充分,导致模型细粒度识别准确率较低,针对这个问题,论文提出了一种基于改进EfficientNet的细粒度图像识别算法,以EffcientNetB3为主干,在全局平均池化层(GAP Layer)之前添加一个CBA... 普通CNN模型直接应用于细粒度图像识别时关键特征提取不充分,导致模型细粒度识别准确率较低,针对这个问题,论文提出了一种基于改进EfficientNet的细粒度图像识别算法,以EffcientNetB3为主干,在全局平均池化层(GAP Layer)之前添加一个CBAM注意力模块,提升模型关键特征提取能力。论文利用迁移学习训练得到细粒度识别网络,实验结果表明,训练得到的改进模型在CUB-200-2011数据集上的识别准确率达到了84.5%左右,相比于原网络准确率提升了5.4%,另外与常用CNN模型相比模型复杂度更低,识别准确度更好。 展开更多

关键词 EffcientNetB3 弱监督 CBAM注意力模块 细粒度图像识别

在线阅读 下载PDF 职称材料

融合监督注意力模块和跨阶段特征融合的图像修复改进网络 被引量：2

7

作者 黄巧玲 郑伯川 +1 位作者 丁梓成 吴泽东 《计算机应用》 CSCD 北大核心 2024年第2期572-579,共8页

非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两... 非规则缺失区域的图像修复技术用途广泛但具有挑战性。针对现有修复方法对高分辨率图像可能会产生伪影、扭曲结构和模糊纹理的问题,提出一种融合监督注意力模块(SAM)和跨阶段特征融合(CSFF)的图像修复改进网络(Gconv_CS)。在Gconv的两阶段网络模型上,引入了SAM与CSFF模块。SAM通过提供真实图像监督信号,监督上阶段输出特征,确保传入下阶段特征信息的有效性。CSFF将上阶段编码器-解码器的特征融合后送入下阶段的编码器,以弥补上阶段修复中特征信息的损失。实验结果表明,在缺失区域占比为1%~10%时,相较于基线模型Gconv,Gconv_CS在CelebA-HQ数据集上峰值信噪比(PSNR)和结构相似性指数(SSIM)分别提高了1.5%和0.5%,Fréchet起始距离(FID)和L1损失分别降低了21.8%、14.8%;在Place2数据集上,前2个指标分别提高了26.7%和0.8%,后2个指标分别降低了7.9%、37.9%。将Gconv_CS用于去除大熊猫面部遮挡物时,取得了较好的修复视觉效果。 展开更多

关键词 图像修复 两阶段网络 跨阶段特征融合 监督注意力模块 门控卷积

在线阅读 下载PDF 职称材料

基于双分支交互的实时语义分割算法 被引量：1

8

作者 杨迪 陈春雨 《应用科技》 CAS 2024年第2期48-55,共8页

针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算... 针对双分支实时语义分割算法存在双分支交互差、多尺度上下文信息提取不完善等问题,提出了基于双分支交互的实时语义分割网络(dual-branch interactive multi-scale fusion network for real-time semantic segmentation,DIMFNet)。算法以引导聚合双边语义分割网络(bilateral network with guided aggregation for real-time semantic segmentation,BiseNetV2)的双分支结构为基准进行改进,空间分支提取空间细节特征,上下文分支提取深层上下文特征。结合注意力思想提出注意力引导高级语义融合模块(attention guide high-level semantics fusion module,AGHSM)实现双分支的交互融合,以获得更好的空间特征表示;对金字塔池化模块进行改进,提出采用多层聚合金字塔池化模块(multi-layer aggregation pyramid pooling module,MAPPM)提取多尺度上下文特征,以获得更好的上下文特征表示。算法在Cityscapes数据集上进行消融实验并与现有实时语义分割网络进行对比,验证了各模块的有效性,以124.5 f/s达到了77.9%的平均交并比(mean intersection over union,MIoU);在CamVid数据集上以211.1 f/s达到了75.1%的MIoU。相比现有的实时语义分割网络,本文算法更好地权衡了分割的精度和速度。 展开更多

关键词 实时语义分割 空间分支 上下文分支 特征融合 注意力机制 多尺度特征提取 池化金字塔 深度监督

在线阅读 下载PDF 职称材料

引入注意力机制的自监督光流计算 被引量：3

9

作者 安峰 戴军 +1 位作者 韩振 严仲兴 《图学学报》 CSCD 北大核心 2022年第5期841-848,共8页

光流计算是诸多计算机视觉系统的关键模块,广泛应用于动作识别、机器人定位与导航等领域。但目前端到端的光流计算仍受限于数据源的缺少,尤其是真实场景下的光流数据难以获取。人工合成的光流数据占绝大多数,且合成数据不能完全反应真... 光流计算是诸多计算机视觉系统的关键模块,广泛应用于动作识别、机器人定位与导航等领域。但目前端到端的光流计算仍受限于数据源的缺少,尤其是真实场景下的光流数据难以获取。人工合成的光流数据占绝大多数,且合成数据不能完全反应真实场景(如树叶晃动、行人倒影等),难以避免过拟合等情况。无监督或自监督方法可以利用海量的视频数据进行训练,摆脱了对数据集的依赖,是解决数据集缺少的有效途径。基于此搭建了一个自监督学习光流计算网络,其中的“Teacher”模块和“Student”模块集成了最新光流计算网络:稀疏相关体网络(SCV),减少了计算冗余量;同时引入注意力模型作为网络的一个节点,以提高图像特征在通道和空间上的维度属性。将SCV与注意力机制集成在自监督学习光流计算网络之中,在KITTI 2015数据集上的测试结果达到或超过了常见的有监督训练网络。 展开更多

关键词 光流计算 自监督学习 卷积注意力模块 空间/通道注意力 稀疏相关体

在线阅读 下载PDF 职称材料

基于3D scSE-UNet的肝脏CT图像半监督学习分割方法 被引量：5

10

作者 刘清清 周志勇 +4 位作者 范国华 钱旭升 胡冀苏 陈光强 戴亚康 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2021年第11期2033-2044,共12页

针对分割神经网络需要大量的高质量标签但较难获取的问题,提出基于3D scSE-UNet的半监督学习分割方法.该方法使用自训练的半监督学习框架,将包含改进的并行空间/特征通道压缩和激励模块(scSE-block+)的3D scSE-UNet作为分割网络.scSE-bl... 针对分割神经网络需要大量的高质量标签但较难获取的问题,提出基于3D scSE-UNet的半监督学习分割方法.该方法使用自训练的半监督学习框架,将包含改进的并行空间/特征通道压缩和激励模块(scSE-block+)的3D scSE-UNet作为分割网络.scSE-block+可以从图像空间和特征通道2个方面自动学习图像的有效特征,抑制无用冗余特征,更好地保留图像边缘信息.在自训练过程中加入全连接条件随机场,对分割网络产生的伪标签进行边缘细化,提升伪标签的精确度.在LiTS17 Challenge和SLIVER07数据集上验证所提出方法的有效性.当有标签图像占训练集总图像的30%时,所提方法的Dice相似系数(dice score)为0.941.结果表明,所提出的半监督学习分割方法可以在仅使用少量标注数据的情况下,取得与全监督分割方法相当的分割效果,有效减轻肝脏CT图像分割对专家标注数据的依赖. 展开更多

关键词 半监督学习 自训练 3D UNet 注意力模块 全连接条件随机场

暂未订购

面向遥感图像检索的级联池化自注意力研究 被引量：6

11

作者 吴刚 葛芸 +1 位作者 储珺 叶发茂 《光电工程》 CAS CSCD 北大核心 2022年第12期53-65,共13页

高分辨率遥感图像检索中,由于图像内容复杂,细节信息丰富,以致通过卷积神经网络提取的特征难以有效表达图像的显著信息。针对该问题,提出一种基于级联池化的自注意力模块,用来提高卷积神经网络的特征表达。首先,设计了级联池化自注意力... 高分辨率遥感图像检索中,由于图像内容复杂,细节信息丰富,以致通过卷积神经网络提取的特征难以有效表达图像的显著信息。针对该问题,提出一种基于级联池化的自注意力模块,用来提高卷积神经网络的特征表达。首先,设计了级联池化自注意力模块,自注意力在建立语义依赖关系的基础上,可以学习图像关键的显著特征,级联池化是在小区域最大池化的基础上再进行均值池化,将其用于自注意力模块,能够在关注图像显著信息的同时保留图像重要的细节信息,进而增强特征的判别能力。然后,将级联池化自注意力模块嵌入到卷积神经网络中,进行特征的优化和提取。最后,为了进一步提高检索效率,采用监督核哈希对提取的特征进行降维,并将得到的低维哈希码用于遥感图像检索。在UC Merced、AID和NWPU-RESISC45数据集上的实验结果表明,本文方法能够有效提高检索性能。 展开更多

关键词 遥感图像检索 级联池化 自注意力模块 监督核哈希 卷积神经网络

在线阅读 下载PDF 职称材料

基于感知向量的光学遥感图像舰船检测 被引量：1

12

作者 潘超凡 李润生 +3 位作者 许岩 胡庆 牛朝阳 刘伟 《系统工程与电子技术》 EI CSCD 北大核心 2022年第12期3631-3640,共10页

针对光学遥感图像中近岸舰船目标检测干扰大、虚警率高的问题,在基于包围框边缘感知向量(box boundary-aware vectors,BBAVectors)检测网络的基础上提出了改进方法。首先在特征融合网络后加入一个有监督的注意力模块来增强目标区域信息... 针对光学遥感图像中近岸舰船目标检测干扰大、虚警率高的问题,在基于包围框边缘感知向量(box boundary-aware vectors,BBAVectors)检测网络的基础上提出了改进方法。首先在特征融合网络后加入一个有监督的注意力模块来增强目标区域信息,削弱无关背景信息干扰;然后利用边界感知向量间的几何关系设计了一个自监督损失函数,用以加强向量间的耦合关系,防止向量独立性导致包围框出现不规则形状。实验结果显示,在HRSC2016数据集L_(2)级检测任务中,改进模型检测结果的平均精度相较于原网络提高了6.91%,有效抑制了背景噪声的干扰,降低了近岸舰船目标检测的虚警率,证明了改进方法的有效性。 展开更多

关键词 光学遥感图像 舰船目标检测 包围框边缘感知向量 监督 注意力模块

在线阅读 下载PDF 职称材料

基于视频的中文连续手语识别算法 被引量：1

13

作者 刘诗瑶 张忠民 《应用科技》 CAS 2023年第3期44-49,共6页

连续手语识别是将视频序列转为符号序列的典型的弱监督问题,它只提供了句子级标签,没有提供有时间边界的帧级标签。为了克服这一问题,就需要使用连接时态分类(connectionist temporal classification,CTC),这也是目前应用最广泛的方法... 连续手语识别是将视频序列转为符号序列的典型的弱监督问题,它只提供了句子级标签,没有提供有时间边界的帧级标签。为了克服这一问题,就需要使用连接时态分类(connectionist temporal classification,CTC),这也是目前应用最广泛的方法。实验在特征提取阶段引入时间-空间注意力机制,并增加辅助对齐模块,利用聚合交叉熵(agregation cross-entropy,ACE)散度损失对特征提取部分进行训练。该模型采用端到端方式,结合ACE散度进行片段级特征学习和CTC进行全局序列特征学习的联合训练,此外,提出的随机掉帧机制还可以进一步缓解过拟合问题。在中文手语数据集CSLR上验证了改进方法的有效性,在验证集上获得了6.9%错误率,在测试集上获得了4.3%错误率。 展开更多

关键词 连续手语识别 注意力机制 时间-空间注意力机制 连接时态分类 联合训练 弱监督 跨模态 深度学习

在线阅读 下载PDF 职称材料

一种新的基于通道-空间融合注意力及SwinT的细粒度图像分类算法 被引量：1

14

作者 姜昊 凌萍 陈寸生保 《南京师范大学学报（工程技术版）》 CAS 2023年第3期36-42,共7页

细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a ... 细粒度图像分类是计算机视觉领域的一大分类任务,其难点在于如何通过类别监督信息自主地找到判别性区域.提出一种新的通道-空间融合注意力模块,基于该模块设计了一种新的Swin Transformer算法SwinT⁃NCSA(a Swin Transformer based on a novel channel⁃spatial attention module),分别从通道维和空间维同时提取特征,再将其融入到Swin Transformer模型中以提高其小尺度中多头注意力信息的提取能力.SwinT⁃NCSA算法特别关注了对分类有用的区域,同时忽视对分类无用的背景区域,以此在细粒度图像分类任务中达到较高的分类准确率.在FGVC Aircraft飞机数据集、CUB-200-2011鸟类数据集和Stanford Cars车类数据集3个公共数据集上的实验表明,SwinT⁃NCSA算法可以分别取得93.3%、88.4%和94.7%的准确率,优于同类算法. 展开更多

关键词 细粒度图像分类 Swin TRANSFORMER 通道-空间融合注意力模块 深度学习 弱监督学习

在线阅读 下载PDF 职称材料

基于半监督多头网络的腰椎CT图像分割 被引量：1

15

作者 何越 杜钦红 +2 位作者 杜钰堃 杨环 西永明 《青岛大学学报（自然科学版）》 CAS 2023年第2期36-42,共7页

针对医学图像分割任务中医学数据标注困难以及CT图像强度不均匀问题,提出一种基于半监督的多头分割网络SSMH-Net。SSMH-Net网络采用教师—学生训练架构,基于相同的分割模型V-Net,通过指数移动平均算法完成教师与学生模型的交互训练;采用... 针对医学图像分割任务中医学数据标注困难以及CT图像强度不均匀问题,提出一种基于半监督的多头分割网络SSMH-Net。SSMH-Net网络采用教师—学生训练架构,基于相同的分割模型V-Net,通过指数移动平均算法完成教师与学生模型的交互训练;采用Multi-Head方法估计模型预测的不确定性信息,指导分割模型在更可靠的目标中学习。在CTspine分割数据集上,SSMH-Net网络平均分割Dice系数达到95.70%,表现出较为优异的分割性能。 展开更多

关键词 椎体分割 半监督学习 注意力模块 V-Net multi-head

在线阅读 下载PDF 职称材料

融合上下文和注意力的视盘视杯分割 被引量：7

16

作者 刘洪普 赵一浩 +2 位作者 侯向丹 郭鸿湧 丁梦园 《中国图象图形学报》 CSCD 北大核心 2021年第5期1041-1057,共17页

目的青光眼会对人的视力造成不可逆的损伤,从眼底图像中精确地分割视盘和视杯是青光眼诊治中的一项重要工作,为有效提升视盘和视杯的分割精度,本文提出了融合上下文和注意力的视盘视杯分割方法(context attention U-Net,CA-Net)。方法... 目的青光眼会对人的视力造成不可逆的损伤,从眼底图像中精确地分割视盘和视杯是青光眼诊治中的一项重要工作,为有效提升视盘和视杯的分割精度,本文提出了融合上下文和注意力的视盘视杯分割方法(context attention U-Net,CA-Net)。方法进行极坐标转换,在极坐标系下进行分割可以平衡数据分布。使用修改的预训练Res Net作为特征提取网络,增强特征提取能力。采用上下文聚合模块(context aggregation module,CAM)多层次聚合图像上下文信息,使用注意力指导模块(attention guidance module,AGM)对融合后的特征图进行特征重标定,增强有用特征;使用深度监督思想同时对浅层网络权重进行训练,同时在视杯分割网络中引入了先验知识,约束对视杯的分割。结果在3个数据集上与其他方法进行对比实验,在Drishti-GS1数据集中,分割视盘的Dice(dice coefficient)和IOU(intersection-over-union)分别为0.9814和0.9635,分割视杯的Dice和IOU分别为0.9266和0.8633;在RIM-ONE(retinal image database for optic nerve evaluation)-v3数据集中,分割视盘的Dice和IOU分别为0.9768和0.9546,分割视杯的Dice和IOU分别为0.8642和0.7609;在Refuge数据集中,分割视盘的Dice和IOU分别为0.9758和0.9527,分割视杯的Dice和IOU分别为0.8871和0.7972,均优于对比算法。同时,消融实验验证了各模块的有效性,跨数据集实验进一步表明了CA-Net的泛化性,可视化图像也表明CA-Net能够分割出更接近标注的分割结果。结论在Drishti-GS1、RIM-ONE-v3和Refuge三个数据集的测试结果表明,CA-Net均能取得最优的视盘和视杯分割结果,跨数据集测试结果也更加表明了CA-Net具有良好的泛化性能。 展开更多

关键词 青光眼 视盘 视杯 上下文聚合模块 注意力指导模块 深度监督 先验知识

原文传递

在线异常事件检测的时序建模 被引量：3

17

作者 卿来云 张建功 苗军 《计算机科学》 CSCD 北大核心 2021年第7期206-212,共7页

弱监督异常事件检测是一项极富挑战性的任务,其目标是在已知正常和异常视频标签的监督下,定位出异常发生的具体时序区间。文中采用多示例排序网络来实现弱监督异常事件检测任务,该框架在视频被切分为固定数量的片段后,将一个视频抽象为... 弱监督异常事件检测是一项极富挑战性的任务,其目标是在已知正常和异常视频标签的监督下,定位出异常发生的具体时序区间。文中采用多示例排序网络来实现弱监督异常事件检测任务,该框架在视频被切分为固定数量的片段后,将一个视频抽象为一个包,每个片段相当于包中的示例,多示例学习在已知包类别的前提下训练示例分类器。由于视频有丰富的时序信息,因此重点关注监控视频在线检测的时序关系。从全局和局部角度出发,采用自注意力模块学习出每个示例的权重,通过自注意力值与示例异常得分的线性加权,来获得视频整体的异常分数,并采用均方误差损失训练自注意力模块。另外,引入LSTM和时序卷积两种方式对时序建模,其中时序卷积又分为单一类别的时序空洞卷积和融合了不同空洞率的多尺度的金字塔时序空洞卷积。实验结果显示,多尺度的时序卷积优于单一类别的时序卷积,时序卷积联合包内包外互补损失的方法在当前UCF-Crime数据集上比不包含时序模块的基线方法的AUC指标高出了3.2%。 展开更多

关键词 异常事件检测 弱监督学习 多示例学习 注意力机制 时序卷积网络

在线阅读 下载PDF 职称材料

基于多监督注意力机制神经网络的脑胶质瘤循环肿瘤细胞分割算法

18

作者 袁红杰 杨艳 +1 位作者 张东 杨双 《中国医学物理学杂志》 CSCD 2022年第7期828-833,共6页

为了提升脑胶质瘤循环肿瘤细胞的分割准确率,解决人工分割中肉眼分辨边界困难、目标占比小和操作流程繁琐等问题,提出一种端到端的像素级分割算法。针对数据特征,提出一种基于多监督机制的混合损失函数用以提升预测区域与目标区域的交并... 为了提升脑胶质瘤循环肿瘤细胞的分割准确率,解决人工分割中肉眼分辨边界困难、目标占比小和操作流程繁琐等问题,提出一种端到端的像素级分割算法。针对数据特征,提出一种基于多监督机制的混合损失函数用以提升预测区域与目标区域的交并比,同时训练网络向预测正确目标个数的方向收敛;其次,在网络中逐层加入卷积块注意力机制模块,使得网络能在空间、通道层面重点学习数据特征,进一步提升预测准确率;最后,通过采用混合训练的方式,只需一个网络模型就能直接分割出细胞核、细胞质区域,缩减训练流程。实验结果表明,此分割算法对比U-Net网络在召回率、精确率以及Dice系数方面均有显著提升,在细胞核分割方面,分别达到92.20%、86.56%、88.27%;在细胞质分割方面,分别达到89.33%、85.31%、86.33%。 展开更多

关键词 脑胶质瘤 循环肿瘤细胞 多监督 卷积块注意力机制模块 小目标分割

在线阅读 下载PDF 职称材料

用于遥感图像变化检测的深度监督网络 被引量：1

19

作者 袁小平 王小倩 +1 位作者 何祥 胡杨明 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2023年第10期1966-1976,共11页

为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测(CD)能力差的问题,借助Unet++网络构建用于遥感图像CD的深度监督网络(DSNet).设计多尺度残差模块替换传统卷积层,通过融合孪生网络双分支上的空间与光谱特性,获取遥感图... 为了解决大多数全卷积网络出现的特征提取单一、遥感图像变化检测(CD)能力差的问题,借助Unet++网络构建用于遥感图像CD的深度监督网络(DSNet).设计多尺度残差模块替换传统卷积层,通过融合孪生网络双分支上的空间与光谱特性,获取遥感图像在不同层次间的语义信息,有效解决了特征提取单一的问题.在模型解码端设计横向输出层,实现节点从低级向高级特征聚合的深度监督过程.将具备信息差异化的不同特征融合结果传输至基于归一化的注意力模块(NAM)中.在不引入额外参数的前提下增强了变化区域的信息权重.实验结果表明,所提模型在遥感图像CD任务中的召回率和精度分别为90.39%和92.04%,模型的参数量和计算量为6.38 M和60 G.与不同网络模型的对比表明,该方法具有检测精度高、速度快和轻量化等优点. 展开更多

关键词 图像分割 注意力模块 深度监督 横向输出层 轻量化 孪生网络

在线阅读 下载PDF 职称材料

自注意力融合调制的弱监督语义分割

20

作者 石德硕 李军侠 刘青山 《中国图象图形学报》 CSCD 北大核心 2023年第12期3758-3771,共14页

目的现有图像级标注的弱监督分割方法大多利用卷积神经网络获取伪标签,其覆盖的目标区域往往过小。基于Transformer的方法通常采用自注意力对类激活图进行扩张,然而受其深层注意力不准确性的影响,优化之后得到的伪标签中背景噪声比较多... 目的现有图像级标注的弱监督分割方法大多利用卷积神经网络获取伪标签,其覆盖的目标区域往往过小。基于Transformer的方法通常采用自注意力对类激活图进行扩张,然而受其深层注意力不准确性的影响,优化之后得到的伪标签中背景噪声比较多。为了利用该两类特征提取网络的优点,同时结合Transformer不同层级的注意力特性,构建了一种结合卷积特征和Transformer特征的自注意力融合调制网络进行弱监督语义分割。方法采用卷积增强的Transformer(Conformer)作为特征提取网络,其能够对图像进行更加全面的编码,得到初始的类激活图。设计了一种自注意力层级自适应融合模块,根据自注意力值和层级重要性生成融合权重,融合之后的自注意力能够较好地抑制背景噪声。提出了一种自注意力调制模块,利用像素对之间的注意力关系,设计调制函数,增大前景像素的激活响应。使用调制后的注意力对初始类激活图进行优化,使其覆盖较多的目标区域,同时有效抑制背景噪声。结果在最常用的PASCAL VOC 2012(pattern analysis,statistical modeling and computational learning visual object classes 2012)数据集和COCO 2014(common objectes in context 2014)数据集上利用获得的伪标签进行分割网络的训练,在对比实验中本文算法均取得最优结果,在PASCAL VOC验证集上,平均交并比(mean intersection over union,mIoU)达到了70.2%,测试集上mIoU值为70.5%,相比对比算法中最优的Transformer模型,其性能在验证集和测试集上均提升了0.9%,相比于卷积神经网络最优方法,验证集上mIoU提升了0.7%,测试集上mIoU值提升了0.8%。在COCO 2014验证集上结果为40.1%,与对比算法中最优方法相比分割精度提高了0.5%。结论本文提出的弱监督语义分割模型,结合了卷积神经网络和Transformer的优点,通过对Transformer自注意力进行自适应融合调制,得到了图像级标签下目前最优的语义分割结果,该方法可应用于三维重建、机器人场景理解等应用领域。此外,所构建的自注意力自适应融合模块和自注意力调制模块均可嵌入到Transformer结构中,为具体视觉任务获取更鲁棒、更具鉴别性的特征。 展开更多

关键词 语义分割 弱监督学习 TRANSFORMER 卷积神经网络(CNN) 自注意力调制 自注意力融合 类激活图

原文传递