由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑...由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。展开更多
U-Net因结构简单且高效被广泛应用于医学分割领域。然而,U-Net的跳跃连接不能很好地弥补编码器和解码器之间的语义差距。而医学分割数据的标注要求严格,使得数据集数量和规模都较小。针对上述问题,设计多尺度注意力融合(MSAF)模块,旨在...U-Net因结构简单且高效被广泛应用于医学分割领域。然而,U-Net的跳跃连接不能很好地弥补编码器和解码器之间的语义差距。而医学分割数据的标注要求严格,使得数据集数量和规模都较小。针对上述问题,设计多尺度注意力融合(MSAF)模块,旨在利用注意力机制可调整网络学习方向的特点和多尺度特征融合来有效缓解语义偏差。MSAF模块在前2个阶段使用通道注意力来捕获全局特征;在后2个阶段使用空间注意力来捕获局部特征;最后将多个阶段提取的特征进行融合以增强特征信息。此外,提出基于傅里叶变换的数据增强(FTDA)方法解决医学分割数据集稀少的问题。FTDA通过扰动输入图像在频域中的幅度信息实现其相位信息的数据增强。在MoNuSeg、CryoNuSeg和2018 Data Science Bowl数据集上的实验结果表明,提出方法的mIoU和Dice指标比其他先进方法表现出更好的性能。此外,提出的FTDA方法对小规模数据集也具有较好的增益效果。展开更多
针对街景图像中目标类别众多以及目标尺度变化所导致的难以准确分割的问题,提出了一种基于Transformer自注意力与跨区域特征融合的街景图像分割算法(Transformer Self-attention and Cross-regional Features Network,TSCF-Net)。试图...针对街景图像中目标类别众多以及目标尺度变化所导致的难以准确分割的问题,提出了一种基于Transformer自注意力与跨区域特征融合的街景图像分割算法(Transformer Self-attention and Cross-regional Features Network,TSCF-Net)。试图通过融合上下文信息以及自注意力机制来提升网络的多尺度目标分割能力细节特征提取能力进而改善系列问题。该方法遵循编U-Net编解码器架构。编码器部分设计了空洞残差编码模块增强了感受野实现了街景图像特征的粗粒度提取,解码器部分设计了跨区域特征融合模块,融合编码器部分的上下文信息。并且在网络各层加入Transformer自注意力模块,深化对街景图像中各类别目标的细节特征提取。在公共数据集剑桥驾驶标记视频数据库上进行实验,Transformer自注意力跨区域特征融合网络平均像素准确率达到了99.87%,平均交并比达到了78.03%,平均F1分数达到了81.89%。相较于当前的主流方法,各项评价指标最多提高约5%。实验表明本方法有较好的街景图像语义分割性能。展开更多
文摘由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。
文摘U-Net因结构简单且高效被广泛应用于医学分割领域。然而,U-Net的跳跃连接不能很好地弥补编码器和解码器之间的语义差距。而医学分割数据的标注要求严格,使得数据集数量和规模都较小。针对上述问题,设计多尺度注意力融合(MSAF)模块,旨在利用注意力机制可调整网络学习方向的特点和多尺度特征融合来有效缓解语义偏差。MSAF模块在前2个阶段使用通道注意力来捕获全局特征;在后2个阶段使用空间注意力来捕获局部特征;最后将多个阶段提取的特征进行融合以增强特征信息。此外,提出基于傅里叶变换的数据增强(FTDA)方法解决医学分割数据集稀少的问题。FTDA通过扰动输入图像在频域中的幅度信息实现其相位信息的数据增强。在MoNuSeg、CryoNuSeg和2018 Data Science Bowl数据集上的实验结果表明,提出方法的mIoU和Dice指标比其他先进方法表现出更好的性能。此外,提出的FTDA方法对小规模数据集也具有较好的增益效果。
文摘针对街景图像中目标类别众多以及目标尺度变化所导致的难以准确分割的问题,提出了一种基于Transformer自注意力与跨区域特征融合的街景图像分割算法(Transformer Self-attention and Cross-regional Features Network,TSCF-Net)。试图通过融合上下文信息以及自注意力机制来提升网络的多尺度目标分割能力细节特征提取能力进而改善系列问题。该方法遵循编U-Net编解码器架构。编码器部分设计了空洞残差编码模块增强了感受野实现了街景图像特征的粗粒度提取,解码器部分设计了跨区域特征融合模块,融合编码器部分的上下文信息。并且在网络各层加入Transformer自注意力模块,深化对街景图像中各类别目标的细节特征提取。在公共数据集剑桥驾驶标记视频数据库上进行实验,Transformer自注意力跨区域特征融合网络平均像素准确率达到了99.87%,平均交并比达到了78.03%,平均F1分数达到了81.89%。相较于当前的主流方法,各项评价指标最多提高约5%。实验表明本方法有较好的街景图像语义分割性能。
