医学图像分割在计算机辅助诊断和手术导航等临床应用中起着至关重要的作用,旨在从复杂的医学影像中精准提取不同器官和病灶。然而,现有的U型网络结构在实际应用中存在跳跃连接信息冗余大和计算量高等问题。为了解决这些问题,提出一种轻...医学图像分割在计算机辅助诊断和手术导航等临床应用中起着至关重要的作用,旨在从复杂的医学影像中精准提取不同器官和病灶。然而,现有的U型网络结构在实际应用中存在跳跃连接信息冗余大和计算量高等问题。为了解决这些问题,提出一种轻量化医学图像分割网络ES-TransUNet(Efficient channel attention and Simple-TransUNet)。该网络在编码器中通过引入十字交叉注意力(CCA)机制捕捉图像中的长距离依赖关系,并优化Transformer中的多头注意力结构,从而使模型轻量化,在解码器中引入动态上采样(Dysample)模块提升上采样效率;同时为了减少跳跃连接中的信息冗余,引入简单上下文Transformer(SCOT)块对冗余特征进行过滤。在Synapse多器官分割和ACDC数据集上的实验结果表明,ES-TransUNet相比TransUNet分别取得了2.37和1.57个百分点的Dice相似系数(DSC)提升,并在Synapse数据集上使Hausdorff距离(HD)降低了约9.69。此外,所提网络与现有最先进的医学分割模型的对比结果表明,ES-TransUNet在保持较高分割精度的基础上,显著降低了模型的参数量和计算复杂度,并提高了推理效率。可见,该网络更满足实时医学图像分割的实际需求。展开更多
由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑...由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。展开更多
U-Net因结构简单且高效被广泛应用于医学分割领域。然而,U-Net的跳跃连接不能很好地弥补编码器和解码器之间的语义差距。而医学分割数据的标注要求严格,使得数据集数量和规模都较小。针对上述问题,设计多尺度注意力融合(MSAF)模块,旨在...U-Net因结构简单且高效被广泛应用于医学分割领域。然而,U-Net的跳跃连接不能很好地弥补编码器和解码器之间的语义差距。而医学分割数据的标注要求严格,使得数据集数量和规模都较小。针对上述问题,设计多尺度注意力融合(MSAF)模块,旨在利用注意力机制可调整网络学习方向的特点和多尺度特征融合来有效缓解语义偏差。MSAF模块在前2个阶段使用通道注意力来捕获全局特征;在后2个阶段使用空间注意力来捕获局部特征;最后将多个阶段提取的特征进行融合以增强特征信息。此外,提出基于傅里叶变换的数据增强(FTDA)方法解决医学分割数据集稀少的问题。FTDA通过扰动输入图像在频域中的幅度信息实现其相位信息的数据增强。在MoNuSeg、CryoNuSeg和2018 Data Science Bowl数据集上的实验结果表明,提出方法的mIoU和Dice指标比其他先进方法表现出更好的性能。此外,提出的FTDA方法对小规模数据集也具有较好的增益效果。展开更多
文摘医学图像分割在计算机辅助诊断和手术导航等临床应用中起着至关重要的作用,旨在从复杂的医学影像中精准提取不同器官和病灶。然而,现有的U型网络结构在实际应用中存在跳跃连接信息冗余大和计算量高等问题。为了解决这些问题,提出一种轻量化医学图像分割网络ES-TransUNet(Efficient channel attention and Simple-TransUNet)。该网络在编码器中通过引入十字交叉注意力(CCA)机制捕捉图像中的长距离依赖关系,并优化Transformer中的多头注意力结构,从而使模型轻量化,在解码器中引入动态上采样(Dysample)模块提升上采样效率;同时为了减少跳跃连接中的信息冗余,引入简单上下文Transformer(SCOT)块对冗余特征进行过滤。在Synapse多器官分割和ACDC数据集上的实验结果表明,ES-TransUNet相比TransUNet分别取得了2.37和1.57个百分点的Dice相似系数(DSC)提升,并在Synapse数据集上使Hausdorff距离(HD)降低了约9.69。此外,所提网络与现有最先进的医学分割模型的对比结果表明,ES-TransUNet在保持较高分割精度的基础上,显著降低了模型的参数量和计算复杂度,并提高了推理效率。可见,该网络更满足实时医学图像分割的实际需求。
文摘由于患者个体差异、采集协议多样性和数据损坏等因素,现有基于磁共振成像(Magnetic resonance imaging,MRI)的脑肿瘤分割方法存在模态数据丢失问题,导致分割精度不高。为此,本文提出了一种基于U-Net和Transformer结合的不完整多模态脑肿瘤分割(Incomplete multimodal brain tumor segmentation based on the combination of U-Net and Transformer,IM TransNet)方法。首先,针对脑肿瘤MRI的4个不同模态设计了单模态特定编码器,提升模型对各模态数据的表征能力。其次,在U-Net中嵌入双重注意力的Transformer模块,克服模态缺失引起的信息不完整问题,减少U-Net的长距离上下文交互和空间依赖性局限。在U-Net的跳跃连接中加入跳跃交叉注意力机制,动态关注不同层级和模态的特征,即使在模态缺失时,也能有效融合特征并进行重建。此外,针对模态缺失引起的训练不平衡问题,设计了辅助解码模块,确保模型在各种不完整模态子集上均能稳定高效地分割脑肿瘤。最后,基于公开数据集BRATS验证模型的性能。实验结果表明,本文提出的模型在增强型肿瘤、肿瘤核心和全肿瘤上的平均Dice评分分别为63.19%、76.42%和86.16%,证明了其在处理不完整多模态数据时的优越性和稳定性,为临床实践中脑肿瘤的准确、高效和可靠分割提供了一种可行的技术手段。
文摘U-Net因结构简单且高效被广泛应用于医学分割领域。然而,U-Net的跳跃连接不能很好地弥补编码器和解码器之间的语义差距。而医学分割数据的标注要求严格,使得数据集数量和规模都较小。针对上述问题,设计多尺度注意力融合(MSAF)模块,旨在利用注意力机制可调整网络学习方向的特点和多尺度特征融合来有效缓解语义偏差。MSAF模块在前2个阶段使用通道注意力来捕获全局特征;在后2个阶段使用空间注意力来捕获局部特征;最后将多个阶段提取的特征进行融合以增强特征信息。此外,提出基于傅里叶变换的数据增强(FTDA)方法解决医学分割数据集稀少的问题。FTDA通过扰动输入图像在频域中的幅度信息实现其相位信息的数据增强。在MoNuSeg、CryoNuSeg和2018 Data Science Bowl数据集上的实验结果表明,提出方法的mIoU和Dice指标比其他先进方法表现出更好的性能。此外,提出的FTDA方法对小规模数据集也具有较好的增益效果。
