以Mamba为代表的状态空间模型(state space models,SSM)凭借其出色的长程依赖建模能力与较低的线性计算复杂度,在医学图像分割领域展现出广阔的应用前景。但该类方法对图像逐像素展平的处理方式会破坏图像空间结构,导致局部细节提取不足...以Mamba为代表的状态空间模型(state space models,SSM)凭借其出色的长程依赖建模能力与较低的线性计算复杂度,在医学图像分割领域展现出广阔的应用前景。但该类方法对图像逐像素展平的处理方式会破坏图像空间结构,导致局部细节提取不足,且缺乏对器官与病灶的聚焦机制,在复杂背景下易引入冗余背景信息。为解决上述问题,本文提出了一种融合谱域动态特征与注意力机制的医学图像分割网络——频域动态注意力U型Mamba(spectral dynamic attention U-Mamba,SDA U-Mamba)。该网络采用分层U型结构设计,分别从空间连续性建模和区域聚焦能力两方面对Mamba进行优化。在网络浅层设计Mamba空频注意力模块,通过融合空域卷积、频域变换和金字塔自注意力结构以提升模型的局部信息感知能力与多尺度上下文建模效果;在网络深层引入双极路由注意力模块,通过动态路由选择与稀疏激活机制增强模型对医学图像器官或病灶的表征。实验结果表明,SDA U-Mamba在BUSI、CVCClinicDB与CHAOS-Liver这3个公开医学数据集上的分割性能显著优于当前主流方法,平均交并比(intersection over union,IoU)提升2.61%。本文所提算法可用于临床医学图像分割。展开更多
卫星捕获的遥感数据容易受到成像过程中悬浮粒子的影响而造成图像雾化现象,极大地影响遥感图像的清晰度。为了弥补这一不足,遥感图像去雾(RSID)非常必要。最近兴起的状态空间模型State Space Model(SSM)在建模线性复杂性和远程依赖关系...卫星捕获的遥感数据容易受到成像过程中悬浮粒子的影响而造成图像雾化现象,极大地影响遥感图像的清晰度。为了弥补这一不足,遥感图像去雾(RSID)非常必要。最近兴起的状态空间模型State Space Model(SSM)在建模线性复杂性和远程依赖关系方面的性能卓越,受其启发,笔者设计了一种基于CSC-Mamba(Cross-Shaped Convolutional Mamba Model)视觉模型遥感图像去雾技术。该技术基于SSM设计了RSMamba模块,利用其线性复杂性来实现全局上下文编码,大大降低了模型的复杂度。同时,利用卷积神经网络CNN以及基于自注意力机制设计CSwin模块来聚合不同方向域上的特征,以有效地感知雾分布的空间变化特征。通过这种方式,CSC-Mamba能够更好地提取雾特征,从而有效地去除雾对遥感图像的影响。通过在SateHaze1K公共数据集上的实验,结果表明本CSC-Mamba模型遥感图像去雾技术不仅具有较好的轻量化特征的同时性,还具有较高的去雾效果。展开更多
近年来,包含Transformer组件的深度学习模型已经推动了包括图像和谐化在内的图像编辑任务的快速发展.与使用静态局部滤波器的卷积神经网络(CNN)相反,Transformer使用自注意力机制允许自适应非局部滤波来敏感地捕获远程上下文.现有基于CN...近年来,包含Transformer组件的深度学习模型已经推动了包括图像和谐化在内的图像编辑任务的快速发展.与使用静态局部滤波器的卷积神经网络(CNN)相反,Transformer使用自注意力机制允许自适应非局部滤波来敏感地捕获远程上下文.现有基于CNN和Transformer等方法图像和谐化方法,未能很好的兼顾局部内容和整体风格的一致性,导致前景与背景的视觉一致性不足.本文提出了一种用于图像和谐化的新型网络模型,基于Mamba的整体–局部上下文图像和谐化(Globallocal context image harmonization based on Mamba,GLIHamba),将全局特征和局部特征引入到Mamba模型,建立具有整体–局部上下文感知能力的图像和谐化模型.具体来说,介绍了一种新的基于学习的图像和谐化模型GLIHamba,其核心组件包括局部特征序列提取器(LFSE)和全局特征序列提取器(GFSE).LFSE维护图像高维特征中相邻特征的局部一致性,显式地确保空间上邻近的特征沿着通道保持一致性,从而保证和谐化结果的局部内容完整一致.另一方面,GFSE在所有空间维度上建立全局序列,保持图像的整体风格一致性.研究结果表明,GLIHamba提供了优于最先进的基于CNN和Transformer的方法的性能.展开更多
文摘以Mamba为代表的状态空间模型(state space models,SSM)凭借其出色的长程依赖建模能力与较低的线性计算复杂度,在医学图像分割领域展现出广阔的应用前景。但该类方法对图像逐像素展平的处理方式会破坏图像空间结构,导致局部细节提取不足,且缺乏对器官与病灶的聚焦机制,在复杂背景下易引入冗余背景信息。为解决上述问题,本文提出了一种融合谱域动态特征与注意力机制的医学图像分割网络——频域动态注意力U型Mamba(spectral dynamic attention U-Mamba,SDA U-Mamba)。该网络采用分层U型结构设计,分别从空间连续性建模和区域聚焦能力两方面对Mamba进行优化。在网络浅层设计Mamba空频注意力模块,通过融合空域卷积、频域变换和金字塔自注意力结构以提升模型的局部信息感知能力与多尺度上下文建模效果;在网络深层引入双极路由注意力模块,通过动态路由选择与稀疏激活机制增强模型对医学图像器官或病灶的表征。实验结果表明,SDA U-Mamba在BUSI、CVCClinicDB与CHAOS-Liver这3个公开医学数据集上的分割性能显著优于当前主流方法,平均交并比(intersection over union,IoU)提升2.61%。本文所提算法可用于临床医学图像分割。
文摘近年来,包含Transformer组件的深度学习模型已经推动了包括图像和谐化在内的图像编辑任务的快速发展.与使用静态局部滤波器的卷积神经网络(CNN)相反,Transformer使用自注意力机制允许自适应非局部滤波来敏感地捕获远程上下文.现有基于CNN和Transformer等方法图像和谐化方法,未能很好的兼顾局部内容和整体风格的一致性,导致前景与背景的视觉一致性不足.本文提出了一种用于图像和谐化的新型网络模型,基于Mamba的整体–局部上下文图像和谐化(Globallocal context image harmonization based on Mamba,GLIHamba),将全局特征和局部特征引入到Mamba模型,建立具有整体–局部上下文感知能力的图像和谐化模型.具体来说,介绍了一种新的基于学习的图像和谐化模型GLIHamba,其核心组件包括局部特征序列提取器(LFSE)和全局特征序列提取器(GFSE).LFSE维护图像高维特征中相邻特征的局部一致性,显式地确保空间上邻近的特征沿着通道保持一致性,从而保证和谐化结果的局部内容完整一致.另一方面,GFSE在所有空间维度上建立全局序列,保持图像的整体风格一致性.研究结果表明,GLIHamba提供了优于最先进的基于CNN和Transformer的方法的性能.
