Medical image classification is crucial in disease diagnosis,treatment planning,and clinical decisionmaking.We introduced a novel medical image classification approach that integrates Bayesian Random Semantic Data Aug...Medical image classification is crucial in disease diagnosis,treatment planning,and clinical decisionmaking.We introduced a novel medical image classification approach that integrates Bayesian Random Semantic Data Augmentation(BSDA)with a Vision Mamba-based model for medical image classification(MedMamba),enhanced by residual connection blocks,we named the model BSDA-Mamba.BSDA augments medical image data semantically,enhancing the model’s generalization ability and classification performance.MedMamba,a deep learning-based state space model,excels in capturing long-range dependencies in medical images.By incorporating residual connections,BSDA-Mamba further improves feature extraction capabilities.Through comprehensive experiments on eight medical image datasets,we demonstrate that BSDA-Mamba outperforms existing models in accuracy,area under the curve,and F1-score.Our results highlight BSDA-Mamba’s potential as a reliable tool for medical image analysis,particularly in handling diverse imaging modalities from X-rays to MRI.The open-sourcing of our model’s code and datasets,will facilitate the reproduction and extension of our work.展开更多
随着深度学习的发展,基于CNN和Transformer的语义分割在遥感领域得到了广泛应用。然而,这些方法仍存在局限:前者缺乏远程建模能力,后者受制于计算复杂性。最近,Mamba所提出的视觉状态空间(visual state space,VSS)模型展现了其能够对远...随着深度学习的发展,基于CNN和Transformer的语义分割在遥感领域得到了广泛应用。然而,这些方法仍存在局限:前者缺乏远程建模能力,后者受制于计算复杂性。最近,Mamba所提出的视觉状态空间(visual state space,VSS)模型展现了其能够对远程关系进行有效线性计算的能力。受此启发,提出了一种基于CNN和视觉状态空间的遥感影像语义分割网络,以克服现有方法的局限。首先,构建一个由CNN和VSS分支组成的架构,并行提取多尺度特征信息,挖掘局部相关性并捕获远程上下文依赖关系,并将VSS代替Transformer应用于解码器;其次,设计了协同调制模块学习空间权重调制特征,以自适应融合双分支语义信息,增强语义信息间的依赖关系;最后,使用额外的辅助头优化网络,通过辅助损失函数引导模型在训练中更多关注关键区域。该方法在LoveDA和Vaihingen数据集上进行实验验证,其mF1指标分别为69.61%和90.53%,mIoU指标分别为53.95%和83.13%。实验结果表明,所提出的模型在这两个公共数据集上表现优于其他分割模型。展开更多
针对小行星探测器高精度自主视觉定位问题,提出了一种融合轨道动力学的深空探测器自主视觉定位方法,能修正视觉视觉定位与地图构建算法(simultaneous localization and mapping,SLAM)的定位误差。该方法通过融合轨道动力学的轨道改进技...针对小行星探测器高精度自主视觉定位问题,提出了一种融合轨道动力学的深空探测器自主视觉定位方法,能修正视觉视觉定位与地图构建算法(simultaneous localization and mapping,SLAM)的定位误差。该方法通过融合轨道动力学的轨道改进技术,能够在缺乏表面先验信息、无人工手动标记的场景下,实现探测器的高精度视觉导航,并建立小行星表面稠密三维模型。首先,基于视觉同时定位和建图方法(VSLAM)提取小行星表面特征,通过因子图优化算法估计探测器位姿,设计回环检测提高定位精度;其次,重构行星表面三维模型,实现基于多面体法的行星不规则引力场建模;最后,提出了一种基于轨道动力学的伪相对运动轨道优化算法,将其作为物理约束修正视觉定位累积误差,分析反演视觉初始定轨误差在轨道动力学中的传播过程,实现修正视觉定位累积误差,改善初始定位结果。仿真实验结果表明,融合轨道动力学可以有效提升小行星探测视觉定位的精度,从而实现高精度导航,为深空探测技术的未来发展提供参考借鉴。展开更多
文摘Medical image classification is crucial in disease diagnosis,treatment planning,and clinical decisionmaking.We introduced a novel medical image classification approach that integrates Bayesian Random Semantic Data Augmentation(BSDA)with a Vision Mamba-based model for medical image classification(MedMamba),enhanced by residual connection blocks,we named the model BSDA-Mamba.BSDA augments medical image data semantically,enhancing the model’s generalization ability and classification performance.MedMamba,a deep learning-based state space model,excels in capturing long-range dependencies in medical images.By incorporating residual connections,BSDA-Mamba further improves feature extraction capabilities.Through comprehensive experiments on eight medical image datasets,we demonstrate that BSDA-Mamba outperforms existing models in accuracy,area under the curve,and F1-score.Our results highlight BSDA-Mamba’s potential as a reliable tool for medical image analysis,particularly in handling diverse imaging modalities from X-rays to MRI.The open-sourcing of our model’s code and datasets,will facilitate the reproduction and extension of our work.
文摘随着深度学习的发展,基于CNN和Transformer的语义分割在遥感领域得到了广泛应用。然而,这些方法仍存在局限:前者缺乏远程建模能力,后者受制于计算复杂性。最近,Mamba所提出的视觉状态空间(visual state space,VSS)模型展现了其能够对远程关系进行有效线性计算的能力。受此启发,提出了一种基于CNN和视觉状态空间的遥感影像语义分割网络,以克服现有方法的局限。首先,构建一个由CNN和VSS分支组成的架构,并行提取多尺度特征信息,挖掘局部相关性并捕获远程上下文依赖关系,并将VSS代替Transformer应用于解码器;其次,设计了协同调制模块学习空间权重调制特征,以自适应融合双分支语义信息,增强语义信息间的依赖关系;最后,使用额外的辅助头优化网络,通过辅助损失函数引导模型在训练中更多关注关键区域。该方法在LoveDA和Vaihingen数据集上进行实验验证,其mF1指标分别为69.61%和90.53%,mIoU指标分别为53.95%和83.13%。实验结果表明,所提出的模型在这两个公共数据集上表现优于其他分割模型。
文摘针对小行星探测器高精度自主视觉定位问题,提出了一种融合轨道动力学的深空探测器自主视觉定位方法,能修正视觉视觉定位与地图构建算法(simultaneous localization and mapping,SLAM)的定位误差。该方法通过融合轨道动力学的轨道改进技术,能够在缺乏表面先验信息、无人工手动标记的场景下,实现探测器的高精度视觉导航,并建立小行星表面稠密三维模型。首先,基于视觉同时定位和建图方法(VSLAM)提取小行星表面特征,通过因子图优化算法估计探测器位姿,设计回环检测提高定位精度;其次,重构行星表面三维模型,实现基于多面体法的行星不规则引力场建模;最后,提出了一种基于轨道动力学的伪相对运动轨道优化算法,将其作为物理约束修正视觉定位累积误差,分析反演视觉初始定轨误差在轨道动力学中的传播过程,实现修正视觉定位累积误差,改善初始定位结果。仿真实验结果表明,融合轨道动力学可以有效提升小行星探测视觉定位的精度,从而实现高精度导航,为深空探测技术的未来发展提供参考借鉴。
