目的借助深度学习技术辅助内镜医师对克罗恩病(Crohn’s disease,CD)、溃疡性结肠炎(ulcerative colitis,UC)与正常(Normal)图像肠镜进行准确诊断。方法收集2018年1月至2020年11月陆军军医大学大坪医院消化内科与浙江大学医学院附属邵...目的借助深度学习技术辅助内镜医师对克罗恩病(Crohn’s disease,CD)、溃疡性结肠炎(ulcerative colitis,UC)与正常(Normal)图像肠镜进行准确诊断。方法收集2018年1月至2020年11月陆军军医大学大坪医院消化内科与浙江大学医学院附属邵逸夫医院消化内科1309例受试者共24492幅肠镜图像,其中包括4729张CD图像(424例)、7074张UC图像(605例)与12689张正常(Normal)图像(280例)。每类按照7∶1∶2的比例将病例随机划分为训练集915例17136张图像,内部测试集131例2626张图像,外部验证集263例4730张图像,分别用于对模型进行训练、测试及验证。针对卷积神经网络(Convolutional Neural Network,CNN)与Transformer网络特征融合问题及肠镜图像畸变问题,本研究基于ResNeSt50与MViTv2构建环形特征融合网络(Ring-Feature Fusion Network,RFFNet)。该网络通过双向通道-空间注意力实现跨阶段特征融合,有效结合CNN局部特征提取与Transformer全局建模优势;引入环形特征融合机制,减轻肠镜图像桶形畸变与景深现象,提升模型对远端肠腔几何特性的适应能力。与现有5种深度学习模型进行对比,通过混淆矩阵展示各模型在外部验证集上的识别结果,利用准确率、灵敏度、特异度、F1值与曲线下面积(area under the curve,AUC)等各项指标验证RFFNet的性能优势;通过消融实验,在外部验证集上利用准确率与F1值等指标验证RFFNet中各改进点的有效性与必要性;通过梯度加权类激活映射(gradient-weighted class activation mapping,Grad-CAM)算法生成类激活映射图,直观地展示模型关注区域。结果RFFNet在外部验证集上总体准确率为95.68%(95%CI:94.14%~98.58%),总体AUC为0.987(95%CI:0.985~0.990)。CD、UC和正常三类别的AUC分别为0.982(95%CI:0.979~0.986)和0.981(95%CI:0.977~0.984)和0.997(95%CI:0.995~0.998);灵敏度分别为93.35%(95%CI:91.67%~94.71%)、94.00%(95%CI:92.60%~95.16%)和98.56%(95%CI:97.99%~98.97%);特异度分别为94.58%(95%CI:93.81%~95.27%)、94.20%(95%CI:93.36%~94.94%)和98.61%(95%CI:98.05%~99.01%);F1值分别为87.81%(95%CI:86.28%~89.25%)、90.05%(95%CI:89.00%~91.25%)和98.58%(95%CI:98.22%~98.92%),表明RFFNet实现了较高精度诊断,与单独使用CNN、Transformer模型相比,RFFNet的总体准确率提升显著,差异具有统计学意义(P<0.05)。消融实验证实,模型能够通过动态空间注意力机制,深度融合CNN的局部细粒度特征提取能力与Transformer的全局上下文建模优势,与只使用CNN模型相比,CNN-Transformer架构的总体准确率提升了0.11%;能够通过环形特征校正肠镜光学畸变与景深衰减,增强对远端肠腔几何结构的建模能力,使用环形特征后RFFNet总体准确率提升了0.57%。类激活映射图表明改进的模型具有自适应捕获肠镜结构特征的能力。结论RFFNet通过双骨干架构深度耦合CNN局部纹理感知与Transformer全局依赖建模,并以环形特征显式校正肠镜畸变,实现了CD、UC与正常黏膜的高精度实时分型,实现了CD、UC和正常图像的高精度实时诊断。展开更多
文摘目的借助深度学习技术辅助内镜医师对克罗恩病(Crohn’s disease,CD)、溃疡性结肠炎(ulcerative colitis,UC)与正常(Normal)图像肠镜进行准确诊断。方法收集2018年1月至2020年11月陆军军医大学大坪医院消化内科与浙江大学医学院附属邵逸夫医院消化内科1309例受试者共24492幅肠镜图像,其中包括4729张CD图像(424例)、7074张UC图像(605例)与12689张正常(Normal)图像(280例)。每类按照7∶1∶2的比例将病例随机划分为训练集915例17136张图像,内部测试集131例2626张图像,外部验证集263例4730张图像,分别用于对模型进行训练、测试及验证。针对卷积神经网络(Convolutional Neural Network,CNN)与Transformer网络特征融合问题及肠镜图像畸变问题,本研究基于ResNeSt50与MViTv2构建环形特征融合网络(Ring-Feature Fusion Network,RFFNet)。该网络通过双向通道-空间注意力实现跨阶段特征融合,有效结合CNN局部特征提取与Transformer全局建模优势;引入环形特征融合机制,减轻肠镜图像桶形畸变与景深现象,提升模型对远端肠腔几何特性的适应能力。与现有5种深度学习模型进行对比,通过混淆矩阵展示各模型在外部验证集上的识别结果,利用准确率、灵敏度、特异度、F1值与曲线下面积(area under the curve,AUC)等各项指标验证RFFNet的性能优势;通过消融实验,在外部验证集上利用准确率与F1值等指标验证RFFNet中各改进点的有效性与必要性;通过梯度加权类激活映射(gradient-weighted class activation mapping,Grad-CAM)算法生成类激活映射图,直观地展示模型关注区域。结果RFFNet在外部验证集上总体准确率为95.68%(95%CI:94.14%~98.58%),总体AUC为0.987(95%CI:0.985~0.990)。CD、UC和正常三类别的AUC分别为0.982(95%CI:0.979~0.986)和0.981(95%CI:0.977~0.984)和0.997(95%CI:0.995~0.998);灵敏度分别为93.35%(95%CI:91.67%~94.71%)、94.00%(95%CI:92.60%~95.16%)和98.56%(95%CI:97.99%~98.97%);特异度分别为94.58%(95%CI:93.81%~95.27%)、94.20%(95%CI:93.36%~94.94%)和98.61%(95%CI:98.05%~99.01%);F1值分别为87.81%(95%CI:86.28%~89.25%)、90.05%(95%CI:89.00%~91.25%)和98.58%(95%CI:98.22%~98.92%),表明RFFNet实现了较高精度诊断,与单独使用CNN、Transformer模型相比,RFFNet的总体准确率提升显著,差异具有统计学意义(P<0.05)。消融实验证实,模型能够通过动态空间注意力机制,深度融合CNN的局部细粒度特征提取能力与Transformer的全局上下文建模优势,与只使用CNN模型相比,CNN-Transformer架构的总体准确率提升了0.11%;能够通过环形特征校正肠镜光学畸变与景深衰减,增强对远端肠腔几何结构的建模能力,使用环形特征后RFFNet总体准确率提升了0.57%。类激活映射图表明改进的模型具有自适应捕获肠镜结构特征的能力。结论RFFNet通过双骨干架构深度耦合CNN局部纹理感知与Transformer全局依赖建模,并以环形特征显式校正肠镜畸变,实现了CD、UC与正常黏膜的高精度实时分型,实现了CD、UC和正常图像的高精度实时诊断。
