针对分选线上樱桃叠果和表面瑕疵难以准确实时分割的问题,该研究提出了一种基于改进YOLOv8n-seg的多分支实时分割模型,命名SemIns-YOLOv8。该模型在YOLOv8n-seg的PAN-FPN(path aggregation network for feature pyramid network)模块后...针对分选线上樱桃叠果和表面瑕疵难以准确实时分割的问题,该研究提出了一种基于改进YOLOv8n-seg的多分支实时分割模型,命名SemIns-YOLOv8。该模型在YOLOv8n-seg的PAN-FPN(path aggregation network for feature pyramid network)模块后引入基于上下文集成的语义分割模块,并采用交叉熵损失与Dice Loss联合的损失函数,替代原始实例分割模块对果梗和瑕疵进行识别,既提升了尺寸较小及特征不明显瑕疵的识别精度,又缩短了图像的识别时间。同时,通过提高特征图分辨率并引入豪斯多夫距离损失(Hausdorff distance loss,HD Loss)构建边界特征增强的实例分割模块,实现了樱桃重叠果体的精准分离。试验结果表明,SemIns-YOLOv8在樱桃分割任务中果体mAP50-95(mean average precision at intersection over union thresholds from 0.50 to 0.95)、果梗IoU和瑕疵mIoU(mean intersection over union)分别为98.20%、92.15%和65.97%,与YOLOv8n-seg相比,提升了2.10、2.33和14.35个百分点,并且在模型输入尺寸为1024×384像素时,单帧推理时间为23 ms,可为线上水果外观品质实时分选提供参考。展开更多
目的结肠镜技术在结肠息肉的早期检测中至关重要,但其依赖于操作员的专业技能和主观判断,因此存在局限性。现有的结肠息肉图像分割方法通常采用额外层和显式扩展网络结构,导致模型效率较低。此外,由于息肉与其周围粘膜之间的边界不清晰...目的结肠镜技术在结肠息肉的早期检测中至关重要,但其依赖于操作员的专业技能和主观判断,因此存在局限性。现有的结肠息肉图像分割方法通常采用额外层和显式扩展网络结构,导致模型效率较低。此外,由于息肉与其周围粘膜之间的边界不清晰,现有模型对于息肉边界的分割效果并不理想。方法提出了一种端到端的自知识蒸馏框架,专门用于结肠息肉图像分割。该框架将边界分割网络和息肉分割网络整合到一个统一的知识蒸馏框架中,以相互增强两个网络的性能。该框架采用专注于边界分割的模型作为教师网络,将息肉分割模型作为学生网络,两者共享一个特征提取模块,以促进更有效的知识传递。设计了一种反向特征融合结构,通过上采样和矩阵乘法聚合编码器深层特征,并利用反向浅层特征作为辅助信息,从而获得分割掩膜的全局映射。结果通过在CVC-Clinic DB(colonoscopy videos challenge-clinicdatabase)、CVC-Colon DB(colonoscopy videos challenge-colondatabase)、Kvasir以及HAM10000(human against machine with 10000 training images)4个数据集上开展实验,与当前11种先进方法Pra Net(parallel reverse attention network)和Polyp2Former(boundary guided network based on transformer for polyp segmentation)等进行比较,实验结果表明本文模型表现最佳,Dice相似性系数(Dice similarity coefficient,DSC)和平均交并比(mean intersection over union,m Io U)指标分别比现有最优模型提升了0.45%和0.68%。结论本文模型适用于各种尺寸和形状的息肉分割,实现了准确的边界提取,并且具有推广到其他医学图像分割任务的潜力。本文代码可在https://github.com/xiaoxiaotuo/BA-KD下载。展开更多
文摘针对分选线上樱桃叠果和表面瑕疵难以准确实时分割的问题,该研究提出了一种基于改进YOLOv8n-seg的多分支实时分割模型,命名SemIns-YOLOv8。该模型在YOLOv8n-seg的PAN-FPN(path aggregation network for feature pyramid network)模块后引入基于上下文集成的语义分割模块,并采用交叉熵损失与Dice Loss联合的损失函数,替代原始实例分割模块对果梗和瑕疵进行识别,既提升了尺寸较小及特征不明显瑕疵的识别精度,又缩短了图像的识别时间。同时,通过提高特征图分辨率并引入豪斯多夫距离损失(Hausdorff distance loss,HD Loss)构建边界特征增强的实例分割模块,实现了樱桃重叠果体的精准分离。试验结果表明,SemIns-YOLOv8在樱桃分割任务中果体mAP50-95(mean average precision at intersection over union thresholds from 0.50 to 0.95)、果梗IoU和瑕疵mIoU(mean intersection over union)分别为98.20%、92.15%和65.97%,与YOLOv8n-seg相比,提升了2.10、2.33和14.35个百分点,并且在模型输入尺寸为1024×384像素时,单帧推理时间为23 ms,可为线上水果外观品质实时分选提供参考。
文摘目的结肠镜技术在结肠息肉的早期检测中至关重要,但其依赖于操作员的专业技能和主观判断,因此存在局限性。现有的结肠息肉图像分割方法通常采用额外层和显式扩展网络结构,导致模型效率较低。此外,由于息肉与其周围粘膜之间的边界不清晰,现有模型对于息肉边界的分割效果并不理想。方法提出了一种端到端的自知识蒸馏框架,专门用于结肠息肉图像分割。该框架将边界分割网络和息肉分割网络整合到一个统一的知识蒸馏框架中,以相互增强两个网络的性能。该框架采用专注于边界分割的模型作为教师网络,将息肉分割模型作为学生网络,两者共享一个特征提取模块,以促进更有效的知识传递。设计了一种反向特征融合结构,通过上采样和矩阵乘法聚合编码器深层特征,并利用反向浅层特征作为辅助信息,从而获得分割掩膜的全局映射。结果通过在CVC-Clinic DB(colonoscopy videos challenge-clinicdatabase)、CVC-Colon DB(colonoscopy videos challenge-colondatabase)、Kvasir以及HAM10000(human against machine with 10000 training images)4个数据集上开展实验,与当前11种先进方法Pra Net(parallel reverse attention network)和Polyp2Former(boundary guided network based on transformer for polyp segmentation)等进行比较,实验结果表明本文模型表现最佳,Dice相似性系数(Dice similarity coefficient,DSC)和平均交并比(mean intersection over union,m Io U)指标分别比现有最优模型提升了0.45%和0.68%。结论本文模型适用于各种尺寸和形状的息肉分割,实现了准确的边界提取,并且具有推广到其他医学图像分割任务的潜力。本文代码可在https://github.com/xiaoxiaotuo/BA-KD下载。
