目的评价人工智能(artificial intelligence,AI)识螺系统识别云南省血吸虫病流行区湖北钉螺滇川亚种与拟钉螺的效能。方法2024年5月,于云南省选取丽江市永胜县永北镇采集湖北钉螺滇川亚种和拟钉螺样本各50只,通过智能手机拍摄100张螺样...目的评价人工智能(artificial intelligence,AI)识螺系统识别云南省血吸虫病流行区湖北钉螺滇川亚种与拟钉螺的效能。方法2024年5月,于云南省选取丽江市永胜县永北镇采集湖北钉螺滇川亚种和拟钉螺样本各50只,通过智能手机拍摄100张螺样图像,包括25只湖北钉螺滇川亚种和25只拟钉螺壳口向上的正面图像及25只湖北钉螺滇川亚种和25只拟钉螺壳口向下的背面图像。由具有副高级及以上职称的血吸虫病防治专家根据图像质量和形态特征将螺样鉴别为“湖北钉螺滇川亚种”或“拟钉螺”,建立螺类图像分类标准数据集,并将该鉴别结果作为“金标准”。采用基于智能手机微信小程序的AI识螺系统对100张螺样图像进行识别。于云南省18个血吸虫病流行县(市、区)血吸虫病防治站、疾病预防控制中心随机选取血吸虫病防治专业技术人员对100张螺样图像进行人工识别测评,并按照查螺年限中位数将其分为两组,分析查螺年限对钉螺识别的影响。将AI识螺系统及人工识别结果分别与“金标准”进行比较,绘制受试者工作特征(receiver operating characteristic,ROC)曲线,计算灵敏度、特异度、准确率、约登指数及曲线下面积(area under the curve,AUC)以评价识别结果与“金标准”的一致性。采用克朗巴哈α系数评价人工识别结果的内部一致性。结果累计选取54名血吸虫病防治专业技术人员进行人工识别测评,应答率为100%(54/54);人工识别准确率、灵敏度、特异度、约登指数、AUC分别为90%、86%、94%、0.80和0.90。人工测评结果内部总体一致性克朗巴哈α系数为0.768,其中湖北钉螺滇川亚种和拟钉螺图像内部一致性克朗巴哈α系数分别为0.916和0.925。螺样图像人工识别准确率为90%,其中湖北钉螺滇川亚种(86%)与拟钉螺识别准确率(94%)差异无统计学意义(χ^(2)=1.778,P>0.05)。壳口向上(88%)与壳口向下螺样图像人工识别准确率(92%)差异无统计学意义(χ^(2)=0.444,P>0.05);查螺年限≤6年组和>6年组人工识别螺样图像准确率分别为75%和90%,差异有统计学意义(χ^(2)=7.792,P<0.05)。AI识螺系统识别湖北钉螺滇川亚种准确率为88%,与人工识别差异无统计学意义(χ^(2)=0.204,P>0.05),灵敏度为100%、特异度为76%、AUC为0.88;对壳口向上和壳口向下螺样图像识别准确率分别为90%和86%,差异无统计学意义(χ^(2)=0.379,P>0.05)。AI识螺系统识别准确率高于查螺年限≤6年组人员(χ^(2)=5.604,P_(校正)<0.025)。结论AI识螺系统对螺样图像的识别准确性与专业技术人员人工识别水平接近,可应用于云南省湖北钉螺滇川亚种与拟钉螺识别。展开更多
文摘目的评价人工智能(artificial intelligence,AI)识螺系统识别云南省血吸虫病流行区湖北钉螺滇川亚种与拟钉螺的效能。方法2024年5月,于云南省选取丽江市永胜县永北镇采集湖北钉螺滇川亚种和拟钉螺样本各50只,通过智能手机拍摄100张螺样图像,包括25只湖北钉螺滇川亚种和25只拟钉螺壳口向上的正面图像及25只湖北钉螺滇川亚种和25只拟钉螺壳口向下的背面图像。由具有副高级及以上职称的血吸虫病防治专家根据图像质量和形态特征将螺样鉴别为“湖北钉螺滇川亚种”或“拟钉螺”,建立螺类图像分类标准数据集,并将该鉴别结果作为“金标准”。采用基于智能手机微信小程序的AI识螺系统对100张螺样图像进行识别。于云南省18个血吸虫病流行县(市、区)血吸虫病防治站、疾病预防控制中心随机选取血吸虫病防治专业技术人员对100张螺样图像进行人工识别测评,并按照查螺年限中位数将其分为两组,分析查螺年限对钉螺识别的影响。将AI识螺系统及人工识别结果分别与“金标准”进行比较,绘制受试者工作特征(receiver operating characteristic,ROC)曲线,计算灵敏度、特异度、准确率、约登指数及曲线下面积(area under the curve,AUC)以评价识别结果与“金标准”的一致性。采用克朗巴哈α系数评价人工识别结果的内部一致性。结果累计选取54名血吸虫病防治专业技术人员进行人工识别测评,应答率为100%(54/54);人工识别准确率、灵敏度、特异度、约登指数、AUC分别为90%、86%、94%、0.80和0.90。人工测评结果内部总体一致性克朗巴哈α系数为0.768,其中湖北钉螺滇川亚种和拟钉螺图像内部一致性克朗巴哈α系数分别为0.916和0.925。螺样图像人工识别准确率为90%,其中湖北钉螺滇川亚种(86%)与拟钉螺识别准确率(94%)差异无统计学意义(χ^(2)=1.778,P>0.05)。壳口向上(88%)与壳口向下螺样图像人工识别准确率(92%)差异无统计学意义(χ^(2)=0.444,P>0.05);查螺年限≤6年组和>6年组人工识别螺样图像准确率分别为75%和90%,差异有统计学意义(χ^(2)=7.792,P<0.05)。AI识螺系统识别湖北钉螺滇川亚种准确率为88%,与人工识别差异无统计学意义(χ^(2)=0.204,P>0.05),灵敏度为100%、特异度为76%、AUC为0.88;对壳口向上和壳口向下螺样图像识别准确率分别为90%和86%,差异无统计学意义(χ^(2)=0.379,P>0.05)。AI识螺系统识别准确率高于查螺年限≤6年组人员(χ^(2)=5.604,P_(校正)<0.025)。结论AI识螺系统对螺样图像的识别准确性与专业技术人员人工识别水平接近,可应用于云南省湖北钉螺滇川亚种与拟钉螺识别。
