-
题名医学视觉问答中图像与答案一致性验证方法研究
- 1
-
-
作者
从浩
刘利军
杨小兵
-
机构
昆明理工大学信息工程与自动化学院
云南省计算机技术应用重点实验室
昆明理工大学国有资产与实验室管理处
-
出处
《重庆邮电大学学报(自然科学版)》
北大核心
2026年第1期118-127,共10页
-
基金
国家自然科学基金项目(81860318)
昆明理工大学人才引进研究基金项目(KKZ3202203020)。
-
文摘
针对医学视觉问答(medical visual question answering,Med-VQA)中多模态特征融合不足和图像答案不匹配导致模型准确率不高的问题,构建了图像答案一致性验证(image and answer consistency verification,IACV)模型。在预训练阶段,通过结合多个预训练任务,增强模型的多模态特征提取与融合能力。在微调阶段,利用部位信息对图像进行部位划分,生成答案掩码矩阵,并对最终答案进行一致性验证,从而提升模型准确率。实验结果表明,IACV模型在公共数据集VQA-RAD和SLAKE上的准确率分别达到78.9%和84.6%,显著提高了Med-VQA任务的准确性,为后续的应用提供了更可靠的支持。
-
关键词
医学视觉问答(Med-VQA)
答案掩码矩阵
一致性验证
预训练
-
Keywords
medical visual question answering(Med-VQA)
answer mask matrix
consistency verification
pre-training
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
