针对现有基于文本的命名实体识别方法难以有效利用视觉信息,且主流多模态命名实体识别(multimodal named entity recognition,MNER)方法存在跨模态语义关联挖掘不足、异构数据融合能力有限、易受模态语义鸿沟影响等问题,提出一种基于显...针对现有基于文本的命名实体识别方法难以有效利用视觉信息,且主流多模态命名实体识别(multimodal named entity recognition,MNER)方法存在跨模态语义关联挖掘不足、异构数据融合能力有限、易受模态语义鸿沟影响等问题,提出一种基于显隐式双路径融合的多模态命名实体识别模型DPF-MNER(dual-path fusion MNER)。该模型引入双路径融合机制实现跨模态深度对齐:在显式路径中,构建目标实体-词汇关系图,明确建模文本实体与图像区域间的语义对应关系;在隐式路径中,设计基于动量对比学习的难样本对齐机制,通过动量更新维护跨模态记忆库,引导模型在共享语义空间中拉近相关图文对、推远不相关图文对,缓解模态偏差。在构建的军事领域专用数据集ME-MNER与公开数据集Twitter-2017上的实验结果表明,DPF-MNER在F1指标上分别达到87.05%和86.35%,验证了该方法在提升实体识别精度与模型泛化能力方面的有效性。展开更多
基金supported by grants from the Spanish Government Grants BSO2000-0108-C02-01SEJ2004-00752/PSIC+1 种基金Integrated Action HF2006-0037 and by grants from the Comunidad de Madrid (Ref.:06/HSE/2004 and MULTIMAG: 2006/ BIO-170)JM were supported by a predoctoral grant from Ministerio de Educación y Ciencia (Ref.:AP2003-0639)