提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次...提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息。将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较。实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75.9%和73.3%,在RegDB数据集的可见光到红外的搜索(VIS to IR)模式下的Rank-1和mAP分别达到93.7%和89.3%,优于所对比的方法,充分证实了所提方法的有效性。展开更多
文摘提出一种基于多粒度融合和跨尺度感知的跨模态行人重识别网络,该网络能够有效提取行人图像特征并减少图像间的模态差异。首先,提出多尺度特征融合注意力机制并设计一种多粒度非局部融合框架,有效融合不同模态和不同尺度的图像特征;其次,提出一种跨尺度特征信息感知策略,该策略可有效降低因视角变化、行人背景变化等产生的无关噪声对行人判别的影响;最后,针对行人图像特征信息不足,设计并行空洞卷积残差模块,获取更为丰富的行人特征信息。将所提方法在2个标准公共数据集与当前先进的跨模态行人重识别方法比较。实验结果表明,所提方法在SYSU-MM01数据集的全搜索模式下的R-1和平均精度(mAP)分别达到75.9%和73.3%,在RegDB数据集的可见光到红外的搜索(VIS to IR)模式下的Rank-1和mAP分别达到93.7%和89.3%,优于所对比的方法,充分证实了所提方法的有效性。
