针对跨模态行人重识别过程中存在的噪声伪标签和模态间特征分布差异问题,以双分支对比学习网络为框架,提出一种基于双重协同细化的无监督跨模态行人重识别方法。首先,以聚类簇内可靠实例的聚类中心为锚点,设计了伪标签细化模块,通过计...针对跨模态行人重识别过程中存在的噪声伪标签和模态间特征分布差异问题,以双分支对比学习网络为框架,提出一种基于双重协同细化的无监督跨模态行人重识别方法。首先,以聚类簇内可靠实例的聚类中心为锚点,设计了伪标签细化模块,通过计算实例与锚点间的相似度来对伪标签进行优化,从而提高伪标签的质量;其次,利用图匹配初步确定可见光与红外模态间的特征对应关系,设计了跨模态双向对齐模块,通过构建模态无关混合记忆字典来促使模型学习跨模态间的共性特征;最后,在伪标签和跨模态匹配双重细化的基础上,设计了模态相关和模态无关的对比学习模块,增强了模型学习判别性特征的能力。与次优方法多记忆匹配(multi-memory matching,MMM)相比,所提方法在SYSU-MM01数据集的All-search和Indoor-search模式下平均均值精度(mean average precision,mAP)分别提高1.4%和2.0%,在RegDB数据集的Visible2Infrared和Infrared2Visible模式下mAP分别提高1.8%和4.7%,表明该方法具备良好的鲁棒性及跨模态检索能力。展开更多
文摘针对跨模态行人重识别过程中存在的噪声伪标签和模态间特征分布差异问题,以双分支对比学习网络为框架,提出一种基于双重协同细化的无监督跨模态行人重识别方法。首先,以聚类簇内可靠实例的聚类中心为锚点,设计了伪标签细化模块,通过计算实例与锚点间的相似度来对伪标签进行优化,从而提高伪标签的质量;其次,利用图匹配初步确定可见光与红外模态间的特征对应关系,设计了跨模态双向对齐模块,通过构建模态无关混合记忆字典来促使模型学习跨模态间的共性特征;最后,在伪标签和跨模态匹配双重细化的基础上,设计了模态相关和模态无关的对比学习模块,增强了模型学习判别性特征的能力。与次优方法多记忆匹配(multi-memory matching,MMM)相比,所提方法在SYSU-MM01数据集的All-search和Indoor-search模式下平均均值精度(mean average precision,mAP)分别提高1.4%和2.0%,在RegDB数据集的Visible2Infrared和Infrared2Visible模式下mAP分别提高1.8%和4.7%,表明该方法具备良好的鲁棒性及跨模态检索能力。
