现有行人重识别技术主要关注水平视角下的图像。在例如无人超市这类特定场景下,摄像头以俯视角度拍摄,仅能获得有限的行人信息。针对此问题,将多模态视觉Transformer应用于俯视图行人重识别任务,利用俯视数据集中额外的深度模态来提高...现有行人重识别技术主要关注水平视角下的图像。在例如无人超市这类特定场景下,摄像头以俯视角度拍摄,仅能获得有限的行人信息。针对此问题,将多模态视觉Transformer应用于俯视图行人重识别任务,利用俯视数据集中额外的深度模态来提高俯视图的检索精度。具体而言,提出一种基于RGB(red,green,blue)与深度多模态视觉Transformer的特征提取方法,利用双流网络提取数据集的深度信息,自集成多个自注意力层的特征输出,以此作为最终的图像特征,并对损失函数进行改进,从而提高了模型的检索效果。通过在俯视图数据集TVPR(top-view person re-identification)和TVPR2上开展实验,结果表明:所提方法能有效提升检索效果,且超过了几种先进的俯视图行人重识别方法。展开更多
在多视图聚类问题中,视图间的互补性信息与差异性信息会给聚类效果带来影响;同时样本点包含的重要性信息不同,也会对聚类效果产生不同的干扰。现有方法有些没有充分利用视图间的互补性信息,或者没有利用各视图间的差异性信息和样本点中...在多视图聚类问题中,视图间的互补性信息与差异性信息会给聚类效果带来影响;同时样本点包含的重要性信息不同,也会对聚类效果产生不同的干扰。现有方法有些没有充分利用视图间的互补性信息,或者没有利用各视图间的差异性信息和样本点中的重要性信息,导致聚类效果不佳。针对上述问题,本文提出基于自相关矩阵的自适应多视图融合聚类算法(Adaptive Multi-view-fusion Clustering based on Self-correlative Matrix,AMCSM)。首先,使用特征直连技术,以更好地利用视图间的互补性信息;其次,使用自动权重机制为各视图自适应地分配适当的权重,以充分利用视图间的差异性信息;最后,对各视图施加对角的加权矩阵,并联合自相关矩阵以充分利用样本点中的重要性信息。设计统一的多步迭代框架将上述优化方案整合一起,使视图互补性信息、视图差异性信息与样本点重要性信息在迭代过程中相互促进、相互学习。实验结果表明,在灵敏度、精准度、特异度、调整兰德系数和马修斯相关系数等评价指标上,本文所提算法均取得优良结果且更具鲁棒性。展开更多
文摘现有行人重识别技术主要关注水平视角下的图像。在例如无人超市这类特定场景下,摄像头以俯视角度拍摄,仅能获得有限的行人信息。针对此问题,将多模态视觉Transformer应用于俯视图行人重识别任务,利用俯视数据集中额外的深度模态来提高俯视图的检索精度。具体而言,提出一种基于RGB(red,green,blue)与深度多模态视觉Transformer的特征提取方法,利用双流网络提取数据集的深度信息,自集成多个自注意力层的特征输出,以此作为最终的图像特征,并对损失函数进行改进,从而提高了模型的检索效果。通过在俯视图数据集TVPR(top-view person re-identification)和TVPR2上开展实验,结果表明:所提方法能有效提升检索效果,且超过了几种先进的俯视图行人重识别方法。
文摘在多视图聚类问题中,视图间的互补性信息与差异性信息会给聚类效果带来影响;同时样本点包含的重要性信息不同,也会对聚类效果产生不同的干扰。现有方法有些没有充分利用视图间的互补性信息,或者没有利用各视图间的差异性信息和样本点中的重要性信息,导致聚类效果不佳。针对上述问题,本文提出基于自相关矩阵的自适应多视图融合聚类算法(Adaptive Multi-view-fusion Clustering based on Self-correlative Matrix,AMCSM)。首先,使用特征直连技术,以更好地利用视图间的互补性信息;其次,使用自动权重机制为各视图自适应地分配适当的权重,以充分利用视图间的差异性信息;最后,对各视图施加对角的加权矩阵,并联合自相关矩阵以充分利用样本点中的重要性信息。设计统一的多步迭代框架将上述优化方案整合一起,使视图互补性信息、视图差异性信息与样本点重要性信息在迭代过程中相互促进、相互学习。实验结果表明,在灵敏度、精准度、特异度、调整兰德系数和马修斯相关系数等评价指标上,本文所提算法均取得优良结果且更具鲁棒性。
