针对现有多模态配准算法面临的复杂背景干扰、配准精度不高和配准效率低等问题,提出一种基于双通道注意力(Tw-A)网络的无人机(UAV)多模态图像配准模型,并将它应用于UAV巡检中,以提高对多模态图像的配准精度和效率。首先,提出Tw-A,以同...针对现有多模态配准算法面临的复杂背景干扰、配准精度不高和配准效率低等问题,提出一种基于双通道注意力(Tw-A)网络的无人机(UAV)多模态图像配准模型,并将它应用于UAV巡检中,以提高对多模态图像的配准精度和效率。首先,提出Tw-A,以同时提取红外和可见光图像的特征与描述子,并采用位置注意力结合通道注意力的方式增强解码后的全局特征,从而使模型能抵御复杂背景的干扰;其次,采用特征金字塔(FP)模块对图像进行多尺度特征配准,以提取不同尺度目标尤其是小目标的特征,从而增加提取的特征点数,提高配准精度,并降低误匹配率;最后,采用一种单应性自适应匹配策略HomographyNet,根据输入图像对的难度自动调整计算复杂度,以提高特征点的复检率和增强跨域的实用性,减小计算量,并提高配准效率。实验结果表明:所提模型的精度较高,均方根误差(RMSE)相较于MURF、Efficient LoFTR(Efficient Local Feature matching with TRansformers)、ALIKE(Accurate and LIghtweight Keypoint detection and descriptor Extraction)和SuperGlue分别降低了3.5%、5.3%、12.6%和2.4%。并且,所提模型在复杂背景干扰下仍能保持良好的鲁棒性,可以满足UAV巡检图像配准的需求。展开更多
文摘针对现有多模态配准算法面临的复杂背景干扰、配准精度不高和配准效率低等问题,提出一种基于双通道注意力(Tw-A)网络的无人机(UAV)多模态图像配准模型,并将它应用于UAV巡检中,以提高对多模态图像的配准精度和效率。首先,提出Tw-A,以同时提取红外和可见光图像的特征与描述子,并采用位置注意力结合通道注意力的方式增强解码后的全局特征,从而使模型能抵御复杂背景的干扰;其次,采用特征金字塔(FP)模块对图像进行多尺度特征配准,以提取不同尺度目标尤其是小目标的特征,从而增加提取的特征点数,提高配准精度,并降低误匹配率;最后,采用一种单应性自适应匹配策略HomographyNet,根据输入图像对的难度自动调整计算复杂度,以提高特征点的复检率和增强跨域的实用性,减小计算量,并提高配准效率。实验结果表明:所提模型的精度较高,均方根误差(RMSE)相较于MURF、Efficient LoFTR(Efficient Local Feature matching with TRansformers)、ALIKE(Accurate and LIghtweight Keypoint detection and descriptor Extraction)和SuperGlue分别降低了3.5%、5.3%、12.6%和2.4%。并且,所提模型在复杂背景干扰下仍能保持良好的鲁棒性,可以满足UAV巡检图像配准的需求。
