针对现有特征匹配方法在大尺度变化场景下匹配数量少、误匹配率高的问题,基于局部特征匹配框架ELoFTR(efficient detector-free local feature matching with transformers)提出一种新颖的特征匹配算法SA-LoFTR(scale adaptive-LoFTR)...针对现有特征匹配方法在大尺度变化场景下匹配数量少、误匹配率高的问题,基于局部特征匹配框架ELoFTR(efficient detector-free local feature matching with transformers)提出一种新颖的特征匹配算法SA-LoFTR(scale adaptive-LoFTR)。该算法首先利用一种多尺度下采样融合策略以增强注意力机制的尺度敏感性,借助多尺度机制和小波下采样同时提取局部和全局信息,提升模型对尺度变化的适应能力;其次,引入尺度自适应区域对齐模块,通过初始匹配点分布估计尺度比值,自适应裁剪并放大较小的共视区域,增加匹配点对的数量;最后,设计了一种双阈值过滤机制,通过置信度阈值和局部支持性验证联合判定有效匹配点,剔除低置信度且缺乏局部一致性的误匹配。在公共数据集MegaDepth和HPatches以及自制数据集ScaleMega上进行的大量实验验证了SALoFTR的优越性,其匹配精度和匹配数量相较于E-LoFTR均显著提升。展开更多
相比基于特征点的传统图像特征匹配算法,基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配.为获取较大范围且清晰的路面裂缝图像,并解决弱纹理图像拼接过程中发生的匹配对缺失问题,本文基于深度学习LoFTR(detector-free local...相比基于特征点的传统图像特征匹配算法,基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配.为获取较大范围且清晰的路面裂缝图像,并解决弱纹理图像拼接过程中发生的匹配对缺失问题,本文基于深度学习LoFTR(detector-free local feature matching with Transformers)算法实现路面图像的拼接,并结合路面图像的特点,提出局部拼接方法缩短算法运行的时间.先对相邻图像做分割处理,再通过LoFTR算法产生密集特征匹配,根据匹配结果计算出单应矩阵值并实现像素转换,然后通过基于小波变换的图像融合算法获得局部拼接后的图像,最后添加未输入匹配网络的部分图像,得到相邻图像的完整拼接结果.实验结果表明,与基于SIFT(scale-invariant feature transform)、SURF(speeded up robust features)、ORB(oriented FAST and rotated BRIEF)的图像拼接方法比较,研究所提出的拼接方法对路面图像的拼接效果更佳,特征匹配阶段产生的匹配结果置信度更高.对于两幅路面图像的拼接,采用局部拼接方法耗费的时间较改进之前缩短了27.53%.研究提出的拼接方案是高效且准确的,能够为道路病害监测提供总体病害信息.展开更多
针对图像特征匹配过程中由于杂乱的室外场景或待匹配目标被物体遮挡而产生的外点导致匹配精度低及鲁棒性差等问题,提出了一种融合基于密度的带噪空间聚类算法(Density Based Spatial Clustering of Applications with Noise,DBSCAN)与Tw...针对图像特征匹配过程中由于杂乱的室外场景或待匹配目标被物体遮挡而产生的外点导致匹配精度低及鲁棒性差等问题,提出了一种融合基于密度的带噪空间聚类算法(Density Based Spatial Clustering of Applications with Noise,DBSCAN)与Two-stage策略的改进LoFTR的图像特征匹配方法D2S-LoFTR。首先将原始图像1/8维度的特征匹配作为初始匹配结果,使用基于空间密度的DBSCAN算法对其特征进行聚类,提取最优匹配对的同时滤除由外点造成的误匹配。接着裁剪出由聚类得到的两幅原始图像中的共视区域,使用卷积层注意力模块(Convolutional Block Attention Module,CBAM)对其特征重构后进行二次匹配,将匹配结果与初始匹配进行融合以增强匹配的准确性。在室外数据集Megadepth上的实验结果表明,D2S-LoFTR的平均特征匹配率达到93.47%,与LoFTR相比提升1.91%,在旋转误差阈值为5°,10°,20°情况下的相对位姿估计累计曲线下面积(Area Under the cumulative Curve,AUC)分别为55.12%、71.03%、82.02%,分别提升2.32%,1.84%,0.84%,证实所提方法能够更好地适应杂乱室外场景下的图像特征匹配任务。展开更多
超长盘形悬式瓷绝缘子串是输变电线路中重要的绝缘部件之一,因为单帧红外图像分辨率低、视野有限,所以当前超长盘形悬式瓷绝缘子串红外零值检测面临着难以获取清晰的全串红外图像的问题。文中提出了一种基于变换器的局部特征匹配算法(lo...超长盘形悬式瓷绝缘子串是输变电线路中重要的绝缘部件之一,因为单帧红外图像分辨率低、视野有限,所以当前超长盘形悬式瓷绝缘子串红外零值检测面临着难以获取清晰的全串红外图像的问题。文中提出了一种基于变换器的局部特征匹配算法(local feature matching with transformers,LoFTR)的绝缘子串红外图像拼接方法。1)针对红外图像中背景杂物干扰问题,利用语义分割“U”形网络(U-network,U-Net)模型对红外图像进行语义分割,去除背景杂物对绝缘子串特征提取与匹配的影响;2)针对现有的图像拼接算法难以正确配准的问题,通过对重叠区域中心部分进行掩膜操作,利用LoFTR算法,提取绝缘子片的特征,使获取的特征点对匹配正确率更高。江西某线路的实验结果表明,文中方法的特征点对匹配正确率和图像拼接正确率分别达到了86.1%和95%,高于其他典型图像拼接方法,验证了此方法在超长瓷绝缘子串红外图像拼接任务中的有效性。展开更多
文摘针对现有特征匹配方法在大尺度变化场景下匹配数量少、误匹配率高的问题,基于局部特征匹配框架ELoFTR(efficient detector-free local feature matching with transformers)提出一种新颖的特征匹配算法SA-LoFTR(scale adaptive-LoFTR)。该算法首先利用一种多尺度下采样融合策略以增强注意力机制的尺度敏感性,借助多尺度机制和小波下采样同时提取局部和全局信息,提升模型对尺度变化的适应能力;其次,引入尺度自适应区域对齐模块,通过初始匹配点分布估计尺度比值,自适应裁剪并放大较小的共视区域,增加匹配点对的数量;最后,设计了一种双阈值过滤机制,通过置信度阈值和局部支持性验证联合判定有效匹配点,剔除低置信度且缺乏局部一致性的误匹配。在公共数据集MegaDepth和HPatches以及自制数据集ScaleMega上进行的大量实验验证了SALoFTR的优越性,其匹配精度和匹配数量相较于E-LoFTR均显著提升。
文摘相比基于特征点的传统图像特征匹配算法,基于深度学习的特征匹配算法能产生更大规模和更高质量的匹配.为获取较大范围且清晰的路面裂缝图像,并解决弱纹理图像拼接过程中发生的匹配对缺失问题,本文基于深度学习LoFTR(detector-free local feature matching with Transformers)算法实现路面图像的拼接,并结合路面图像的特点,提出局部拼接方法缩短算法运行的时间.先对相邻图像做分割处理,再通过LoFTR算法产生密集特征匹配,根据匹配结果计算出单应矩阵值并实现像素转换,然后通过基于小波变换的图像融合算法获得局部拼接后的图像,最后添加未输入匹配网络的部分图像,得到相邻图像的完整拼接结果.实验结果表明,与基于SIFT(scale-invariant feature transform)、SURF(speeded up robust features)、ORB(oriented FAST and rotated BRIEF)的图像拼接方法比较,研究所提出的拼接方法对路面图像的拼接效果更佳,特征匹配阶段产生的匹配结果置信度更高.对于两幅路面图像的拼接,采用局部拼接方法耗费的时间较改进之前缩短了27.53%.研究提出的拼接方案是高效且准确的,能够为道路病害监测提供总体病害信息.
文摘针对图像特征匹配过程中由于杂乱的室外场景或待匹配目标被物体遮挡而产生的外点导致匹配精度低及鲁棒性差等问题,提出了一种融合基于密度的带噪空间聚类算法(Density Based Spatial Clustering of Applications with Noise,DBSCAN)与Two-stage策略的改进LoFTR的图像特征匹配方法D2S-LoFTR。首先将原始图像1/8维度的特征匹配作为初始匹配结果,使用基于空间密度的DBSCAN算法对其特征进行聚类,提取最优匹配对的同时滤除由外点造成的误匹配。接着裁剪出由聚类得到的两幅原始图像中的共视区域,使用卷积层注意力模块(Convolutional Block Attention Module,CBAM)对其特征重构后进行二次匹配,将匹配结果与初始匹配进行融合以增强匹配的准确性。在室外数据集Megadepth上的实验结果表明,D2S-LoFTR的平均特征匹配率达到93.47%,与LoFTR相比提升1.91%,在旋转误差阈值为5°,10°,20°情况下的相对位姿估计累计曲线下面积(Area Under the cumulative Curve,AUC)分别为55.12%、71.03%、82.02%,分别提升2.32%,1.84%,0.84%,证实所提方法能够更好地适应杂乱室外场景下的图像特征匹配任务。
文摘超长盘形悬式瓷绝缘子串是输变电线路中重要的绝缘部件之一,因为单帧红外图像分辨率低、视野有限,所以当前超长盘形悬式瓷绝缘子串红外零值检测面临着难以获取清晰的全串红外图像的问题。文中提出了一种基于变换器的局部特征匹配算法(local feature matching with transformers,LoFTR)的绝缘子串红外图像拼接方法。1)针对红外图像中背景杂物干扰问题,利用语义分割“U”形网络(U-network,U-Net)模型对红外图像进行语义分割,去除背景杂物对绝缘子串特征提取与匹配的影响;2)针对现有的图像拼接算法难以正确配准的问题,通过对重叠区域中心部分进行掩膜操作,利用LoFTR算法,提取绝缘子片的特征,使获取的特征点对匹配正确率更高。江西某线路的实验结果表明,文中方法的特征点对匹配正确率和图像拼接正确率分别达到了86.1%和95%,高于其他典型图像拼接方法,验证了此方法在超长瓷绝缘子串红外图像拼接任务中的有效性。
