【目的】煤矿井下普遍存在低照度、弱纹理和结构化的特征退化场景,导致视觉SLAM(visual simultaneous localization and mapping)系统面临有效特征不足或误匹配率高的问题,严重制约了其定位的准确性和鲁棒性。【方法】提出一种基于边缘...【目的】煤矿井下普遍存在低照度、弱纹理和结构化的特征退化场景,导致视觉SLAM(visual simultaneous localization and mapping)系统面临有效特征不足或误匹配率高的问题,严重制约了其定位的准确性和鲁棒性。【方法】提出一种基于边缘感知增强的视觉SLAM方法。首先,构建了边缘感知约束的低光图像增强模块。通过自适应尺度的梯度域引导滤波器优化Retinex算法,以获得纹理清晰光照均匀的图像,从而显著提升了在低光照和不均匀光照条件下特征提取性能。其次,在视觉里程计中构建了边缘感知增强的特征提取和匹配模块,通过点线特征融合策略有效增强了弱纹理和结构化场景中特征的可检测性和匹配准确性。具体使用边缘绘制线特征提取算法(edge drawing lines,EDLines)提取线特征,定向FAST和旋转BRIEF点特征提取算法(oriented fast and rotated brief,ORB)提取点特征,并利用基于网格运动统计(grid-based motion statistics,GMS)和比值测试匹配算法进行精确匹配。最后,将该方法与ORB-SLAM2、ORB-SLAM3在TUM数据集和煤矿井下实景数据集上进行了全面实验验证,涵盖图像增强、特征匹配和定位等多个环节。【结果和结论】结果表明:(1)在TUM数据集上的测试结果显示,所提方法与ORB-SLAM2相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了4%~38.46%、8.62%~50%;与ORB-SLAM3相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了0~61.68%、3.63%~47.05%。(2)在煤矿井下实景实验中,所提方法的定位轨迹更接近于相机运动参考轨迹。(3)有效提高了视觉SLAM在煤矿井下特征退化场景中的准确性和鲁棒性,为视觉SLAM技术在煤矿井下的应用提供了技术解决方案。研究面向井下特征退化场景的视觉SLAM方法,对于推动煤矿井下移动式装备机器人化具有重要意义。展开更多
在智慧矿山建设的背景下,智能化设备的应用日益成为矿山智慧化改造的主要内容,用于巡检、危险区域勘测等任务的煤矿井下智能机器人运行依赖于数字地图构建和机器人自身定位,但大多数传统的定位方法在煤矿井下出现了低效甚至失效的情况,...在智慧矿山建设的背景下,智能化设备的应用日益成为矿山智慧化改造的主要内容,用于巡检、危险区域勘测等任务的煤矿井下智能机器人运行依赖于数字地图构建和机器人自身定位,但大多数传统的定位方法在煤矿井下出现了低效甚至失效的情况,同步定位与建图技术(Simultaneous Localization and Mapping,SLAM)成为了煤矿井下智能机器人定位方法的较优选择。然而,受制于激光雷达的高成本,以及相机在井下的低光照环境性能不佳,需要设计一种兼顾低成本和具有井下低光照环境适应性的SLAM定位方法,故提出了一种具有井下暗光照适应性煤矿井下机器人定位方法。首先,采集了陕西省宝鸡市凤县某煤矿井下的实景图像和SLAM所需的相机与IMU数据,根据图像制作了非匹配的暗光与正常光数据集,经过数据扩增达到3560张图像。设计了结合自注意力模块的EnlightenGAN图像增强网络,在不依赖配对数据集的情况下兼顾图像不同区域的依赖关系应对图像光照不均区域。在ORB-SLAM3框架的基础上,引入全局部图像检测对输入图像进行筛分,引入基于解析解的IMU初始化改进策略提高初始化速度,并引入了改进的图像增强网络对低光照以及光照不均的图像进行增强处理。在EuRoC数据集上的试验表明,基于图像增强的煤矿井下智能机器人定位方法能够在低光照环境下降低13.7%的ERMS和15.24%的ESD。在2个实际煤矿巷道场景中,系统能够识别低光照环境、增加SLAM系统提取的特征点数量,减少定位轨迹的漂移现象,最终改善系统在巷道低光照区域的定位效果。展开更多
煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB(Oriented Fast...煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB(Oriented Fast and Rotated Brief)-SLAM3算法的煤矿井下移动机器人双目视觉定位算法SL-SLAM。针对光照变化场景,在前端使用光照稳定性的Super-Point特征点提取网络替换原始ORB特征点提取算法,并提出一种特征点网格限定法,有效剔除无效特征点区域,增加位姿估计稳定性。针对低纹理场景,在前端引入稳定的线段检测器LSD(Line Segment Detector)线特征提取算法,并提出一种点线联合算法,按照特征点网格对线特征进行分组,根据特征点的匹配结果进行线特征匹配,降低线特征匹配复杂度,节约位姿估计时间。构建了点特征和线特征的重投影误差模型,在线特征残差模型中添加角度约束,通过点特征和线特征的位姿增量雅可比矩阵建立点线特征重投影误差统一成本函数。局部建图线程使用ORB-SLAM3经典的局部优化方法调整点、线特征和关键帧位姿,并在后端线程中进行回环修正、子图融合和全局捆绑调整BA(Bundle Adjustment)。在EuRoC数据集上的试验结果表明,SL-SLAM的绝对位姿误差APE(Absolute Pose Error)指标优于其他对比算法,并取得了与真值最接近的轨迹预测结果:均方根误差相较于ORB-SLAM3降低了17.3%。在煤矿井下模拟场景中的试验结果表明,SL-SLAM能适应光照变化和低纹理场景,可以满足煤矿井下移动机器人的定位精度和稳定性要求。展开更多
文摘【目的】煤矿井下普遍存在低照度、弱纹理和结构化的特征退化场景,导致视觉SLAM(visual simultaneous localization and mapping)系统面临有效特征不足或误匹配率高的问题,严重制约了其定位的准确性和鲁棒性。【方法】提出一种基于边缘感知增强的视觉SLAM方法。首先,构建了边缘感知约束的低光图像增强模块。通过自适应尺度的梯度域引导滤波器优化Retinex算法,以获得纹理清晰光照均匀的图像,从而显著提升了在低光照和不均匀光照条件下特征提取性能。其次,在视觉里程计中构建了边缘感知增强的特征提取和匹配模块,通过点线特征融合策略有效增强了弱纹理和结构化场景中特征的可检测性和匹配准确性。具体使用边缘绘制线特征提取算法(edge drawing lines,EDLines)提取线特征,定向FAST和旋转BRIEF点特征提取算法(oriented fast and rotated brief,ORB)提取点特征,并利用基于网格运动统计(grid-based motion statistics,GMS)和比值测试匹配算法进行精确匹配。最后,将该方法与ORB-SLAM2、ORB-SLAM3在TUM数据集和煤矿井下实景数据集上进行了全面实验验证,涵盖图像增强、特征匹配和定位等多个环节。【结果和结论】结果表明:(1)在TUM数据集上的测试结果显示,所提方法与ORB-SLAM2相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了4%~38.46%、8.62%~50%;与ORB-SLAM3相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了0~61.68%、3.63%~47.05%。(2)在煤矿井下实景实验中,所提方法的定位轨迹更接近于相机运动参考轨迹。(3)有效提高了视觉SLAM在煤矿井下特征退化场景中的准确性和鲁棒性,为视觉SLAM技术在煤矿井下的应用提供了技术解决方案。研究面向井下特征退化场景的视觉SLAM方法,对于推动煤矿井下移动式装备机器人化具有重要意义。
文摘在智慧矿山建设的背景下,智能化设备的应用日益成为矿山智慧化改造的主要内容,用于巡检、危险区域勘测等任务的煤矿井下智能机器人运行依赖于数字地图构建和机器人自身定位,但大多数传统的定位方法在煤矿井下出现了低效甚至失效的情况,同步定位与建图技术(Simultaneous Localization and Mapping,SLAM)成为了煤矿井下智能机器人定位方法的较优选择。然而,受制于激光雷达的高成本,以及相机在井下的低光照环境性能不佳,需要设计一种兼顾低成本和具有井下低光照环境适应性的SLAM定位方法,故提出了一种具有井下暗光照适应性煤矿井下机器人定位方法。首先,采集了陕西省宝鸡市凤县某煤矿井下的实景图像和SLAM所需的相机与IMU数据,根据图像制作了非匹配的暗光与正常光数据集,经过数据扩增达到3560张图像。设计了结合自注意力模块的EnlightenGAN图像增强网络,在不依赖配对数据集的情况下兼顾图像不同区域的依赖关系应对图像光照不均区域。在ORB-SLAM3框架的基础上,引入全局部图像检测对输入图像进行筛分,引入基于解析解的IMU初始化改进策略提高初始化速度,并引入了改进的图像增强网络对低光照以及光照不均的图像进行增强处理。在EuRoC数据集上的试验表明,基于图像增强的煤矿井下智能机器人定位方法能够在低光照环境下降低13.7%的ERMS和15.24%的ESD。在2个实际煤矿巷道场景中,系统能够识别低光照环境、增加SLAM系统提取的特征点数量,减少定位轨迹的漂移现象,最终改善系统在巷道低光照区域的定位效果。
文摘煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB(Oriented Fast and Rotated Brief)-SLAM3算法的煤矿井下移动机器人双目视觉定位算法SL-SLAM。针对光照变化场景,在前端使用光照稳定性的Super-Point特征点提取网络替换原始ORB特征点提取算法,并提出一种特征点网格限定法,有效剔除无效特征点区域,增加位姿估计稳定性。针对低纹理场景,在前端引入稳定的线段检测器LSD(Line Segment Detector)线特征提取算法,并提出一种点线联合算法,按照特征点网格对线特征进行分组,根据特征点的匹配结果进行线特征匹配,降低线特征匹配复杂度,节约位姿估计时间。构建了点特征和线特征的重投影误差模型,在线特征残差模型中添加角度约束,通过点特征和线特征的位姿增量雅可比矩阵建立点线特征重投影误差统一成本函数。局部建图线程使用ORB-SLAM3经典的局部优化方法调整点、线特征和关键帧位姿,并在后端线程中进行回环修正、子图融合和全局捆绑调整BA(Bundle Adjustment)。在EuRoC数据集上的试验结果表明,SL-SLAM的绝对位姿误差APE(Absolute Pose Error)指标优于其他对比算法,并取得了与真值最接近的轨迹预测结果:均方根误差相较于ORB-SLAM3降低了17.3%。在煤矿井下模拟场景中的试验结果表明,SL-SLAM能适应光照变化和低纹理场景,可以满足煤矿井下移动机器人的定位精度和稳定性要求。
