This paper describes a brain-inspired simultaneous localization and mapping(SLAM)system using oriented features from accelerated segment test and rotated binary robust independent elementary(ORB)features of RGB(red,gr...This paper describes a brain-inspired simultaneous localization and mapping(SLAM)system using oriented features from accelerated segment test and rotated binary robust independent elementary(ORB)features of RGB(red,green,blue)sensor for a mobile robot.The core SLAM system,dubbed RatSLAM,can construct a cognitive map using information of raw odometry and visual scenes in the path traveled.Different from existing RatSLAM system which only uses a simple vector to represent features of visual image,in this paper,we employ an efficient and very fast descriptor method,called ORB,to extract features from RCB images.Experiments show that these features are suitable to recognize the sequences of familiar visual scenes.Thus,while loop closure errors are detected,the descriptive features will help to modify the pose estimation by driving loop closure and localization in a map correction algorithm.Efficiency and robustness of our method are also demonstrated by comparing with different visual processing algorithms.展开更多
针对弱纹理和变光照环境下基于点特征的视觉SLAM(simultaneous localization and mapping)算法轨迹漂移的问题,提出了一种基于改进自适应阈值ELSED算法(Adaptive-ELSED)的快速点线融合双目视觉SLAM算法。通过在ELSED算法中添加自适应阈...针对弱纹理和变光照环境下基于点特征的视觉SLAM(simultaneous localization and mapping)算法轨迹漂移的问题,提出了一种基于改进自适应阈值ELSED算法(Adaptive-ELSED)的快速点线融合双目视觉SLAM算法。通过在ELSED算法中添加自适应阈值矩阵,动态调整不同光照条件下梯度阈值,并使用长度抑制和短线合并策略,提高线特征的质量。利用基于双目几何约束和图像结构相似性(SSIM)进行快速线段特征三角化。基于历史位姿及误差分析获取初始位姿,通过自适应因子实现光束法平差过程中点线特征的更有效融合。实验结果表明,所提算法在提高线特征质量的同时,耗时仅为LSD算法的50%,线特征匹配速度较传统LBD算法提升67%,挑战性场景下轨迹误差较ORB-SLAM3降低62.2%,系统的平均跟踪帧率为27帧/s,在保证系统实时性的同时,显著提升了系统在弱纹理、变光照环境下的精度和鲁棒性。展开更多
针对动态场景下视觉SLAM(Simultaneous Localization and Mapping)系统中深度学习分割网络实时性不足,以及相机非期望运动导致位姿估计偏差的问题,提出一种基于跨域掩膜分割的视觉SLAM算法.该算法采用轻量化YOLO-fastest网络结合背景减...针对动态场景下视觉SLAM(Simultaneous Localization and Mapping)系统中深度学习分割网络实时性不足,以及相机非期望运动导致位姿估计偏差的问题,提出一种基于跨域掩膜分割的视觉SLAM算法.该算法采用轻量化YOLO-fastest网络结合背景减除法实现运动物体检测,利用深度图结合深度阈值分割构建跨域掩膜分割机制,并设计相机运动几何校正策略补偿检测框坐标误差,在实现运动物体分割的同时提升处理速度.为优化特征点利用率,采用金字塔光流对动态特征点进行帧间连续跟踪与更新,同时确保仅由静态特征点参与位姿估计过程.在TUM数据集上进行系统性评估,实验结果表明,相比于ORB-SLAM3算法,该算法的绝对位姿误差平均降幅达97.1%,与使用深度学习分割网络的DynaSLAM和DS-SLAM的动态SLAM算法相比,其单帧跟踪时间大幅减少,在精度与效率之间实现了更好的平衡.展开更多
针对现代化鹅养殖场景中饲料投喂移动小车受动态鹅群干扰,致使同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)算法的定位精度、建图质量下降的问题,提出基于多传感融合目标检测的动态SLAM算法。该算法以LIO-SAM框架...针对现代化鹅养殖场景中饲料投喂移动小车受动态鹅群干扰,致使同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)算法的定位精度、建图质量下降的问题,提出基于多传感融合目标检测的动态SLAM算法。该算法以LIO-SAM框架为基础,融合激光雷达与惯性测量单元搭建SLAM系统,采用前后端架构优化定位与建图性能;运用匈牙利算法实时追踪鹅群运动状态,结合多传感融合目标检测算法,精准识别并剔除动态鹅群产生的特征点,有效降低定位与建图误差。经KITTI、UrbanNav等公共数据集与实际养殖场景数据测试,在KITTI07序列中,较LeGO-LOAM、LIO-SAM和LVI-SAM等经典算法,均方根误差(RMSE)降低33.18%;在实际鹅养殖环境中,可以快速滤除动态鹅群干扰,提升建图质量与导航可靠性。本研究为智能化鹅养殖饲料投喂提供了新的技术方案,推动了畜牧业自动化发展。展开更多
0引言随着内河航运向智能化、无人化转型,船舶自主避障路径规划成为突破行业发展瓶颈的关键议题。内河航道环境的复杂性,对传统感知与导航技术提出严峻挑战。图像识别凭借其在环境信息解析方面的优势,即时定位与地图构建(Simultaneous L...0引言随着内河航运向智能化、无人化转型,船舶自主避障路径规划成为突破行业发展瓶颈的关键议题。内河航道环境的复杂性,对传统感知与导航技术提出严峻挑战。图像识别凭借其在环境信息解析方面的优势,即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术则依托实时建图与定位能力,二者的深度融合为智能船舶内河航道自主避障提供了核心支撑。如何借助技术协作打破单一传感器的限制,实现在复杂情境里精准认知环境、高效制定路径决策以及可靠保障安全,不仅是技术领域的创新课题,也是促进内河航运提效、保障航行安全的关键探索途径。展开更多
【目的】煤矿井下普遍存在低照度、弱纹理和结构化的特征退化场景,导致视觉SLAM(visual simultaneous localization and mapping)系统面临有效特征不足或误匹配率高的问题,严重制约了其定位的准确性和鲁棒性。【方法】提出一种基于边缘...【目的】煤矿井下普遍存在低照度、弱纹理和结构化的特征退化场景,导致视觉SLAM(visual simultaneous localization and mapping)系统面临有效特征不足或误匹配率高的问题,严重制约了其定位的准确性和鲁棒性。【方法】提出一种基于边缘感知增强的视觉SLAM方法。首先,构建了边缘感知约束的低光图像增强模块。通过自适应尺度的梯度域引导滤波器优化Retinex算法,以获得纹理清晰光照均匀的图像,从而显著提升了在低光照和不均匀光照条件下特征提取性能。其次,在视觉里程计中构建了边缘感知增强的特征提取和匹配模块,通过点线特征融合策略有效增强了弱纹理和结构化场景中特征的可检测性和匹配准确性。具体使用边缘绘制线特征提取算法(edge drawing lines,EDLines)提取线特征,定向FAST和旋转BRIEF点特征提取算法(oriented fast and rotated brief,ORB)提取点特征,并利用基于网格运动统计(grid-based motion statistics,GMS)和比值测试匹配算法进行精确匹配。最后,将该方法与ORB-SLAM2、ORB-SLAM3在TUM数据集和煤矿井下实景数据集上进行了全面实验验证,涵盖图像增强、特征匹配和定位等多个环节。【结果和结论】结果表明:(1)在TUM数据集上的测试结果显示,所提方法与ORB-SLAM2相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了4%~38.46%、8.62%~50%;与ORB-SLAM3相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了0~61.68%、3.63%~47.05%。(2)在煤矿井下实景实验中,所提方法的定位轨迹更接近于相机运动参考轨迹。(3)有效提高了视觉SLAM在煤矿井下特征退化场景中的准确性和鲁棒性,为视觉SLAM技术在煤矿井下的应用提供了技术解决方案。研究面向井下特征退化场景的视觉SLAM方法,对于推动煤矿井下移动式装备机器人化具有重要意义。展开更多
煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB(Oriented Fast...煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB(Oriented Fast and Rotated Brief)-SLAM3算法的煤矿井下移动机器人双目视觉定位算法SL-SLAM。针对光照变化场景,在前端使用光照稳定性的Super-Point特征点提取网络替换原始ORB特征点提取算法,并提出一种特征点网格限定法,有效剔除无效特征点区域,增加位姿估计稳定性。针对低纹理场景,在前端引入稳定的线段检测器LSD(Line Segment Detector)线特征提取算法,并提出一种点线联合算法,按照特征点网格对线特征进行分组,根据特征点的匹配结果进行线特征匹配,降低线特征匹配复杂度,节约位姿估计时间。构建了点特征和线特征的重投影误差模型,在线特征残差模型中添加角度约束,通过点特征和线特征的位姿增量雅可比矩阵建立点线特征重投影误差统一成本函数。局部建图线程使用ORB-SLAM3经典的局部优化方法调整点、线特征和关键帧位姿,并在后端线程中进行回环修正、子图融合和全局捆绑调整BA(Bundle Adjustment)。在EuRoC数据集上的试验结果表明,SL-SLAM的绝对位姿误差APE(Absolute Pose Error)指标优于其他对比算法,并取得了与真值最接近的轨迹预测结果:均方根误差相较于ORB-SLAM3降低了17.3%。在煤矿井下模拟场景中的试验结果表明,SL-SLAM能适应光照变化和低纹理场景,可以满足煤矿井下移动机器人的定位精度和稳定性要求。展开更多
针对传统视觉SLAM(simultaneous localization and mapping)在动态环境下定位精度较低、稳健性较差、结合深度学习后实时性较差及无法构建稠密地图的问题,本文提出了一种基于ORB-SLAM3的改进算法。首先,采用轻量化SegFormer语义分割网络...针对传统视觉SLAM(simultaneous localization and mapping)在动态环境下定位精度较低、稳健性较差、结合深度学习后实时性较差及无法构建稠密地图的问题,本文提出了一种基于ORB-SLAM3的改进算法。首先,采用轻量化SegFormer语义分割网络,对图像中存在的动态物体进行识别后,添加掩膜图像自适应膨胀方法,根据特征点数自动调整掩膜膨胀范围,更有效地保留静态特征点及去除潜在动态特征点;然后,改进词袋模型,提升算法的加载和匹配速度;最后,添加稠密建图线程,根据掩膜信息和关键帧,构建去除动态特征后的稠密点云地图。试验结果表明,该算法在动态场景下能够有效地剔除动态物体特征点,提高了系统的定位精度和稳健性,平均处理速度为20帧/s,基本满足实时运行的要求。展开更多
基金supported by National Natural Science Foundation of China(No.61673283)
文摘This paper describes a brain-inspired simultaneous localization and mapping(SLAM)system using oriented features from accelerated segment test and rotated binary robust independent elementary(ORB)features of RGB(red,green,blue)sensor for a mobile robot.The core SLAM system,dubbed RatSLAM,can construct a cognitive map using information of raw odometry and visual scenes in the path traveled.Different from existing RatSLAM system which only uses a simple vector to represent features of visual image,in this paper,we employ an efficient and very fast descriptor method,called ORB,to extract features from RCB images.Experiments show that these features are suitable to recognize the sequences of familiar visual scenes.Thus,while loop closure errors are detected,the descriptive features will help to modify the pose estimation by driving loop closure and localization in a map correction algorithm.Efficiency and robustness of our method are also demonstrated by comparing with different visual processing algorithms.
文摘针对弱纹理和变光照环境下基于点特征的视觉SLAM(simultaneous localization and mapping)算法轨迹漂移的问题,提出了一种基于改进自适应阈值ELSED算法(Adaptive-ELSED)的快速点线融合双目视觉SLAM算法。通过在ELSED算法中添加自适应阈值矩阵,动态调整不同光照条件下梯度阈值,并使用长度抑制和短线合并策略,提高线特征的质量。利用基于双目几何约束和图像结构相似性(SSIM)进行快速线段特征三角化。基于历史位姿及误差分析获取初始位姿,通过自适应因子实现光束法平差过程中点线特征的更有效融合。实验结果表明,所提算法在提高线特征质量的同时,耗时仅为LSD算法的50%,线特征匹配速度较传统LBD算法提升67%,挑战性场景下轨迹误差较ORB-SLAM3降低62.2%,系统的平均跟踪帧率为27帧/s,在保证系统实时性的同时,显著提升了系统在弱纹理、变光照环境下的精度和鲁棒性。
文摘针对动态场景下视觉SLAM(Simultaneous Localization and Mapping)系统中深度学习分割网络实时性不足,以及相机非期望运动导致位姿估计偏差的问题,提出一种基于跨域掩膜分割的视觉SLAM算法.该算法采用轻量化YOLO-fastest网络结合背景减除法实现运动物体检测,利用深度图结合深度阈值分割构建跨域掩膜分割机制,并设计相机运动几何校正策略补偿检测框坐标误差,在实现运动物体分割的同时提升处理速度.为优化特征点利用率,采用金字塔光流对动态特征点进行帧间连续跟踪与更新,同时确保仅由静态特征点参与位姿估计过程.在TUM数据集上进行系统性评估,实验结果表明,相比于ORB-SLAM3算法,该算法的绝对位姿误差平均降幅达97.1%,与使用深度学习分割网络的DynaSLAM和DS-SLAM的动态SLAM算法相比,其单帧跟踪时间大幅减少,在精度与效率之间实现了更好的平衡.
文摘针对现代化鹅养殖场景中饲料投喂移动小车受动态鹅群干扰,致使同时定位与地图构建(Simultaneous Localization And Mapping,SLAM)算法的定位精度、建图质量下降的问题,提出基于多传感融合目标检测的动态SLAM算法。该算法以LIO-SAM框架为基础,融合激光雷达与惯性测量单元搭建SLAM系统,采用前后端架构优化定位与建图性能;运用匈牙利算法实时追踪鹅群运动状态,结合多传感融合目标检测算法,精准识别并剔除动态鹅群产生的特征点,有效降低定位与建图误差。经KITTI、UrbanNav等公共数据集与实际养殖场景数据测试,在KITTI07序列中,较LeGO-LOAM、LIO-SAM和LVI-SAM等经典算法,均方根误差(RMSE)降低33.18%;在实际鹅养殖环境中,可以快速滤除动态鹅群干扰,提升建图质量与导航可靠性。本研究为智能化鹅养殖饲料投喂提供了新的技术方案,推动了畜牧业自动化发展。
文摘0引言随着内河航运向智能化、无人化转型,船舶自主避障路径规划成为突破行业发展瓶颈的关键议题。内河航道环境的复杂性,对传统感知与导航技术提出严峻挑战。图像识别凭借其在环境信息解析方面的优势,即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术则依托实时建图与定位能力,二者的深度融合为智能船舶内河航道自主避障提供了核心支撑。如何借助技术协作打破单一传感器的限制,实现在复杂情境里精准认知环境、高效制定路径决策以及可靠保障安全,不仅是技术领域的创新课题,也是促进内河航运提效、保障航行安全的关键探索途径。
文摘【目的】煤矿井下普遍存在低照度、弱纹理和结构化的特征退化场景,导致视觉SLAM(visual simultaneous localization and mapping)系统面临有效特征不足或误匹配率高的问题,严重制约了其定位的准确性和鲁棒性。【方法】提出一种基于边缘感知增强的视觉SLAM方法。首先,构建了边缘感知约束的低光图像增强模块。通过自适应尺度的梯度域引导滤波器优化Retinex算法,以获得纹理清晰光照均匀的图像,从而显著提升了在低光照和不均匀光照条件下特征提取性能。其次,在视觉里程计中构建了边缘感知增强的特征提取和匹配模块,通过点线特征融合策略有效增强了弱纹理和结构化场景中特征的可检测性和匹配准确性。具体使用边缘绘制线特征提取算法(edge drawing lines,EDLines)提取线特征,定向FAST和旋转BRIEF点特征提取算法(oriented fast and rotated brief,ORB)提取点特征,并利用基于网格运动统计(grid-based motion statistics,GMS)和比值测试匹配算法进行精确匹配。最后,将该方法与ORB-SLAM2、ORB-SLAM3在TUM数据集和煤矿井下实景数据集上进行了全面实验验证,涵盖图像增强、特征匹配和定位等多个环节。【结果和结论】结果表明:(1)在TUM数据集上的测试结果显示,所提方法与ORB-SLAM2相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了4%~38.46%、8.62%~50%;与ORB-SLAM3相比,绝对轨迹误差、相对轨迹误差的均方根误差分别降低了0~61.68%、3.63%~47.05%。(2)在煤矿井下实景实验中,所提方法的定位轨迹更接近于相机运动参考轨迹。(3)有效提高了视觉SLAM在煤矿井下特征退化场景中的准确性和鲁棒性,为视觉SLAM技术在煤矿井下的应用提供了技术解决方案。研究面向井下特征退化场景的视觉SLAM方法,对于推动煤矿井下移动式装备机器人化具有重要意义。
文摘煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB(Oriented Fast and Rotated Brief)-SLAM3算法的煤矿井下移动机器人双目视觉定位算法SL-SLAM。针对光照变化场景,在前端使用光照稳定性的Super-Point特征点提取网络替换原始ORB特征点提取算法,并提出一种特征点网格限定法,有效剔除无效特征点区域,增加位姿估计稳定性。针对低纹理场景,在前端引入稳定的线段检测器LSD(Line Segment Detector)线特征提取算法,并提出一种点线联合算法,按照特征点网格对线特征进行分组,根据特征点的匹配结果进行线特征匹配,降低线特征匹配复杂度,节约位姿估计时间。构建了点特征和线特征的重投影误差模型,在线特征残差模型中添加角度约束,通过点特征和线特征的位姿增量雅可比矩阵建立点线特征重投影误差统一成本函数。局部建图线程使用ORB-SLAM3经典的局部优化方法调整点、线特征和关键帧位姿,并在后端线程中进行回环修正、子图融合和全局捆绑调整BA(Bundle Adjustment)。在EuRoC数据集上的试验结果表明,SL-SLAM的绝对位姿误差APE(Absolute Pose Error)指标优于其他对比算法,并取得了与真值最接近的轨迹预测结果:均方根误差相较于ORB-SLAM3降低了17.3%。在煤矿井下模拟场景中的试验结果表明,SL-SLAM能适应光照变化和低纹理场景,可以满足煤矿井下移动机器人的定位精度和稳定性要求。
文摘针对传统视觉SLAM(simultaneous localization and mapping)在动态环境下定位精度较低、稳健性较差、结合深度学习后实时性较差及无法构建稠密地图的问题,本文提出了一种基于ORB-SLAM3的改进算法。首先,采用轻量化SegFormer语义分割网络,对图像中存在的动态物体进行识别后,添加掩膜图像自适应膨胀方法,根据特征点数自动调整掩膜膨胀范围,更有效地保留静态特征点及去除潜在动态特征点;然后,改进词袋模型,提升算法的加载和匹配速度;最后,添加稠密建图线程,根据掩膜信息和关键帧,构建去除动态特征后的稠密点云地图。试验结果表明,该算法在动态场景下能够有效地剔除动态物体特征点,提高了系统的定位精度和稳健性,平均处理速度为20帧/s,基本满足实时运行的要求。
