针对传统开源的激光惯性里程计(LIO,lidar-inertial odometry)和即时定位与地图构建(SLAM,simultaneous localization and mapping)结合的LIO-SLAM在室内复杂环境中受激光特征稀疏与动态遮挡影响、定位精度下降等问题,提出一种融合视觉...针对传统开源的激光惯性里程计(LIO,lidar-inertial odometry)和即时定位与地图构建(SLAM,simultaneous localization and mapping)结合的LIO-SLAM在室内复杂环境中受激光特征稀疏与动态遮挡影响、定位精度下降等问题,提出一种融合视觉里程计的改进方法。在保持LIO-SLAM激光惯性紧耦合框架的基础上,引入基于ORB特征的三维定位与地图构建算法(ORB-SLAM)作为独立的视觉里程计模块,为系统提供高频率、丰富纹理的视觉约束信息。通过自适应权重融合策略,实现激光、惯性与视觉观测的多源优化,增强了在弱几何约束、纹理丰富但结构复杂环境中的鲁棒性。在多种典型室内场景(走廊、开放大厅及动态人群环境)中开展了实验验证。结果表明,相较于原始LIO-SLAM,整体轨迹误差降低至原始系统的70%。研究验证了视觉-激光-惯性多模态融合在室内复杂环境下的可行性与有效性,为高精度室内自主定位与地图构建提供了新的思路。展开更多
针对弱纹理和变光照环境下基于点特征的视觉SLAM(simultaneous localization and mapping)算法轨迹漂移的问题,提出了一种基于改进自适应阈值ELSED算法(Adaptive-ELSED)的快速点线融合双目视觉SLAM算法。通过在ELSED算法中添加自适应阈...针对弱纹理和变光照环境下基于点特征的视觉SLAM(simultaneous localization and mapping)算法轨迹漂移的问题,提出了一种基于改进自适应阈值ELSED算法(Adaptive-ELSED)的快速点线融合双目视觉SLAM算法。通过在ELSED算法中添加自适应阈值矩阵,动态调整不同光照条件下梯度阈值,并使用长度抑制和短线合并策略,提高线特征的质量。利用基于双目几何约束和图像结构相似性(SSIM)进行快速线段特征三角化。基于历史位姿及误差分析获取初始位姿,通过自适应因子实现光束法平差过程中点线特征的更有效融合。实验结果表明,所提算法在提高线特征质量的同时,耗时仅为LSD算法的50%,线特征匹配速度较传统LBD算法提升67%,挑战性场景下轨迹误差较ORB-SLAM3降低62.2%,系统的平均跟踪帧率为27帧/s,在保证系统实时性的同时,显著提升了系统在弱纹理、变光照环境下的精度和鲁棒性。展开更多
目前多数视觉即时定位与地图构建(simultaneous localization and mapping,SLAM)方案都是通过提取环境中的特征点来估计位姿,在纹理较少的弱纹理环境中仍存在较大的局限性。为此,在SLAM系统中引入线特征以保证系统能在弱纹理场景中稳定...目前多数视觉即时定位与地图构建(simultaneous localization and mapping,SLAM)方案都是通过提取环境中的特征点来估计位姿,在纹理较少的弱纹理环境中仍存在较大的局限性。为此,在SLAM系统中引入线特征以保证系统能在弱纹理场景中稳定运行。但目前融合点线的视觉SLAM方案存在实时性和精度不足的问题,因此提出基于改进点线特征融合的的视觉惯性SLAM算法。算法前端中,采用FAST(features from accelerated segment test)角点作为特征点提取算法,对ELSED(enhanced line segment detection)算法进行增加短线合并、梯度阈值参数调整,并将四叉树均匀化分布特征点扩展到点线特征,提出改进的点线特征提取算法,减少高纹理区域和特征分布不均的情况对系统精度的影响。对点线特征的跟踪,均采用改进型光流法追踪,将惯性测量单元(inertial measured unit,IMU)得到的位姿信息和已知的特征点深度计算光流法的初值,代替原本的图像金字塔迭代过程,从而节省计算资源,满足系统的实时性。最后,在实际场景中将该系统与优秀的开源方案进行实验对比,验证了所提算法的实时性和精确性。实验表明,本算法可为工业巡检、仓储物流等场景下的机器人提供高鲁棒性定位解决方案,具有显著的产业应用前景。展开更多
针对动态场景下视觉SLAM(Simultaneous Localization and Mapping)系统中深度学习分割网络实时性不足,以及相机非期望运动导致位姿估计偏差的问题,提出一种基于跨域掩膜分割的视觉SLAM算法.该算法采用轻量化YOLO-fastest网络结合背景减...针对动态场景下视觉SLAM(Simultaneous Localization and Mapping)系统中深度学习分割网络实时性不足,以及相机非期望运动导致位姿估计偏差的问题,提出一种基于跨域掩膜分割的视觉SLAM算法.该算法采用轻量化YOLO-fastest网络结合背景减除法实现运动物体检测,利用深度图结合深度阈值分割构建跨域掩膜分割机制,并设计相机运动几何校正策略补偿检测框坐标误差,在实现运动物体分割的同时提升处理速度.为优化特征点利用率,采用金字塔光流对动态特征点进行帧间连续跟踪与更新,同时确保仅由静态特征点参与位姿估计过程.在TUM数据集上进行系统性评估,实验结果表明,相比于ORB-SLAM3算法,该算法的绝对位姿误差平均降幅达97.1%,与使用深度学习分割网络的DynaSLAM和DS-SLAM的动态SLAM算法相比,其单帧跟踪时间大幅减少,在精度与效率之间实现了更好的平衡.展开更多
针对复杂室内环境中视觉同步定位与建图(simultaneous localization and mapping,SLAM)算法在高质量三维重建中的效率问题,提出了一种高效的神经辐射场SLAM(NeRF-SLAM)算法——EN-SLAM。该算法利用多分辨率哈希网格表示场景,结合其快速...针对复杂室内环境中视觉同步定位与建图(simultaneous localization and mapping,SLAM)算法在高质量三维重建中的效率问题,提出了一种高效的神经辐射场SLAM(NeRF-SLAM)算法——EN-SLAM。该算法利用多分辨率哈希网格表示场景,结合其快速收敛特性及高频局部特征表示能力,显著提升了三维重建效率。为进一步增强未观测区域的表面连贯性及细节补全,算法引入球谐函数进行方向编码,从而保证了重建结果的一致性与细节完整性,同时提高实时性。此外,设计了一种信息引导采样策略,优先采样对重建贡献较大的光线,同时实现全局优化(BA)在所有关键帧上的高效执行。在Replica、ScanNet、TUM RGBD和Neural RGB-D数据集上的实验表明,该算法在提高建图精度、跟踪精度及渲染质量的同时,在Replica数据集上的运行时间较iMAP、NICE-SLAM、Vox-Fusion、ESLAM和Co-SLAM分别提升了98.99%、92.80%、91.97%、63.77%和19.15%,且场景重建完成率达到94.14%。展开更多
近年来,神经辐射场在三维重建任务中展现出卓越性能。然而,应用在视觉同时定位与地图构建(simultaneous localization and mapping,SLAM)中因缺乏全局优化机制容易导致系统定位精度不足以及重建失败。针对该问题,本文提出一种融合深度...近年来,神经辐射场在三维重建任务中展现出卓越性能。然而,应用在视觉同时定位与地图构建(simultaneous localization and mapping,SLAM)中因缺乏全局优化机制容易导致系统定位精度不足以及重建失败。针对该问题,本文提出一种融合深度学习位姿估计与神经隐式表征的视觉SLAM系统。通过稠密束调整层以及高效的全局优化机制对相机位姿和深度进行像素级的循环迭代,并基于神经辐射场方法更新全局一致的隐式重建表面,使得系统在精准定位的同时能够重建高保真场景,并且在此基础上引入语言查询机制,增强系统的交互能力。在EuRoC和Replica数据集上进行大量实验,在不同的输入条件下,分别与3类基准方法进行对比,结果表明该系统在跟踪鲁棒性和重建精度方面相较于现有方法表现更优。本方法可为后续基于神经辐射场的视觉SLAM方法提供参考。展开更多
文摘针对传统开源的激光惯性里程计(LIO,lidar-inertial odometry)和即时定位与地图构建(SLAM,simultaneous localization and mapping)结合的LIO-SLAM在室内复杂环境中受激光特征稀疏与动态遮挡影响、定位精度下降等问题,提出一种融合视觉里程计的改进方法。在保持LIO-SLAM激光惯性紧耦合框架的基础上,引入基于ORB特征的三维定位与地图构建算法(ORB-SLAM)作为独立的视觉里程计模块,为系统提供高频率、丰富纹理的视觉约束信息。通过自适应权重融合策略,实现激光、惯性与视觉观测的多源优化,增强了在弱几何约束、纹理丰富但结构复杂环境中的鲁棒性。在多种典型室内场景(走廊、开放大厅及动态人群环境)中开展了实验验证。结果表明,相较于原始LIO-SLAM,整体轨迹误差降低至原始系统的70%。研究验证了视觉-激光-惯性多模态融合在室内复杂环境下的可行性与有效性,为高精度室内自主定位与地图构建提供了新的思路。
文摘针对弱纹理和变光照环境下基于点特征的视觉SLAM(simultaneous localization and mapping)算法轨迹漂移的问题,提出了一种基于改进自适应阈值ELSED算法(Adaptive-ELSED)的快速点线融合双目视觉SLAM算法。通过在ELSED算法中添加自适应阈值矩阵,动态调整不同光照条件下梯度阈值,并使用长度抑制和短线合并策略,提高线特征的质量。利用基于双目几何约束和图像结构相似性(SSIM)进行快速线段特征三角化。基于历史位姿及误差分析获取初始位姿,通过自适应因子实现光束法平差过程中点线特征的更有效融合。实验结果表明,所提算法在提高线特征质量的同时,耗时仅为LSD算法的50%,线特征匹配速度较传统LBD算法提升67%,挑战性场景下轨迹误差较ORB-SLAM3降低62.2%,系统的平均跟踪帧率为27帧/s,在保证系统实时性的同时,显著提升了系统在弱纹理、变光照环境下的精度和鲁棒性。
文摘目前多数视觉即时定位与地图构建(simultaneous localization and mapping,SLAM)方案都是通过提取环境中的特征点来估计位姿,在纹理较少的弱纹理环境中仍存在较大的局限性。为此,在SLAM系统中引入线特征以保证系统能在弱纹理场景中稳定运行。但目前融合点线的视觉SLAM方案存在实时性和精度不足的问题,因此提出基于改进点线特征融合的的视觉惯性SLAM算法。算法前端中,采用FAST(features from accelerated segment test)角点作为特征点提取算法,对ELSED(enhanced line segment detection)算法进行增加短线合并、梯度阈值参数调整,并将四叉树均匀化分布特征点扩展到点线特征,提出改进的点线特征提取算法,减少高纹理区域和特征分布不均的情况对系统精度的影响。对点线特征的跟踪,均采用改进型光流法追踪,将惯性测量单元(inertial measured unit,IMU)得到的位姿信息和已知的特征点深度计算光流法的初值,代替原本的图像金字塔迭代过程,从而节省计算资源,满足系统的实时性。最后,在实际场景中将该系统与优秀的开源方案进行实验对比,验证了所提算法的实时性和精确性。实验表明,本算法可为工业巡检、仓储物流等场景下的机器人提供高鲁棒性定位解决方案,具有显著的产业应用前景。
文摘针对动态场景下视觉SLAM(Simultaneous Localization and Mapping)系统中深度学习分割网络实时性不足,以及相机非期望运动导致位姿估计偏差的问题,提出一种基于跨域掩膜分割的视觉SLAM算法.该算法采用轻量化YOLO-fastest网络结合背景减除法实现运动物体检测,利用深度图结合深度阈值分割构建跨域掩膜分割机制,并设计相机运动几何校正策略补偿检测框坐标误差,在实现运动物体分割的同时提升处理速度.为优化特征点利用率,采用金字塔光流对动态特征点进行帧间连续跟踪与更新,同时确保仅由静态特征点参与位姿估计过程.在TUM数据集上进行系统性评估,实验结果表明,相比于ORB-SLAM3算法,该算法的绝对位姿误差平均降幅达97.1%,与使用深度学习分割网络的DynaSLAM和DS-SLAM的动态SLAM算法相比,其单帧跟踪时间大幅减少,在精度与效率之间实现了更好的平衡.
文摘近年来,神经辐射场在三维重建任务中展现出卓越性能。然而,应用在视觉同时定位与地图构建(simultaneous localization and mapping,SLAM)中因缺乏全局优化机制容易导致系统定位精度不足以及重建失败。针对该问题,本文提出一种融合深度学习位姿估计与神经隐式表征的视觉SLAM系统。通过稠密束调整层以及高效的全局优化机制对相机位姿和深度进行像素级的循环迭代,并基于神经辐射场方法更新全局一致的隐式重建表面,使得系统在精准定位的同时能够重建高保真场景,并且在此基础上引入语言查询机制,增强系统的交互能力。在EuRoC和Replica数据集上进行大量实验,在不同的输入条件下,分别与3类基准方法进行对比,结果表明该系统在跟踪鲁棒性和重建精度方面相较于现有方法表现更优。本方法可为后续基于神经辐射场的视觉SLAM方法提供参考。
