为提升室内机器人在动态场景中的定位精度,同时构建细节丰富的三维语义地图,提出一种基于特征融合及动态背景去除的室内机器人语义VI-SLAM(visual-inertial simultaneous localization and mapping)算法。首先,改进ORB-SLAM3算法框架,...为提升室内机器人在动态场景中的定位精度,同时构建细节丰富的三维语义地图,提出一种基于特征融合及动态背景去除的室内机器人语义VI-SLAM(visual-inertial simultaneous localization and mapping)算法。首先,改进ORB-SLAM3算法框架,设计一种可以实时构建三维稠密点云地图的VI-SLAM算法;其次,将目标识别算法YOLOv5与VI-SLAM算法融合,获取二维语义信息,结合二维语义信息与极线约束原理去除动态特征;再次,将二维语义信息映射为三维语义标签,将语义特征与点云特征相融合,构建三维语义地图;最后,基于公开数据集及移动机器人平台,在动态场景下开展三维语义地图构建实验。实验结果验证了提出的该语义VISLAM算法在动态环境下定位与建图的可行性和有效性。展开更多
单目视觉惯性同步定位与地图构建(visual-inertial simultaneous localization and mapping,VI-SLAM)技术因具有硬件成本低、无需对外部环境进行布置等优点,得到了广泛关注,在过去的十多年里取得了长足的进步,涌现出诸多优秀的方法和系...单目视觉惯性同步定位与地图构建(visual-inertial simultaneous localization and mapping,VI-SLAM)技术因具有硬件成本低、无需对外部环境进行布置等优点,得到了广泛关注,在过去的十多年里取得了长足的进步,涌现出诸多优秀的方法和系统。由于实际场景的复杂性,不同方法难免有各自的局限性。虽然已经有一些工作对VISLAM方法进行了综述和评测,但大多只针对经典的VI-SLAM方法,已不能充分反映最新的VI-SLAM技术发展现状。本文首先对基于单目VI-SLAM方法的基本原理进行阐述,然后对单目VI-SLAM方法进行分类分析。为了综合全面地对比不同方法之间的优劣势,本文特别选取3个公开数据集对代表性的单目VI-SLAM方法从多个维度上进行定量评测,全面系统地分析了各类方法在实际场景尤其是增强现实应用场景中的性能。实验结果表明,基于优化或滤波和优化相结合的方法一般在跟踪精度和鲁棒性上比基于滤波的方法有优势,直接法/半直接法在全局快门拍摄的情况下精度较高,但容易受卷帘快门和光照变化的影响,尤其是大场景下误差累积较快;结合深度学习可以提高极端情况下的鲁棒性。最后,针对深度学习与V-SLAM/VI-SLAM结合、多传感器融合以及端云协同这3个研究热点,对SLAM的发展趋势进行讨论和展望。展开更多
文摘为提升室内机器人在动态场景中的定位精度,同时构建细节丰富的三维语义地图,提出一种基于特征融合及动态背景去除的室内机器人语义VI-SLAM(visual-inertial simultaneous localization and mapping)算法。首先,改进ORB-SLAM3算法框架,设计一种可以实时构建三维稠密点云地图的VI-SLAM算法;其次,将目标识别算法YOLOv5与VI-SLAM算法融合,获取二维语义信息,结合二维语义信息与极线约束原理去除动态特征;再次,将二维语义信息映射为三维语义标签,将语义特征与点云特征相融合,构建三维语义地图;最后,基于公开数据集及移动机器人平台,在动态场景下开展三维语义地图构建实验。实验结果验证了提出的该语义VISLAM算法在动态环境下定位与建图的可行性和有效性。
文摘单目视觉惯性同步定位与地图构建(visual-inertial simultaneous localization and mapping,VI-SLAM)技术因具有硬件成本低、无需对外部环境进行布置等优点,得到了广泛关注,在过去的十多年里取得了长足的进步,涌现出诸多优秀的方法和系统。由于实际场景的复杂性,不同方法难免有各自的局限性。虽然已经有一些工作对VISLAM方法进行了综述和评测,但大多只针对经典的VI-SLAM方法,已不能充分反映最新的VI-SLAM技术发展现状。本文首先对基于单目VI-SLAM方法的基本原理进行阐述,然后对单目VI-SLAM方法进行分类分析。为了综合全面地对比不同方法之间的优劣势,本文特别选取3个公开数据集对代表性的单目VI-SLAM方法从多个维度上进行定量评测,全面系统地分析了各类方法在实际场景尤其是增强现实应用场景中的性能。实验结果表明,基于优化或滤波和优化相结合的方法一般在跟踪精度和鲁棒性上比基于滤波的方法有优势,直接法/半直接法在全局快门拍摄的情况下精度较高,但容易受卷帘快门和光照变化的影响,尤其是大场景下误差累积较快;结合深度学习可以提高极端情况下的鲁棒性。最后,针对深度学习与V-SLAM/VI-SLAM结合、多传感器融合以及端云协同这3个研究热点,对SLAM的发展趋势进行讨论和展望。
