In order to achieve a high precision in three-dimensional（3D） multi-camera measurement system, an efficient multi-cameracalibration method is proposed. A stitching method of large scalecalibration targets is deduced...In order to achieve a high precision in three-dimensional（3D） multi-camera measurement system, an efficient multi-cameracalibration method is proposed. A stitching method of large scalecalibration targets is deduced, and a fundamental of multi-cameracalibration based on the large scale calibration target is provided.To avoid the shortcomings of the method, the vector differencesof reprojection error with the presence of the constraint conditionof the constant rigid body transformation is modelled, and mini-mized by the Levenberg-Marquardt （LM） method. Results of thesimulation and observation data calibration experiment show thatthe accuracy of the system calibrated by the proposed methodreaches 2 mm when measuring distance section of 20 000 mmand scale section of 7 000 mm × 7 000 mm. Consequently, theproposed method of multi-camera calibration performs better thanthe fundamental in stability. This technique offers a more uniformerror distribution for measuring large scale space.展开更多
为减少因船舶偏离航道而造成的搁浅、碰撞航标或桥墩等水上交通事故,提出了一种基于多目相机自动识别航道的桥区航行异常船舶预警方法。基于YOLOv5(You Only Look Once version 5)目标检测算法,联动变、定焦相机识别并定位航标和船舶,...为减少因船舶偏离航道而造成的搁浅、碰撞航标或桥墩等水上交通事故,提出了一种基于多目相机自动识别航道的桥区航行异常船舶预警方法。基于YOLOv5(You Only Look Once version 5)目标检测算法,联动变、定焦相机识别并定位航标和船舶,跟踪并记录船舶航迹点,计算船舶的速度和航向并推算船位。提出了一种基于视频船舶航迹点的密度聚类识别航道两侧航标的方法,实现航道自适应可视化。基于船位推算识别并预警航行状态异常的船舶。实验结果表明:航标、船舶的检测正确率分别达84.8%、90.3%,相较单一相机检测模型,正确率分别提高了32.1%、5.5%;能够自适应可视化航道并识别、预警航行异常船舶。展开更多
为提高无人车障碍物检测跟踪的精度和稳定性,首先针对YOLO v5(You only look once version 5,YOLO v5)网络存在的语义信息和候选框信息丢失的问题,引入深度可分离空洞空间金字塔结构与目标框加权融合算法完成对网络的优化;其次针对单阶...为提高无人车障碍物检测跟踪的精度和稳定性,首先针对YOLO v5(You only look once version 5,YOLO v5)网络存在的语义信息和候选框信息丢失的问题,引入深度可分离空洞空间金字塔结构与目标框加权融合算法完成对网络的优化;其次针对单阶段障碍物点云聚类精度低的问题,设计一种考虑点云距离与外轮廓连续性的两阶段障碍物点云聚类方法并完成三维包围盒的建立;最后将注意力机制引入MobileNet使网络更加聚焦于目标对象特有的视觉特征,并综合利用视觉特征和三维点云信息共同构建关联性度量指标,提高匹配精度。利用KITTI数据集对构建的障碍物目标检测、跟踪与测速算法进行仿真测试,并搭建实车平台进行真实环境试验,验证所提算法的有效性和真实环境可迁移性。展开更多
针对当前视觉同时定位与建图(Simultaneous Localization and Mapping,SLAM)面对如纹理稀疏、光照变化强烈及图像模糊等挑战性场景时,普遍存在的前端特征跟踪鲁棒性不足的问题,提出了一个鲁棒的多相机定位系统,并对关键技术进行了深入...针对当前视觉同时定位与建图(Simultaneous Localization and Mapping,SLAM)面对如纹理稀疏、光照变化强烈及图像模糊等挑战性场景时,普遍存在的前端特征跟踪鲁棒性不足的问题,提出了一个鲁棒的多相机定位系统,并对关键技术进行了深入的研究与优化。该系统设计了一种优于主流方案的前端跟踪算法,通过融合惯性测量单元(Inertial Measurement Unit,IMU)测量数据实现特征点重投影预测,并对跟踪的灰度图进行动态校正,有效提升了复杂场景下特征跟踪的成功率和稳定性。此外,该系统利用多相机观测信息构建了具备3层自适应置信度加权算法的状态估计器,并将卷积神经网络运用于交叉回环检测,有效提高了回环检测的成功率与准确率。通过一系列公开数据集的实验,验证了该多相机定位算法在精度和稳定性方面已达到最先进技术水平,且在本地环境中的测试结果也证实了该系统在实际应用中的可行性与有效性。展开更多
同时定位与地图构建(simultaneous localization and mapping,SLAM)技术在无人化装备上有着广泛的应用,可实现室内或室外自主的定位建图任务。该文首先对视觉和激光SLAM基本框架进行介绍,详细阐述前端里程计、后端优化、回环检测以及地...同时定位与地图构建(simultaneous localization and mapping,SLAM)技术在无人化装备上有着广泛的应用,可实现室内或室外自主的定位建图任务。该文首先对视觉和激光SLAM基本框架进行介绍,详细阐述前端里程计、后端优化、回环检测以及地图构建这四个模块的作用以及所采用的算法;在这之后梳理归纳视觉/激光SLAM发展历程中的经典算法并分析其优缺点以及在此之后优秀的改进方案;此外,列举当前SLAM技术在生活中的典型应用场景,展示在自动驾驶、无人化装备等领域的重要作用;最后讨论SLAM系统当前的发展趋势和研究进展,以及在未来应用中需要考虑的挑战和问题,包括多类型传感器融合、与深度学习技术的融合以及跨学科合作的关键作用。通过对SLAM技术的全面分析和讨论,为进一步推动SLAM技术的发展和应用提供深刻的理论指导和实践参考。展开更多
基金supported by the National Natural Science Foundation of China(61473100)
文摘In order to achieve a high precision in three-dimensional（3D） multi-camera measurement system, an efficient multi-cameracalibration method is proposed. A stitching method of large scalecalibration targets is deduced, and a fundamental of multi-cameracalibration based on the large scale calibration target is provided.To avoid the shortcomings of the method, the vector differencesof reprojection error with the presence of the constraint conditionof the constant rigid body transformation is modelled, and mini-mized by the Levenberg-Marquardt （LM） method. Results of thesimulation and observation data calibration experiment show thatthe accuracy of the system calibrated by the proposed methodreaches 2 mm when measuring distance section of 20 000 mmand scale section of 7 000 mm × 7 000 mm. Consequently, theproposed method of multi-camera calibration performs better thanthe fundamental in stability. This technique offers a more uniformerror distribution for measuring large scale space.
文摘为减少因船舶偏离航道而造成的搁浅、碰撞航标或桥墩等水上交通事故,提出了一种基于多目相机自动识别航道的桥区航行异常船舶预警方法。基于YOLOv5(You Only Look Once version 5)目标检测算法,联动变、定焦相机识别并定位航标和船舶,跟踪并记录船舶航迹点,计算船舶的速度和航向并推算船位。提出了一种基于视频船舶航迹点的密度聚类识别航道两侧航标的方法,实现航道自适应可视化。基于船位推算识别并预警航行状态异常的船舶。实验结果表明:航标、船舶的检测正确率分别达84.8%、90.3%,相较单一相机检测模型,正确率分别提高了32.1%、5.5%;能够自适应可视化航道并识别、预警航行异常船舶。
文摘为提高无人车障碍物检测跟踪的精度和稳定性,首先针对YOLO v5(You only look once version 5,YOLO v5)网络存在的语义信息和候选框信息丢失的问题,引入深度可分离空洞空间金字塔结构与目标框加权融合算法完成对网络的优化;其次针对单阶段障碍物点云聚类精度低的问题,设计一种考虑点云距离与外轮廓连续性的两阶段障碍物点云聚类方法并完成三维包围盒的建立;最后将注意力机制引入MobileNet使网络更加聚焦于目标对象特有的视觉特征,并综合利用视觉特征和三维点云信息共同构建关联性度量指标,提高匹配精度。利用KITTI数据集对构建的障碍物目标检测、跟踪与测速算法进行仿真测试,并搭建实车平台进行真实环境试验,验证所提算法的有效性和真实环境可迁移性。
文摘同时定位与地图构建(simultaneous localization and mapping,SLAM)技术在无人化装备上有着广泛的应用,可实现室内或室外自主的定位建图任务。该文首先对视觉和激光SLAM基本框架进行介绍,详细阐述前端里程计、后端优化、回环检测以及地图构建这四个模块的作用以及所采用的算法;在这之后梳理归纳视觉/激光SLAM发展历程中的经典算法并分析其优缺点以及在此之后优秀的改进方案;此外,列举当前SLAM技术在生活中的典型应用场景,展示在自动驾驶、无人化装备等领域的重要作用;最后讨论SLAM系统当前的发展趋势和研究进展,以及在未来应用中需要考虑的挑战和问题,包括多类型传感器融合、与深度学习技术的融合以及跨学科合作的关键作用。通过对SLAM技术的全面分析和讨论,为进一步推动SLAM技术的发展和应用提供深刻的理论指导和实践参考。
