为了实现火龙果采收自动化作业,提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先,在U-Net模型的跳跃连接(编码器与解码器部分特征图进行的连接操作)中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze...为了实现火龙果采收自动化作业,提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先,在U-Net模型的跳跃连接(编码器与解码器部分特征图进行的连接操作)中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze and channel excitation,SCSE),同时将SCSE模块集成到残差模块(Double residual block,DRB)中,在增强网络提取有效特征能力的同时提高网络的收敛速度,得到一种基于注意力残差U-Net的火龙果图像分割网络。通过该网络分割出果实及其附生枝条的掩膜图像,利用图像处理技术和相机成像模型拟合出果实及其附生枝条的轮廓、果实质心、果实最小外接矩形框和三维边界框,进而结合果实及其附生枝条的位置关系进行火龙果三维姿态估计,并在火龙果种植园中获得一个测试集,以评价该算法的性能,最后在自然果园环境下进行实地采摘试验。试验结果表明,火龙果果实图像分割平均交并比(mIoU)和平均像素准确率(mPA)分别达到86.69%和93.89%,三维姿态估计平均误差为8.8°,火龙果采摘机器人在果园环境下的采摘成功率为86.7%,平均采摘时间为22.3 s。满足火龙果机械化作业要求。展开更多
在同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)中,传统基于点特征的方法存在精度不足、剧烈抖动容易跟踪失败等问题,从而降低系统性能.针对此问题,本文提出一种新的视觉SLAM算法.首先使用双线性插值法得到特征点...在同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)中,传统基于点特征的方法存在精度不足、剧烈抖动容易跟踪失败等问题,从而降低系统性能.针对此问题,本文提出一种新的视觉SLAM算法.首先使用双线性插值法得到特征点的灰度值,根据两帧之间的最小化光度误差得到当前帧估计位姿.其次为进一步降低位姿估计的误差,通过最小化重投影误差优化当前帧位姿,提高相机定位精度.最后为改善建图精度,提出一种新的关键帧选择机制,通过前端得到的位姿来衡量上一关键帧与当前帧的运动幅度,根据运动幅度判断当前帧是否加入关键帧序列,合理化关键帧选择方法.本文采用TUM数据集进行实验,与ORB-SLAM2相比,本文方法降低了相机的定位误差,提高了系统的鲁棒性.展开更多
文摘在同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)中,传统基于点特征的方法存在精度不足、剧烈抖动容易跟踪失败等问题,从而降低系统性能.针对此问题,本文提出一种新的视觉SLAM算法.首先使用双线性插值法得到特征点的灰度值,根据两帧之间的最小化光度误差得到当前帧估计位姿.其次为进一步降低位姿估计的误差,通过最小化重投影误差优化当前帧位姿,提高相机定位精度.最后为改善建图精度,提出一种新的关键帧选择机制,通过前端得到的位姿来衡量上一关键帧与当前帧的运动幅度,根据运动幅度判断当前帧是否加入关键帧序列,合理化关键帧选择方法.本文采用TUM数据集进行实验,与ORB-SLAM2相比,本文方法降低了相机的定位误差,提高了系统的鲁棒性.
