为了实现火龙果采收自动化作业,提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先,在U-Net模型的跳跃连接(编码器与解码器部分特征图进行的连接操作)中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze...为了实现火龙果采收自动化作业,提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先,在U-Net模型的跳跃连接(编码器与解码器部分特征图进行的连接操作)中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze and channel excitation,SCSE),同时将SCSE模块集成到残差模块(Double residual block,DRB)中,在增强网络提取有效特征能力的同时提高网络的收敛速度,得到一种基于注意力残差U-Net的火龙果图像分割网络。通过该网络分割出果实及其附生枝条的掩膜图像,利用图像处理技术和相机成像模型拟合出果实及其附生枝条的轮廓、果实质心、果实最小外接矩形框和三维边界框,进而结合果实及其附生枝条的位置关系进行火龙果三维姿态估计,并在火龙果种植园中获得一个测试集,以评价该算法的性能,最后在自然果园环境下进行实地采摘试验。试验结果表明,火龙果果实图像分割平均交并比(mIoU)和平均像素准确率(mPA)分别达到86.69%和93.89%,三维姿态估计平均误差为8.8°,火龙果采摘机器人在果园环境下的采摘成功率为86.7%,平均采摘时间为22.3 s。满足火龙果机械化作业要求。展开更多
