密集场景下群株生菜的有效分割与参数获取是植物工厂生长监测中的关键环节。针对群株生菜中个体生菜鲜质量提取问题,该研究提出一种利用实例分割模型提取个体生菜点云,再以深度学习点云算法预测个体鲜质量的方法。该方法以群株生菜为研...密集场景下群株生菜的有效分割与参数获取是植物工厂生长监测中的关键环节。针对群株生菜中个体生菜鲜质量提取问题,该研究提出一种利用实例分割模型提取个体生菜点云,再以深度学习点云算法预测个体鲜质量的方法。该方法以群株生菜为研究对象,利用深度相机采集群株生菜俯视点云,将预处理后的点云数据输入实例分割模型Mask3D中训练,实现背景与生菜个体的实例分割,之后使用鲜质量预测网络预测个体生菜鲜质量。试验结果表明,该模型实现了个体生菜点云的分割提取,无多检和漏检的情况。当交并比(intersection over union,IoU)阈值为0.75时,群株生菜点云实例分割的精确度为0.924,高于其他实例分割模型;鲜质量预测网络实现了直接通过深度学习处理点云数据,预测个体生菜鲜质量的目的,预测结果的决定系数R2值为0.90,均方根误差值为12.42 g,优于从点云中提取特征量,再回归预测鲜质量的传统方法。研究结果表明该研究预测生菜鲜质量的精度较高,为利用俯视单面点云提取群株生菜中个体生菜表型参数提供了一种思路。展开更多
为了实现机器人焊接的免示教路径规划,结合深度学习与点云处理技术,开发了一种高效、稳定的焊缝智能识别算法.首先,采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型,利用预先训练的YOLOv8目标检测模型识别...为了实现机器人焊接的免示教路径规划,结合深度学习与点云处理技术,开发了一种高效、稳定的焊缝智能识别算法.首先,采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型,利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest,ROI),模型识别精度为99.5%,从而实现快速剔除背景点云,并基于RANSAC平面拟合、欧式聚类等点云处理算法,对ROI区域的三维点云进行焊缝空间位置的精细识别;最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹.结果表明,文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划,生成的轨迹与人工示教轨迹效果相当,偏差在0.5 mm以内.展开更多
文摘密集场景下群株生菜的有效分割与参数获取是植物工厂生长监测中的关键环节。针对群株生菜中个体生菜鲜质量提取问题,该研究提出一种利用实例分割模型提取个体生菜点云,再以深度学习点云算法预测个体鲜质量的方法。该方法以群株生菜为研究对象,利用深度相机采集群株生菜俯视点云,将预处理后的点云数据输入实例分割模型Mask3D中训练,实现背景与生菜个体的实例分割,之后使用鲜质量预测网络预测个体生菜鲜质量。试验结果表明,该模型实现了个体生菜点云的分割提取,无多检和漏检的情况。当交并比(intersection over union,IoU)阈值为0.75时,群株生菜点云实例分割的精确度为0.924,高于其他实例分割模型;鲜质量预测网络实现了直接通过深度学习处理点云数据,预测个体生菜鲜质量的目的,预测结果的决定系数R2值为0.90,均方根误差值为12.42 g,优于从点云中提取特征量,再回归预测鲜质量的传统方法。研究结果表明该研究预测生菜鲜质量的精度较高,为利用俯视单面点云提取群株生菜中个体生菜表型参数提供了一种思路。
文摘为了实现机器人焊接的免示教路径规划,结合深度学习与点云处理技术,开发了一种高效、稳定的焊缝智能识别算法.首先,采用ETH(Eye-to-hand)构型的工业级3D相机获取焊件周围的二维图像和3D点云模型,利用预先训练的YOLOv8目标检测模型识别焊件所在的ROI区域(region of interest,ROI),模型识别精度为99.5%,从而实现快速剔除背景点云,并基于RANSAC平面拟合、欧式聚类等点云处理算法,对ROI区域的三维点云进行焊缝空间位置的精细识别;最后根据手眼标定结果转化为机器人用户坐标系下的焊接轨迹.结果表明,文中所开发的算法可实现随机摆放的焊缝自动识别和焊接机器人路径规划,生成的轨迹与人工示教轨迹效果相当,偏差在0.5 mm以内.
