针对建筑固废在线识别中因相似特征导致的RGB识别准确率不高的问题,搭建双相机采集实验台,同步采集彩色图像和深度图像,提出一种基于彩色图像和深度图像的多模态融合与深度特征增强网络(DFENet).DFENet能够有效融合固废的彩色图像特征...针对建筑固废在线识别中因相似特征导致的RGB识别准确率不高的问题,搭建双相机采集实验台,同步采集彩色图像和深度图像,提出一种基于彩色图像和深度图像的多模态融合与深度特征增强网络(DFENet).DFENet能够有效融合固废的彩色图像特征和深度图像特征。通过设计深度特征加强融合模块PFPD平衡并加强深度特征,显著提升了网络的识别精度。实验结果表明:与RGB+FPN(特征金字塔网络)方式相比,PFPD方式在IoU=0.50上的识别精度从92.4%提高至94.7%,在IoU=0.75上的识别精度从90.8%提升至92.8%;与实例分割网络(Mask R CNN)相比,DFEnet识别精度从86.4%提高至89.2%;提出的方法有效地提高了固体废弃物识别的目标检测和实例分割模型识别精度。展开更多
针对RGB-D(Red Green Blue Depth)语义分割中色彩信息和深度信息无法有效融合以及无法充分提取多尺度上下文信息的问题,文中提出了一种基于双流聚合Transformer的RGB-D语义分割方法。通过Transformer提取全彩图像和深度图像的多层次特征...针对RGB-D(Red Green Blue Depth)语义分割中色彩信息和深度信息无法有效融合以及无法充分提取多尺度上下文信息的问题,文中提出了一种基于双流聚合Transformer的RGB-D语义分割方法。通过Transformer提取全彩图像和深度图像的多层次特征,采用通道注意交叉融合模块与深度增强RGB操作实现各层次特征模态鸿沟的补偿,完成双模态信息融合。使用多层聚合解码器模块整合多层次多尺度上下文特征,减少了信息传递损失,实现了更准确和更全面的语义分割。实验结果表明,所提方法在NYU-Dv2数据集上的平均交并比(mean Intersection over Union,mIoU)、像素准确率和平均像素准确率分别达到52.9%、78.0%、66.0%。在Cityscapes数据集上的实验结果表明,在低分辨率输入图像下,所提方法的mIoU达到了79.8%。展开更多
文摘针对建筑固废在线识别中因相似特征导致的RGB识别准确率不高的问题,搭建双相机采集实验台,同步采集彩色图像和深度图像,提出一种基于彩色图像和深度图像的多模态融合与深度特征增强网络(DFENet).DFENet能够有效融合固废的彩色图像特征和深度图像特征。通过设计深度特征加强融合模块PFPD平衡并加强深度特征,显著提升了网络的识别精度。实验结果表明:与RGB+FPN(特征金字塔网络)方式相比,PFPD方式在IoU=0.50上的识别精度从92.4%提高至94.7%,在IoU=0.75上的识别精度从90.8%提升至92.8%;与实例分割网络(Mask R CNN)相比,DFEnet识别精度从86.4%提高至89.2%;提出的方法有效地提高了固体废弃物识别的目标检测和实例分割模型识别精度。
文摘针对RGB-D(Red Green Blue Depth)语义分割中色彩信息和深度信息无法有效融合以及无法充分提取多尺度上下文信息的问题,文中提出了一种基于双流聚合Transformer的RGB-D语义分割方法。通过Transformer提取全彩图像和深度图像的多层次特征,采用通道注意交叉融合模块与深度增强RGB操作实现各层次特征模态鸿沟的补偿,完成双模态信息融合。使用多层聚合解码器模块整合多层次多尺度上下文特征,减少了信息传递损失,实现了更准确和更全面的语义分割。实验结果表明,所提方法在NYU-Dv2数据集上的平均交并比(mean Intersection over Union,mIoU)、像素准确率和平均像素准确率分别达到52.9%、78.0%、66.0%。在Cityscapes数据集上的实验结果表明,在低分辨率输入图像下,所提方法的mIoU达到了79.8%。
