目的工业缺陷检测是现代工业质量控制中至关重要的一环,针对工业多模态缺陷检测场景下,捕捉不同形状大小、在RGB图像上感知度低的缺陷,以及减少单模态原始特征空间内存在的噪声对多模态信息交互的干扰的挑战,提出了一种基于归一化流的...目的工业缺陷检测是现代工业质量控制中至关重要的一环,针对工业多模态缺陷检测场景下,捕捉不同形状大小、在RGB图像上感知度低的缺陷,以及减少单模态原始特征空间内存在的噪声对多模态信息交互的干扰的挑战,提出了一种基于归一化流的多模态多尺度缺陷检测方法。方法首先,使用Vision Transformer和Point Transformer对RGB图像和3D点云两个模态的信息提取第1、3、11块的特征构建特征金字塔,保留低层次特征的空间信息助力缺陷定位任务,并提高模型对不同形状大小缺陷的鲁棒性;其次,为了简化多模态交互,使用过点特征对齐算法将3D点云特征对齐至RGB图像所在平面,通过构建对比学习矩阵的方式实现无监督多模态特征融合,促进不同模态之间信息的交互;此外,通过设计代理任务的方式将信息瓶颈机制扩展至无监督,并在尽可能保留原始信息的同时,减少噪声干扰得到更充分有力的多模态表示;最后,使用多尺度归一化流结构捕捉不同尺度的特征信息,实现不同尺度特征之间的交互。结果本文方法在MVTec-3D AD数据集上进行性能评估,实验结果显示Detection AUCROC(area under the curve of the receiveroperating characteristic)指标达到93.3%,SegmentationAUPRO(area under the precision-recall overlap)指标达到96.1%,Segmentation AUCROC指标达到98.8%,优于大多数现有的多模态缺陷检测方法。结论本文方法对于不同形状大小、在RGB图像上感知度低的缺陷有较好的检测效果,不但减少了原始特征空间内噪声对多模态表示的影响,并且对不同形状大小的缺陷具有一定的泛化能力,较好地满足了现代工业对于缺陷检测的要求。展开更多
快速、准确地获取耕地变化信息对粮食安全管理具有重要意义。针对遥感语义分割方法在大尺度范围高分辨率影像耕地非农化检测中因模型适用性不足导致错漏检较多的问题,提出一种以场景分类网络Xception为基础的耕地高分辨率影像多尺度场...快速、准确地获取耕地变化信息对粮食安全管理具有重要意义。针对遥感语义分割方法在大尺度范围高分辨率影像耕地非农化检测中因模型适用性不足导致错漏检较多的问题,提出一种以场景分类网络Xception为基础的耕地高分辨率影像多尺度场景分类方法--Multiscale Scene Classification-Xception(MSC-Xception)。该方法对耕地场景分类性能突出的轻量级场景分类网络Xception的输出层嵌入卷积注意力模块CBAM以增强模型在通道及空间特征上的提取能力,同时对单一尺度场景级分类在大尺度耕地提取中存在的混合场景分离度低和细节粗糙问题,先引入一种多尺度耕地场景特征融合的方法提高混合场景的分离度,再通过多尺度分割矢量的边界约束实现对场景级分类的边界精细化。相较于典型的Unet、PSPNet和DeeplabV3+语义分割方法,该方法能较好地减少大图斑漏检现象,在栖霞区2018年4月份GF-2影像的耕地提取实验中召回率和F1分数至少分别提高了15.1个百分点和8.8个百分点,在2018年至2022年栖霞区耕地非农化检测中,可疑图斑的查全率至少提高了7.16个百分点。展开更多
文摘目的工业缺陷检测是现代工业质量控制中至关重要的一环,针对工业多模态缺陷检测场景下,捕捉不同形状大小、在RGB图像上感知度低的缺陷,以及减少单模态原始特征空间内存在的噪声对多模态信息交互的干扰的挑战,提出了一种基于归一化流的多模态多尺度缺陷检测方法。方法首先,使用Vision Transformer和Point Transformer对RGB图像和3D点云两个模态的信息提取第1、3、11块的特征构建特征金字塔,保留低层次特征的空间信息助力缺陷定位任务,并提高模型对不同形状大小缺陷的鲁棒性;其次,为了简化多模态交互,使用过点特征对齐算法将3D点云特征对齐至RGB图像所在平面,通过构建对比学习矩阵的方式实现无监督多模态特征融合,促进不同模态之间信息的交互;此外,通过设计代理任务的方式将信息瓶颈机制扩展至无监督,并在尽可能保留原始信息的同时,减少噪声干扰得到更充分有力的多模态表示;最后,使用多尺度归一化流结构捕捉不同尺度的特征信息,实现不同尺度特征之间的交互。结果本文方法在MVTec-3D AD数据集上进行性能评估,实验结果显示Detection AUCROC(area under the curve of the receiveroperating characteristic)指标达到93.3%,SegmentationAUPRO(area under the precision-recall overlap)指标达到96.1%,Segmentation AUCROC指标达到98.8%,优于大多数现有的多模态缺陷检测方法。结论本文方法对于不同形状大小、在RGB图像上感知度低的缺陷有较好的检测效果,不但减少了原始特征空间内噪声对多模态表示的影响,并且对不同形状大小的缺陷具有一定的泛化能力,较好地满足了现代工业对于缺陷检测的要求。
文摘快速、准确地获取耕地变化信息对粮食安全管理具有重要意义。针对遥感语义分割方法在大尺度范围高分辨率影像耕地非农化检测中因模型适用性不足导致错漏检较多的问题,提出一种以场景分类网络Xception为基础的耕地高分辨率影像多尺度场景分类方法--Multiscale Scene Classification-Xception(MSC-Xception)。该方法对耕地场景分类性能突出的轻量级场景分类网络Xception的输出层嵌入卷积注意力模块CBAM以增强模型在通道及空间特征上的提取能力,同时对单一尺度场景级分类在大尺度耕地提取中存在的混合场景分离度低和细节粗糙问题,先引入一种多尺度耕地场景特征融合的方法提高混合场景的分离度,再通过多尺度分割矢量的边界约束实现对场景级分类的边界精细化。相较于典型的Unet、PSPNet和DeeplabV3+语义分割方法,该方法能较好地减少大图斑漏检现象,在栖霞区2018年4月份GF-2影像的耕地提取实验中召回率和F1分数至少分别提高了15.1个百分点和8.8个百分点,在2018年至2022年栖霞区耕地非农化检测中,可疑图斑的查全率至少提高了7.16个百分点。
