开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标...开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标漏检等问题,提出了一种UBA-OWDT(UCSO,BiStrip and AFDF of open-world detection transformer)开放世界目标检测网络。针对未知类召回率偏低的问题,对未知类评分优化(unknown class scoring optimization,UCSO),将生成的浅层类激活图与聚合类激活图融合,获取细粒度特征信息,提高未知类的目标评分,进而提升未知类的召回率;针对小目标漏检问题,将双条状注意力(spatial attention based on strip pooling and strip convolution,BiStrip)应用于输入特征图,捕获长程依赖,保留目标精确的位置信息,增强感兴趣目标的表征,以检测小目标;针对密集目标漏检问题,采用自适应特征动态融合(adaptive feature dynamic fusion,AFDF),根据目标大小和形状,获得不同的感受野,动态分配注意力权重,关注目标的重要部分,融合不同层级的特征,以检测密集目标。在OWOD数据集的实验结果表明,未知类召回率增值范围在0.7~1.5个百分点,mAP增值范围在0.6~1.2个百分点,与现有的开放世界目标检测方法相比,在召回率偏低、密集目标与小目标漏检问题上具有一定的优势。展开更多
开放世界目标检测(open world object detection,OWOD)是一个计算机视觉挑战,聚焦于现实世界环境,其不仅要检测出标记出的已知物体,还需要能处理训练过程中被忽视的未知物体。针对已知和未知物体的检测混淆、密集未知目标和小目标遗漏...开放世界目标检测(open world object detection,OWOD)是一个计算机视觉挑战,聚焦于现实世界环境,其不仅要检测出标记出的已知物体,还需要能处理训练过程中被忽视的未知物体。针对已知和未知物体的检测混淆、密集未知目标和小目标遗漏等问题,提出了一种新的基于偏移过滤和未知特征强化的开放世界目标检测器(offset filter and unknown-feature reinforcement for open world object detection,OFUR-OWOD)。首先设计一个未知类特征强化(unknown class feature reinforcement,UCFR)模块,通过自适应未知对象得分的方法来强化未知类目标特征,进而提高模型对未知类对象的训练准确度。然后,将重叠框偏移过滤器(overlapping box offset filter,OBOF)应用于目标预测框,根据目标位置和大小,获得不同偏移得分,以过滤冗余未知框。通过丰富实验证明,该方法在COCO-OOD和COCO-Mix上优于现有一些最先进的方法。展开更多
文摘开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标漏检等问题,提出了一种UBA-OWDT(UCSO,BiStrip and AFDF of open-world detection transformer)开放世界目标检测网络。针对未知类召回率偏低的问题,对未知类评分优化(unknown class scoring optimization,UCSO),将生成的浅层类激活图与聚合类激活图融合,获取细粒度特征信息,提高未知类的目标评分,进而提升未知类的召回率;针对小目标漏检问题,将双条状注意力(spatial attention based on strip pooling and strip convolution,BiStrip)应用于输入特征图,捕获长程依赖,保留目标精确的位置信息,增强感兴趣目标的表征,以检测小目标;针对密集目标漏检问题,采用自适应特征动态融合(adaptive feature dynamic fusion,AFDF),根据目标大小和形状,获得不同的感受野,动态分配注意力权重,关注目标的重要部分,融合不同层级的特征,以检测密集目标。在OWOD数据集的实验结果表明,未知类召回率增值范围在0.7~1.5个百分点,mAP增值范围在0.6~1.2个百分点,与现有的开放世界目标检测方法相比,在召回率偏低、密集目标与小目标漏检问题上具有一定的优势。
文摘开放世界目标检测(open world object detection,OWOD)是一个计算机视觉挑战,聚焦于现实世界环境,其不仅要检测出标记出的已知物体,还需要能处理训练过程中被忽视的未知物体。针对已知和未知物体的检测混淆、密集未知目标和小目标遗漏等问题,提出了一种新的基于偏移过滤和未知特征强化的开放世界目标检测器(offset filter and unknown-feature reinforcement for open world object detection,OFUR-OWOD)。首先设计一个未知类特征强化(unknown class feature reinforcement,UCFR)模块,通过自适应未知对象得分的方法来强化未知类目标特征,进而提高模型对未知类对象的训练准确度。然后,将重叠框偏移过滤器(overlapping box offset filter,OBOF)应用于目标预测框,根据目标位置和大小,获得不同偏移得分,以过滤冗余未知框。通过丰富实验证明,该方法在COCO-OOD和COCO-Mix上优于现有一些最先进的方法。
