开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标...开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标漏检等问题,提出了一种UBA-OWDT(UCSO,BiStrip and AFDF of open-world detection transformer)开放世界目标检测网络。针对未知类召回率偏低的问题,对未知类评分优化(unknown class scoring optimization,UCSO),将生成的浅层类激活图与聚合类激活图融合,获取细粒度特征信息,提高未知类的目标评分,进而提升未知类的召回率;针对小目标漏检问题,将双条状注意力(spatial attention based on strip pooling and strip convolution,BiStrip)应用于输入特征图,捕获长程依赖,保留目标精确的位置信息,增强感兴趣目标的表征,以检测小目标;针对密集目标漏检问题,采用自适应特征动态融合(adaptive feature dynamic fusion,AFDF),根据目标大小和形状,获得不同的感受野,动态分配注意力权重,关注目标的重要部分,融合不同层级的特征,以检测密集目标。在OWOD数据集的实验结果表明,未知类召回率增值范围在0.7~1.5个百分点,mAP增值范围在0.6~1.2个百分点,与现有的开放世界目标检测方法相比,在召回率偏低、密集目标与小目标漏检问题上具有一定的优势。展开更多
为了解决遥感图像语义分割任务中上下文依赖关系提取不足、空间细节信息损失导致分割精度下降等问题,提出了一种结合上下文与类别感知特征融合的语义分割方法。该方法首先以ResNet-50作为特征提取的主干网络,并在下采样中采用注意力模块...为了解决遥感图像语义分割任务中上下文依赖关系提取不足、空间细节信息损失导致分割精度下降等问题,提出了一种结合上下文与类别感知特征融合的语义分割方法。该方法首先以ResNet-50作为特征提取的主干网络,并在下采样中采用注意力模块,以增强特征表示和上下文依赖关系的提取;然后在跳跃连接上构建大尺寸的感受野块,提取丰富的多尺度上下文信息,以减少目标之间尺度变化的影响;其后并联场景特征关联融合模块,以全局特征来引导局部特征融合;最后在解码器部分构建类别预测模块和类别感知特征融合模块,准确融合底层的高级语义信息与高层的细节信息。将所提方法在Potsdam和Vaihingen数据集上验证可行性,并与DeepLabv3+,BuildFormer等6种常用方法进行对比实验,以验证其先进性。实验结果表明,所提方法在Recall, F1-score和Accuracy指标上均优于其他方法,尤其是对建筑物分割的交并比(intersection over union, IoU)在2个数据集上分别达到90.44%和86.74%,较次优网络DeepLabv3+和A2FPN分别提升了1.55%和2.41%。展开更多
文摘开放世界目标检测(open world object detection,OWOD)的主要任务是检测已知类别和识别未知目标。此外,模型在下一个训练阶段中逐步学习已知新类。针对OW-DETR(open-world detection transformer)中未知类召回率偏低、密集目标与小目标漏检等问题,提出了一种UBA-OWDT(UCSO,BiStrip and AFDF of open-world detection transformer)开放世界目标检测网络。针对未知类召回率偏低的问题,对未知类评分优化(unknown class scoring optimization,UCSO),将生成的浅层类激活图与聚合类激活图融合,获取细粒度特征信息,提高未知类的目标评分,进而提升未知类的召回率;针对小目标漏检问题,将双条状注意力(spatial attention based on strip pooling and strip convolution,BiStrip)应用于输入特征图,捕获长程依赖,保留目标精确的位置信息,增强感兴趣目标的表征,以检测小目标;针对密集目标漏检问题,采用自适应特征动态融合(adaptive feature dynamic fusion,AFDF),根据目标大小和形状,获得不同的感受野,动态分配注意力权重,关注目标的重要部分,融合不同层级的特征,以检测密集目标。在OWOD数据集的实验结果表明,未知类召回率增值范围在0.7~1.5个百分点,mAP增值范围在0.6~1.2个百分点,与现有的开放世界目标检测方法相比,在召回率偏低、密集目标与小目标漏检问题上具有一定的优势。
文摘为了解决遥感图像语义分割任务中上下文依赖关系提取不足、空间细节信息损失导致分割精度下降等问题,提出了一种结合上下文与类别感知特征融合的语义分割方法。该方法首先以ResNet-50作为特征提取的主干网络,并在下采样中采用注意力模块,以增强特征表示和上下文依赖关系的提取;然后在跳跃连接上构建大尺寸的感受野块,提取丰富的多尺度上下文信息,以减少目标之间尺度变化的影响;其后并联场景特征关联融合模块,以全局特征来引导局部特征融合;最后在解码器部分构建类别预测模块和类别感知特征融合模块,准确融合底层的高级语义信息与高层的细节信息。将所提方法在Potsdam和Vaihingen数据集上验证可行性,并与DeepLabv3+,BuildFormer等6种常用方法进行对比实验,以验证其先进性。实验结果表明,所提方法在Recall, F1-score和Accuracy指标上均优于其他方法,尤其是对建筑物分割的交并比(intersection over union, IoU)在2个数据集上分别达到90.44%和86.74%,较次优网络DeepLabv3+和A2FPN分别提升了1.55%和2.41%。
