-
题名融合视觉关系检测的电力场景自动危险预警
被引量：9
- 1
-
-
作者
高明
左红群
柏帆
田清阳
葛志峰
董兴宁
甘甜
-
机构
国网浙江宁海县供电有限公司
宁海县雁苍山电力建设有限公司
山东大学计算机科学与技术学院
-
出处
《中国图象图形学报》
CSCD
北大核心
2021年第7期1583-1593,共11页
-
基金
宁波永耀电力投资集团有限公司科技项目(YYKJ202013)。
-
文摘
目的借助深度学习强大的识别与检测能力,辅助人工进行电力场景下的危险描述与作业预警是一种较为经济和高效的电力安全监管手段。然而,目前主流的以目标检测技术为基础的预警系统只能给出部分危险目标的信息,忽视了电力设备的单目危险关系和成对对象间潜在的二元危险关系。不同于以往的方法,为了拓展危险预警模块的识别能力与功能范畴,本文提出了一种在电力场景下基于视觉关系检测的自动危险预警描述生成方法。方法对给定的待检测图像,通过目标检测模块得到图中对象的类别名称和限界框位置;分别对图像进行语义特征、视觉特征和空间位置特征的抽取,将融合后的总特征送入关系检测模块,输出单个对象的一元关系和成对对象间的关系三元组;根据检测出的对象类别和关系信息,进行危险预测并给出警示描述。结果本文自主搜集了多场景下的电力生产作业图像并进行标注,同时进行大量消融实验。实验显示,结合了语义特征、空间特征和视觉特征的关系检测器在前5召回率Recall@5和前10召回率Recall@10上的精度分别达到86.80%和93.93%,比仅使用视觉特征的关系检测器的性能提高约15%。结论本文提出的融合多模态特征输入的视觉关系检测网络能够较好地给出谓词关系的最佳匹配,并减少不合理的关系预测,且具有一定零样本学习(zero-shot learning)能力。相关可视化结果表明,整体系统能够较好地完成电力场景下的危险预警描述任务。
-
关键词
危险预警
目标检测
视觉关系检测
多模态特征融合
多标签余量损失
-
Keywords
emergency early-warning
object detection
visual relationship detection
multimodal feature fusion
multilabel margin loss
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
