电力设备运维过程中积累了大量缺陷图像与文本数据,这些数据对指导电力设备故障诊断及维护决策具有重要意义。针对现有电力设备缺陷分类任务中数据形式单一、融合层次浅、数据质量差等问题,该文提出了一种基于改进注意力机制和对比学习...电力设备运维过程中积累了大量缺陷图像与文本数据,这些数据对指导电力设备故障诊断及维护决策具有重要意义。针对现有电力设备缺陷分类任务中数据形式单一、融合层次浅、数据质量差等问题,该文提出了一种基于改进注意力机制和对比学习的图文融合分类方法(image-text fusion classification method based on improved attention mechanism and contrastive learning,IAC-ITFusion)。首先,该方法设计了一种双循环跨模态注意力机制(dual-cycle cross-modal attention,DCCA),用于捕捉图文数据映射关系的同时整合特征信息。其次,基于对比学习的思想,提出了一种注意力引导损失函数,用于调控DCCA机制的学习方向,使其聚焦于正确的特征信息,实现图文数据特征的有效融合。最后,针对电力线、变电站设备缺陷图文融合分类任务进行实验验证,结果显示所提方法准确率分别达到98.48%和98.57%,证明了该方法在电力设备缺陷图文融合分类任务上的有效性,对于推动电力设备运维智能化发展具有重要意义。展开更多
文摘电力设备运维过程中积累了大量缺陷图像与文本数据,这些数据对指导电力设备故障诊断及维护决策具有重要意义。针对现有电力设备缺陷分类任务中数据形式单一、融合层次浅、数据质量差等问题,该文提出了一种基于改进注意力机制和对比学习的图文融合分类方法(image-text fusion classification method based on improved attention mechanism and contrastive learning,IAC-ITFusion)。首先,该方法设计了一种双循环跨模态注意力机制(dual-cycle cross-modal attention,DCCA),用于捕捉图文数据映射关系的同时整合特征信息。其次,基于对比学习的思想,提出了一种注意力引导损失函数,用于调控DCCA机制的学习方向,使其聚焦于正确的特征信息,实现图文数据特征的有效融合。最后,针对电力线、变电站设备缺陷图文融合分类任务进行实验验证,结果显示所提方法准确率分别达到98.48%和98.57%,证明了该方法在电力设备缺陷图文融合分类任务上的有效性,对于推动电力设备运维智能化发展具有重要意义。
