在艺术与科技研究领域中,针对目前大部分现有公开数据集过于老旧而导致已有研究方法在实际GUI(Graphical User Interface)检测中因界面所特有的组件种类多样、背景复杂的情况,同时因高分辨率显示器使得部分组件更小更密集从而导致检测...在艺术与科技研究领域中,针对目前大部分现有公开数据集过于老旧而导致已有研究方法在实际GUI(Graphical User Interface)检测中因界面所特有的组件种类多样、背景复杂的情况,同时因高分辨率显示器使得部分组件更小更密集从而导致检测效率不高和检测精度瓶颈等问题,该文依托太原师范学院智能科技与艺术创新科研平台自行构建GUI数据集并基于RT-DETR模型进行改进提出EM-DETR,构建面向GUI组件检测任务的实时目标检测网络创新性优化策略。为突破低质量样本与计算效率的双重限制,创新构建了引入增强定位敏感区域的表达能力模块的EMViT轻量化骨干网络;与此同时,为改善最近邻插值法可能出现细节丢失、锯齿状边缘和图像失真等问题,引入DySample上采样算子;最后为了解决低质量样本回归难题,设计基于WIoUv3的动态梯度分配策略。本实验在太原师范学院智能科技与艺术创新科研平台提供的GUI数据集中验证了检测精度及效率平衡方面的有效性。实验结果表明,检测平均精度(mAP)达到了89.8%,相较于原始RT-DETR提升了9.53百分点,同时,EM-DETR在检测速度上也表现出色,在GUI组件检测这一细分场景下,首次将RT-DETR架构的精度提高到可落地水平,在保持可接受的实时性同时大大提高了检测正确率。现已将其应用到教育部产学合作协同育人公示企业山西赛迩教育科技有限公司中的产品研发环节,取得良好效果。展开更多
文摘在艺术与科技研究领域中,针对目前大部分现有公开数据集过于老旧而导致已有研究方法在实际GUI(Graphical User Interface)检测中因界面所特有的组件种类多样、背景复杂的情况,同时因高分辨率显示器使得部分组件更小更密集从而导致检测效率不高和检测精度瓶颈等问题,该文依托太原师范学院智能科技与艺术创新科研平台自行构建GUI数据集并基于RT-DETR模型进行改进提出EM-DETR,构建面向GUI组件检测任务的实时目标检测网络创新性优化策略。为突破低质量样本与计算效率的双重限制,创新构建了引入增强定位敏感区域的表达能力模块的EMViT轻量化骨干网络;与此同时,为改善最近邻插值法可能出现细节丢失、锯齿状边缘和图像失真等问题,引入DySample上采样算子;最后为了解决低质量样本回归难题,设计基于WIoUv3的动态梯度分配策略。本实验在太原师范学院智能科技与艺术创新科研平台提供的GUI数据集中验证了检测精度及效率平衡方面的有效性。实验结果表明,检测平均精度(mAP)达到了89.8%,相较于原始RT-DETR提升了9.53百分点,同时,EM-DETR在检测速度上也表现出色,在GUI组件检测这一细分场景下,首次将RT-DETR架构的精度提高到可落地水平,在保持可接受的实时性同时大大提高了检测正确率。现已将其应用到教育部产学合作协同育人公示企业山西赛迩教育科技有限公司中的产品研发环节,取得良好效果。
