-
题名基于跨主体交互和多尺度时间增强的行为识别方法
- 1
-
-
作者
张君逸
赵培培
梁松
杨迪
孙奥然
肖涛
-
机构
中国矿业大学信息与控制工程学院
常州海图信息科技股份有限公司
-
出处
《计算机应用研究》
北大核心
2025年第9期2847-2855,共9页
-
基金
国家重点研发计划资助项目(2022YFC3004703)。
-
文摘
在图像/视频的行为识别算法中,存在骨骼图数据利用不充分、模型忽略运动中的交互语义信息,以及捕获运动中长短时信息不足等问题,导致在双人交互行为和相似动作场景下识别准确率不高。为解决这些问题,提出一种基于跨主体交互和多尺度时间增强的CTR-GCN(channel-wise topology refinement graph convolution net)网络的行为识别模型。针对输入骨骼图利用不充分的问题,将图数据进行分解来作数据增强,并设计集成网络来处理这些信息。现有算法主要学习单个主体的节点间的关系,忽略了双人交互行为时的交互语义信息的问题,设计了一种跨主体交互的Cformer(Cross-Transformer)深入学习主体间的交互特征。针对图卷积对时序信息中长短帧间信息处理不足的问题,提出了多尺度时间建模来增强模型对长短时特征的提取能力。实验结果表明,模型在NTU-RGBD和NTU-RGBD 120数据集上达到92.7%和89.4%的准确率,尤其在双人交互行为以及相似动作行为的场景下表现优异,验证了模型的有效性。
-
关键词
行为识别
图卷积网络
ctr-gcn
双人交互行为识别
TRANSFORMER
注意力机制
-
Keywords
behavior recognition
graph convolutional network
ctr-gcn
two-person interaction behavior recognition
Transformer
attention mechanisms
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
