-
题名异构数字媒体流数据的实时关联挖掘
- 1
-
-
作者
陈文庆
-
机构
江苏师范大学计算机科学与技术学院
中国劳动关系学院计算机学院
-
出处
《现代电子技术》
北大核心
2025年第22期56-60,共5页
-
基金
中国劳动关系学院科研项目(202101010129)。
-
文摘
为有效捕捉数据流不同模态之间的关联,提高数据挖掘效果,提出一种异构数字媒体流数据的实时关联挖掘方法。通过滑动窗口处理异构数字媒体流数据,提取具有潜在价值的候选数据,并输入到异构数字媒体流数据关联挖掘双路分支框架中。文本模态分支通过BERT-Large与双向GRU网络学习文本模态数字媒体流数据的特征表示,再构建文本连接图并结合GCN建模文本模态关系,提取文本模态数字媒体流数据特征。视觉模态分支利用Faster-RCNN以及多头注意力的GCN建模视觉模态关系,得到视觉模态数字媒体流数据特征;采用交叉注意力机制捕捉跨模态间的关联性,生成融合后的视觉、文本模态数字媒体流数据特征,数据挖掘模块通过在语义空间中计算二者相似度,实现异构数字媒体流数据关联挖掘。实验结果表明,所提方法可实现不同模态数字媒体流数据关联挖掘,挖掘结果与待查询媒体事件高度匹配,Recall@5、MRR指标分别为0.50、0.40,挖掘时间低于0.2 s。
-
关键词
数字媒体
关联挖掘
媒体流数据
滑动窗口
bert-large
双向GRU网络
文本连接图
交叉注意力机制
-
Keywords
digital media
association mining
media stream data
sliding window
bert-large
bidirectional GRU network
text connection graph
cross attention mechanism
-
分类号
TN919-34
[电子电信—通信与信息系统]
TP391
[自动化与计算机技术—计算机应用技术]
-
