-
题名多模态持续学习方法研究进展
被引量：1
- 1
-
-
作者
张伟
钱龙玥
张林
李腾
-
机构
山东大学控制科学与工程学院
-
出处
《数据采集与处理》
北大核心
2025年第5期1122-1138,共17页
-
基金
新一代人工智能国家科技重大专项(2021ZD0112002)。
-
文摘
多模态持续学习(Multimodal continual learning,MMCL)作为机器学习和人工智能领域的一个重要研究方向,旨在通过融合多种模态数据(如图像、文本或语音等)来实现持续的知识积累与任务适应。相较于传统单模态学习方法,MMCL不仅能够并行处理多源异构数据,还能在有效保持已有知识的同时适应新任务需求,展现出在智能系统中的巨大应用潜力。本文系统性地对多模态持续学习进行综述。首先,从基本概念、评估体系和经典单模态持续学习方法3个维度阐述了MMCL的基础理论框架。其次,深入剖析了MMCL在实际应用中的优势与挑战:尽管其在多模态信息融合方面具有显著优势,但仍面临模态不平衡、异构性融合等关键挑战,这些挑战既制约了当前方法的性能表现,也为未来研究指明了方向。基于此,本文随后从基于回放、正则化、参数隔离和大模型4个主要方面,全面梳理了MMCL方法的研究现状与最新进展。最后,对MMCL的未来发展趋势进行了前瞻性展望。
-
关键词
多模态持续学习
模态对齐
灾难性遗忘
预训练模型
任务适应性
-
Keywords
multimodal continual learning(mmcl)
modality alignment
catastrophic forgetting
pretrained models
task adaptation
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
-
题名基于差异性特征蒸馏的多模态连续学习方法
- 2
-
-
作者
贺驰原
程少旭
许林峰
孟凡满
吴庆波
-
机构
电子科技大学信息与通信工程学院
-
出处
《北京航空航天大学学报》
北大核心
2025年第7期2460-2467,共8页
-
基金
新一代人工智能国家科技重大专项(2021ZD0112001)
国家自然科学基金(62071086)
四川省自然科学基金创新研究群体项目(2023NSFSC1972)。
-
文摘
近年来连续学习成为一个新的研究热点,但在多模态架构的连续学习任务中,数据不能被完全利用,导致了严重的灾难性遗忘和学习受阻问题。因此,提出了基于特征蒸馏的多模态连续学习方法。该方法重点考虑不同模态在任务表现方面的差异性,选择较多或较少地保留模态旧知识,以激发各模态从整体角度挖掘具有判别性特征的潜力。在多模态行为识别数据集UESTCMMEA-CL上的实验验证了所提方法的有效性。在进行到第8个任务时,所提方法的平均准确率在微调基础上提升了22.0%,在不遗忘学习(LwF)的基础上提升了20.1%。与经典的知识蒸馏方法相比,提出的差异性特征蒸馏方法显著提高了传感器模态的利用率,从而更显著地缓解了多模态网络的灾难性遗忘问题。
-
关键词
机器学习
连续学习
多模态
行为识别
特征蒸馏
-
Keywords
machine learning
continual learning
multimodality
behavior recognition
feature distillation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于层次注意力机制的维度情感识别方法
被引量：4
- 3
-
-
作者
汤宇豪
毛启容
高利剑
-
机构
江苏大学计算机科学与通信工程学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2020年第6期65-72,共8页
-
基金
国家自然科学基金(61672267,61672268)。
-
文摘
在连续维度情感识别任务中,每个模态内部凸显情感表达的部分并不相同,不同模态对于情感状态的影响程度也有差别。为此,通过学习各个模态特征并采用合理的融合方式,提出一种基于层次注意力机制的多模态维度情感识别模型。在音频模态中加入频率注意力机制学习频域上下文信息,利用多模态注意力机制将视频特征与音频特征进行融合,依据改进的损失函数对模态缺失问题进行优化,提高模型的鲁棒性以及情感识别的性能。在公开数据集上的实验结果表明,相比于卷积神经网络和长短时记忆网络等方法,该模型一致性相关系数指标明显提升,并且识别效率更高,可适用于大批量数据的维度情感识别。
-
关键词
多模态
连续维度情感识别
注意力机制
特征融合
深度学习
-
Keywords
multimodality
continuous dimensional emotion recognition
attention mechanism
feature fusion
deep learning
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
