多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息,以及不同模态之间的相关性。针对上述问题,提出了一种基于文本层次化信息增强的多模态情感分析模型(...多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息,以及不同模态之间的相关性。针对上述问题,提出了一种基于文本层次化信息增强的多模态情感分析模型(multimodal sentiment analysis model based on text hierarchical information enhancement,THIE)。该模型使用Transformer提取具有重要语义信息的文本、视觉和音频模态特征;设计文本层次化信息增强模块,利用不同层次上的文本模态分别融合视觉和音频模态中的相关情感信息,从而达到增强情感的效果;提出基于跨模态注意力和门控机制的多模态融合模块,用于增强不同特征信息之间存在的相关性,提高重要特征的权重,抑制相对不重要的特征,从而减少冗余信息。在公共数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行实验表明,与主流方法相比,该模型在性能上有所提高。展开更多
文摘多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息,以及不同模态之间的相关性。针对上述问题,提出了一种基于文本层次化信息增强的多模态情感分析模型(multimodal sentiment analysis model based on text hierarchical information enhancement,THIE)。该模型使用Transformer提取具有重要语义信息的文本、视觉和音频模态特征;设计文本层次化信息增强模块,利用不同层次上的文本模态分别融合视觉和音频模态中的相关情感信息,从而达到增强情感的效果;提出基于跨模态注意力和门控机制的多模态融合模块,用于增强不同特征信息之间存在的相关性,提高重要特征的权重,抑制相对不重要的特征,从而减少冗余信息。在公共数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行实验表明,与主流方法相比,该模型在性能上有所提高。
