多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息,以及不同模态之间的相关性。针对上述问题,提出了一种基于文本层次化信息增强的多模态情感分析模型(...多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息,以及不同模态之间的相关性。针对上述问题,提出了一种基于文本层次化信息增强的多模态情感分析模型(multimodal sentiment analysis model based on text hierarchical information enhancement,THIE)。该模型使用Transformer提取具有重要语义信息的文本、视觉和音频模态特征;设计文本层次化信息增强模块,利用不同层次上的文本模态分别融合视觉和音频模态中的相关情感信息,从而达到增强情感的效果;提出基于跨模态注意力和门控机制的多模态融合模块,用于增强不同特征信息之间存在的相关性,提高重要特征的权重,抑制相对不重要的特征,从而减少冗余信息。在公共数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行实验表明,与主流方法相比,该模型在性能上有所提高。展开更多
文摘微通道板(Microchannel Plate,MCP)是高能宇宙辐射探测设施(High Energy Radiation Detection facility,HERD)中增强型科学级互补金属氧化物半导体相机(Intensified Scientific Complementary Metal-Oxide-Semiconductor,IsCMOS)的核心电子倍增器件。通过采用原子层沉积(Atomic Layer Deposition,ALD)技术与扩口技术,研制出高增益、长寿命、大开口、低光晕的MCP,用于满足空间探测的严苛技术要求。结合扫描电镜(Scanning Electron Microscope,SEM)、X射线光电子能谱仪(X-ray Photoelectron Spectrometer,XPS)、原子力显微镜(Atomic Force Microscope,AFM)、3D轮廓测量仪表征MCP的表面形貌和微观结构;通过增益、寿命及成像测试分析评估电子倍增及成像特性;利用CST Studio Suite构建仿真模型,验证二次电子发射系数(Secondary Electron Emission,SEE)以及开口面积比(Open Area Ratio,OAR)对MCP性能的影响。测试结果表明,ALD技术在MCP通道内壁形成均匀致密的Al2O3薄膜,粗糙度从0.55 nm降低至0.43 nm,变形量降低了71%。增益从372@800 V提升至743@800 V,在总输出电荷量30 C时,工作寿命相对提升6.5倍。扩口技术使得MCP的OAR从67%提升至87%,增益从743@800 V提升至945@800 V,光晕10%峰高全宽直径(Full Width at Maximum,FWM)从378μm降低至288μm。模拟结果表明,更高的SEE和OAR,可有效提高MCP的增益,抑制入射电子的散射以及光晕的产生。测试结果与模拟仿真基本吻合,为空间探测需求用高性能MCP提供了重要实验与理论依据。
文摘多模态情感分析旨在从文本、视觉和音频信息中识别人类情绪。以往的方法没有充分考虑利用文本特征增强视觉和音频模态中存在的情感信息,以及不同模态之间的相关性。针对上述问题,提出了一种基于文本层次化信息增强的多模态情感分析模型(multimodal sentiment analysis model based on text hierarchical information enhancement,THIE)。该模型使用Transformer提取具有重要语义信息的文本、视觉和音频模态特征;设计文本层次化信息增强模块,利用不同层次上的文本模态分别融合视觉和音频模态中的相关情感信息,从而达到增强情感的效果;提出基于跨模态注意力和门控机制的多模态融合模块,用于增强不同特征信息之间存在的相关性,提高重要特征的权重,抑制相对不重要的特征,从而减少冗余信息。在公共数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行实验表明,与主流方法相比,该模型在性能上有所提高。
