为了提升全球定位系统(Global Positioning System,GPS)信号中断场景下传统滤波方法对非线性误差抑制不足的缺陷,提出了一种多模态融合的注意力机制卷积长短期记忆网络(Convolutional Long Short-Term Memory Neural Network Based on A...为了提升全球定位系统(Global Positioning System,GPS)信号中断场景下传统滤波方法对非线性误差抑制不足的缺陷,提出了一种多模态融合的注意力机制卷积长短期记忆网络(Convolutional Long Short-Term Memory Neural Network Based on Attention Mechanism under Multi-modal Fusion,MF-ACLSTM)导航补偿方法。该模型通过卷积神经网络(Convolutional Neural Network,CNN)进行空间特征提取,结合长短期记忆神经网络(Long Short-Term Memory Neural Network,LSTM)进行时序特征建模,以有效融合惯性导航与GPS数据,并引入注意力机制,动态调整不同传感器模态对导航估计的贡献权重,提高数据融合的鲁棒性。在GPS信号中断时,通过历史惯性导航数据与模型的自回归机制,实现短期精确预测和长期误差抑制,使导航结果更精准;利用获得的实验数据对所提方法的性能进行了验证。实验结果表明,在GPS信号中断的场景下,所提方法较传统滤波方法在定位误差和长期稳定性等方面均有显著提升。展开更多
基于视频–脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory,LSTM)和注意机制(Attention mechanism)的视频–脑电信号交互协同的情感识别模型.模型的输入是实...基于视频–脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory,LSTM)和注意机制(Attention mechanism)的视频–脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号,输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network,CNN)的人脸视频特征与对应的脑电信号特征,通过LSTM进行融合并预测下一个时间点上的关键情感信号帧,直至最后一个时间点上计算出情感识别结果.在这一过程中,该模型通过空域频带注意机制计算脑电信号α波,β波与θ波的重要度,从而更加有效地利用脑电信号的空域关键信息;通过时域注意机制,预测下一时间点上的关键信号帧,从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型,取得了良好的识别效果.实验结果表明本文的工作为视频–脑电信号交互协同的情感识别问题提供了一种有效的解决方法.展开更多
为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法。该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多...为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法。该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码。对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码。最终得到每个目标-源对可能性的区域范围。实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法。展开更多
文摘为提高家庭服务机器人指令中目标对象预测的准确率,提出一种基于混合深度学习的多模态自然语言理处理(Natural Language Processing,NLP)指令分类方法。该方法从语言特征、视觉特征和关系特征多模态入手,采用两种深度学习方法分别以多模态特征进行编码。对于语言指令,采用多层双向长短期记忆(Bi-LSTM)进行子词嵌入和编码;对于非语言场景,使用卷积神经网络进行编码。最终得到每个目标-源对可能性的区域范围。实验结果表明,该方法能够提高机器人接收指令任务中目标对象预测的准确率且性能优于现有其他方法。
