针对微表情运动的局限性和识别效果不理想的问题,提出了一种结合双注意力模块和ShuffleNet模型的微表情识别方法。该方法将提取的峰值帧的水平和垂直光流图,以通道叠加的方式连接送进所设计的网络进行训练。利用高效且轻量化的ShuffleNe...针对微表情运动的局限性和识别效果不理想的问题,提出了一种结合双注意力模块和ShuffleNet模型的微表情识别方法。该方法将提取的峰值帧的水平和垂直光流图,以通道叠加的方式连接送进所设计的网络进行训练。利用高效且轻量化的ShuffleNet模型堆叠的卷积神经网络(Convolutional neural network,CNN),极大地降低了训练的参数量,在ShuffleNet网络中加入可自适应特征细化的双注意力模块,使得网络在通道和空间维度寻找微表情运动的有用特征信息。在通道注意力模块中,使用一维卷积融合全局池化后的一维通道特征来保持相邻通道的相关性;在空间注意力模块中,采用较小的3×3和5×5卷积核提取不同的空间信息并融合。实验结果表明,在微表情识别方面,相比于基准方法的三个正交平面的局部二值模式(Local binary patterns from three orthogonal planes,LBP-TOP),未加权F1值(Unweighted F1-score,UF1)和未加权平均召回率(Unweighted average recall,UAR)分别提高了0.1445和0.1556,识别性能有很大的提升。展开更多
文摘针对微表情运动的局限性和识别效果不理想的问题,提出了一种结合双注意力模块和ShuffleNet模型的微表情识别方法。该方法将提取的峰值帧的水平和垂直光流图,以通道叠加的方式连接送进所设计的网络进行训练。利用高效且轻量化的ShuffleNet模型堆叠的卷积神经网络(Convolutional neural network,CNN),极大地降低了训练的参数量,在ShuffleNet网络中加入可自适应特征细化的双注意力模块,使得网络在通道和空间维度寻找微表情运动的有用特征信息。在通道注意力模块中,使用一维卷积融合全局池化后的一维通道特征来保持相邻通道的相关性;在空间注意力模块中,采用较小的3×3和5×5卷积核提取不同的空间信息并融合。实验结果表明,在微表情识别方面,相比于基准方法的三个正交平面的局部二值模式(Local binary patterns from three orthogonal planes,LBP-TOP),未加权F1值(Unweighted F1-score,UF1)和未加权平均召回率(Unweighted average recall,UAR)分别提高了0.1445和0.1556,识别性能有很大的提升。
