目的微表情是由个体的内在情感反应引发的面部肌肉活动,在心理诊断、医学以及刑侦测谎等领域有着广泛应用场景。现有微表情识别方法大都利用单一光流获取面部运动差异,无法有效应对光照变化或表情强度不一致等问题。为了解决上述问题,...目的微表情是由个体的内在情感反应引发的面部肌肉活动,在心理诊断、医学以及刑侦测谎等领域有着广泛应用场景。现有微表情识别方法大都利用单一光流获取面部运动差异,无法有效应对光照变化或表情强度不一致等问题。为了解决上述问题,提出一种融合多光流与KAN(Kolmogorov-Arnold network)的微表情识别方法(multiple optical flow feature fusion,MOFFFN),通过捕获多层次、多角度的面部运动差异,提高微表情识别性能。方法首先,提取3种不同的光流特征,并构造光流融合模块以捕获这些光流特征水平和垂直方向的信息;其次,构造一个新颖的特征提取模型,利用KAN与卷积注意力机制捕捉微表情的细微变化,提取更具鉴别能力的特征;最后,设计了一个高效的注意力下采样自注意力特征融合模块,能够在融合多光流特征的同时突出微表情变化的关键区域特征。结果使用主流的留一交叉验证法(leave-one-subject-out-cross-validation,LOSOCV)在公开数据集CASMEⅡ(Chinese Academy of Sciences micro-expressionⅡ)、SAMM(spontaneous actions and micro-movements)和SMIC-HS(spontaneous micro-expression corpus-high speed)以及复合数据集(composite dataset,CD)上进行验证,本文方法的未加权平均召回率(unweighted average recall,UAR)分别为91.79%、85.69%、86.56%和85.03%,未加权F1分数(unweighted F1-score,UF1)分别为92.95%、89.10%、91.78%和87.63%,性能优于主流的微表情识别方法。结论本文提出的方法通过融合多种光流特征,利用KAN和注意力机制提取更具鉴别能力和鲁棒性的特征,显著提高了微表情识别的结果。本文公开代码地址:https://github.com/useless12138/mofffn。展开更多
文摘目的微表情是由个体的内在情感反应引发的面部肌肉活动,在心理诊断、医学以及刑侦测谎等领域有着广泛应用场景。现有微表情识别方法大都利用单一光流获取面部运动差异,无法有效应对光照变化或表情强度不一致等问题。为了解决上述问题,提出一种融合多光流与KAN(Kolmogorov-Arnold network)的微表情识别方法(multiple optical flow feature fusion,MOFFFN),通过捕获多层次、多角度的面部运动差异,提高微表情识别性能。方法首先,提取3种不同的光流特征,并构造光流融合模块以捕获这些光流特征水平和垂直方向的信息;其次,构造一个新颖的特征提取模型,利用KAN与卷积注意力机制捕捉微表情的细微变化,提取更具鉴别能力的特征;最后,设计了一个高效的注意力下采样自注意力特征融合模块,能够在融合多光流特征的同时突出微表情变化的关键区域特征。结果使用主流的留一交叉验证法(leave-one-subject-out-cross-validation,LOSOCV)在公开数据集CASMEⅡ(Chinese Academy of Sciences micro-expressionⅡ)、SAMM(spontaneous actions and micro-movements)和SMIC-HS(spontaneous micro-expression corpus-high speed)以及复合数据集(composite dataset,CD)上进行验证,本文方法的未加权平均召回率(unweighted average recall,UAR)分别为91.79%、85.69%、86.56%和85.03%,未加权F1分数(unweighted F1-score,UF1)分别为92.95%、89.10%、91.78%和87.63%,性能优于主流的微表情识别方法。结论本文提出的方法通过融合多种光流特征,利用KAN和注意力机制提取更具鉴别能力和鲁棒性的特征,显著提高了微表情识别的结果。本文公开代码地址:https://github.com/useless12138/mofffn。
