随着深度学习方法的发展,理想环境下基于可见光的人脸识别精度和速度已经达到优秀的水平。但是在弱光等复杂环境下,由于缺少光源,可见光图像无法体现人脸细节,导致人脸识别效果下降甚至失效。为了解决这一问题,提出一种基于红外可见光...随着深度学习方法的发展,理想环境下基于可见光的人脸识别精度和速度已经达到优秀的水平。但是在弱光等复杂环境下,由于缺少光源,可见光图像无法体现人脸细节,导致人脸识别效果下降甚至失效。为了解决这一问题,提出一种基于红外可见光融合的复杂环境下人脸识别方法。首先,针对低照度环境提出联合CNN(Convolutional Neural Network)和Transformer的红外与可见光融合识别网络,并联CNN和视觉Transformer组成单模态特征融合模块,充分利用源图像的局部细节信息和全局上下文信息。同时,提出一种基于模态平均差异度的多模态特征融合策略,强化对源图像不同区域特征的差异化表达。其次,针对实际应用中融合识别网络模型大、速度慢的问题提出轻量化人脸识别网络Mobile Face Net-Coo和基于边云协同的自适应识别策略,通过图像质量选择识别模型,有效利用硬件资源。实验结果表明,弱光条件下,融合红外光与仅使用可见光图像相比,识别率提升了13.96个百分点。同时,将本方法应用实际项目中,结果表明:本方法在复杂环境下,能提高人脸识别的实时性和准确率。展开更多
文摘随着深度学习方法的发展,理想环境下基于可见光的人脸识别精度和速度已经达到优秀的水平。但是在弱光等复杂环境下,由于缺少光源,可见光图像无法体现人脸细节,导致人脸识别效果下降甚至失效。为了解决这一问题,提出一种基于红外可见光融合的复杂环境下人脸识别方法。首先,针对低照度环境提出联合CNN(Convolutional Neural Network)和Transformer的红外与可见光融合识别网络,并联CNN和视觉Transformer组成单模态特征融合模块,充分利用源图像的局部细节信息和全局上下文信息。同时,提出一种基于模态平均差异度的多模态特征融合策略,强化对源图像不同区域特征的差异化表达。其次,针对实际应用中融合识别网络模型大、速度慢的问题提出轻量化人脸识别网络Mobile Face Net-Coo和基于边云协同的自适应识别策略,通过图像质量选择识别模型,有效利用硬件资源。实验结果表明,弱光条件下,融合红外光与仅使用可见光图像相比,识别率提升了13.96个百分点。同时,将本方法应用实际项目中,结果表明:本方法在复杂环境下,能提高人脸识别的实时性和准确率。
