目的随着人脸图像合成技术的快速发展,基于深度学习的人脸伪造技术对社会信息安全的负面影响日益增长。然而,由于不同伪造方法生成的样本之间的数据分布存在较大差异,现有人脸伪造检测方法准确性不高,泛化性较差。为了解决上述问题,提...目的随着人脸图像合成技术的快速发展,基于深度学习的人脸伪造技术对社会信息安全的负面影响日益增长。然而,由于不同伪造方法生成的样本之间的数据分布存在较大差异,现有人脸伪造检测方法准确性不高,泛化性较差。为了解决上述问题,提出一种多元软混合样本驱动的图文对齐人脸伪造检测新方法,充分利用图像与文本的多模态信息对齐,捕捉微弱的人脸伪造痕迹。方法考虑到传统人脸伪造检测方法仅在单一模式的伪造图像上训练,难以应对复杂伪造模式,提出了一种多元软混合的数据增广方式(multivariate and soft blending augmentation,MSBA),促进网络同时捕捉多种伪造模式线索的能力,增强了网络模型对复杂和未知的伪造模式的检测能力。由于不同人脸伪造图像的伪造模式与伪造力度多种多样,导致网络模型真伪检测性能下降。本文基于MSBA方式设计了多元伪造力度估计(multivariate forgery intensity estimation,MFIE)模块,有效针对不同模式和力度的人脸伪造图像进行学习,引导图像编码器提取更加具有泛化性的特征,提高了整体网络框架的检测准确性。结果在域内实验中,与对比算法性能最好的相比,本文方法的准确率(accuracy,ACC)与AUC(area under the curve)指标分别提升3.32%和4.02%。在跨域实验中,本文方法与6种典型方法在5个数据集上进行了性能测试与比较,平均AUC指标提高3.27%。消融实验结果表明本文提出的MSBA方式和MFIE模块对于人脸伪造检测性能的提升均有较好的表现。结论本文面向人脸伪造检测任务设计的CLIP(contrastive language-image pre-training)网络框架大大提高了人脸伪造检测的准确性,提出的MSBA方式和MFIE模块均起到了较好的助力效果,取得了超越已有方法的性能表现。展开更多
文摘目的随着人脸图像合成技术的快速发展,基于深度学习的人脸伪造技术对社会信息安全的负面影响日益增长。然而,由于不同伪造方法生成的样本之间的数据分布存在较大差异,现有人脸伪造检测方法准确性不高,泛化性较差。为了解决上述问题,提出一种多元软混合样本驱动的图文对齐人脸伪造检测新方法,充分利用图像与文本的多模态信息对齐,捕捉微弱的人脸伪造痕迹。方法考虑到传统人脸伪造检测方法仅在单一模式的伪造图像上训练,难以应对复杂伪造模式,提出了一种多元软混合的数据增广方式(multivariate and soft blending augmentation,MSBA),促进网络同时捕捉多种伪造模式线索的能力,增强了网络模型对复杂和未知的伪造模式的检测能力。由于不同人脸伪造图像的伪造模式与伪造力度多种多样,导致网络模型真伪检测性能下降。本文基于MSBA方式设计了多元伪造力度估计(multivariate forgery intensity estimation,MFIE)模块,有效针对不同模式和力度的人脸伪造图像进行学习,引导图像编码器提取更加具有泛化性的特征,提高了整体网络框架的检测准确性。结果在域内实验中,与对比算法性能最好的相比,本文方法的准确率(accuracy,ACC)与AUC(area under the curve)指标分别提升3.32%和4.02%。在跨域实验中,本文方法与6种典型方法在5个数据集上进行了性能测试与比较,平均AUC指标提高3.27%。消融实验结果表明本文提出的MSBA方式和MFIE模块对于人脸伪造检测性能的提升均有较好的表现。结论本文面向人脸伪造检测任务设计的CLIP(contrastive language-image pre-training)网络框架大大提高了人脸伪造检测的准确性,提出的MSBA方式和MFIE模块均起到了较好的助力效果,取得了超越已有方法的性能表现。
