针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer...针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer结构的全局语义特征修复模块,利用双向自回归机制与掩码语言模型(masked language modeling,MLM),提出改进的多头注意力全局语义壁画修复模块,提高对全局语义特征的修复能力.然后,构建了由门控卷积和残差模块组成的全局语义增强模块,增强全局语义特征一致性约束.最后,设计局部细节修复模块,采用大核注意力机制(large kernel attention,LKA)与快速傅里叶卷积提高细节特征的捕获能力,同时减少局部细节信息的丢失,提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验,结果表明,所提算法修复性能更优,客观评价指标均优于比较算法.展开更多
随着深度神经网络的迅速发展,图像修复技术取得了重要突破,在诸多领域得到了广泛应用。通常的图像修复方法采取不断增加网络层数或利用膨胀卷积来达到扩大感受野的目的,这可能会导致网络训练困难、参数量和计算量增加、修复结果容易产...随着深度神经网络的迅速发展,图像修复技术取得了重要突破,在诸多领域得到了广泛应用。通常的图像修复方法采取不断增加网络层数或利用膨胀卷积来达到扩大感受野的目的,这可能会导致网络训练困难、参数量和计算量增加、修复结果容易产生伪影等问题。因此,设计了一种基于快速傅里叶卷积模块和空间掩码注意力机制的图像修复算法,包括图像修复主分支和滤波器预测辅助分支。首先,设计了一种快速傅里叶卷积模块将图像转换到频域进行处理,这使得图像中的噪声和纹理细节更加显著。其次,在空域上对图像进行处理,将破损图像的上下文信息和经编码器处理后的特征进行结合,再采用可学习的空间信息传播操作依次在两个不同空间维度上提取特征,提出了一个空间掩码注意力模块。另外,构建了一个轻量的滤波器预测网络,得到的两个滤波器用于图像修复主分支,对提取的特征和修复结果进行逐像素滤波,强化了边缘细节并进一步去除了噪声。最后,在CelebA、Paris Street View以及Places2三个公开数据集上与目前先进的修复方法进行了比较,实验结果表明,该方法能够取得更好的性能和视觉效果。展开更多
This paper presents an eye and iris detection algorithm for human facial images. The authors combine three features of the eye to develop the algorithm：1） the pixels surrounding the eyes are more variable than other...This paper presents an eye and iris detection algorithm for human facial images. The authors combine three features of the eye to develop the algorithm：1） the pixels surrounding the eyes are more variable than other parts of the face; 2） eye pixels are darker than their neighbors; 3） eyes often exhibit radial symmetric properties. Through the first feature,two rough regions of both eyes are detected on the face. Eye masks are then formed based on the second feature,and a fast radial symmetry transform is applied to the two rough regions of both eyes. Finally,accurate iris centers are located by searching the maximum value of the radial symmetry transform results. Using 450 human facial images from the Caltech face database,experiments show that the success rate of the proposed method is 91.7%. The effectiveness of the method was also verified through detection of video frames.展开更多
文摘针对现有深度学习算法在壁画修复时,存在全局语义一致性约束不足及局部特征提取不充分,导致修复后的壁画易出现边界效应和细节模糊等问题,提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先,设计基于Transformer结构的全局语义特征修复模块,利用双向自回归机制与掩码语言模型(masked language modeling,MLM),提出改进的多头注意力全局语义壁画修复模块,提高对全局语义特征的修复能力.然后,构建了由门控卷积和残差模块组成的全局语义增强模块,增强全局语义特征一致性约束.最后,设计局部细节修复模块,采用大核注意力机制(large kernel attention,LKA)与快速傅里叶卷积提高细节特征的捕获能力,同时减少局部细节信息的丢失,提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验,结果表明,所提算法修复性能更优,客观评价指标均优于比较算法.
文摘随着深度神经网络的迅速发展,图像修复技术取得了重要突破,在诸多领域得到了广泛应用。通常的图像修复方法采取不断增加网络层数或利用膨胀卷积来达到扩大感受野的目的,这可能会导致网络训练困难、参数量和计算量增加、修复结果容易产生伪影等问题。因此,设计了一种基于快速傅里叶卷积模块和空间掩码注意力机制的图像修复算法,包括图像修复主分支和滤波器预测辅助分支。首先,设计了一种快速傅里叶卷积模块将图像转换到频域进行处理,这使得图像中的噪声和纹理细节更加显著。其次,在空域上对图像进行处理,将破损图像的上下文信息和经编码器处理后的特征进行结合,再采用可学习的空间信息传播操作依次在两个不同空间维度上提取特征,提出了一个空间掩码注意力模块。另外,构建了一个轻量的滤波器预测网络,得到的两个滤波器用于图像修复主分支,对提取的特征和修复结果进行逐像素滤波,强化了边缘细节并进一步去除了噪声。最后,在CelebA、Paris Street View以及Places2三个公开数据集上与目前先进的修复方法进行了比较,实验结果表明,该方法能够取得更好的性能和视觉效果。
基金Research Project of Pilot Fatigue Monitoring System Based on Computer Vision (No.MHR06Z16)
文摘This paper presents an eye and iris detection algorithm for human facial images. The authors combine three features of the eye to develop the algorithm：1） the pixels surrounding the eyes are more variable than other parts of the face; 2） eye pixels are darker than their neighbors; 3） eyes often exhibit radial symmetric properties. Through the first feature,two rough regions of both eyes are detected on the face. Eye masks are then formed based on the second feature,and a fast radial symmetry transform is applied to the two rough regions of both eyes. Finally,accurate iris centers are located by searching the maximum value of the radial symmetry transform results. Using 450 human facial images from the Caltech face database,experiments show that the success rate of the proposed method is 91.7%. The effectiveness of the method was also verified through detection of video frames.
