目的唐卡作为人类非物质文化遗产热贡艺术的重要表现形式之一,承载着重要的历史文化价值。在实地采集过程中发现,由于保存条件有限,许多唐卡作品出现裂痕、破损、水渍及霉点等问题,传统手工的修复方式效率低,且存在导致唐卡二次受损的...目的唐卡作为人类非物质文化遗产热贡艺术的重要表现形式之一,承载着重要的历史文化价值。在实地采集过程中发现,由于保存条件有限,许多唐卡作品出现裂痕、破损、水渍及霉点等问题,传统手工的修复方式效率低,且存在导致唐卡二次受损的风险。此外,使用传统图像修复方法和基于深度学习的图像自动修复方法修复唐卡时,往往产生不符合唐卡纹理结构的结果。鉴于此,提出一种线稿引导的交互式唐卡图像修复网络LSFNet(an image restoration network that combines line restoration,style and texture restoration,and fine restoration)。方法该方法由3部分组成,首先是唐卡艺术家指导的交互式线稿修复,使得修复的线结构更加接近真实唐卡图像;其次是风格纹理修复阶段,通过构建空间风格纹理模块学习唐卡图像整体风格和特征,并结合通道注意力和全连接层,捕获全局信息并进行融合,获得初步修复特征;最后是精修复阶段,引入线性注意力模块,实现全局信息传递,增强模型对唐卡图像内容的理解能力。结果以在青海采集的唐卡图像为基础,创建了唐卡修复数据集,并通过模拟破损区域,制作了掩码数据集,在创建的数据集上进行训练测试。与DeepFillv2、EdgeConnect、DFNet(deep fusion network)、HiFill及T-Former等图像修复方法进行定量、定性和主观实验对比分析。结果表明,该方法有良好的修复效果,在唐卡数据集上的PSNR(peak signal to noise ratio)、SSIM(structural similarity)和LPIPS(learned perceptual image patch similarity)3个评价指标结果均优于对比方法。与性能第2的模型相比,PSNR和SSIM分别提高10.55%和1.8%,LPIPS降低57.98%。此外,消融实验进一步验证了交互式线稿修复、风格纹理修复和精修复3个模块的有效性。结论通过采用交互式线稿修补的方法,能够有效地对破损唐卡图像进行修复,获得符合唐卡内容风格的修复结果。展开更多
文摘目的唐卡作为人类非物质文化遗产热贡艺术的重要表现形式之一,承载着重要的历史文化价值。在实地采集过程中发现,由于保存条件有限,许多唐卡作品出现裂痕、破损、水渍及霉点等问题,传统手工的修复方式效率低,且存在导致唐卡二次受损的风险。此外,使用传统图像修复方法和基于深度学习的图像自动修复方法修复唐卡时,往往产生不符合唐卡纹理结构的结果。鉴于此,提出一种线稿引导的交互式唐卡图像修复网络LSFNet(an image restoration network that combines line restoration,style and texture restoration,and fine restoration)。方法该方法由3部分组成,首先是唐卡艺术家指导的交互式线稿修复,使得修复的线结构更加接近真实唐卡图像;其次是风格纹理修复阶段,通过构建空间风格纹理模块学习唐卡图像整体风格和特征,并结合通道注意力和全连接层,捕获全局信息并进行融合,获得初步修复特征;最后是精修复阶段,引入线性注意力模块,实现全局信息传递,增强模型对唐卡图像内容的理解能力。结果以在青海采集的唐卡图像为基础,创建了唐卡修复数据集,并通过模拟破损区域,制作了掩码数据集,在创建的数据集上进行训练测试。与DeepFillv2、EdgeConnect、DFNet(deep fusion network)、HiFill及T-Former等图像修复方法进行定量、定性和主观实验对比分析。结果表明,该方法有良好的修复效果,在唐卡数据集上的PSNR(peak signal to noise ratio)、SSIM(structural similarity)和LPIPS(learned perceptual image patch similarity)3个评价指标结果均优于对比方法。与性能第2的模型相比,PSNR和SSIM分别提高10.55%和1.8%,LPIPS降低57.98%。此外,消融实验进一步验证了交互式线稿修复、风格纹理修复和精修复3个模块的有效性。结论通过采用交互式线稿修补的方法,能够有效地对破损唐卡图像进行修复,获得符合唐卡内容风格的修复结果。
