目的图像超分辨率任务旨在从低分辨率图像中恢复出高分辨率图像。传统方法通常将研究范畴限定于实验室封闭环境下采集的、内容与退化类型均较为单一的静态域图像,并且假设训练环境与测试环境的数据分布相近。因此,当处于开放环境,面对...目的图像超分辨率任务旨在从低分辨率图像中恢复出高分辨率图像。传统方法通常将研究范畴限定于实验室封闭环境下采集的、内容与退化类型均较为单一的静态域图像,并且假设训练环境与测试环境的数据分布相近。因此,当处于开放环境,面对诸如噪声、模糊以及光照变化等域漂移问题时,传统方法的性能会急剧下降。为提升超分辨率模型在持续变化的开放环境中的适应性和鲁棒性,提出持续测试动态自适应图像超分辨率新框架——CTDA-SR(continuous testing with dynamic adaptive super-resolution)。方法该框架通过动态域自适应策略应对复杂场景中的域漂移问题。具体而言,通过自监督双学生网络的设计,在测试阶段深度挖掘并有效利用图像的局部特征和全局结构特征,使其能够更好地学习不同尺度下的共性模式。此外,为了保持图像在不同分辨率下的一致性,提出多层次转换的循环一致性损失,提高模型对不同分辨率图像的适应性和知识转移的有效性和稳定性,以及学生网络的模型泛化能力。结果实验结果表明,所提方法在多个动态域超分辨任务(如持续退化场景)中优于对比算法,能够提高重建图像的PSNR(peak signal to noise ratio)和SSIM(structural similarity index measure),并表现出稳定性和鲁棒性。实验在8个数据集上与10种方法进行比较,相比于性能第2的模型,在U-Test1数据集中,PSNR提升0.22 dB,SSIM提升0.03;在U-Test3数据集中,PSNR提升0.23 dB,SSIM降低0.01;在B-Test1数据集PSNR提升0.11 dB,SSIM提升0.01。同时,在Urban100(urban scene 100)数据集上的实验结果表明,所提算法在持续退化环境中改善了退化图像的超分辨率的效果。结论本文提出的框架为连续变化环境下的图像超分辨任务提供了一种创新解决方案。通过高效的自适应能力、自监督双学生网络和损失函数的设计,CTDA-SR显著改善了超分任务在动态域条件下的表现,为解决域漂移问题提供了新的研究方向。展开更多
文摘目的图像超分辨率任务旨在从低分辨率图像中恢复出高分辨率图像。传统方法通常将研究范畴限定于实验室封闭环境下采集的、内容与退化类型均较为单一的静态域图像,并且假设训练环境与测试环境的数据分布相近。因此,当处于开放环境,面对诸如噪声、模糊以及光照变化等域漂移问题时,传统方法的性能会急剧下降。为提升超分辨率模型在持续变化的开放环境中的适应性和鲁棒性,提出持续测试动态自适应图像超分辨率新框架——CTDA-SR(continuous testing with dynamic adaptive super-resolution)。方法该框架通过动态域自适应策略应对复杂场景中的域漂移问题。具体而言,通过自监督双学生网络的设计,在测试阶段深度挖掘并有效利用图像的局部特征和全局结构特征,使其能够更好地学习不同尺度下的共性模式。此外,为了保持图像在不同分辨率下的一致性,提出多层次转换的循环一致性损失,提高模型对不同分辨率图像的适应性和知识转移的有效性和稳定性,以及学生网络的模型泛化能力。结果实验结果表明,所提方法在多个动态域超分辨任务(如持续退化场景)中优于对比算法,能够提高重建图像的PSNR(peak signal to noise ratio)和SSIM(structural similarity index measure),并表现出稳定性和鲁棒性。实验在8个数据集上与10种方法进行比较,相比于性能第2的模型,在U-Test1数据集中,PSNR提升0.22 dB,SSIM提升0.03;在U-Test3数据集中,PSNR提升0.23 dB,SSIM降低0.01;在B-Test1数据集PSNR提升0.11 dB,SSIM提升0.01。同时,在Urban100(urban scene 100)数据集上的实验结果表明,所提算法在持续退化环境中改善了退化图像的超分辨率的效果。结论本文提出的框架为连续变化环境下的图像超分辨任务提供了一种创新解决方案。通过高效的自适应能力、自监督双学生网络和损失函数的设计,CTDA-SR显著改善了超分任务在动态域条件下的表现,为解决域漂移问题提供了新的研究方向。
