相比于高效视频编码(high efficiency video coding,HEVC)标准,新一代编码标准多功能视频编码(versatile video coding,VVC)引入了很多新的技术,其中包括四叉树(quadtree,QT)和多类型树(multi-type tree,MTT)划分,MTT划分由HEVC中的QT...相比于高效视频编码(high efficiency video coding,HEVC)标准,新一代编码标准多功能视频编码(versatile video coding,VVC)引入了很多新的技术,其中包括四叉树(quadtree,QT)和多类型树(multi-type tree,MTT)划分,MTT划分由HEVC中的QT划分延伸而来。新划分方法提高了压缩效率,但导致编码时间急剧增加。为了降低编码复杂度,提出了一种结合深度学习方法和MTT方向早期判决的快速帧内编码算法。首先使用轻量级的卷积神经网络(convolutional neural network,CNN)对QT和部分MTT进行预测划分,其余MTT则采用提前预测MTT划分方向的方法作进一步的优化。实验结果表明,所提方法能够大幅降低编码复杂度,相比于原始编码器的编码时间减少了74.3%,且只有3.3%的码率损失,性能优于对比的方法。展开更多
VVC编码框架的帧内预测一直以来都是视频编码优化的主要内容,尽可能提升帧内预测效率有助于提高VVC标准的适用能力。本文旨在对帧内预测在VVC编码框架的效率优化方法进行系统综述,详细分析了VVC编码框架的结构和原理,阐述了VVC编码框架...VVC编码框架的帧内预测一直以来都是视频编码优化的主要内容,尽可能提升帧内预测效率有助于提高VVC标准的适用能力。本文旨在对帧内预测在VVC编码框架的效率优化方法进行系统综述,详细分析了VVC编码框架的结构和原理,阐述了VVC编码框架的发展历程,并深入分析了当前VVC帧内预测的研究现状。本文主要从CU快速划分算法研究、帧内预测模式优化算法研究、帧内预测算法最新进展研究三个角度对帧内预测算法进行研究和性能比较,并且从目前算法的局限和当前技术条件出发,提供未来的研究方向,为帧内预测相关研究提供参考。The intra prediction in the VVC coding framework has always been a primary focus for optimizing video encoding, and enhancing the efficiency of intra prediction is crucial for improving the applicability of the VVC standard. This paper aims to provide a systematic review of the efficiency optimization of intra prediction within the VVC coding framework, detailing the structure and principles of the VVC coding framework, elucidating its development history, and thoroughly analyzing the current state of research on VVC intra prediction. This paper mainly compares the performance of intra-frame prediction algorithms from three perspectives: the research of CU rapid partition algorithm, the research of intra-frame prediction mode optimization algorithm, and the research of the latest progress of intra-frame prediction algorithm, and provides future research directions from the limitations of the current algorithm and the current technical conditions, so as to provide reference for the research related to intra-frame prediction.展开更多
多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式...多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式从35种扩展到67种,导致编码复杂度急剧上升。为降低VVC的帧内编码复杂度,首先,提出了一种基于图神经网络的帧内编码单元(coding unit,CU)划分快速算法,该算法利用高效的图神经网络模型直接预测CU的最优划分模式,从而跳过冗余的CU划分遍历。其次,提出了一种基于空间相关性和纹理特征的帧内模式选择快速算法,该算法利用平均方向方差和Sobel梯度算子确定纹理方向,并跳过部分角度预测模式,同时结合预测模式间的相关性精简率失真模式列表。实验结果表明,该算法能够在BDBR(bjontegaard delta bit rate)上升2.29%的代价下,节省64.04%的编码时间。展开更多
文摘现有的基于卷积神经网络(convolutional neural network,CNN)的环路滤波器倾向于将多个网络应用于不同的量化参数(quantization parameter,QP),消耗训练模型中的大量资源,并增加内存负担。针对这一问题,提出一种基于CNN的QP自适应环路滤波器。首先,设计一个轻量级分类网络,按照滤波难易程度将编码树单元(coding tree unit,CTU)划分为难、中、易3类;然后,构建3个融合了特征信息增强融合模块的基于CNN的滤波网络,以满足不同QP下的3类CTU滤波需求。将所提出的环路滤波器集成到多功能视频编码(versatile video coding,VVC)标准H.266/VVC的测试软件VTM 6.0中,替换原有的去块效应滤波器(deblocking filter,DBF)、样本自适应偏移(sample adaptive offset,SAO)滤波器和自适应环路滤波器。实验结果表明,该方法平均降低了3.14%的比特率差值(Bjøntegaard delta bit rate,BD-BR),与其他基于CNN的环路滤波器相比,显著提高了压缩效率,并减少了压缩伪影。
文摘相比于高效视频编码(high efficiency video coding,HEVC)标准,新一代编码标准多功能视频编码(versatile video coding,VVC)引入了很多新的技术,其中包括四叉树(quadtree,QT)和多类型树(multi-type tree,MTT)划分,MTT划分由HEVC中的QT划分延伸而来。新划分方法提高了压缩效率,但导致编码时间急剧增加。为了降低编码复杂度,提出了一种结合深度学习方法和MTT方向早期判决的快速帧内编码算法。首先使用轻量级的卷积神经网络(convolutional neural network,CNN)对QT和部分MTT进行预测划分,其余MTT则采用提前预测MTT划分方向的方法作进一步的优化。实验结果表明,所提方法能够大幅降低编码复杂度,相比于原始编码器的编码时间减少了74.3%,且只有3.3%的码率损失,性能优于对比的方法。
文摘VVC编码框架的帧内预测一直以来都是视频编码优化的主要内容,尽可能提升帧内预测效率有助于提高VVC标准的适用能力。本文旨在对帧内预测在VVC编码框架的效率优化方法进行系统综述,详细分析了VVC编码框架的结构和原理,阐述了VVC编码框架的发展历程,并深入分析了当前VVC帧内预测的研究现状。本文主要从CU快速划分算法研究、帧内预测模式优化算法研究、帧内预测算法最新进展研究三个角度对帧内预测算法进行研究和性能比较,并且从目前算法的局限和当前技术条件出发,提供未来的研究方向,为帧内预测相关研究提供参考。The intra prediction in the VVC coding framework has always been a primary focus for optimizing video encoding, and enhancing the efficiency of intra prediction is crucial for improving the applicability of the VVC standard. This paper aims to provide a systematic review of the efficiency optimization of intra prediction within the VVC coding framework, detailing the structure and principles of the VVC coding framework, elucidating its development history, and thoroughly analyzing the current state of research on VVC intra prediction. This paper mainly compares the performance of intra-frame prediction algorithms from three perspectives: the research of CU rapid partition algorithm, the research of intra-frame prediction mode optimization algorithm, and the research of the latest progress of intra-frame prediction algorithm, and provides future research directions from the limitations of the current algorithm and the current technical conditions, so as to provide reference for the research related to intra-frame prediction.
文摘多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式从35种扩展到67种,导致编码复杂度急剧上升。为降低VVC的帧内编码复杂度,首先,提出了一种基于图神经网络的帧内编码单元(coding unit,CU)划分快速算法,该算法利用高效的图神经网络模型直接预测CU的最优划分模式,从而跳过冗余的CU划分遍历。其次,提出了一种基于空间相关性和纹理特征的帧内模式选择快速算法,该算法利用平均方向方差和Sobel梯度算子确定纹理方向,并跳过部分角度预测模式,同时结合预测模式间的相关性精简率失真模式列表。实验结果表明,该算法能够在BDBR(bjontegaard delta bit rate)上升2.29%的代价下,节省64.04%的编码时间。
