针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进...针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。展开更多
Versatile video coding(H.266/VVC),which was newly released by the Joint Video Exploration Team(JVET),introduces quad-tree plus multitype tree(QTMT)partition structure on the basis of quad-tree(QT)partition structure i...Versatile video coding(H.266/VVC),which was newly released by the Joint Video Exploration Team(JVET),introduces quad-tree plus multitype tree(QTMT)partition structure on the basis of quad-tree(QT)partition structure in High Efficiency Video Coding(H.265/HEVC).More complicated coding unit(CU)partitioning processes in H.266/VVC significantly improve video compression efficiency,but greatly increase the computational complexity compared.The ultra-high encoding complexity has obstructed its real-time applications.In order to solve this problem,a CU partition algorithm using convolutional neural network(CNN)is proposed in this paper to speed up the H.266/VVC CU partition process.Firstly,64×64 CU is divided into smooth texture CU,mildly complex texture CU and complex texture CU according to the CU texture characteristics.Second,CU texture complexity classification convolutional neural network(CUTCC-CNN)is proposed to classify CUs.Finally,according to the classification results,the encoder is guided to skip different RDO search process.And optimal CU partition results will be determined.Experimental results show that the proposed method reduces the average coding time by 32.2%with only 0.55%BD-BR loss compared with VTM 10.2.展开更多
针对高效率视频编码(high efficiency video coding,HEVC)标准编码复杂度较高的问题,提出了一种快速编码单元(coding unit,CU)划分方法。首先,结合拉格朗日率失真优化理论及相关实验数据分析得到相邻CU深度对应的失真及码率分别满足线...针对高效率视频编码(high efficiency video coding,HEVC)标准编码复杂度较高的问题,提出了一种快速编码单元(coding unit,CU)划分方法。首先,结合拉格朗日率失真优化理论及相关实验数据分析得到相邻CU深度对应的失真及码率分别满足线性关系,并利用此关系,建立了率失真代价的预测模型。利用此模型,可以在编码当前CU深度后快速预测得到下一CU深度的率失真代价,并最终通过代价比较,判断是否需要继续进行CU划分。实验结果表明,相比于HEVC测试模型HM12.0,针对低时延与随机接入编码结构,提出的方法的BD-rate分别增加了0.2%与0.6%,同时,编码时间分别减少了33.2%和38.9%。展开更多
随着虚拟现实技术的发展,360度视频越来越受欢迎。这些视频在使用标准编码器进行编码之前,要先将其转换为2D图像平面格式。为了提高编码效率,专家们提出了新一代视频编码标准H.266/VVC(Versatile Video Coding),然而,VVC分区模式的多样...随着虚拟现实技术的发展,360度视频越来越受欢迎。这些视频在使用标准编码器进行编码之前,要先将其转换为2D图像平面格式。为了提高编码效率,专家们提出了新一代视频编码标准H.266/VVC(Versatile Video Coding),然而,VVC分区模式的多样性导致编码360度高分辨率视频耗时过长。针对上述问题,设计一种CU划分早期决策算法。通过对ERP(Equirectangular projection)视频的统计实验,发现这类视频采用水平分区的概率大于垂直分区。利用经验变差函数设计算法衡量纹理方向差异度,再根据编码单元水平与垂直2个方向的差异程度选择不同的分区。实验结果表明:在全帧内模式下,与VVC测试模型VTM4.0相比,该算法节省了35.42%的编码时间,BD-rate仅增加0.70%。展开更多
多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式...多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式从35种扩展到67种,导致编码复杂度急剧上升。为降低VVC的帧内编码复杂度,首先,提出了一种基于图神经网络的帧内编码单元(coding unit,CU)划分快速算法,该算法利用高效的图神经网络模型直接预测CU的最优划分模式,从而跳过冗余的CU划分遍历。其次,提出了一种基于空间相关性和纹理特征的帧内模式选择快速算法,该算法利用平均方向方差和Sobel梯度算子确定纹理方向,并跳过部分角度预测模式,同时结合预测模式间的相关性精简率失真模式列表。实验结果表明,该算法能够在BDBR(bjontegaard delta bit rate)上升2.29%的代价下,节省64.04%的编码时间。展开更多
新一代视频编码标准高效视频编码(High Efficiency Video Coding,HEVC)中编码单元(Coding Unit,CU)大小不同的特性使得编码效率得到显著提升,但同时带来了极高的计算复杂度.为了去除CU划分中多余的计算从而降低编码复杂度,本文提出了一...新一代视频编码标准高效视频编码(High Efficiency Video Coding,HEVC)中编码单元(Coding Unit,CU)大小不同的特性使得编码效率得到显著提升,但同时带来了极高的计算复杂度.为了去除CU划分中多余的计算从而降低编码复杂度,本文提出了一种利用深度学习的编码单元快速划分算法.首先使用原始视频亮度块及编码信息建立了一个HEVC中CU划分的数据库,用于接下来本文深度学习神经网络的训练.然后,为了更好地贴合编码单元划分的层级结构,本文提出了一种基于Inception模块的神经网络结构,使之内嵌于HEVC编码框架中对编码单元的划分进行提前预测,有效地去除了All Intra配置下中冗余的CU划分计算.实验结果表明,本文提出的算法与HEVC官方测试模型(HM16.12)相比,编码时间平均降低了61.31%,而BD-BR与BD-PSNR仅为1.86%和-0.13dB.展开更多
高效视频编码HEVC(High Efficiency Video Coding)采用计算复杂度较高的率失真优化方法对编码单元CU(Coding Unit)划分进行判决,具有较高的时间复杂度,编码所需时间较长。为降低HEVC编码复杂度,加快编码速度,提出一种基于深度预测的CU...高效视频编码HEVC(High Efficiency Video Coding)采用计算复杂度较高的率失真优化方法对编码单元CU(Coding Unit)划分进行判决,具有较高的时间复杂度,编码所需时间较长。为降低HEVC编码复杂度,加快编码速度,提出一种基于深度预测的CU快速划分算法。首先依据当前CU与周围相邻CU和参考帧中当前位置CU的深度相关性,预测当前CU的最优深度,然后使用相邻相关分割法或依据当前CU深度和预测深度的关系对当前CU进行递归划分。为减少预测带来的误判,在CU深度级别由2级到3级的划分中,使用率失真或百分比的方式进行二次判定。实验结果表明,该算法与原始的HEVC编码方法相比,在亮度峰值信噪比减小0.07 d B,编码比特率增加0.88%的情况下,整体编码单元划分时间缩短37.7%,具有较高的时间效率。展开更多
文摘针对通用视频编码(versatile video coding,VVC)在编码单元(coding unit,CU)划分中引入了多类型树划分结构导致编码复杂度增加的问题,提出了一种基于CU子块方向特性与空间复杂度的快速划分算法。首先利用CU整体的纹理复杂度对当前CU进行分类,筛选出不划分CU;然后利用子块不同划分方向的特性差异提前决策CU划分方向;最后利用CU中间区域与边缘区域的复杂度差异特征判断是否跳过三叉树(ternary tree,TT)划分,进一步减少候选列表划分模式数量。实验结果表明,与官方测试平台VTM10.0相比,编码器在平均输出比特率增加1.12%的代价下,编码时间减少了40.25%,说明该算法在通用视频编码中能以较小的质量损失实现更短的编码时间。
基金This paper is supported by the following funds:The National Key Research and Development Program of China(2018YFF01010100)Basic Research Program of Qinghai Province under Grants No.2021-ZJ-704,The Beijing Natural Science Foundation(4212001)Advanced information network Beijing laboratory(PXM2019_014204_500029).
文摘Versatile video coding(H.266/VVC),which was newly released by the Joint Video Exploration Team(JVET),introduces quad-tree plus multitype tree(QTMT)partition structure on the basis of quad-tree(QT)partition structure in High Efficiency Video Coding(H.265/HEVC).More complicated coding unit(CU)partitioning processes in H.266/VVC significantly improve video compression efficiency,but greatly increase the computational complexity compared.The ultra-high encoding complexity has obstructed its real-time applications.In order to solve this problem,a CU partition algorithm using convolutional neural network(CNN)is proposed in this paper to speed up the H.266/VVC CU partition process.Firstly,64×64 CU is divided into smooth texture CU,mildly complex texture CU and complex texture CU according to the CU texture characteristics.Second,CU texture complexity classification convolutional neural network(CUTCC-CNN)is proposed to classify CUs.Finally,according to the classification results,the encoder is guided to skip different RDO search process.And optimal CU partition results will be determined.Experimental results show that the proposed method reduces the average coding time by 32.2%with only 0.55%BD-BR loss compared with VTM 10.2.
文摘针对高效率视频编码(high efficiency video coding,HEVC)标准编码复杂度较高的问题,提出了一种快速编码单元(coding unit,CU)划分方法。首先,结合拉格朗日率失真优化理论及相关实验数据分析得到相邻CU深度对应的失真及码率分别满足线性关系,并利用此关系,建立了率失真代价的预测模型。利用此模型,可以在编码当前CU深度后快速预测得到下一CU深度的率失真代价,并最终通过代价比较,判断是否需要继续进行CU划分。实验结果表明,相比于HEVC测试模型HM12.0,针对低时延与随机接入编码结构,提出的方法的BD-rate分别增加了0.2%与0.6%,同时,编码时间分别减少了33.2%和38.9%。
文摘随着虚拟现实技术的发展,360度视频越来越受欢迎。这些视频在使用标准编码器进行编码之前,要先将其转换为2D图像平面格式。为了提高编码效率,专家们提出了新一代视频编码标准H.266/VVC(Versatile Video Coding),然而,VVC分区模式的多样性导致编码360度高分辨率视频耗时过长。针对上述问题,设计一种CU划分早期决策算法。通过对ERP(Equirectangular projection)视频的统计实验,发现这类视频采用水平分区的概率大于垂直分区。利用经验变差函数设计算法衡量纹理方向差异度,再根据编码单元水平与垂直2个方向的差异程度选择不同的分区。实验结果表明:在全帧内模式下,与VVC测试模型VTM4.0相比,该算法节省了35.42%的编码时间,BD-rate仅增加0.70%。
文摘多功能视频编码(versatile video coding,VVC)作为最新一代的视频编码标准,通过引入多种高效的编码工具进一步提升了视频编码性能。然而,VVC标准引入了四叉树加多类型树(quadtree plus multi-type tree,QTMT)划分结构,并将帧内预测模式从35种扩展到67种,导致编码复杂度急剧上升。为降低VVC的帧内编码复杂度,首先,提出了一种基于图神经网络的帧内编码单元(coding unit,CU)划分快速算法,该算法利用高效的图神经网络模型直接预测CU的最优划分模式,从而跳过冗余的CU划分遍历。其次,提出了一种基于空间相关性和纹理特征的帧内模式选择快速算法,该算法利用平均方向方差和Sobel梯度算子确定纹理方向,并跳过部分角度预测模式,同时结合预测模式间的相关性精简率失真模式列表。实验结果表明,该算法能够在BDBR(bjontegaard delta bit rate)上升2.29%的代价下,节省64.04%的编码时间。
文摘高效视频编码HEVC(High Efficiency Video Coding)采用计算复杂度较高的率失真优化方法对编码单元CU(Coding Unit)划分进行判决,具有较高的时间复杂度,编码所需时间较长。为降低HEVC编码复杂度,加快编码速度,提出一种基于深度预测的CU快速划分算法。首先依据当前CU与周围相邻CU和参考帧中当前位置CU的深度相关性,预测当前CU的最优深度,然后使用相邻相关分割法或依据当前CU深度和预测深度的关系对当前CU进行递归划分。为减少预测带来的误判,在CU深度级别由2级到3级的划分中,使用率失真或百分比的方式进行二次判定。实验结果表明,该算法与原始的HEVC编码方法相比,在亮度峰值信噪比减小0.07 d B,编码比特率增加0.88%的情况下,整体编码单元划分时间缩短37.7%,具有较高的时间效率。
