专利名称：基于时域相关性的高性能视频编码帧间模式判决方法
技术领域：
本发明涉及图像通信领域中的视频编码帧间模式技术问题，尤其是涉及一种高性能视频编码帧间模式判决方法。
背景技术：
目前的国际视频编码标准为高级视频编码(H. 264/AVC),该视频编码标准相比之前的视频编码标准，在视频编码性能方面有较大的提高。随着高清视频技术的广泛应用，
H.264/AVC的最大16X16尺寸块已经不太适合高清视频的编码了。为此，国际标准化组织-国际电工委员会/活动图像专家组(IS0-IEC/ MPEG)和国际电信联盟远程通信标准化组织/视频编码专家组(ITU-T/VCEG)两大国际标准化组织已经成立了视频编码联合开发小组(JCT- VC)，并正在制定新一代国际视频标准，即高性能视频编码(HEVC)标准。HEVC标准的目标是在保持H. 264/AVC标准视频质量的基础上，使比特率降低一半，即压缩率提高一倍。在国内外众多学者的努力下，HEVC视频编码标准的编码性能较H. 264/AVC有了较高的提升。H. 264/AVC 标准采用 16X 16、16X8、8X 16、8X8、8X4、4X8 和 4X4 等尺寸块进行帧间预测，而HEVC标准则采用8X8、16X16、32X32和64X64尺寸的编码单元(⑶)先进行分块，接着对每个CU采用最多8种不同的预测单元(PU)模式进行帧间预测，8种不同的 PU 模式分别为 PART_2N X 2N、PART_N X 2N、PART_2N X N、PART_N X N、PART_nL X 2N、PART_nRX2N、PART_2NXnD、和PART_2NXnU。对于每种尺寸下的⑶及其内部的I3U预测模式均进行率-失真代价的计算，最终选择一种最佳的CU分块模式及其内部的模式进行视频编码。对于64X64尺寸的⑶，只有3种PU模式可选择，对于32X32和16 X 16尺寸的⑶，有7种模式可选择，对于8 X 8尺寸的⑶，则有4种PU模式可选择。对于每种模式，编码器均需对其进行率-失真代价的计算，因此，HEVC标准带来了巨大的视频编码计算复杂度。针对H. 264/AVC，已经有许多学者提出了一些快速帧间判决方法，如发表于杂志“IET Electronics Letters，，的文章 “Fast mode decision algorithm for H. 264 usingstatistics of rate-distortion cost”在分析前一巾贞对应宏块率-失真代价的统计分布情况的基础上，提出了一种基于自适应阈值的H. 264/AVC快速巾贞间模式判决方法。发表于杂志“IEEE Transactions on Circuits and Systems for Video Technology，，的文章“Fast mode decision based on mode adaptation”提出了一种基于模式自适应快速巾贞间模式判决方法。该算法根据相邻块空、时域的视频编码特性，构建了一个基于优先级候选模式列表，根据该列表有效地选择最佳巾贞间预测模式。发表于杂志“IEEE transactionson image processing，，的文章“Direct inter-mode selection for H. 264 video codingusing phase correlation”通过利用当前块与参考块之间的相位相关性捕捉其运动向量，根据此运动向量信息从候选模式列表中选择一种最佳的帧间预测模式。为了降低HEVC的视频编码计算复杂度，学者们提出了一些方法，如HEVC提案“JCTVC-D087” 中的文章“Encoding complexity reduction by removal of NXNpartition type”在从 16X16、32X32 和 64X64 尺寸的 CU 中取消了 PART_NXN 的 PU 模式，只在8X8尺寸的⑶中保留，从而降低了视频编码计算复杂度。提案“JCTVC-F045”中的文章“Early termination of CU encoding to reduce HEVC complexity”提出当参数cbf=0时，即离散余弦变换(DCT)后的AC系数为全零时，跳过除了 PART_2NX2N之外的其它PU模式，从而降低了视频编码的计算复杂度。以上两种方法目前已经加入到HEVC最新的参考软件HM7. O中了。另外，在目前的HEVC标准中，对于当前的CU，首先检测的率-失真代价的模式为PART_2NX 2N、 PART_2NXN和PART_NX 2N，若模式PART_2NXN的率-失真代价值小于PART_NX 2N模式的率-失真代价值，则继续检测模式PART_2NXnU和PART_2NXnD的率-失真代价，而跳过模式PART_nLX 2N和PART_nRX 2N的率-失真代价的计算；相反，当模式PART_2NX N的率-失真代价值大于PART_NX 2N模式的率-失真代价，则继续检测模式PART_nLX2N 和 PART_nRX 2N 的率-失真代价，而跳过模式 PART_2NXnU 和 PART_2NXnD的率-失真代价的计算，该方法也较大地降低了 HEVC视频编码的计算复杂度。以上这些方法均在一定程度上降低了 HEVC视频编码的计算复杂度，但是，目前的HEVC视频编码的帧间预测模式在时域上还存在较大的冗余度。HEVC相比H. 264/AVC，在视频压缩比方面提高较大，但是在视频编码的计算复杂度方面却升高了很多，虽然许多学者提出了一些针对H. 264/AVC的快速视频编码方法，及针对HEVC的快速视频编码方法，但是H. 264/AVC的快速视频编码方法不适合HEVC，而目前的HEVC的快速视频编码方法对于将其应用于实时通信的目标还存在一些距离。
发明内容
针对现有技术的高性能视频编码帧间模式判决方法的现状与不足，本发明的旨在提供一种新的基于时域相关性的高性能视频编码帧间模式判决方法，以降低HEVC视频编码的计算复杂度，实现将其应用于实时通信的目标。本发明的基本思想是利用相邻帧之间的I3U模式选择的相似性，根据前一帧中大尺寸⑶所采取的I3U模式，有效地选择当前⑶的I3U模式，跳过一些不太可能的⑶分块尺寸及PU预测模式，减少所需遍历的PU模式，从而实现减少率-失真代价计算的数量，最终达到降低HEVC视频编码的计算复杂度的目的。本发明提供的基于时域相关性的高性能视频编码帧间模式判决方法，包括预测方式配置和预测模式选择，在预测方式配置中，CU分割深度不大于4，PU采用对称和非对称综合预测模式或只采用对称预测模式，在预测模式选择中，将当前深度CU总的率-失真代价之和与上一层⑶总的率-失真代价之和进行比较，若比上层更小，则进一步采取四叉树划分成4个更下一层深度的CU，否则终止四叉树划分，所述预测模式选择包括以下步骤(I)检测当前⑶分块前一帧对应位置⑶分块的尺寸，若当前⑶分块尺寸小于对应CU分块的尺寸，则进入下面步骤(2)，否则遍历当前CU分块的所有模式，并采取四叉树划分成4个更深一层⑶分块，对更深一层的每个⑶分块重复上述过程；(2)判断前一帧对应⑶分块的PU模式是否为PART_2NX 2N，若是，则当前⑶分块只检测PART_2NX2N的PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤
(3)；(3)判断前一帧对应CU分块的PU模式是否为PART_nLX2N或者PART_nRX2N，若是，则当前⑶分块只检测PART_NX 2N和PART_2NX 2N两种PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(4)；(4)判断前一帧对应CU分块的PU模式是否为PART_2NXnU或者PART_2NXnD，若是，则当前⑶分块只检测PART_2NXN和PART_2NX 2N两种PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(5)；(5)检测当前⑶分块检测所有模式的率-失真代价，并进入下面步骤(6)；(6)判断当前⑶分块的尺寸是否为前一帧对应⑶块尺寸的1/4，若是，则当前⑶分块不再进行四叉树划分；否则将当前CU分块进一步采取四叉树划分成4个更深一层CU
分块，对更深一层的每个⑶分块重复步骤(I)过程。在上述技术方案中，⑶分割深度优选为2 4，进一步优选为4。在PU可采用的对称和非对称综合预测模式和只采用对称预测模式中，优先采用对称和非对称综合预测模式。在上述技术方案中，所述率-失真代价可通过下述公式来确定J111Ode- (SADluma+wchroma X SADchroma) + λ mode X Bmode公式中Jnwde为率一失真代价，SADluma为原始图像亮度与预测图像亮度的均方差，SADchroma为原始图像色度与预测图像色度的均方差，Wchroma为色度失真的权值，λ mode代表拉格朗日乘子，Bfflode表示在该模式下编码比特数。根据本发明的上述方法可以编制执行上述基于时域相关性的高性能视频编码帧间模式判决方法的视频编码器。本发明是基于以下思路分析而完成的当对应块⑶的PU模式为PART_2NX 2N时，说明对应块的纹理应该是比较平滑的或者其所处的区域中所有的运动对象都有着相同的运动向量，根据相邻两帧之间高度的相似性，当前块区域也应该具有类似的属性，因此，对于当前CU分块来说，只需对模式PART_2N X 2N进行检测即可。当对应块⑶的PU模式为PART_2NX N或者PART_NX 2N时，在这种情况下，根据相邻两帧之间的相似性，此时当前块中的CU对应的对应块中并没有PU的分隔线，于是，此时并不能推测对应块区域为平滑的或者其中的运动对象均有着相同的运动向量。因此，对于当前CU分块来说，没有可以参考的模式，必须对所有的模式进行遍历。当对应块⑶的PU模式为PART_nLX 2N或者PART_nRX 2N，根据相邻两帧之间的时域相关性及时域上的运动方向性，一方面说明此时当前块中的运动对象有较大的概率分为左右两部分，另一方面，此时当前块中有部分CU的PU模式PART_NX2N的分隔线将与对应块⑶的PU模式PART_nLX2N或者PART_nRX 2N的分隔线对应，再者，根据当前块(与对应CU块相同位置和尺寸的当前帧中的当前块)中各层之间的模式的相关性及同CU层下相邻CU的PU模式相关性，当前块中各层CU的PU模式中，出现PART_NX 2N概率较高，因此，当前块应检测I3U模式PART_NX 2N。另外，为了各层⑶之间的连续性及保证视频编码性能，PU模式PART_2NX 2N也应考虑进去，因此，在该情况下，总共只遍历2种PU模式PART_NX 2N 和 PART_2NX 2N。同理，当对应块 CU 的 PU 模式为 PART_2NXnU 或者 PART_2NXnD，此时说明当前块中的运动对象有较大的概率分为左右两部分，因此，当前块应检测PU模式为 PART_2NXN 和 PART_2NX 2N。最后，当对应块⑶分块尺寸为2NX2N，而当前块中最小⑶尺寸为N/4XN/4时，根据相邻两帧之间时域的相关性，无论对应CU分块的PU模式为哪种，当前块中尺寸为N/4XN/4的CU的PU模式的分割线均不可能与对应CU的PU模式的分割线对应，即此时当前CU分块尺寸是不太可能出现N/4XN/4的，因此，对于该尺寸的CU，可不检测其率-失真代价以节省视频编码计算复杂度。相比HEVC视频编码标准，本发明的方法能在较大幅度降低视频编码计算复杂度的基础上，在视频编码压缩比和视频质量损失很小。视频压缩方法的根本依据是通过减少视频中各种相关性而达到用更 少的数据表示原来的整个视频的信息量，本发明的方法是在分析了视频中相邻两帧之间的时域上I3U模式之间的相关性，通过判断前一帧对应CU的PU模式，以及当前块中相邻CU分块之间的相关性，判决当前块的最佳模式，从而跳过了其他的PU模式，从相邻帧之间模式的相关性角度来看，本发明方法是去除了模式之间的冗余度，而合理的冗余度去除，不仅能去除该冗余部分所需进行的视频编码计算任务，同时也不会损失视频的信息量，因此也基本不会造成视频压缩比和视频质量的下降。本发明方法改进的是整个视频编码计算过程中计算复杂度最关键的地方。在整个视频编码过程中，运动估计(包括整数像素运动估计和分数像素运动估计)的计算复杂度所占的比例超过50% (根据不同的配置环节存在一定差异)，本发明方法最关键的是根据相邻两帧之间的时域相关性，跳过当前块中各层CU块中的不太可能出现的I3U模式的检测过程，即对该PU模式下各个分块进行率-失真代价的计算检测，从而挑选其中率-失真代价最小的一个PU模式，而在率-失真代价的计算中，运动估计是其中最耗时的编码计算过程，跳过几个PU模式即意味着跳过几个运动估计的计算量，因此，在计算复杂度方面，本发明方法着手的点为视频编码计算过程中最关键改进之处。本发明方法能在保持降低计算复杂度的基础上，不额外增加硬件实现成本。视频编码技术很多情况下最终均要嵌入硬件设备，包括FPGA和DSP等，因此，对于改进方法的代码运算代价和所需要的数据存储硬件代价要求均较高。本发明方法需要增加的代码很少，主要包括几个判断语句，在硬件所需的存储器方面，由于本发明方法中判断的对象为前一帧中对应位置CU分块的PU模式，而这些模式的信息原来就存储在数据流中，本发明方法并未带来额外的数据存储要求，因此，若将本发明方法应用于硬件设备，对硬件设备的制造不会增加额外的成本，同时还能节省功耗。
图I为基于时域特性的HEVC快速帧间模式判决方法与HM7. O视频编码标准的CU分块方法的比较示意图，其中(a)为HM7. O视频编码标准的CU分块方法，(b)为基于时域相关性的HEVC快速帧间模式判决方法中CU分块方法；图2为基于时域特性的HEVC快速帧间模式判决方法与HM7. O视频编码标准的I3U预测方法的比较示意图，其中(a)为HM7. O视频编码标准的PU预测方法，(b)为基于时域相关性的HEVC快速帧间模式判决方法中I3U预测方法；图3为基于时域相关性的HEVC快速帧间模式判决方法的流程图。
具体实施例方式下面结合实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。I.同时打开两个算法的程序并设置好相同的配置文件，参考软件选择HM7. O,量化步长(QP)值分别取27和32。本发明将与HEVC视频编码标准的参考软件算法HM7. O的方法进行比较。并对其三种视频编码性能比特率、峰值信噪比(PSNR)以及视频编码时间(其中PSNR体现视频的客观视频质量，视频编码时间体现编码的计算复杂度)，进行了比较分析，比较性能的差距用以下三个指标进行评价其中Bitratepro、PSNRpM和Timepro分别为本发明算法的比特率、PSNR以及视频编码时间，Bitrateref, PSNRref和Timeref分别为HM7. O标准算法的比特率、PSNR以及视频编码时间，ABitrate、APSNR和ATime分别为本发明算法与HM7. O标准算法之间比特率、PSNR以及视频编码时间的差。2.在HEVC视频编码技术中，PU预测模式可以采取对称和非对称的综合预测模式，也可以只采取对称预测模式，发明在以上两种情况下均有效，但是采取对称和非对称的综合预测模式能降低更多的视频编码计算复杂度，即能取得更好的算法效果，因此本发明采取综合预测模式。3.编码的对象为标准的HEVC测试视频，它们的名称、分辨率和帧率分别为Fourpeople (1280X720,60 巾贞 / 秒)、Johnny (1280X720,60 巾贞 / 秒)、KristenandSara(1280 X 720,60 帧 / 秒)、Cactus (1920 X 1080, 50 帧 / 秒)、Kimonol (1920 X 1080, 24 帧 /秒)和 ParkScene (1920X1080, 24 帧 / 秒)。4.输入2个相同的视频序列；5.分别对2个相同的视频序列进行视频编码； 6.利用HEVC视频编码器HM7. O对视频序列在HEVC方式下进行视频编码；7.本发明算法根据前一帧对应块的I3U模式对当前CU分块的PU模式进行选择；8.在预测模式选择中，将当前深度⑶总的率-失真代价之和与上一层⑶总的率-失真代价之和进行比较，若比上层更小，则进一步采取四叉树划分成4个更下一层深度的CU，否则终止四叉树划分，具体的预测模式选择如下(I)检测当前⑶分块前一帧对应位置⑶分块的尺寸，若当前⑶分块尺寸小于对应CU分块的尺寸，则进入下面步骤(2)，否则遍历当前CU分块的所有模式，并采取四叉树划分成4个更深一层⑶分块，对更深一层的每个⑶分块重复上述过程；(2)判断前一帧对应⑶分块的PU模式是否为PART_2NX 2N，若是，则当前⑶分块只检测PART_2NX2N的PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤
(3)；(3)判断前一帧对应⑶分块的PU模式是否为为PART_nLX2N或者PART_nRX2N，若是，则当前⑶分块只检测PART_NX 2N和PART_2NX 2N两种PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(4)；(4)判断前一帧对应CU分块的PU模式是否为PART_2NXnU或者PART_2NXnD，若是，则当前⑶分块只检测PART_2NXN和PART_2NX 2N两种PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(5)；(5)检测当前⑶分块检测所有模式的率-失真代价，并进入下面步骤(6)；(6)判断当前⑶分块的尺寸是否为前一帧对应⑶块尺寸的1/4，若是，则当前⑶分块不再进行四叉树分割划分；否则将当前CU分块四叉树划分成4个CU分块，对每个CU分块进行重复步骤(I)。9.在模式选择过程中，率失真代价的公式如下 Jmode- (SADluma+wchroma X SADchroma) + λ mode X Bmode公式中Jmtxte为率一失真代价，SADluma为原始图像亮度与预测图像亮度的均方差，SADchroma为原始图像色度与预测图像色度的均方差，Wchroma为色度失真的权值，λ mode代表拉格朗日乘子，Bfflode表示在该模式下编码比特数。亮度和色度的失真SADluma和SADdmma分别可由以下两式得出
权利要求
1.一种基于时域相关性的高性能视频编码帧间模式判决方法，包括预测方式配置和预测模式选择，在预测方式配置中，CU分割深度不大于4，PU采用对称和非对称综合预测模式或只采用对称预测模式，在预测模式选择中，将当前深度CU总的率-失真代价之和与上一层CU总的率-失真代价之和进行比较，若比上层更小，则进一步采取四叉树划分成4个更下一层深度的CU，否则终止四叉树划分，其特征在于所述预测模式选择包括以下步骤 (1)检测当前CU分块前一帧对应位置CU分块的尺寸，若当前CU分块尺寸小于对应CU分块的尺寸，则进入下面步骤(2)，否则遍历当前CU分块的所有PU模式，并采取四叉树划分成4个更深一层⑶分块，对更深一层的每个⑶分块重复上述过程； (2)判断前一帧对应⑶分块的PU模式是否为PART_2NX2N，若是，则当前⑶分块只检测PART_2NX2N的PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(3)； (3)判断前一帧对应⑶分块的I3U模式是否为PART_nLX2N或者PART_nRX 2N，若是，则当前⑶分块只检测PART_NX 2N和PART_2NX 2N两种PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(4)； (4)判断前一帧对应⑶分块的I3U模式是否为PART_2NXnU或者PART_2NXnD，若是，则当前⑶分块只检测PART_2NXN和PART_2NX 2N两种PU模式的率-失真代价，并进入下面步骤(6)，否则进入下面步骤(5)； (5)检测当前CU分块检测所有模式的率-失真代价，并进入下面步骤(6)； (6)判断当前CU分块的尺寸是否为前一帧对应CU块尺寸的1/4，若是，则当前CU分块不再进行四叉树划分；否则将当前CU分块进一步采取四叉树划分成4个更深一层CU分块，对更深一层的每个⑶分块重复步骤(I)过程。
2.如权利要求I所述的基于时域相关性的高性能视频编码帧间模式判决方法，其特征在于⑶分割深度为2 4。
3.如权利要求2所述的基于时域相关性的高性能视频编码帧间模式判决方法，其特征在于CU分割深度为4。
4.如权利要求I至3之一所述的基于时域相关性的高性能视频编码帧间模式判决方法，其特征在于PU采用对称和非对称综合预测模式。
5.如权利要求I至3之一所述的基于时域相关性的高性能视频编码帧间模式判决方法，其特征在于所述率-失真代价通过下述公式来确定 Jmode (SAD^uma't'W^roma X SADcJiroma) + m0(je X Bmode 公式中Jmtxte为率一失真代价，SADlumaS原始图像亮度与预测图像亮度的均方差，SADchroma为原始图像色度与预测图像色度的均方差，Wchroma为色度失真的权值，λ mode代表拉格朗日乘子，Bfflode表示在该模式下编码比特数。
6.如权利要求4所述的基于时域相关性的高性能视频编码帧间模式判决方法，其特征在于所述率-失真代价通过下述公式来确定 Jmode (SADium^Wchroma X SADcJiroma) + 人 mode X ^mode 公式中Jmtxte为率一失真代价，SADlumaS原始图像亮度与预测图像亮度的均方差，SADchroma为原始图像色度与预测图像色度的均方差，Wchroma为色度失真的权值，λ mode代表拉格朗日乘子，Bfflode表示在该模式下编码比特数。
7.一种用于执行权利要求Γ6所述基于时域相关性的高性能视频编码帧间模式判决方法的视频编码器。全文摘要
本发明公开了一种基于时域相关性的高性能视频编码帧间模式判决方法,包括预测方式配置和预测模式选择。预测模式选择利用了相邻两帧之间的时域相关性，根据此相关性，分析前一帧中对应块的大尺寸CU与当前块中小尺寸CU的PU模式的相似性，最终根据此相似性，针对各种尺寸的对应块CU，设计当前各种尺寸CU的PU模式选择方法。本发明的方法较之现有技术的HEVC视频编码标准，在比特率和视频质量几乎不变的前提下，较大幅度地降低了编码的计算复杂度。
文档编号H04N7/26GK102984521SQ20121053268
公开日2013年3月20日 申请日期2012年12月12日 优先权日2012年12月12日
发明者何小海, 钟国韵, 李元, 吴晓红, 王正勇, 陶青川 申请人:四川大学