分级自适应的hevc帧内预测模式快速决策方法
【专利摘要】本发明适用于视频编解码【技术领域】，提供一种基于分组自适应的帧内预测模式快速决策方法及装置，其所述方法包括：采取分级计算、逐步精细的模式筛选方法，首先抽选12个候选模式进行预测方向初步判断，然后根据初步判断结果再精选预测模式；并根据RMD粗选模式的HCost代价，采用代价自适应的方法提前排除部分可能性较低的候选模式，以达到减少帧内预测模式数量，降低计算复杂度的目的；最后添加MPM模式到候选预测模式子集中，从而保障了编码效率和质量。本发明主要解决现有HEVC帧内预测编码计算复杂度高的问题。本发明提出的帧内预测模式决策方案实现简单，在BD-PSNR平均损失0.041dB的情况下，平均可降低36.521％的编码时间，显著提高了编码速度。
【专利说明】分级自适应的HEVC帧内预测模式快速决策方法
【技术领域】
[0001] 本发明属于视频编解码【技术领域】，具体涉及一种用于高效视频编码（High Efficiency video coding, HEVC)的分级自适应的巾贞内预测模式快速决策方法及装置。
【背景技术】
[0002] 为满足高清视频应用的新要求，2010年4月，JCT-VC开始制定新的下一代视频编 解码标准 HEVC (High Efficiency Video Coding)，也称其为 H. 265。
[0003] 相对于上一代标准H. 264/AVC，HEVC在预测编码方面有了长足的发展，提高了约1 倍的编码效率。HEVC主要面向下一代4K分辨率高清电视、3D视频、移动视频、流媒体视频 等最新应用。
[0004] 目前，JCT-VC组织的各次讨论的具体文献可以从http ://wftp3. itu. int获得，这 些技术方案有可能会逐步加入到HEVC标准中。
[0005] 在巾贞内预测（intra predication)方面，HEVC最高支持35种巾贞内预测模式，其中 预测方向增加到33种，提高了预测精度。此外，在DC均值模式的基础上增加了 Planar平 滑预测模式，提高了对渐变式平滑纹理区的预测精度。图1示出了 HEVC的35种帧内预测 模式。
[0006] 由于使用了多达35种帧内预测模式，如果直接针对35种帧内预测模式使用率失 真优化（RateDistortion optimization, RD0)技术来判断最优预测模式，则编码器的运算 量将太过庞大。因此，如何降低HEVC视频编码的计算复杂度，成为了 HEVC当前的研究热点。
[0007] 三星公司的jung-Hye Min等和诺基亚公司的jani Lainema等将提案JCTVC-A119 中角度巾贞内预测（Angular Intra Prediction, AIP)技术和提案JCTVC-A124中任意方向中贞 内预测（Arbitrary Directional Intra，ADI)技术结合，命名为联合方向预测（Unification of the Directional Intra prediction, UDI) 〇
[0008] 在提案JCTVC-C207中，三星公司的Yinji Piao等对UDI技术进行了优化，简化 了率失真模型，提出一种粗略模式决策（Rough Mode Decision，RMD)方法，获取精简的候 选模式子集。首先，计算HCost = HSATDMde+X · bitsm()de代价，即计算残差信号Hadamard 变换代价与模式比特数之和，进行粗略的模式选择代价计算。筛选出由代价最小的前N种 预测模式组成的粗选模式子集；然后对粗选模式子集内的这N种预测模式进行RD0计算， RDCostm()de =Σ Diff (i, j)2+X · bitsMde，RDCost代价最小的模式即为最优巾贞内预测模式。 该算法减少了候选预测模式的数量，降低了帧内预测模式选择的计算复杂度。
[0009] 在提案JCTVC-C218中，LG公司的jungsun Kim等人简化了 CU分成PU的冗余 过程，提出对预测单元（Prediction Unit，PU)不采用四叉树划分预测，并禁用旋转变换 (Rotation Transform，R0T)与联合巾贞内预测（Combined intra prediction，CIP)技术，减 少约35%的编码时间。
[0010] 在提案JCTVC-D283中，简化了 UDI算法，并加入了最有可能模式（most probable mode，MPM)技术。即在RMD粗选得到N个粗选模式子集之后，应用MPM算法提取最有可能 模式加入粗选模式子集。
[0011] 在HM7. 0之后，为了更加精准的预测，每个尺寸的PU都使用所有的35种帧内预 测模式进行RMD模式粗选择。筛选出代价最小的N个候选模式，并对这N个候选模式按照 HCost代价大小进行升序排序。其中，对于大小为4X4和8X8的预测块，N = 8,对于大小 为16X16和32X32的预测块，N = 3。
[0012] 虽然以上几种快速算法的编码性能损失极小，但编码时间节省的幅度并不大。尤 其对于4X4和8X8尺寸的PU块，RMD粗选得到的候选模式数量较多，还需深入研究。
[0013] 本申请主要参考以下技术文献来实现。
[0014] [1]J. H. Min, "Unification of the directional intra prediction methods in TMuC，"JCTVC-B100, July, 2010.
[0015] [2]K. McCann et. al.，"Samsung's response to the call for proposals on video compression technology,，'JCTVC_A124, April, 2010.
[0016] [3]K. Ugur, K. R. Andersson and A. Fuldseth, ^Description of video coding technology proposal by Tandberg, Nokia, Ericsson,，' JCTVC-A119, April, 2010.
[0017] [4]Y. Piao, J. H. Min, J. Chen, "Encoder improvement of unified intra Predictio n, JCTVC-C207, Oct. , 2010.
[0018] [5] L. Zhao, et. al. , "Further encoder improvement of intra mode decision, "JCTVC-D283, Jan.，201L
[0019] [6]J. Kim, Y. Jeon, B. Jeon, "Encoding complexity reduction for intra prediction by disabling NXN partition, JCTVC-C218, Oct. , 2010.
[0020] [7]B. BroSS, ff. J. Han, J. R. Ohm, G. J. Sullivan, T. ffiegand, <<WD4:fforking Draft 4 of High-Efficiency Video Coding, JCTVC-F803, July, 2011.
[0021] [8]K. McCann, 5. Sekiguei, B. Bross, ff. J. Han, <<HM4:HEVC Test Model4Encoder De scription, "JCTVC-F802, July, 2011.
[0022] [9]Υ· H. Tan, C. Yeo, H. L. Tan, Z. Li, "RQT d印th selection, "JCTVC-E104, Mar.，2 Oil.
[0023] [10]K. Panusopone, K. Chono, Y. H. Tan, M. Zhou, ^Evaluation of RQT in HM and related TUrepresentation, JCTVC-E365, Mar. , 2011.
[0024] [11]B. Bross, "Common test conditions and software reference configuration s, JCTVC-F900, July, 2011.
【发明内容】
：
[0025] 本发明提供了一种分级自适应的HEVC帧内预测模式快速决策方法及装置，该方 法是针对当前帧中的每个预测块（PU)执行帧内预测模式决策的过程，重点是针对模式粗 选择（RMD)的决策过程。
[0026] 本发明的目的在于：针对上述HEVC中帧内预测模式选择过程计算量大的不足，提 出一种用于HEVC的分级自适应帧内预测模式快速决策方法，以降低帧内预测模式判决的 计算复杂度。
[0027] 实现本发明目的技术思路是：在HEVC的基础上进一步提出分级粗略模式决策法 (Classification Rough Mode Decision, CRMD)，即首先查找最佳预测方向所在的大方向区 间，然后对大方向区间内的预测模式进行精细搜索，以求得更精确的预测模式；并采用代价 自适应的提前排除法（Early Rule Out, ER0)，依据HCost代价提前排除部分可能性较小的 候选模式，以提高HEVC帧内编码的速度；最后添加 MPM模式到粗选模式子集中，从而保障了 编码效率和质量。
[0028] 本发明针对HEVC编码方案中每个PU块执行帧内预测模式选择部分，因此保持 HEVC编码方案其他部分不变。
[0029] 第一方面，为达到上述目的，本发明采用的具体技术方案是：
[0030] 步骤1)采用如图2所示的12个一级候选模式进行RMD粗选计算，确定最优预测 方向所在的大方向区间。一级候选模式中的Planar模式主要考虑纹理平滑区域的决策，其 余11个方向预测模式采用角度均匀间隔的方式抽选。
[0031] 步骤2)经步骤1计算后，选出HCost代价最小的2个预测模式（最小代价模 式ModeJCostO,次小代价模式M 〇de_HC〇stl)，并检测这两个较佳预测模式中是否存在 Planar模式。如果存在Planar模式，则转入步骤3 ;否则转入步骤4。
[0032] 步骤3)增加3个二级候选进行RMD粗选计算，分别为DC模式、Mode_HCost0的左 右2个相邻预测模式，计算出准确的候选模式范围；并依据HCost代价对所有进行过RMD计 算的候选模式按升序进行排列：转入步骤5。
[0033] 步骤4)增加4个二级候选进行RMD粗选计算，分别为Mode_HCost0的左右2个相 邻预测模式和M 〇de_HC〇stl的左右2个相邻预测模式，计算出准确的预测方向区间；并依据 HCost代价对所有进行过RMD计算的候选模式按升序进行排列。
[0034] 步骤5)初次确定RMD预测模式筛选结果，筛选出HCost代价最小的前N种预测模 式作为粗选模式子集。针对16X16、32X32和64X64的PU尺寸，N = 3 ;针对4X4和8X8 的PU尺寸，N = 2+二级候选模式数目。
[0035] 步骤6)进行HCost代价自适应的提前排除（ER0)。考察粗选模式子集中各个预 测模式的HCost代价大小，若其代价HC 〇stm()de > a XHCosh，则将其排除出粗选模式子集。 根据编码经验α =1.2，此〇^(|指冊0模式粗选得到的最小代价。如果代价差异大，说明 当前PU块的纹理方向性明显，据此可以排除一部分可能性较小的候选模式。经过ER0提前 排除后，本发明方法中粗选模式子集中的候选模式数将动态地减少为1-7个。
[0036] 步骤7)检测最有可能模式ΜΡΜ是否包含在粗选模式子集中。若未包含，则将其加 入到粗选模式子集，最终确定粗选模式子集。
[0037] 步骤8)最后，对粗选模式子集中的预测模式计算率失真代价RDCost，代价最小的 模式即为最终的最优预测模式。
[0038] 第二方面，提供了一种用于HEVC高效视频编码的帧内预测模式决策装置，所述帧 内预测模式决策装置是针对当前帧中的每个预测块（PU)执行预测模式决策；其特征在于， 所述装置被配置为：
[0039] (1)采用如图2所示的12个一级候选模式进行RMD粗选计算，选出代价最小的2 个较佳预测模式（最小代价模式Mode_HCost0,次小代价模式Mode_HCostl)，确定最优预测 方向所在的大方向区间。
[0040] (2)当这两个较佳预测模式（最小代价模式Mode_HCost0和次小代价模式Mode_ HCostl)中存在Planar模式时，
[0041] 增加3个二级候选进行RMD粗选计算，即DC模式、Mode_HCostO的左右2个相邻 预测模式，计算出准确的候选模式范围。
[0042] 当这两个较佳预测模式（最小代价模式Mode_HCostO和次小代价模式Mode_ HCostl)中不存在Planar模式时，
[0043] 增加4个二级候选进行RMD粗选计算，即Mode_HCostO的左右2个相邻预测模式 和Mode_HCostl的左右2个相邻预测模式，计算出准确的预测方向区间。
[0044] (3)初次确定RMD预测模式筛选结果，得到包含N个候选模式的粗选模式子集。针 对 16X16、32X32 和 64X64 的 PU 尺寸，N = 3 ;针对 4X4 和 8X8 的 PU 尺寸，N = 2+二级 候选模式数目。
[0045] (4)进行HCost代价自适应的提前排除（ER0)。考察粗选模式子集中各个预测模 式的代价大小，若其代价HC 〇stm()de> a XHCosh，则将其排除出粗选模式子集。根据编码经 验a = 1. 2, HCosh指RMD模式粗选得到的最小代价。
[0046] (5)使用最有可能模式（MPM)技术，其中，将两个最有可能模式加入所述粗选模式 子集，最终确定粗选模式子集。
[0047] (6)对所述粗选模式子集中的各个模式，采用率失真优化（RD0)方法来获得所述 最优帧内预测模式。
[0048] 还公开了与上述方法相对应的装置以及用来执行上述方法的视频编码器。
[0049] 本发明与现有技术相比具有以下优点：
[0050] 第一，本发明在HEVC基础上提出对35个帧内预测模式采取分级计算、逐步精细的 粗略模式决策法（CRMD)，一级候选模式含有12个模式，二级候选模式含有3-4个模式，总共 需要进行HCost计算的模式有15?16个，还不及所有35个帧内预测模式数量的一半，节 约了 一半的RMD计算量。
[0051] 第二，本发明提出HCost代价自适应的提前排除法（ER0)，能提前排除部分可能性 较小的候选模式。经过ER0提前排除后，对16X16以上尺寸的PU块，本算法的候选模式将 动态地减少为1?3个；对8X8以下尺寸的PU块，候选模式将动态地减少为1?6个，减 少了复杂的RDCost计算次数，提高了运算速度。
[0052] 第三，本发明提出在分级模式粗选CRMD和自适应的模式提前排除ER0后，再加入 最有可能模式MPM，既能大幅减少候选模式数量，又能以较高概率将最优预测模式保留在粗 选模式子集中，从而保持图像编码性能基本不变。
[0053] 第四，本发明实现方法简单，本方案仅需要通过简单分组、排序和比较操作即可实 现帧内预测模式的选择过程。本发明的方法在BD-PSNR平均损失0.041dB的情况下，平均 可降低36. 521 %的编码时间，显著提高了编码速度。
【专利附图】
【附图说明】
[0054] 图1示出了 HEVC中使用的35种帧内预测模式。
[0055] 图2示出了本发明的12个一级候选模式。
[0056] 图3示出了各RMD粗选模式成为最优模式的概率分布图。
[0057] 图4示出了根据本发明的一个实施例的帧内预测模式决策流程图。
【具体实施方式】
[0058] 下面将结合附图及实施例，对本发明进一步详细阐述。应当理解，此处所描述的具 体实施例仅仅用以解释本发明，并不用于限定本发明。
[0059] 在HM7. 0(HEVC test model7. 0)之后，为了更加精准的预测，每个尺寸的预测块 (PU)都有35种预测模式。如图1所示，35种帧内预测模式包括33种方向预测模式，以及 DC (均值）模式和Planar (平滑）模式。
[0060] 在HM7. 0之后，HEVC帧内预测模式判决共有三个步骤。第一步模式粗选择（RMD)， 所有的35个候选模式进行HCost计算，从所中筛选出代价最小的前N种预测模式，即粗选 模式子集。N = 8,针对4X4和8X8的PU尺寸；N = 3,针对其它的PU尺寸。第二步MPM 技术，检测当前编码块的最有可能模式MPM是否包含在粗选子集中。若不在，则将其加入粗 选子集。第三步率失真判决（RD0)，将粗选模式子集中的每一个模式进行RDCost计算，代价 最小的模式即为最优预测模式。
[0061 ] 第一步RMD技术
[0062] 具体而言，在RMD中，使用以下公式来选出代价最小的N个候选模式，并对这N个 候选模式按照HCost代价大小进行升序排序。其中，对于大小为4X4和8X8的预测块，N =8 ;对于大小为16X16和32X32的预测块，N = 3。
[0063] HCost = HSATDmode+λ · bitsm〇 de, (1)
[0064] 其中，HCost为代价，mode为HEVC规定的最多具有35种的所有帧内预测模式， HSATD表示残差信号哈达玛变换系数绝对和，bits表示模式比特数的消耗值，λ表示拉格 朗日常量。
[0065] 第二步ΜΡΜ技术
[0066] 具体而言，在使用RMD技术获得了粗选模式子集之后，将当前预测块的左侧块和 上方块的最优模式直接作为两个最有可能模式（ΜΡΜ)，并判断ΜΡΜ模式是否包含在粗选模 式子集中；如果未包含，则将其加入粗选模式子集。
[0067] 第三步RD0技术
[0068] RD0技术是视频编码领域普遍采用的技术，其通常基于残差信号平方和（Sum of Square Err〇r，SSE)来确定最优预测模式。本文中为了不混淆关键概念，不对其进行展开描 述。
[0069] 我们的实验观察与数据分析：
[0070] 表1展示了 RMD粗选模式和MPM模式最终成为当前PU块最优预测模式的概率统 计。RMD粗选后代价最小的模式M〇de_HC 〇st0最终成为当前PU最优预测模式的平均概率达 到了 71. 9% ;而且，从Mode_HCost0至Mode_HCost7,随着候选模式在RMD粗选中排名的降 低，呈现出概率快速衰减的趋势，如图3所示。
[0071] 本文的数据是在HEVC的参考软件HM12. 0上（encoder_intra_main配置）进行50 帧全I帧编码统计的结果，实验对象为Class A?E共5个类别的15个标准测试序列。
[0072] 表1RMD粗选模式成为当前预测块（PU)最优预测模式的概率统计（QP = 32, 50帧 全I帧）
[0073]
【权利要求】
1. 一种分级自适应的HEVC帧内预测模式快速决策方法，其中，所述方法是针对当前帧 中的每个预测块（PU)执行预测模式决策的方法，其特征在于，包括以下步骤： 步骤1)采用角度均匀间隔的12个一级候选模式进行粗选计算（RMD)，确定最优预测方 向所在的大方向区间； 步骤2)依据RMD计算得到的HCost代价对候选模式按升序进行排列；检查HCost代价 最小的两个模式中是否存在Planar模式；如果存在Planar模式，则转入步骤3 ;否则转入 步骤4 ; 步骤3)如果HCost代价最小的两个模式中存在Planar模式，则增加3个二级候选模 式进行RMD粗选计算，分别为DC模式、较佳预测角度M〇de_HC〇st 0的左右2个相邻预测模 式；并依据HCost代价对所有进行过RMD计算的候选模式按升序进行排列；进入步骤5 ; 步骤4)如果HCost代价最小的两个模式中不存在Planar模式，则增加4个二级候选 模式进行RMD粗选计算，分别为Mode_HCost 0的左右2个相邻预测模式和Mode_HCost 1的 左右2个相邻预测模式；并依据HCost代价对所有进行过RMD计算的候选模式按升序进行 排列；进入步骤5 ; 步骤5)初次确定RMD预测模式筛选结果，筛选出HCost代价最小的前N种预测模式作 为粗选模式子集；具体而言，针对16 X 16、32 X 32和64X 64的PU尺寸，N = 3 ;针对4X 4和 8 X 8的PU尺寸，N = 2+二级候选模式数目； 步骤6)采用代价自适应的提前排除法，排除部分可能性较小的候选模式；具体而言， 比较粗选模式子集中各个预测模式的HCost代价大小，若其代价HC〇stm()de > 1. 2XHC〇stQ， 则将其排除出粗选模式子集；确定筛选后的RMD粗选模式子集； 步骤7)使用最有可能模式（MPM)方法，将当前预测块的左侧块和上方块的最佳模式作 为两个最有可能模式加入粗选模式子集； 步骤8)使用率失真（RD0)方法确定最优预测模式，具体而言，对所述粗选子集中的预 测模式计算率失真代价RDCost，代价最小的模式即为最终的最优预测模式。
2. 如权利要求1所述的方法，其特征在于，其中所述角度均匀间隔的12个一级候选模 式是指册％规定的模式0、3、6、9、12、15、18、21、24、27、30、33等帧内预测模式。
3. 如权利要求1所述的方法，其特征在于，其中所述二级候选模式是根据步骤1和步骤 2的计算结果，进行动态选择，主要包括DC模式、M 〇de_HC〇st 0的左右2个相邻预测模式以 及M〇de_HC〇st 1的左右2个相邻预测模式。
4. 如权利要求1所述的方法，其特征在于，其中所述提前排除法基于以下： HCostmode > 1. 2XHCost〇 其中，HCost。为RMD模式粗选得到的最小代价；由于进行RMD粗选时，将依据HCost代 价对候选模式按升序进行排列，故RMD模式粗选得到的最小代价用HCosh表示；与其相对 应的RMD粗选得到的最小代价模式用Mode_HCost 0表示。
5. 如权利要求1所述的方法，其中，所述RMD粗选计算的HCost代价基于以下： HCost = HSATD^de+λ · bits-e 其中，mode为HEVC规定的35种帧内预测模式之一，HSATD表示残差信号哈达玛变换系 数绝对和，bits表示模式比特数的消耗值，λ表示拉格朗日常量。
6. -种用于HEVC高效视频编码的帧内预测模式决策装置，所述帧内预测模式决策装 置是针对当前帧中的每个预测块（PU)执行预测模式决策；其特征在于，所述装置被配置 为： (1) 采用角度均匀间隔的12个一级候选模式进行粗选计算（RMD)，确定最优预测方向 所在的大方向区间； (2) 依据RMD计算得到的HCost代价对候选模式按升序进行排列；检查HCost代价最 小的两个模式中是否存在Planar模式；如果存在Planar模式，则转入步骤3 ;否则转入步 骤4; (3) 当这两个较佳预测模式中存在Planar模式时，增加3个二级候选进行RMD粗选计 算，即DC模式、较佳预测角度的左右2个预测模式，按HCost代价大小对候选模式进行排 序； (4) 当这两个较佳预测模式中不存在Planar模式时，增加4个二级候选进行RMD粗选 计算，即2个较佳预测角度的左右2个预测模式，，按HCost代价大小对候选模式进行排序； (5) 初次确定RMD预测模式筛选结果，得到粗选模式子集；针对16X16、32X32和 64 X 64的PU尺寸，N = 3 ;针对4 X 4和8 X 8的PU尺寸，N = 2+二级候选模式数目； (6) 考察粗选模式子集中各个预测模式的代价大小，若其代价HC〇stm()de> a XHCost。， 则将其排除出粗选模式子集；根据编码经验α = 1. 2 ; (7) 使用最有可能模式（MPM)方法，其中，将两个最有可能模式加入所述粗选模式子 集； (8) 对所述集合中的各个模式，采用率失真优化（RD0)方法来获得所述最优帧内预测 模式。
7. 如权利要求6所述的帧内预测模式决策器，其中，所述RMD粗选计算的HCost代价基 于以下： HCost = HSATDniode+X -bits-e 其中，mode为HEVC规定的35种帧内预测模式之一，HSATD表示残差信号哈达玛变换系 数绝对和，bits表示模式比特数的消耗值，λ表示拉格朗日常量。
8. -种用于执行权利要求1?7所述的方法的视频编码器；其特征是：基于分级自 适应的帧内预测模式快速决策方法具有良好的编码性能；相对于HEVC参考软件ΗΜ12. 0， 本发明方法码率平均增加0. 164%，亮度PSNR平均降低0. 032dB，编码时间平均能缩短 36.521% ;本发明方法显示出良好的适应性，为HEVC标准面向低复杂度的实际应用提供技 术基础。
【文档编号】H04N19/11GK104052994SQ201410159107
【公开日】2014年9月17日 申请日期:2014年4月14日 优先权日:2014年4月14日
【发明者】金智鹏, 罗铮 申请人:嘉兴职业技术学院