视频图像编码处理、解码处理方法和装置及编解码系统的利记博彩app

专利名称：视频图像编码处理、解码处理方法和装置及编解码系统的利记博彩app
技术领域：
本发明涉及视频图像处理技术领域，特别是涉及一种视频图像编码处理、解码处 理方法和装置及编解码系统。
背景技术：
未来人们对高清视频图像的传送和存储的需求呈现爆炸式增长，然而因特网、通 信网、广播网等信息网络基础设施的发展却相对滞后，网络带宽仍然成为一个瓶颈。基于这 一事实，下一代视频编码标准将重点面向高清、超高清视频，大幅度提高视频图像编码压缩 效率，以缓解高清视频图像传输的带宽需求增长与信息网络基础设施的发展之间的矛盾。 如何提高视频图像编码压缩效率，是新一代视频编码标准急需解决的核心问题。基于块(Block)的混合视频编码框架是通用的视频压缩编码处理方案之一，主要 包括帧内编码(Intra coding)技术和帧间编码(Inter coding)技术。帧内编码技术利用 空域相关性，如使用帧内预测antra prediction)技术去除空域冗余信息，帧内编码由当 前帧自身信息即可完成，不需要参考其他帧的信息，即不需要参考帧。帧间编码技术利用时 域相关性，如利用运动补偿预测技术去除时域冗余信息，该技术需要根据参考帧的信息进 行预测编码。采用上述编码技术可达到较高的视频图像编码的压缩效率。为了获得较高的视频编码压缩效率，一种现有技术是利用已编码的相邻块之间的 相关性进行预测编码，将对图像分量的预测模式及其相应的预测残差信息写入码流，以便 解码端根据该预设模式及其相应的预测残差信息进行解码。另一种现有技术是利用相邻 像素之间的相关性进行帧内预测编码，如对尺寸为8X8(单位为像素)的块进行下采样分 解，得到4个尺寸为4X4的块，对其中一个尺寸为4X4的块进行帧内编码得到该块的重构 图像，以该块的重构图像为参考，对其他尺寸为4X4的块进行预测编码。发明人在实现本发明实施例过程中发现，现有技术并没有充分利用像素间的相关 性，视频编码压缩效率比较低。

发明内容
本发明提供一种视频图像编码处理、解码处理方法和装置及编解码系统，以提高 视频图像编码的压缩效率。本发明提供了一种视频图像编码处理方法，包括对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括第1块、 第2块和第3块；对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第 2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理。本发明还提供了一种视频图像解码处理方法，包括
获取视频图像帧的宏块的编码比特信息，所述宏块至少包括第1块，第2块和第 3块；对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图 像值；以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码 处理，得到第2块的解码图像值；以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码 处理，得到第3块的解码图像值；将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。本发明还提供了一种视频图像编码处理装置，包括下采样分解模块，用于对视频图像帧的宏块进行下采样分解得到多个块，所述多 个块至少包括第1块、第2块和第3块；帧内预测编码模块，用于对所述第1块进行帧内预测编码处理，得到所述第1块的 重构图像值；第一像素间预测编码模块，用于以所述第1块的重构图像值为参考，对所述第2块 进行预测编码处理，得到所述第2块的重构图像值；第二像素间预测编码模块，用于以所述第2块的重构图像值为参考，对所述第3块 进行预测编码处理。本发明还提供了一种视频图像解码处理装置，包括比特信息获取模块，用于获取视频图像帧的宏块的编码比特信息，所述宏块至少 包括第1块，第2块和第3块；帧内预测解码模块，用于对所述第1块的编码比特信息进行帧内预测解码处理， 得到所述第1块的解码图像值；第一像素间预测解码模块，用于以所述第1块的解码图像值为参考，对所述第2块 的编码比特信息进行预测解码处理，得到第2块的解码图像值；第二像素间预测解码模块，用于以所述第2块的解码图像值为参考，对所述第3块 的编码比特信息进行预测解码处理，得到第3块的解码图像值；解码图像生成模块，用于将所述宏块中各块的解码图像值进行上采样合成处理， 得到所述宏块的解码图像值。本发明还提供了一种视频图像编解码系统，包括视频图像编码处理装置，用于对视频图像帧的宏块进行下采样分解得到多个块， 所述多个块至少包括第1块、第2块和第3块；对所述第1块进行帧内预测编码处理，得到 所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码 处理，得到所述第2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进 行预测编码处理；视频图像解码处理装置，用于获取所述宏块的编码比特信息，所述宏块至少包括 所述第1块，所述第2块和所述第3块；对所述第1块的编码比特信息进行帧内预测解码处 理，得到所述第1块的解码图像值；以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理，得到第2块的解码图像值；以所述第2块的解码图像值为参 考，对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；将所述宏 块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。本发明实施例对宏块进行下采样分解得到多个块，对多个块进行预测编码或解码 过程中将帧内预测技术与像素间预测技术相结合，形成了至少二级的级联式预测参考关 系，因此可充分利用像素间的相关性，提高预测精度以及视频图像的编码压缩效率。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。图1为本发明第一实施例提供的视频图像编码处理方法流程图；图2为本发明第二实施例提供的视频图像解码处理方法流程图；图3a为本发明第三实施例提供的视频图像编码处理方法流程图；图北为本发明第三实施例提供的视频图像编码处理方法逻辑实现框图；图3c为本发明第三实施例提供的宏块下采样分解示意图；图3d为本发明第三实施例提供的像素间预测编码插值处理分解示意图；图4为本发明第四实施例提供的视频图像解码处理方法流程图；图fe为本发明第五实施例提供的视频图像编码处理方法流程图；图恥为本发明第五实施例提供的宏块分解示意图；图6为本发明第六实施例提供的视频图像解码处理方法流程图；图7a为本发明第七实施例提供的视频图像编码处理方法流程图；图7b为本发明第七实施例提供的宏块下采样分解示意图；图8为本发明第八实施例提供的视频图像解码处理方法流程图；图9为本发明第九实施例提供的视频图像编码处理装置结构示意图；图10为本发明第十实施例提供的视频图像解码处理装置结构示意图；图11为本发明第十一实施例提供的视频图像编解码系统结构示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。图1为本发明第一实施例提供的视频图像编码处理方法流程图。如图1所示，本 实施例视频图像编码处理方法包括步骤11、对视频图像帧的宏块进行下采样分解得到多个块，上述多个块至少包括 第1块、第2块和第3块。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3 块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块 中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或 垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块 的对角线方向上。可根据视频图像帧的实际编码需求确定下采样系数，根据下采样系数对宏块进行下采样分解得到多个块，假设下采样系数为^，则对宏块下采样分解后可得到M2个块。在MM2个块进行分组，例如可根据下采样过程中抽取的、组成各块像素之间的位置关系将M2个 块分为N组，每组由一个或多个块组成，N为大于或等于3的整数。第一组包括至少一个第1块，第二组包括至少一个第2块，第三组包括至少一个第3块......以此类推，直至完成M2个块的分组处理。可选的，在对M2个块进行分组过程中，可根据抽取像素的位置关系是 否相邻的原则进行分组，如将与同一像素相邻的像素组成的不同块划分为同一组等。步骤12、对第1块进行帧内预测编码处理，得到第1块的重构图像值。本步骤可利用帧内已编码的其他宏块的像素值对第1块进行帧内预测编码处理， 得到第1块的重构图像值。重构图像值由第1块的预测值及其编码处理后的预测残差组成。步骤13、以第1块的重构图像值为参考，对第2块进行预测编码处理，得到第2块 的重构图像值。可选的，在对第2块进行预测编码处理过程中，可包括对第1块的重构图像值进行 插值处理，插值后对应位置的像素值作为第2块的预测值，根据第2块的预测值及其预测残 差构造第2块的重构图像值。步骤14、以第2块的重构图像值为参考，对第3块进行预测编码处理。可选的，在对第2块进行预测编码处理过程中，可包括对第2块的重构图像值进行 插值处理，插值后对应位置的像素值作为第3块的预测值，根据第3块的预测值及其预测残 差构造第3块的重构图像值。本实施例中第1块、第2块和第3块由对宏块的所有像素以预设的抽取规则抽取 的像素分别组成，如在水平和垂直方向或其他方向上每隔1个或多个像素抽取的像素分别 组成，因此各块的像素在空间位置上相互交织。上述步骤13和步骤14中，由于编码的块 (第2/3块)与其参考的块(第1块)的像素在空间位置上是互相交织在一起的，因此他们 之间的预测可以充分利用像素之间的相关性，从而提高预测精度。可见，这是一种像素间预 测方法，不同于步骤12的帧内预测方法(其实际上是一种块间的预测方法)。采用像素间 预测编码方式对除了第1块之外的其他块进行预测编码，第2块是以第1块的重构图像值 为参考进行预测编码，第3块是以第2块的重构图像值为参考进行预测编码，可选的，宏块 下采样分解得到的多组块之间，也可建立相似的预测参考关系，这样，在对下采样分解得到 的多个块进行预测编码过程中，形成了至少二级的级联式预测参考关系。在上述技术方案的基础上，进一步的，可将对宏块中各块的预测残差进行编码处 理得到的各块的编码比特信息写入码流。需要说明的是，这里以对各个块的预测残差信息 写入码流的情况为例进行说明。实际上，也可以允许对各个块的预测残差信息不写入码流的情况，或者，第1块的预测残差信息写入码流而第2块和第3块的预测残差信息不写入码 流的情况，或者其他组合。本实施例以按照第1块、第2块、第3块的顺序进行编码为例。进一步的，基于相 同的原理，还可以按照第3块、第2块、第1块的顺序或者第1块、第3块、第2块的顺序进 行编码。编码过程不再赘述。本实施例视频图像编码处理方法对宏块进行下采样分解得到多个块，多个块之间 形成级联的参考关系，因此可充分利用像素间的相关性，提高预测精度，同时，本实施例作 为一种宏块层(MB level)的编码技术，可以在宏块层上更好的适应图像内不同区域的纹理 特性，从而提高编码压缩效率。本实施例中宏块的尺寸可以为16X16、32X32、64X64或U8X128，或其他尺寸 等。除非特别说明，后续实施例提到的宏块均指此含义。图2为本发明第二实施例提供的视频图像解码处理方法流程图。本实施例为与图 1所示的编码处理方法对应的解码端处理流程。如图2所示，本实施例视频图像解码处理方 法包括步骤21、获取视频图像帧的宏块的编码比特信息，该宏块至少包括第1块，第2 块和第3块。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述 第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3 块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块 中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或 垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块 的对角线方向上。宏块下采样分解方式如图1对应实施例步骤11所示，在此不再赘述。编码端在向 解码端发送的码流中携带有宏块的各块的编码比特信息，解码端对各块的比特信息进行解 码，可得各块的残差解码系数。步骤22、对第1块的编码比特信息进行帧内预测解码处理，得到第1块的解码图像值。可利用帧内已解码的其他宏块的像素值对组成第1块的编码比特信息进行帧内 预测解码处理，得到第1块的预测值及其残差，将第1块的预测值与及其残差相加，得到第 1块的解码图像值。这是传统的帧内预测解码方法。步骤23、以第1块的解码图像值为参考，对第2块的编码比特信息进行预测解码处 理，得到第2块的解码图像值。可选的，在对第2块的编码比特信息进行预测解码处理过程中，可包括对第1块的 重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据第2块的预 测值及其残差解码系数构造第2块的解码图像值。步骤M、以第2块的解码图像值为参考，对第3块的编码比特信息进行预测解码处 理，得到第3块的解码图像值。可选的，在对第3块的编码比特信息进行预测解码处理过程中，可包括对第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据第3块的预 测值及其残差解码系数构造第3块的解码图像值。上述步骤23和步骤M中，由于解码的块(第2/3块)与其参考的块(第1块)的 像素在空间位置上是互相交织在一起的，他们之间的预测，可以充分利用每一像素之间的 相关性，从而提高预测精度。可见，这是一种像素间预测方法，不同于步骤22的帧内预测方 法(其实际上是一种块间的预测方法)。采用像素间预测解码方式对除了第1块之外的其 他块进行预测解码，第2块是以第1块的解码图像值为参考进行预测解码，第3块是以第2 块的解码图像值为参考进行预测解码，可选的，宏块包括的多组块之间，也可建立相似的解 码预测关系，这样，在对下采样分解得到的多个块进行预测解码过程中，形成了至少二级的 级联式预测参考关系。步骤25、将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的 解码图像值。解码端进行的上采样合成处理过程是编码端进行下采样分解的逆过程，即本步骤 是本发明第一实施例编码过程中的步骤11的逆过程。需要说明的是，本实施例涉及的各个块的解码过程，均以各个块存在预测残差系 数的情况为例进行说明。实际上，还可以允许各个块不存在预测残差系数的情况，或者，第 1块存在预测残差系数而第2块和第3块不存在预测残差系数的情况，或者其他组合。本实施例以按照第1块、第2块、第3块的顺序进行解码为例。进一步的，基于相 同的原理，还可以按照第3块、第2块、第1块的顺序或者第1块、第3块、第2块的顺序进 行解码。本实施例视频图像解码处理方法对宏块进行下采样分解得到多个块进行预测解 码过程中，将帧内预测解码技术与像素间预测解码技术相结合，像素间预测解码过程中形 成了至少二级的级联式预测参考关系，因此可以实现充分利用像素相关性进行编码压缩后 的视频图像的解码。图3a为本发明第三实施例提供的视频图像编码处理方法流程图；图北为本发明 第三实施例提供的视频图像编码处理方法逻辑实现框图。本实施例基于块的混合视频编码框架中，对16X 16大小的宏块进行-下采样分解为例进行说明。如图3a所示，本实施例视频图像编码处理方法包括步骤31、输入待编码的视频图像帧。步骤32、以*为下采样系数，对视频图像帧中16X16大小的宏块进行下采样分解， 得到4个8X8大小的块。图3c为本发明第三实施例提供的宏块下采样分解示意图。如图3c所示，以*为下采样系数，对视频图像帧中16X16大小的宏块进行下采样分解即为在水平和垂直方向上 每隔1个像素抽取，抽取的像素组成新的块，共可形成4个8X8大小的块。图3c中以不同 的填充方式区分组成不同块的像素。为便于描述本实施例的技术方案，不妨将从左到右、从 上到下抽取像素的位置关系组成的块，分别标记为块0、1、2和3。根据宏块下采样分解过程中抽取像素的位置关系，将块分为多组，例如块3为一组，士夬1和2为一组，块0为一组。在对各块的下述编码处理过程中，块3的预测编码类型为帧内预测编码，其他块 (如块0、1和2)的预测编码类型为像素间预测编码。图中采用“I”和“P”分别表示相应块 的预测编码类型为帧内预测编码或像素间预测类型。因此本实施例中，块3即为本发明实 施例所述的“第1块”，块1和2即为本发明实施例所述的“第2块”，块0即为本发明实施例 所述的“第3块”。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像 素。所述第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。 所述第3块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方 向上。当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块 中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或 垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块 的对角线方向上。在下采样分解过程中可能会导致混叠(aliasing)效应。为了进一步提升编码性 能，可选的，本实施例可在下采样分解过程中进行对宏块的部分或全部像素进行抗混叠滤 波处理举例说明一可对宏块的全部像素进行抗混叠滤波处理，如采用低通滤波器进行 抗混叠滤波处理以滤除高频成分，从而降低下采样分解过程中的混叠效应对编码造成的影 响。举例说明二 可对块0、1和2进行下采样分解过程中不采用抗混叠滤波处理，而在 对块3进行下采样分解过程中进行抗混叠滤波处理，如采用低通滤波器作为下采样滤波器 进行抗混叠滤波处理以滤除块3中的高频成分。由于块3对其他块(块0、1和2、的编码 质量的影响较大，因此仅对块3进行抗混叠滤波处理，在实现降低下采样分解过程中的混 叠效应对编码造成的影响的技术效果的基础上，还有利于降低实现的复杂度。步骤33、对块3进行帧内预测编码处理，得到块3的重构图像值及其预测残差。本步骤可利用帧内已编码的其他宏块的像素值，对块3进行帧内预测编码得到预 测值，将该预测值与宏块原始像素进行比较得到块3的预测残差，根据块3的预测值及其编 码处理后的预测残差构造块3的重构图像值。步骤34、以块3的重构图像值为参考，分别对块1和块2进行预测编码处理，分别 得到块1和块2的重构图像值及其预测残差。步骤35、以块1和/或块2的重构图像值为参考，对块0进行预测编码处理，得到 块0的重构图像值及其预测残差。可选的，上述步骤34和步骤35对块0、1和2进行预测编码处理过程中，为了提高 预测编码的准确性，可对被参考的块的重构图像值进行插值处理，插值后对应位置的像素 值为预测值。可采用多抽头插值滤波器对被参考的重构图像值进行插值处理。图3d为本发明 第三实施例提供的像素间预测编码插值处理分解示意图。如图3d所示，可采用44^^4抽 头)插值滤波器，对被参考的重构图像值进行插值处理，其中对块1和块2的插值处理过程例如采用4-tap插值滤波器对块3的重构图像值进行水平方向或垂直方向I精度插值，以块3的重构图像值垂直方向的插值位置对应的像素值为块1像素的预测值，以块3的重构图像值水平方向的插值位置对应的像素值为块2 像素的预测值。对块0的插值处理过程例如求取组成块0的像素周围的多个像素的像素值的平 均值，为块0的像素的预测值。具体的，可对块0的像素周围的多个像素的像素值求取平均 值，图3d仅示意出了这4个像素分别来自块1和块2的情形。可以理解，如果块0是以块 1的重构图像值为参考，这4个像素可来自块1或者来自块1和3，如果块0是以块2的重 构图像值为参考；这4个像素可来自块2或者来自块2和3 ；对求取平均值的像素的个数也 不限于4个，例如，还可对块0的像素周围的8个像素的像素值求取平均值，这8个像素可 来自块1、2和3等。可选的，可根据上述步骤33-步骤35得到的各块的重构图像值，构造宏块的重构 图像值，并存储该宏块的重构图像值。步骤36、将对宏块中各块的预测残差进行编码处理得到的各块的编码比特信息写 入码流。需要说明的是，本实施例以对各个块的预测残差信息写入码流的情况为例进行说 明。实际上，也可以允许对各个块的预测残差信息不写入码流的情况，或者，第1块的预测 残差信息写入码流而第2块和第3块的预测残差信息不写入码流的情况，或者其他组合。在基于块的混合视频编码框架中，对任一块的预测编码处理包括预测、变换、量 化和熵编码等处理过程，以实现视频图像的编码压缩。图北为本发明第三实施例提供的视 频图像编码处理方法逻辑实现框图。下面结合图北，说明当本实施例在基于块的混合视频 编码框架的应用场景中，对宏块包括的各块的处理过程，具体可包括(1)对块3进行帧内预测得到预测值及其预测残差，对块3的预测残差依次进行变 换处理、量化处理和熵编码处理，根据块3的预测残差及其预测值构造块3的重构图像值。(2)以块3的重构图像值为参考，分别对块1和2进行预测得到预测值及其预测 残差，对块1和2的预测残差依次进行变换处理、量化处理和熵编码处理，分别根据块1和 2各自的预测残差及其预测值，构造块1和2的重构图像值。(3)以块1和/或2块的重构图像值为参考，对块0进行预测得到预测值及其预测 残差，对块0的预测残差依次进行变换处理、量化处理和熵编码处理，根据块0的预测值及 其预测残差构造块0的重构图像值。可选的，如果宏块还包括有其他块，分别对其他各块进行预测，并对其他各块的预 测残差依次进行变换处理、量化处理和熵编码处理。宏块包括的各块的预测残差经熵编码 处理后的结果写入码流，对各块的重构图像值进合成处理，可得到宏块的重构图像值。上述对块由于级联预测编码的引入，使得宏块内部可以有帧内预测和像素间预测 两种不同预测编码类型的块，因此可在对块进行量化处理过程中进行优化设计，具体说明 如下可在宏块内部建立块级别的量化映射机制，S卩根据宏块内部不同块的重要性不 同划分为多组，给各组块分配不同的量化参数(QuantizationParameter，简称QP)值。由于被参考的块的质量会影响以其为参考的块的质量，因此，为了获得较佳的率失真(Rate-Distortion，简称RD)性能，各块之间的QP值分配原则是根据参考关系确定QP值。在上述编码过程中，有如下参考关系块0参考块1和 块2，块1和块2参考块3。被作为参考的块的QP值被赋予更小的QP值。根据上述原则，如图3c所示的块之间的参考关系，可得块的QP值满足下式QP (块幻 < QP (块 1/ < QP (块 0)在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定各块的QP 值QP(块 1/2) =QP(块 0) = QP(Slice)QP (Ife 3) = QP (Slice)-6其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可 预先获取。在确定各块的QP值之后，根据各块的QP值对各块的预测残差进行相应的量化处 理。为了获得较佳的量化编码性能，可在量化处理过程中根据不同块的QP值不同的特点， 对不同的块进行相应的量化优化处理如下举例说明1 在率失真优化(Rate-Distortion Optimization，简称RD0)实现过程 中，需要考虑宏块内部不同块QP值不同的特点，对不同块计算率失真开销(rdcost)时，根 据QP值确定与其对应的lambda系数，不同QP值对应的lambda系数不同。举例说明2 在量化取整(rounding)过程中，考虑宏块内部各块的不同预测编码 类型，对不同块使用不同的死区(deadzone)，以匹配帧内预测和像素间预测两种不同预测 编码类型的块预测残差经变换处理后的系数具有不同的分布规律。在进行量化取整处理过 程中，各块使用的死区的选择原则是对帧内预测编码类型的块使用较小的死区，对像素间 预测编码类型的块使用较大的死区，即对块3使用较小的死区，对块2、1和0使用较大的死 区，例如对块3使用的死区为A，对块2、1或0使用的死区为B，则A小于B。在编码端输出的码流中可携带其他编码比特信息，如对视频编码标准中语法元素 “编码块模版”(Coded Block I^ttern，简称CBP)的熵编码信息。由于级联预测编码的引 入，使得宏块内部可以有帧内预测和像素间预测两种不同预测编码类型的块，不同预测编 码类型的块的预测残差经量化处理后的系数具有不同的分布规律，考虑到这一点，可对语 法元素CBP的熵编码方式进行相应的优化设计，具体的，CBP用于表示每个比特(Bit)对应 的块是否存在非零系数。如对于亮度(Luma)分量，CBP中有4个比特分别指示宏块中的4 个8X8大小的块是否存在非零系数。在进行熵编码处理过程中，根据各块的预测残差经量 化处理后的系数的分布规律对各块进行相应的熵编码处理，以获得较佳的性能，这些熵编 码处理的结果可写入码流。举例说明1 在自适应变长编码(Context-based Adaptive Variable LengthCoding，简称CAVLC)方式中，需要根据宏块内部不同块具有不同的预测编码类型， 重新设计结合帧内预测和像素间预测两种不同预测编码类型的块特性的CBP的码表。帧内 预测编码类型的块的CBP比特位出现“1”的概率较大，像素间预测编码类型的块的CBP比 特位出现“0”的概率较大，假设CBP中用于指示块中是否存在非零系数的4个比特位，依 次用于指示块3、块2、块1和块0中是否存在非零系数，则宏块的CBP中4个比特位的值依 次为“1000”时可看作大概率事件，对各块分配较短的码字；而宏块的CBP中4个比特位的值依次为“0111”时可看作小概率事件，对各块分配较长的码字。根据各块的CBP的码表对 应的码字，对相应的块的预测残差进行熵编码处理。举例说明2 在自适应二进制算术编码(Context-based Adaptive BinaryArithmetic Coding，简称CABAC)方式中，需要根据宏块内部不同块具有不同的预测 编码类型，重新设计概率模型初始化以及模型更新方法。具体的，宏块内部的帧内和像素间 两种不同预测编码类型的块，分别适用不同的初始化概率模型，且各块分别适用不同的更 新方法。例如巾贞内预测编码类型的块的CBP中上述比特位值为“1”表示大概率符号(More Probable Symbol，简称MPS)，像素间预测编码类型的块的CBP中上述比特位值为“ 1 ”表示 小概率符号(Less Probable Symbol，简称LPQ，在进行始化概率模型的选择和模型更新 时，可以不使用上下文信息，仅根据CBP的各个比特位的位置进行模型选择和更新。本实施例视频图像编码处理方法中，块0以块1和/或块2为参考进行预测编码， 而块1和块2均以块3为参考进行预测编码，相当于在各块之间形成了级联的预测参考关 系；又由于本实施例是在宏块层(MB level)进行编码处理，因而可称为“MB-level级联预 测编码”。与帧层(frame level)下采样分解编码方法(如htra帧分割为两场进行场编 码的方法)不同，本实施例作为一种宏块层的编码处理技术，可与其他现有宏块类型一起 参与RDO决策编码，从而实现在宏块层上更好的适应图像内不同区域的纹理特性。需要说明的是，虽然本实施例16X16大小的宏块的预测编码进行说明，但可以理 解，可根据视频图像编码的实际需要，对其他尺寸的块，如32 X 32、64 X 64或1 X 1 等大 小的宏块进行预测编码，预测编码过程中下采样系数可根据实际需要，得到的多个块的分 组可为四组或四组以上，从而形成三级联或三级联以上的预测参考关系，其实现机理与本 实施例相似，在此不再赘述。图4为本发明第四实施例提供的视频图像解码处理方法流程图。本实施例为与本 发明第三实施例提供的编码处理方法对应的解码端处理流程。如图4所示，本实施例视频 图像解码处理方法包括步骤41、获取视频图像帧的宏块包含的块0、1、2和3的编码比特信息的码流。步骤42、分别对块0、1、2和3的编码比特信息进行解码处理，得到各块的残差解码 系数。在基于块的混合视频编码框架中，对任一块的编码比特信息的解码处理包括熵 解码、反量化、反变换和预测等处理过程，以实现编码压缩后的视频图像的解码。可选的，当 本实施例在基于块的混合视频编码框架的应用场景中，步骤42可包括步骤421-步骤423。步骤421、对各块的编码比特信息进行熵解码处理。在熵解码处理过程中，可根据各块的残差解码系数不同的分布规律，对各块的编 码比特信息进行相应的熵解码处理，采用帧内预测编码模式进行预测编码的块出现非零系 数的概率，大于采用像素间预测编码模式进行预测编码的块出现非零系数的概率，如块3 出现非零系数的概率，大于块0、1和2出现非零系数的概率。步骤422、对各块经熵解码处理后的系数进行反量化处理。由于被参考的块的质量会影响以其为参考的块的质量，因此，为了获得较佳的RD 性能，各块之间的QP值分配原则是根据参考关系确定QP值。可预先确定后续解码过程存 在的参考关系，例如存在如下参考关系块0参考块1/2，块1/2参考子块3。则被作为参考的块的QP值被赋予更小的QP值。根据上述原则，可得块的QP值满足下式QP(块；3) < QPd/幻 < QP(块 0)在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定各块的QP 值QP(块 1/2) =QP(块 0) = QP(Slice)QP (块 3) = QP (Siice)-6其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可 预先获取。在确定各块的QP值之后，根据各块的QP值，对各块的编码比特信息经熵解码处理 后的系数进行相应的反量化处理。步骤423、对各块经反量化处理后的系数进行反变换处理，得到残差。步骤43、对块3进行帧内预测解码处理，将预测值与块3的残差相加，得到块3的 解码图像值。步骤44、以块3的解码图像值为参考，分别对块1和块2进行预测解码处理，将块 1和块2的预测值与其各自的残差相加，分别得到块1和块2的解码图像值。步骤45、以块1和/或块2的解码图像值为参考，对块0进行预测解码处理，将块 0的预测值与其残差相加，得到块0的解码图像值。上述步骤43-步骤45相当于在各块预测解码过程中建立级联预测参考关系，其实 现方式与编码端在各块预测编码过程中建立级联预测参考关系的方法相似，具体详见步骤 32-步骤34的记载，步骤33和步骤34中关于对块0、1和2进行插值处理的方法，也适用于 解码端步骤44和步骤45中，以提高预测的准确性，具体实现方式在此不再赘述。步骤46、将各块的解码图像值进行上采样合成处理，得到宏块的解码图像值。需要说明的是，本实施例涉及的各个块的解码过程，均以各个块存在预测残差系 数的情况为例进行说明。实际上，还可以允许各个块不存在预测残差系数的情况，或者，第 1块存在预测残差系数而第2块和第3块不存在预测残差系数的情况，或者其他组合。本实施例视频图像解码处理方法中，块1和块2均以块3为参考进行预测解码，而 块O以块1和/或块2为参考进行预测解码，相当于在各块之间形成了级联的预测参考关 系，因此可以实现充分利用像素相关性进行编码压缩后的视频图像的解码。图fe为本发明第五实施例提供的视频图像编码处理方法流程图。本实施例与本 发明第三实施例的区别在于，本实施例将块3进一步划分为多个子块，本实施例可应用于 纹理细节较为丰富的视频图像的编码处理。如图fe所示，本实施例视频图像编码处理方法 包括步骤51、输入待编码的视频图像帧。步骤52、对视频图像帧中16X 16大小的宏块进行下采样分解，得到4个8X8大 小的块，分别标记为块0、1、2和3，将块3划分为4个4X4大小的子块，分别标记为子块 30、31、32 和 33。本步骤将16X 16大小的宏块进行下采样分解为4个8X8大小的块的实现方法， 与步骤32相似，在此不再赘述。
图恥为本发明第五实施例提供的宏块分解示意图。如图恥所示，本实施例将块 3划分为4个4X4大小的子块，即子块30、31、32和33。本实施例对块3的分解过程不涉 及下采样。图中在各子块中用“I”表示其的预测编码类型均为帧内预测编码。步骤53、对子块30、31、32和33分别进行帧内预测编码处理，得到各子块的重构图 像值，对各子块的重构图像值进行合成处理，得到块3的重构图像值。本步骤可利用帧内已编码的其他宏块的像素值，对组成子块30进行帧内预测得 到预测值，将该预测值与宏块原始像素进行比较得到子块30的预测残差，根据子块30的预 测值及其编码处理后的预测残差构造子块30的重构图像值。采用类似的方法，分别得到子 块31、32和33的预测值及其相应的预测残差，并分别构造得到子块31、32和33的重构图 像值。对子块30、31、32和33的重构图像值进行合成处理，得到块3的重构图像值。步骤54-步骤55、与步骤34-步骤35相同，在此不再赘述。步骤56、将对宏块中各子块和各块的预测残差进行编码处理得到的各子块及各块 的编码比特信息写入码流。本步骤对子块30、31、32和33的预测残差的编码处理，与步骤36中对预测编码类 型为帧内预测编码的块(如块幻的预测残差的编码处理的方法相同，对块0、1和2的预测 残差与对预测编码类型为像素间预测编码的块(如块0、1和幻的预测残差的编码处理的 方法相同，在此不再赘述。本实施例视频图像编码处理方法在实现本发明第三实施例技术效果的基础上，通 过对块3细划分为多个子块(即子块30、31、32和33)，对各子块进行帧内预测编码，将各子 块重构图像值合成得到的块3的重构图像值作为块1和2的参考。本实施例与本发明第三 实施例的区别在于，利用4个4X4的帧内预测编码替换了本发明第三实施例中的1个8X8 帧内预测编码。4X4的帧内预测编码，更适合纹理细节较为丰富的视频图像的编码处理。图6为本发明第六实施例提供的视频图像解码处理方法流程图。本实施例为与本 发明第五实施例提供的编码处理方法对应的解码端处理流程。如图6所示，本实施例视频 图像解码处理方法包括步骤61、获取的视频图像帧的宏块包含的子块30、31、32和33以及块0、1和2的编码比特信息的码流。步骤62、分别对子块30、31、32和33以及块0、1和2的编码比特信息进行解码处 理，得到各块的残差。本步骤对子块30、31、32和33的编码比特信息的解码处理，与步骤42中对预测编 码类型为帧内预测编码的块(如块幻的编码比特信息的解码处理的方法相同，对块0、1和 2的编码比特信息与对预测编码类型为像素间预测编码的块(如块0、1和2)的比特信息的 解码处理的方法相同，在此不再赘述。步骤63、对子块30、31、32和33进行帧内预测解码处理，并将预测值与各子块相应 的残差相加，得到各子块的解码图像值，对各子块的解码图像值进行合成处理，得到块3的 解码图像值。本步骤可利用帧内已解码的其他宏块的像素值，对组成子块30进行帧内预测得 到预测值，根据子块30的预测值及其残差构造子块30的解码图像值。采用相似的方法，分 别得到子块31、32和33的的解码图像值。对子块30、31、32和33的解码图像值进行合成处理，得到块3的解码图像值。步骤64-步骤66、与步骤44-步骤46相同，在此不再赘述。本实施例视频图像解码处理方法，在实现本发明第四实施例提供的视频图像解码 方法达到技术效果的基础上，通过将采用帧内预测编码的块划分的多个子块，在纹理细节 较为丰富的视频图像的编码处理的应用场景中，可以实现充分利用像素相关性进行编码压 缩后的视频图像的解码。图7a为本发明第七实施例提供的视频图像编码处理方法流程图。本实施例与本 发明第三实施例的区别在于，本实施例在块3再次进行了下采样分解得到多个子块，本实 施例与本发明第五实施例的区别在于，本实施例对块3再次进行了下采样分解得到多个子 块，而第五实施例中的分解过程不涉及下采样。本实施例可应用于纹理细节较不丰富的视 频图像的编码处理。如图7a所示，本实施例视频图像编码处理方法包括步骤71、输入待编码的视频图像帧。步骤72、以*为下采样系数，对视频图像帧中16X16大小的宏块进行下采样分解，得到4个8X8大小的块，分别标记为±夬0、1、2和3 ；以*为下采样系数，对8X8大小的块3进行下采样分解，得到4个4X4大小的子块，分别标记为子块30、31、32和33。可根据视频图像帧的实际编码需求对预测编码类型为帧内预测编码的块再次进 行下采样分解，得到多个子块，对多个子块中预测编码类型为帧内预测编码的子块再次进行下采样分解......以此类推，进行多级下采样分解并对分解得到的块或子块进行编码处理，该思想可称为分等级(Hierarchical)编码方法。假设下采样系数为|，可对宏块下采样分解后得到的预测编码类型为帧内预测编m码的块再次进行下采样分解，可得到m2个子块。在m2个块进行分组，例如可根据下采样过 程中抽取的、组成各子块像素之间的位置关系将m2个子块分为η组，每组由一个或多个子 块组成，每组由一个或多个块组成，η为大于或等于3的整数。第一组包括至少一个第1子块，第二组包括至少一个第2子块，第三组包括至少一个第3子块......以此类推，直至完成m2个子块的分组处理。可选的，在对m2个子块进行分组过程中，可根据抽取像素的位置 关系是否相邻的原则进行分组，如将与同一像素相邻的像素组成的不同子块划分为同一组寸。下面结合实例进行说明。图7b为本发明第七实施例提供的宏块下采样分解示意 图。如图7b所示，本实施例相当于在图3c所示的基础上，将块3划分为4个4X4大小的 子块，即子块30、31、32和33。将8X8大小的块3进行下采样分解得到4个4X4大小的子 块的实现方法，与将16X 16大小的宏块进行下采样分解为4个8X8大小的块的实现方法 相同，具体详见步骤32的记载，在此不再赘述。在子块30、31、32和33中，可根据宏块下采样分解过程中抽取像素的位置关系将 子块分为多组，例如子块33为一组，子块31和32为一组，子块30为一组。在对各子块或块的下述编码处理过程中，子块33对预测编码类型为帧内预测编 码，对子块30、31和32以及块0、1和2的预测编码类型为像素间预测编码。图中采用“I” 和“P”分别表示相应块的预测编码类型为帧内预测编码或像素间预测编码类型。因此本实施例中，子块33即为本发明实施例所述的“第1子块”，子块31和32即为本发明实施例 所述的“第2子块”，子块30即为本发明实施例所述的“第3子块”。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述 第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3 块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块 中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或 垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块 的对角线方向上。步骤73、对子块33进行帧内预测编码处理，得到子块33的重构图像值。本步骤对子块33的帧内预测编码处理方法，与步骤33中对块3进行帧内预测编 码处理的方法相似，在此不再赘述。步骤74、以子块33的重构图像值为参考，分别对子块31和32进行预测编码处理， 分别得到子块31和32的重构图像值。本步骤对子块31和32的像素间预测编码及预测参考关系的确定，与步骤34中对 块1和2的预测编码处理的方法相似，在此不再赘述。可选的，在对子块31或32进行预测 编码处理过程中，可包括对子块33的重构图像值进行插值处理，插值后对应位置的像素值 作为子块31或32的预测值，根据子块31或32的预测值及其预测残差构造子块31或32 的重构图像值，其具体实现方式，与步骤34对块1和2的插值处理的方法相似，在此不再赘 述。步骤75、以子块31和/或子块32的重构图像值为参考，对子块30进行预测编码 处理，得到子块30的重构图像值。本步骤对子块30的像素间预测编码及预测参考关系的确定，与步骤35中对块0 的预测编码处理的方法相似，在此不再赘述。可选的，在对子块30进行预测编码处理过程 中，可包括对子块31和/或32的重构图像值进行插值处理，插值后对应位置的像素值作为 子块30的预测值，根据子块30的预测值及其预测残差构造子块30的重构图像值，其具体 实现方式，与步骤35对块0的插值处理的方法相似，在此不再赘述。步骤76、对子块30、31、32和33的重构图像值进行合成处理，得到块3的重构图像 值。步骤77-步骤78、与步骤34-步骤35相同，在此不再赘述。步骤79、将对子块30、31、32和33、以及块0、1和2的预测残差进行编码处理得到 的各块的编码比特信息写入码流。当本实施例应用在基于块的混合视频编码框架的场景中，对每个子块或每个块的 预测编码处理都包括依次进行预测、变换、量化和熵编码等处理，根据上述步骤71-79可 知，各子块及各块之间的形成级联式预测参考关系。由于级联预测编码的引入，使得宏块 内部可以有帧内预测和像素间预测两种不同预测编码类型的块、块内部可以有帧内预测和 像素间预测两种不同预测编码类型的子块，因此可在对块进行量化处理过程中进行优化设 计，如为各子块或块分配QP值的基本原则为根据参考关系确定QP值。在上述编码过程中， 有如下参考关系块0参考块1/2，块1/2参考块3，在块3中，子块30参考子块31/32，子块31/32参考子块33。与步骤362相似，即被作为参考的块的QP值被赋予更小的QP值。根据上述原则，如图7b所示的子块以及块之间的参考关系，可得子块以及块的QP 值满足下式QP (子块 33) SQP (子块 31/32) SQP (子块 30) SQP (块 1/2) SQP (块 0)在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定子块以及 块的QP值QP(块 1/2) =QP(块 0) = QP(Slice)QP(子块 31/32) =QP(子块 30) =QP(Slice)_6QP(子块 33) = QP(Slice)-IO其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可 预先获取。在确定子块30、31、32和33以及块0、1和2的QP值之后，根据子块或块的QP值 对各自预测残差进行相应的量化处理。对不同子块或块进行相应的量化优化处理的方法， 与本发明第三实施例的记载相似，在此不再赘述。由于级联预测编码的引入，使得宏块内部可以有帧内预测和像素间预测两种不同 预测编码类型的块、块内部可以有帧内预测和像素间预测两种不同预测编码类型的子块， 因此，可对宏块各块进行的熵编码进行优化设计，其中，对语法元素CBP的熵编码方式进行 相应的优化设计，可参见本发明第三实施例的记载，在此不再赘述。视频编码标准中语法元素“cbp_bl0ck_flag”表示1个8x8块中的4个4x4子块 是否含有非零系数。由于级联预测编码的引入，使得1个8X8大小的块内部可以有帧内和 像素间两种不同预测编码类型的子块，不同预测编码类型的子块的预测残差经量化处理后 的系数具有不同的分布规律，考虑到这一点，需要对语法元素“cbp_bl0Ck_flag”的熵编码 方式进行相应的设计，其设计方法与步骤363中对语法元素CBP的熵编码方式优化设计方 法相似，在此不再赘述。本实施例视频图像编码处理方法在实现本发明第三实施例技术效果的基础上，通 过对块3再次下采样分解得到多个子块(即子块30、31、32和33)，对子块层以及块层等不 同层分别建立各自相应的级联预测参考关系，相当于形成二个等级的级联式编码处理。在 纹理细节较不丰富的视频图像的编码处理的应用场景中，本实施例能更充分的利用像素之 间的相关性，从而提高预测精度及视频图像的编码压缩效率。需要说明的是，虽然本实施例16X16大小的宏块进行二个等级的下采样分解为 例进行说明，但可以理解，可根据视频图像编码的实际需要，如在纹理细节较不丰富的视频 图像的编码处理的应用场景中，可在此基础上进行三个或三个以上等级的下采样分解，如 在4X4大小的子块33进行下采样分解，从而形成三个等级的级联式编码处理，其实现机理 与本实施例相似，在此不再赘述。图8为本发明第八实施例提供的视频图像解码处理方法流程图。本实施例为与本 发明第七实施例提供的编码处理方法对应的解码端处理流程。如图8所示，本实施例视频 图像解码处理方法包括步骤81、获取视频图像帧的宏块包含的子块30、31、32和33以及块0、1和2的编 码比特信息的码流。
步骤82、分别对子块30、31、32和33以及块0、1和2的编码比特信息进行解码处 理，得到各子块或块的残差解码系数。对任一子块或块的编码比特信息的解码处理可包括熵解码、反量化和反变换等 处理，相当于步骤79的反处理过程。可选的，步骤82可包括步骤821-步骤823。步骤821、对子块30、31、32和33以及块0、1和2的编码比特信息进行熵解码处理。在熵解码处理过程中，可根据各块的残差解码系数不同的分布规律，对各块的编 码比特信息进行相应的熵解码处理，采用帧内预测编码模式进行预测编码的块出现非零系 数的概率，大于采用像素间预测编码模式进行预测编码的块出现非零系数的概率，如子块 33残差解码系数出现非零系数的概率，大于其他子块30、31和32或块0、1和2的残差解码 系数出现非零系数的概率。其熵解码实现机理与步骤421-步骤423相似，在此不再赘述。步骤822、对子块30、31、32和33以及块0、1和2的编码比特信息经熵解码处理后 的系数，进行反量化处理。由于被参考的块的质量会影响以其为参考的块的质量，因此，为了获得较佳的RD 性能，各子块和各块的QP值分配原则是根据参考关系确定QP值。可预先确定后续解码过 程存在的参考关系，例如存在如下参考关系块0参考块1/2，块1/2参考块3，在块3中，子 块0参考子块31/32，子块31/32参考子块33。则被作为参考的块的QP值被赋予更小的QP值。根据上述原则，可得块的QP值满足下式QP (子块 33) ^ QP (子块 31/32) ^ QP (子块 30) < QP (块 1/2) < QP (块 0)在实际应用中，各块的QP值可根据实验确定，例如可采样以下关系确定各块的QP 值QP(块 1/2) =QP(块 0) = QP(Slice)QP(子块 31/32) =QP(子块 30) =QP(Slice)_6QP(子块 33) = QP(Slice)-IO其中，QP(Slice)表示视频图像条带(Slice)对应的QP值，Slice对应的QP值可 预先获取。在确定各块的QP值之后，根据各块的QP值，对各块的编码比特信息经熵解码处理 后的系数进行相应的反量化处理。步骤823、对子块30、31、32和33以及块0、1和2经反量化处理后的系数，进行反变换处理，得到残差。步骤83、对子块33进行帧内预测解码处理，并将预测值与子块33残差相加，得到 子块33的解码图像值。步骤84、以子块33的解码图像值为参考，对子块31和32分别进行预测解码处理， 得到子块31和32的预测值，将子块31和32的预测值与其各自对应的残差相加，得到子块 31和32的解码图像值。步骤85、以子块31和/或32的解码图像值为参考，对子块30进行预测解码处理， 得到子块30的预测值，将子块30的预测值与其残差相加，得到子块30的解码图像值。步骤86、将各子块30、31、32和33的解码图像值进行上采样合成处理，得到块3的解码图像值。步骤87-步骤89、与步骤44-步骤46相同，在此不再赘述。本实施例视频图像编码处理方法在实现本发明第四实施例技术效果的基础上，编 码端对块3再次下采样分解得到多个子块(即子块30、31、32和33)，解码端对子块层以及 块层等不同层分别建立各自相应的级联预测参考关系，相当于形成二个等级的级联式解码 处理。在纹理细节较不丰富的视频图像处理的应用场景中，本实施例可以实现充分利用像 素相关性进行编码压缩后的视频图像的解码。如果编码端对宏块进行三个或三个以上等级 的下采样分解，则解码端进行等三个或三个以上级的级联式解码处理的实现方式，与本实 施例相似，在此不再赘述。图9为本发明第九实施例提供的视频图像编码处理装置结构示意图。如图9所 示，本实施例视频图像编码处理装置包括下采样分解模块91、帧内预测编码模块92、第一 像素间预测编码模块93和第二像素间预测编码模块94。下采样分解模块91用于对视频图像帧的宏块进行下采样分解得到多个块，上述 多个块至少包括第1块、第2块和第3块。所述第1块中的像素至少包含该宏块中最右下 角的像素。所述第2块中的最右下角的像素与所述第1块中的最右下角的像素在水平或垂 直方向上。所述第3块中的最右下角的像素与所述第1块中的最右下角的像素在对角线方 向上。帧内预测编码模块92用于对第1块进行帧内预测编码处理，得到第1块的重构图像值。第一像素间预测编码模块93用于以第1块的重构图像值为参考，对第2块进行预 测编码处理，得到第2块的重构图像值。第二像素间预测编码模块94用于以第2块的重构图像值为参考，对第3块进行预 测编码处理。在上述技术方案的基础上，为了提高预测准确性，可选的第一像素间预测编码模块93还可用于对第1块的重构图像值进行插值处理，如 对第1块的重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据 第2块的预测值及其预测残差构造第2块的重构图像值。第二像素间预测编码模块94还可用于对第2块的重构图像值进行插值处理，如对 第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据第 3块的预测值及其预测残差构造第3块的重构图像值。本实施例视频图像编码处理装置对宏块进行下采样分解得到多个块，对多个块进 行预测编码过程中将帧内预测编码技术与像素间预测编码技术相结合，像素间预测编码过 程中形成了至少二级的级联式预测参考关系，因此可充分利用像素间的相关性，提高预测 精度以及视频图像的编码压缩效率。关于本实施例视频图像编码处理装置的实现机理，可 参见上述有关视频图像编码处理方法实施例的记载，在此不再赘述。图10为本发明第十实施例提供的视频图像解码处理装置结构示意图。如图10所 示，本实施例视频图像解码处理装置包括比特信息获取模块101、帧内预测解码模块102、 第一像素间预测解码模块103、第二像素间预测解码模块104和解码图像生成模块105。比特信息获取模块101用于获取视频图像帧的宏块的编码比特信息，上述宏块至少包括第1块，第2块和第3块。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述 第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3 块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块 中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或 垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块 的对角线方向上。帧内预测解码模块102用于对第1块的编码比特信息进行帧内预测解码处理，得 到第1块的解码图像值。第一像素间预测解码模块103用于以第1块的解码图像值为参考，对第2块的编 码比特信息进行预测解码处理，得到第2块的解码图像值。第二像素间预测解码模块104用于以第2块的解码图像值为参考，对第3块的编 码比特信息进行预测解码处理，得到第3块的解码图像值。解码图像生成模块105用于将宏块中各块的解码图像值进行上采样合成处理，得 到宏块的解码图像值。在上述技术方案的基础上，为了提高预测准确性，可选的第一像素间预测解码模块103还可用于对第1块的解码图像值进行插值处理，如 对第1块的重构图像值进行插值处理，插值后对应位置的像素值作为第2块的预测值，根据 第2块的预测值及其残差解码系数构造第2块的解码图像值。第二像素间预测解码模块104还可用于对第2块的解码图像值进行插值处理。如 对第2块的重构图像值进行插值处理，插值后对应位置的像素值作为第3块的预测值，根据 第3块的预测值及其残差解码系数构造第3块的解码图像值。本实施例视频图像解码处理装置对宏块进行下采样分解得到多个块进行预测解 码过程中，将帧内预测解码技术与像素间预测解码技术相结合，像素间预测解码过程中形 成了至少二级的级联式预测参考关系，因此有利于充分利用块之间的像素相关性以实现编 码压缩后的视频图像的重构。关于本实施例视频图像解码处理装置的实现机理，可参见上 述有关视频图像解码处理方法实施例的记载，在此不再赘述。图11为本发明第十一实施例提供的视频图像编解码系统结构示意图。如图11所 示，本实施例视频图像编解码系统包括视频图像编码处理装置111和视频图像解码处理 装置112。视频图像编码处理装置111用于对视频图像帧的宏块进行下采样分解得到多个 块，上述多个块至少包括第1块、第2块和第3块；对第1块进行帧内预测编码处理，得到 第1块的重构图像值；以第1块的重构图像值为参考，对第2块进行预测编码处理，得到第 2块的重构图像值；以第2块的重构图像值为参考，对第3块进行预测编码处理。视频图像解码处理装置112用于获取宏块的编码比特信息，上述宏块至少包括 上述第1块，上述第2块和上述第3块；对第1块的编码比特信息进行帧内预测解码处理， 得到第1块的解码图像值；以第1块的解码图像值为参考，对第2块的编码比特信息进行预 测解码处理，得到第2块的解码图像值；以第2块的解码图像值为参考，对第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；将宏块中各块的解码图像值进行上 采样合成处理，得到该宏块的解码图像值。在本发明实施例中，所述第1块中的像素至少包含该宏块中右下角的像素。所述 第2块中的右下角的像素与所述第1块中的右下角的像素在水平或垂直方向上。所述第3 块中的右下角的像素与所述第1块中的右下角的像素在处于所述宏块的对角线方向上。当然，在其他可选择的实施例中，也可以为，所述第1块中的像素至少包含该宏块 中左上角的像素。所述第2块中的左上角的像素与所述第1块中的左上角的像素在水平或 垂直方向上。所述第3块中的左上角的像素与所述第1块中的左上角的像素处于所述宏块 的对角线方向上。本发明实施例视频图像编解码系统中，对宏块进行下采样分解得到多个块，对多 个块进行预测编码或解码过程中将帧内预测技术与像素间预测技术相结合，形成了至少二 级的级联式预测参考关系，因此可充分利用像素间的相关性，提高预测精度以及视频图像 的编码压缩效率。关于本实施例视频图像编码处理装置细化结构可参见图9对应实施例的 记载，视频图像解码处理装置细化结构可参见图10对应实施例的记载，其实现视频图像编 解码的机理可参见图1-图8对应实施例的记载，在此不再赘述。本领域普通技术人员可以理解附图只是一个实施例的示意图，附图中的模块或 流程并不一定是实施本发明所必须的。本领域普通技术人员可以理解实施例中的装置中的模块可以按照实施例描述分 布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上 述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤可以通过 程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序 在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括R0M、RAM、磁碟或者 光盘等各种可以存储程序代码的介质。最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其限制；尽 管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然 可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换； 而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
权利要求
1.一种视频图像编码处理方法，其特征在于，包括对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括第1块、第2 块和第3块；对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块 的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理。
2.根据权利要求1所述的视频图像编码处理方法，其特征在于，所述以第1块的重构图像值为参考，对所述第2块进行预测编码处理，包括对所述第 1块的重构图像值进行插值处理；所述以第2块的重构图像值为参考，对所述第3块进行预测编码处理，包括对所述第 2块的重构图像值进行插值处理。
3.根据权利要求1所述的视频图像编码处理方法，其特征在于，对所述第1块、第2块 和第3块中的任一块进行预测编码处理，包括对各块的预测残差进行变换处理；根据各块的量化参数值，对各块的预测残差经变换处理后的系数进行量化处理，所述 第1块的量化参数值小于或等于所述第2块的量化参数值、且所述第2块的量化参数值小 于或等于所述第3块的量化参数值；对各块经量化处理后的系数进行熵编码处理。
4.根据权利要求1所述的视频图像编码处理方法，其特征在于，还包括根据所述多个块中各块的预测残差系数的不同分布规律，对所述多个块中各块是否包 含非零系数的指示信息进行熵编码处理，所述第1块包含非零系数的概率，大于所述第2块 或第3块包含非零系数的概率。
5.根据权利要求1所述的视频图像编码处理方法，其特征在于，对所述第1块进行帧内 预测编码处理，得到所述第1块的重构图像值，包括将所述第1块的像素划分成多个子块，对各子块进行帧内预测编码处理，得到各子块 的重构图像值，对各子块的重构图像值进行合成处理，得到所述第1块的重构图像值。
6.根据权利要求1所述的视频图像编码处理方法，其特征在于，对所述第1块进行帧内 预测编码处理，得到所述第1块的重构图像值，包括对所述第1块进行下采样分解得到多个子块，所述多个子块至少包括第1子块、第2 子块和第3子块；对所述第1子块进行帧内预测编码处理，得到所述第1子块的重构图像值；以所述第1子块的重构图像值为参考，对所述第2子块进行预测编码处理，得到所述第 2子块的重构图像值；以所述第2子块的重构图像值为参考，对所述第3子块进行预测编码处理，得到所述第 3子块的重构图像值；对所述多个子块中各子块的重构图像值进行上采样合成处理，得到所述第1块的重构 图像值。
7.根据权利要求6所述的视频图像编码处理方法，其特征在于，对所述第1子块、第2子块和第3子块中的任一子块进行预测编码处理，包括 对各子块的预测残差进行变换处理；根据各子块的量化参数值，对各子块的预测残差经变换处理后的系数进行量化处理， 所述第1子块的量化参数值小于或等于所述第2子块的量化参数值、且所述第2子块的量 化参数值小于或等于所述第3子块的量化参数值； 对各子块经量化处理后的系数进行熵编码处理。
8.根据权利要求6所述的视频图像编码处理方法，其特征在于，还包括根据各子块的预测残差经量化处理后的系数不同的分布规律，对各子块的预测残差经 量化处理后的进行相应的熵编码处理，所述第1子块的出现非零系数的概率，大于所述第2 子块或第3子块出现非零系数的概率。
9.根据权利要求1所述的视频图像编码处理方法，其特征在于，在对所述宏块进行下 采样分解的过程中，还包括对所述宏块的部分或全部像素进行抗混叠滤波处理。
10.如权利要求1中所述的视频图像编码方法，其特征在于，所述第1块中的像素至少 包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的像 素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像素处 于所述宏块的对角线方向上。
11.一种视频图像解码处理方法，其特征在于，包括获取视频图像帧的宏块的编码比特信息，所述宏块至少包括第1±夬，第2块和第3块； 对所述第1块的编码比特信息进行帧内预测解码处理，得到所述第1块的解码图像值；以所述第1块的解码图像值为参考，对所述第2块的编码比特信息进行预测解码处理， 得到第2块的解码图像值；以所述第2块的解码图像值为参考，对所述第3块的编码比特信息进行预测解码处理， 得到第3块的解码图像值；将所述宏块中各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。
12.根据权利要求11所述的视频图像解码处理方法，其特征在于，所述以第1块的解码图像值为参考，对所述第2块进行预测解码处理，包括对所述第 1块的解码图像值进行插值处理；所述以第2块的解码图像值为参考，对所述第3块进行预测解码处理，包括对所述第 2块的解码图像值进行插值处理。
13.根据权利要求11所述的视频图像解码处理方法，其特征在于，对所述第1块、第2 块和第3块中的任一块进行预测解码处理，包括对各块的编码比特信息进行熵解码处理；根据各块的量化参数值，对熵解码处理后的系数进行反量化处理，所述第1块的量化 参数值小于或等于所述第2块的量化参数值、且所述第2块的量化参数值小于或等于所述 第3块的量化参数值；对反量化处理后系数进行反变换处理。
14.根据权利要求11所述的视频图像解码处理方法，其特征在于，还包括根据各块的残差系数的不同分布规律，对各块是否包含非零系数的指示信息进行相应的熵解码处理，所述第1块出现非零系数的概率，大于所述第2块或第3块出现非零系数的 概率。
15.根据权利要求11所述的视频图像解码处理方法，其特征在于，所述第1块包括多个 子块；对所述第1块的编码比特信息进行帧内预测解码处理，包括对各子块的编码比特信息进行解码处理，得到各子块的解码图像值；对各子块的解码图像值进行合成处理，得到所述第1块的解码图像值。
16.根据权利要求11所述的视频图像解码处理方法，其特征在于，所述第1块至少包 括第1子块、第2子块和第3子块；所述对第1块的编码比特信息进行帧内预测解码处理， 得到所述第1块的解码图像值，包括对所述第1子块进行帧内预测解码处理，得到所述第1子块的解码图像值；以所述第1子块的解码图像值为参考进行帧内预测解码处理，得到第2子块的解码图 像值；以所述第2子块的解码图像值为参考进行帧内预测解码处理，得到第3子块的解码图 像值；将各子块的解码图像值进行上采样合成处理，得到所述第1块的解码图像值。
17.根据权利要求16所述的视频图像解码处理方法，其特征在于，对所述第1子块、第 2子块和第3子块中的任一子块进行预测解码处理，包括对各子块的编码比特信息进行熵解码处理；根据各子块的量化参数值，对熵解码处理后的系数进行反量化处理，所述第1子块的 量化参数值小于或等于所述第2子块的量化参数值、且所述第2子块的量化参数值小于或 等于所述第3子块的量化参数值；对反量化处理后系数进行反变换处理。
18.根据权利要求16所述的视频图像解码处理方法，其特征在于，还包括根据各子块的残差系数的不同分布规律，对各子块是否包含非零系数的指示信息进行 相应的熵解码处理，所述第1子块出现非零系数的概率，大于所述第2子块或第3子块出现 非零系数的概率。
19.根据权利要求11所述的视频图像解码处理方法，其特征在于，所述第1块中的像素 至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角 的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像 素处于所述宏块的对角线方向上。
20.一种视频图像编码处理装置，其特征在于，包括下采样分解模块，用于对视频图像帧的宏块进行下采样分解得到多个块，所述多个块 至少包括第1块、第2块和第3块；帧内预测编码模块，用于对所述第1块进行帧内预测编码处理，得到所述第1块的重构 图像值；第一像素间预测编码模块，用于以所述第1块的重构图像值为参考，对所述第2块进行 预测编码处理，得到所述第2块的重构图像值；第二像素间预测编码模块，用于以所述第2块的重构图像值为参考，对所述第3块进行 预测编码处理。
21.根据权利要求20所述的视频图像编码处理装置，其特征在于，所述第一像素间预测编码模块，还用于对所述第1块的重构图像值进行插值处理；所述第二像素间预测编码模块，还用于对所述第2块的重构图像值进行插值处理。
22.根据权利要求20所述的视频图像编码处理装置，其特征在于，所述第1块中的像素 至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角 的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像 素处于所述宏块的对角线方向上。
23.一种视频图像解码处理装置，其特征在于，包括比特信息获取模块，用于获取视频图像帧的宏块的编码比特信息，所述宏块至少包括: 第1块，第2块和第3块；帧内预测解码模块，用于对所述第1块的编码比特信息进行帧内预测解码处理，得到 所述第1块的解码图像值；第一像素间预测解码模块，用于以所述第1块的解码图像值为参考，对所述第2块的编 码比特信息进行预测解码处理，得到第2块的解码图像值；第二像素间预测解码模块，用于以所述第2块的解码图像值为参考，对所述第3块的编 码比特信息进行预测解码处理，得到第3块的解码图像值；解码图像生成模块，用于将所述宏块中各块的解码图像值进行上采样合成处理，得到 所述宏块的解码图像值。
24.根据权利要求23所述的视频图像解码处理装置，其特征在于，所述第一像素间预测解码模块，还用于对所述第1块的解码图像值进行插值处理；所述第二像素间预测解码模块，还用于对所述第2块的解码图像值进行插值处理。
25.根据权利要求23所述的视频图像解码处理装置，其特征在于，所述第1块中的像素 至少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角 的像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的右下角的像 素处于所述宏块的对角线方向上。
26.一种视频图像编解码系统，其特征在于，包括视频图像编码处理装置，用于对视频图像帧的宏块进行下采样分解得到多个块，所述 多个块至少包括第1块、第2块和第3块；对所述第1块进行帧内预测编码处理，得到所 述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处 理，得到所述第2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行 预测编码处理；视频图像解码处理装置，用于获取所述宏块的编码比特信息，所述宏块至少包括所述 第1块，所述第2块和所述第3块；对所述第1块的编码比特信息进行帧内预测解码处理， 得到所述第1块的解码图像值；以所述第1块的解码图像值为参考，对所述第2块的编码比 特信息进行预测解码处理，得到第2块的解码图像值；以所述第2块的解码图像值为参考， 对所述第3块的编码比特信息进行预测解码处理，得到第3块的解码图像值；将所述宏块中 各块的解码图像值进行上采样合成处理，得到所述宏块的解码图像值。
27.如权利要求沈中所述的视频图像编解码系统，其特征在于，所述第1块中的像素至 少包含该宏块中右下角的像素。所述第2块中的右下角的像素与所述第1块中的右下角的 5像素在水平或垂直方向上。所述第3块中的右下角的像素与所述第1块中的最右下角的像 素处于所述宏块的对角线方向上。
全文摘要
本发明提供一种视频图像编码处理、解码处理方法和装置及编解码系统。编码处理方法包括对视频图像帧的宏块进行下采样分解得到多个块，所述多个块至少包括第1块、第2块和第3块；对所述第1块进行帧内预测编码处理，得到所述第1块的重构图像值；以所述第1块的重构图像值为参考，对所述第2块进行预测编码处理，得到所述第2块的重构图像值；以所述第2块的重构图像值为参考，对所述第3块进行预测编码处理。本发明实施例可充分利用像素间的相关性，提高预测精度以及视频图像的编码压缩效率。
文档编号H04N7/26GK102055972SQ20101014757
公开日2011年5月11日 申请日期2010年4月9日 优先权日2009年11月10日
发明者林永兵 申请人:华为技术有限公司