专利名称：为编码图像中的误差掩蔽定义内插滤波器的利记博彩app
技术领域：
本发明涉及一种用于为编码视频流中的误差掩蔽(error concealment)定义定向内插滤波器的技术。
背景技术：
在许多情况中，视频流经受压缩(编码)以有利于存储和传输。当前，存在多种编码方案，包括诸如所提出的ISO/ITU H.2.64编码技术的基于块的编码方案。并非偶然地，这样编码的视频流导致在传输期间因为信道误差和/或网络拥塞而使得数据丢失或被损坏。在解码时，数据的丢失/损坏使其自身显示为引起图像人工因素的丢失/损坏像素值。为了减少所述人工因素，解码器将通过估计来自相同图像的其他宏块或来自其他图像的所述丢失/损坏像素值来“掩蔽”这样的丢失/损坏像素值。术语掩蔽稍稍有些用词不当，因为解码器不是实际地隐藏丢失/损坏的像素值。
空间掩蔽试图依赖于空间域中相邻区域之间的相似性、通过使用来自同一图像中其他区域的像素值得出丢失/损坏的像素值。典型地，在相同的复杂程度时，空间掩蔽技术比依赖于来自其他发送的图片信息的时间误差掩蔽技术的性能要低。误差掩蔽算法应当仅在不能得到时间选择，即当丢失影响内部编码的图片、内部刷新的图片或当不能得到时间信息的那些情况中调用空间内插。使用掩蔽图像作为参考的、将来的相互编码的帧的质量将依赖于空间掩蔽的质量。当空间掩蔽产生相对较差的内部编码的图片时，每个作为结果的相互编码的图片将同样具有较差的质量。
存在各种用于完成空间误差掩蔽的技术。这些技术包括(a)块复制(BC)，(b)像素域内插(PDI)，(c)多定向内插(MDI)，(d)最大平滑恢复(MSR)和(e)凸集投影(POCS)。此外，现在存在一种建议，即根据用于误差掩蔽的H.264技术使用为4×4像素块计算的内部预测模式。根据这一建议，提供从相邻块估计编码值的方向的相同内部预测模式还可以提供用于估计误差掩蔽的丢失/损坏像素值的方向。已经建立使用相同的内部预测模式来提供误差掩蔽的方向作为编码预测的愿望，存在当以内部预测模式定义的方向进行处理时定义适当的机制来得出用于掩蔽的估计的像素值的需要。
发明内容
简单的说，根据本发明的原理，通过首先识别图像中具有丢失/损坏像素值的宏块来开始掩蔽在包括宏块阵列的编码图像中的误差。对于每个识别的宏块，从相邻的宏块中得出至少一种内部预测模式。当根据ISO/ITU H.264编码技术编码图像时，为了编码的目的，内部编码的宏块可以预测为整个16×16像素块，或多个4×4像素块。对于整个16×16像素块，存在一种内部预测模式。相反，对于宏块中每个4×4像素的子宏块，存在一种内部预测模式。与得出的内部预测模式相关，选择内插滤波器以定义根据相邻块估计像素值的方法，所述像素块是通过在由识别的内部预测模式规定的方向上进行处理而选择的。使用根据选择的内插滤波器估计的像素值来掩蔽具有丢失/损坏的像素值的宏块。当根据H.264编码技术编码图像中的宏块并且掩蔽顺序与解码顺序相同时，为了掩蔽的目的而建立的内插滤波器构成在H.264编码技术中为内部4×4预测规定的滤波器。由于存在不同的掩蔽顺序，因此当相邻的左侧和上方像素不可用时，在H.264编码技术中定义的内插滤波器的镜向版本用来适配可用的样本。
图1描述了划分成宏块的编码图像，每个宏块被划分成块，并且每个块被划分成像素；图2图示说明了在所提出的H.264编码技术中描述的内部_4×4预测模式；图3A-3F每一个描述了如为对应于图2中图示说明的内部_4×4预测模式的内插滤波器定义的参考像素集(A，B，C，D和I，J，K，L)的位置；和图4A-4F每一个描述了如为对应于图2中图示说明的内部_4×4预测模式的第一组镜向内插滤波器定义的参考像素集(A’，B’，C’，D’和I’，J’，K’，L’)的位置。
图5C、5E-5F每一个描述了如为对应于图2中图示说明的内部_4×4预测模式的第二组镜向内插滤波器定义的参考像素集(A’，B’，C’，D’和I’，J’，K’，L’)的位置。
图6C描述了如为对应于图2中图示说明的内部_4×4预测模式的第三组镜向内插滤波器定义的参考像素集(A’，B’，C’，D’和I’，J’，K’，L’)的位置。
具体实施例方式
诸如嵌入在所提议的ISO/ITU H.264编码技术中的基于块的视频压缩技术通过将图片划分成片断来工作，每个片断包括一组宏块或宏块对，且每个宏块根据编码技术而被编码。宏块通常包括一个16×16像素的正方形区域。为了编码的目的，宏块可被进一步划分成子宏块，所述子宏块并不必须是正方形。当编码宏块时，每个子宏块可以具有不同的编码模式。为了易于说明，将一个块称为4×4像素的子宏块。图1描述了将编码图片100划分成宏块110，将每个宏块110划分成块120，并且将每个块划分成像素130。注意，图片中宏块的数目取决于图片的大小而变化，而宏块中块的数目保持恒定。
为了减少单独编码被划分的图像100中每个宏块110的开销，来自已发送的宏块的信息可以产生编码单个宏块的预测。在这一情形中，仅预测误差和预测模式需要发送。用来编码图片100的视频编码技术将规定用于得出预测像素值的处理，以便确保编码器(未示出)和解码器(未示出)两者获得相同的估计。根据ISO/ITU H.264编码技术，单个宏块可以被内部预测为单个16×16像素的部分(内部_16×16类型编码)或16块4×4像素的部分(内部_4×4类型编码)。
对于内部_16×16类型编码，ISO/ITU H.264编码技术规定四种内部预测模式模式0，垂直预测；模式1，水平预测；模式2，DC预测；模式3，平面预测。对于内部_4×4类型编码，ISO/ITU H.264编码技术规定九种内部预测模式模式0，垂直预测；模式1，水平预测；模式2，DC预测；模式3，斜向左下预测；模式4，斜向右下预测；模式5，垂直向右预测；模式6，水平向下预测；模式7，垂直向左预测；和模式8，水平向上预测。图2以列表方式描述了每一个内部_4×4编码类型的预测模式，以及指示内部预测模式0-8中的每一种的方向的向量显示。(注意，对应于DC模式的模式2不具有方向，因为其统一地预测同类区域中的块的内容)。其他模式0-1和3-8沿着八个量化方向中单独的一个方向来预测宏块的内容。
所提出的H.264编码技术规定每个内部预测模式具有相关联的内插滤波器，其指示当以通过内部预测模式定义的方向进行处理时如何获得预测的编码值。根据本发明原理，由H.264定义的内插滤波器还可以为误差掩蔽目的提供一种估计像素值的机制。如下面更详细的描述，当以解码顺序进行误差掩蔽时，H.264内插滤波器可以以它们原来的形式用于误差掩蔽。或者，当以不同的顺序进行误差掩蔽时，不得不考虑H.264内插滤波器的镜向版本。
图3A-3F中的每一个描述了用于对应于图2中图示说明的内部4×4预测模式的内插滤波器的参考像素集(A，B，C，D和I，J，K，L)的位置。(注意，在一些情况中，与两个不同的内部预测模式相关的两个不同的内插滤波器可以使用相同的参考像素集)。在图3A-3F的每一个中，显示了子宏块200，其具有需要使用根据在相邻行和/或列中的像素值估计的值来掩蔽的丢失/损坏像素。对于每种内部预测模式，存在一个内插滤波器，其明确规定如何根据相邻像素值获得对于子宏块200中的每个丢失/损坏像素的估计。
为了更好地理解每个所述内插滤波器的特性，参考图3A，其描述了使用通过H.264编码技术对于模式0规定的内插滤波器对该模式的误差掩蔽。通常，通过H.264编码技术规定的内插滤波器定义用于获得编码预测值的机制。根据本发明的原理，通过H.264编码技术规定的内插滤波器还提供了一种用于获得误差掩蔽值的机制。如图3A所示，4×4像素子宏块200包含像素a-p，所述像素a-p的每一个都需要掩蔽。位于子宏块200中的上部像素a-d行之上的相邻像素行210中的像素A-D的值提供一些值，根据这些值、使用与模式0相关的H.264编码技术内插滤波器来估计像素a-p中的每一个的掩蔽值。对于模式0(垂直)，根据由H.264编码技术为模式0规定的内插滤波器，行210中的像素A的值提供用于子宏块200的第一(最左侧)列中的每一个像素a，e，i和m的掩蔽估计。同样，行210中的像素B提供用于第二列中的每个像素b，f，j和n的掩蔽估计。以类似的方式，行210中的像素C和D每一个分别提供用于子宏块200中的第三和第四列中的像素的估计。
在一些情况中，行210的像素A-D中的一个或多个可能具有丢失的值，因而对于在子宏块200中的像素a-p提供较差的估计。根据本发明原理的另一个方面，用于模式1的“镜向”内插滤波器用来规定用于获得所述像素掩蔽值的方式。与如图3所示使用顶部相邻行210来提供掩蔽值的模式1H.264编码技术内插滤波器相反，本发明原理的镜向内插滤波器使用像素A’，B’，C’和D’的底部相邻行200用于误差掩蔽的目的，如图4A所示。因此，代替使用在行210中像素A的值来估计每个像素a，e，i和m，镜向内插滤波器利用行220中的像素A’。同样，对于模式0，行220’中的像素B’，C’和D’分别提供对于子宏块200中的第二、第三和第四列中像素的掩蔽值的估计。
表1总结了对于模式0，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表1模式0(垂直)
图3B描述了使用通过H.264编码技术规定的模式1内插滤波器用于模式1的误差掩蔽。子宏块200的左侧的相邻列210’的每一行中的像素I-L中的每一个对于在子宏块的对应行中的每一个像素提供误差掩蔽估计。因此，例如，列210的第一(上部)行中的像素I对于在子宏块200的第一(最上部)行中的每个像素a，b，c和d提供掩蔽估计。同样，列210’中的像素J’对于在子宏块200的第二行中的像素e，f，g和h提供掩蔽估计。类似的，像素K和J分别对于在子宏块200的第三和第四行中的像素提供掩蔽估计。
图4B描述了使用镜向内插滤波器对于模式1的误差掩蔽。用于模式1的镜向内插滤波器使用右侧的相邻列220’中的像素I’，J’，K’和L’分别对于在子宏块200的第一(顶部)、第二、第三、和第四行中的像素提供掩蔽值估计，而不是使用在左侧的列210’中的像素I，J，K和L。
表2总结了对于模式1，用于估计掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表2模式1(水平)
图3C描述了对于DC内部预测模式的误差掩蔽。如在H.264编码技术中定义的，当所有这些样本可用时，用于编码预测的DC模式内插滤波器计算像素的平均值(A+B+C+D+I+J+K+L+4)/8，其中像素A，B，C和D位于在子宏块200的上方的相邻行210中，像素I，J，K和L位于在子宏块左侧的相邻列210’中。换句话说，为了编码的目的，用对应于分别在子宏块的左侧和上方的列和行中的相邻像素值的平均值的相同的值预测子宏块200中的所有像素a-p。图4C，5C和6C描述了在图3C中所示的参考像素集的镜向版本。当在丢失块左侧和/或上方的块也被损坏时，这些镜向版本可以用于误差掩蔽的目的。
表3总结了对于模式2，用于估计掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表3模式2(DC)
但是，与其他内部预测模式不同，由H.264编码技术规定的DC内部预测模式内插滤波器不为误差掩蔽的目的提供好的预测。为DC模式指定的H.264编码技术内插滤波器提供非常粗略的预测，其造成掩蔽图像中的平坦(flat)区域。为此，推荐仅对于允许低质量结果的应用将其用于误差掩蔽目的。对于其他应用，其他类型的内插滤波器——通常所说的加权内插，可以用来对误差掩蔽值提供较好的预测。当这一技术应用至DC模式时，独立地获得子宏块200中每个像素的估计值，作为来自分别在垂直和水平方向上的相邻列和相邻行的、已经正确接收到或已经被掩蔽的最接近像素值的加权和。
传统的，下面的关系规定了在(i，j)位置的像素值的加权内插像素(i，j)＝W0×像素(i0-1，j)+W1×像素(i0，j0-1)其中W0和W1对用作参考的像素值的影响进行加权。通常，W0和W1每一个表示在丢失像素及其参考之间的距离。在示例的实施例中，W0＝(i-i0)和W1＝(j-j0)。使用与用来描述由H.264编码技术定义的其他内插滤波器相同的符号，表3A-D描述了取决于哪个行/列的相邻像素被用作参考而定义的DC内部预测模式的加权内插滤波器。
表3A模式2(DC)图3C中的加权内插
表3B模式2(DC)图4C中的加权内插
表3C模式2(DC)图5C中的加权内插
表3D模式2(DC)图6C中的加权内插
图3D描述了使用H.264编码技术内插滤波器、用于模式3(斜向左下)和模式7(垂直向左)两者的误差掩蔽的参考像素集的位置。对于模式3和7中的每一个，由H.264编码技术规定的相应内插滤波器利用在子宏块200上方的相邻行210中的像素A，B，C，D，E，F和G的单独加权平均值。类似地，图4D描述了使用镜向内插滤波器、用于模式3(斜向左下)和模式7(垂直向左)两者的误差掩蔽的参考像素集的位置。对于模式3和7中的每一个，相应的镜向内插滤波器利用位于子宏块200下方的扩展相邻行210’中的像素H’，G’，F’，E’，D’，C’，B’和A’的单独加权平均值。
表4总结了对于模式3，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表4模式3(斜向左下)
例如，由用于预测编码值的H.264编码技术规定、并且根据本发明原理来使用以便估计误差掩蔽值的内插滤波器，规定可以利用关系(A+2B+C+2)/4、根据像素A，B和C的值来估计子宏块200中的像素a，其中像素A，B和C每一个位于在子宏块200上方的相邻行210中。类似地，用于模式3的镜向滤波器按照关系(G’+3H’+2)/4、根据像素G’和H’的值来提供用于子宏块200中的像素a的误差掩蔽估计。对于误差掩蔽的目的，剩余像素b-p同样可以按照在表4中列出的关系来估计。
表5总结了对于模式7，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表5模式7(垂直向左)
图3E描述了使用由H.264编码技术规定的内插滤波器，用于模式4(斜向右下)、模式5(垂直向右)和模式6(垂直向下)的误差掩蔽的参考像素集的位置。由于这些内插滤波器被定义为在左侧相邻列和上方相邻列都需要参考像素，因而对于DC模式，它们为了误差掩蔽目的的镜向映射将会需要四种不同情况的定义。为了减少所述情况的数目，我们提议一种可选的定义，避免使用来自左侧的列的参考像素。图4E描述了使用先前内插滤波器的镜向版本，用于模式4、5和6的误差掩蔽的参考像素集的位置。图4E中的滤波器是对于如通过H.264视频压缩标准定义的图3E中的滤波器的替换物。需要图5E中的其他镜向内插滤波器，以允许不按照解码的顺序来进行误差掩蔽。尽管可以考虑不同的镜向映射过程，但该实施例中提出的一种过程将所有的参考像素仅定位在一个相邻行中或仅定位在一个相邻列中。这样的镜向映射具有两个主要的优点第一，其有利于存储器访问；第二，其减少了必须为滤波器规定的情况的数目。〔注意这应用到在本发明中定义的所有镜向内插滤波器〕表6总结了对于模式4，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表6
模式4(斜向右下)
表7总结了对于模式5，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表7模式5垂直向右
表8总结了对于模式6，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表8
模式6水平向下
图3F描述了使用由H.264编码技术规定的内插滤波器、对于模式8(水平向上)的误差掩蔽。图4E和5E描述了使用两个镜向内插滤波器、对于模式8(水平向上)的误差掩蔽。对于模式4，5和6，提出图4F中镜向滤波器的定义，作为具有先前提到的优点的H.264内插滤波器的替换物。
表9总结了对于模式8，用于提供误差掩蔽值的H.264编码技术内插滤波器和镜向内插滤波器。
表9模式8(水平向上)
以上描述了一种用于定义定向内插滤波器的技术，该技术建立一种通过其来掩蔽编码视频流中的误差的机制。
权利要求
1.一种用于掩蔽由宏块阵列形成的编码图像中的误差的方法，包括步骤识别所述阵列中具有丢失/损坏像素值的宏块；对于每个识别的宏块得出至少一种内部预测模式，以定义掩蔽方向，所述至少一种内部预测模式是根据编码图像而得出的；对于所识别的内部预测模式建立内插滤波器，以便沿着所述掩蔽方向估计每个识别宏块的掩蔽值；和根据估计的掩蔽值来掩蔽所识别的宏块。
2.如权利要求1所述的方法，其中所述图像是根据H.264编码技术来编码的，并且其中得到至少一种内部预测模式的步骤还包括步骤得到通过H.264编码技术规定的内部_4×4预测模式。
3.如权利要求2所述的方法，其中建立内插滤波器的步骤还包括对于得出的内部_4×4预测模式选择通过H.264编码技术规定的内插滤波器。
4.如权利要求2所述的方法，其中建立内插滤波器的步骤还包括步骤对于得出的内部_4×4预测模式，得出镜向映射通过H.264编码技术规定的内插滤波器的内插滤波器。
6.如权利要求2所述的方法，其中得出的内部_4×4预测模式包括模式0(垂直)，并且其中得出的内插滤波器包括由H.264编码技术为模式0规定的内插滤波器。
7.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式1(水平)，并且其中得出的内插滤波器包括由H.264编码技术为模式1规定的内插滤波器。
8.如权利要求2所述的方法，其中得出的内部_4×4预测模式包括模式2(DC)，并且其中建立内插滤波器的步骤还包括步骤独立地加权来自分别在垂直方向和水平方向上的相邻列和相邻行的像素值的和。
9.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式3(斜向左下)，并且其中得出的内插滤波器包括由H.264编码技术为模式3规定的内插滤波器。
10.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式7(垂直向左)，并且其中得出的内插滤波器包括由H.264编码技术为模式7规定的内插滤波器。
11.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式4(斜向右下)，并且其中得出的内插滤波器包括由H.264编码技术为模式4规定的内插滤波器。
12.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式5(垂直向右)，并且其中得出的内插滤波器包括由H.264编码技术为模式5规定的内插滤波器。
13.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式6(水平向下)，并且其中得出的内插滤波器包括由H.264编码技术为模式6规定的内插滤波器。
14.如权利要求4所述的方法，其中得出的内部_4×4预测模式包括模式8(水平向上)，并且其中得出的内插滤波器包括由H.264编码技术为模式8规定的内插滤波器。
15.一种用于掩蔽由宏块阵列组成的编码图像中的误差的方法，所述图像根据H.264编码技术进行编码，该方法包括步骤识别所述阵列中具有丢失/损坏像素值的宏块；对于每个识别的宏块，根据H.264编码技术得出至少一种内部_4×4预测模式，以定义掩蔽方向；对于所识别的内部预测模式建立内插滤波器，以便沿着所述掩蔽方向估计每个识别宏块的掩蔽值；和根据估计的掩蔽值来掩蔽所识别的宏块。
16.如权利要求15所述的方法，其中建立内插滤波器的步骤还包括对于得出的内部_4×4预测模式选择通过H.264编码技术规定的内插滤波器。
17.如权利要求15所述的方法，其中建立内插滤波器的步骤还包括步骤对于得出的内部_4×4预测模式，得出镜向映射通过H.264编码技术规定的内插滤波器的内插滤波器。
18.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式1(水平)，并且其中得出的内插滤波器包括由H.264编码技术为模式1规定的内插滤波器。
19.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式3(斜向左下)，并且其中得出的内插滤波器包括由H.264编码技术为模式3规定的内插滤波器。
20.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式7(垂直向左)，并且其中得出的内插滤波器包括由H.264编码技术为模式7规定的内插滤波器。
21.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式4(斜向右下)，并且其中得出的内插滤波器包括由H.264编码技术为模式4规定的内插滤波器。
22.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式5(垂直向右)，并且其中得出的内插滤波器包括由H.264编码技术为模式5规定的内插滤波器。
23.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式6(水平向下)，并且其中得出的内插滤波器包括由H.264编码技术为模式6规定的内插滤波器。
24.如权利要求15所述的方法，其中得出的内部_4×4预测模式包括模式8(水平向上)，并且其中得出的内插滤波器包括由H.264编码技术为模式8规定的内插滤波器。
全文摘要
一种根据图像编码首先选择内部预测模式来掩蔽在编码图像(100)中出现的误差的方法。所选择的内部预测模式在通常用于规定获得编码预测值的方向的同时，还用于规定获得误差掩蔽的估计值的方向。内插滤波器定义沿着由内部预测模式规定的方向获得估计的像素值的方式。与内部预测模式相同，根据图像的编码得出内插滤波器。使用以通过内插滤波器规定的方式获得的估计值来实现图像的掩蔽。
文档编号H04N7/68GK1720747SQ03825775
公开日2006年1月11日 申请日期2003年7月10日 优先权日2003年1月10日
发明者克里斯蒂娜·戈米拉 申请人:汤姆森特许公司