专利名称：使用图像修补进行帧内预测编码/解码的方法和设备的利记博彩app
技术领域：
与本发明一致的方法和设备涉及帧内预测编码/解码，更具体地，涉及帧 内预测当前块并随后基于帧内预测结果对当前块编码和解码。
背景技术：
在视频压缩标准(诸如，运动图像专家组(MPEG) -1、 MPEG-2和 H.264/MPEG-4先进视频编码(AVC ))中，图像被划分为用于视频编码的宏 块。随后使用帧间预测和帧内预测来编码每个宏块。接下来，基于编码的宏
式。在选择的编码模式下编码宏块。
在帧内预测中，取代于参照参考图像，使用与将被编码的当前块空间邻 近的像素来编码当前块。首先，使用与当前块邻近的像素的像素值来产生将 被编码的当前块的预测块。仅产生的预测块的像素值与当前块的像素值之差 被编码。帧内预测模式被粗略地划分为用于亮度分量的4x4帧内预测模式、 8x8帧内预测模式、16x16帧内预测模式以及用于色度分量的帧内预测模 式。
图1示出根据现有技术的16 x 16帧内预测模式。
参照图1,存在四种16x 16帧内预测模式，即，垂直模式、水平模式、 直流(DC)模式和平面模式。
图2示出根据现有技术的4x4帧内预测模式。
参照图2，存在九种4x4帧内预测模式，即，垂直模式、水平模式、DC 模式、对角线左下模式、对角线右下模式、垂直向右模式、垂直向左模式、 水平向上模式和水平向下模式。
根据帧内预测模式的使用频率来确定索引到帧内预测模式的预测模式 号。换句话说，由0索引的垂直模式是在帧内预测中最频繁使用的，水平向 上模式是在帧内预测中最少使用的。
例如，当以模式0(即，图2中的垂直模式)预测编码4x4当前块时，
5使用4 x 4当前块上面的像素A到像素D的像素值来预测4 x 4当前块的像素。 换句话说，像素A的像素值被预测为4x4当前块的第一列的四个像素的像 素值，像素B的像素值被预测为4 x 4当前块的第二列的四个像素的像素值， 像素C的像素值被预测为4x4当前块的第三列的四个像素的像素值，像素D 的像素值被预测为4x4当前块的第四列的四个像素的像素值。接下来，从原 始当前块减去使用像素A到像素D预测的当前块的预测块，从而产生残差块。 残差块被编码并^R插入比特流。
在根据H.264标准的视频编码中，以总共13种模式(包括4 x 4帧内预 测模式和16x 16帧内预测模式)编码当前宏块，以所述13种模式中的一个 最优模式来产生当前块的比特流。
在根据现有技术的帧内预测中，如图1和图2所示，使用与当前块邻近 的像素(即，位于当前块左边、上边、左上边中的至少一个位置)来预测当 前块。
然而，当包括在当前块中的像素没有如图1和图2所示的方向性时，通 过如图1和图2所示的帧内预测产生不准确的预测块，从而降低了视频压缩 的效率。
发明内容
技术方案
本发明提供了 一种用于帧内预测编码/解码的方法和设备以及记录有用 于执行所述方法的程序的计算机可读记录介质，所述方法和设备可使用能够 准确预测当前块的帧内预测来帧内预测编码/解码当前块。 有益效果
根据本发明，通过提供允许使用图像中的空间冗余的附加帧内预测模式， 宏块的当前块可^皮准确地帧内预测，从而提高-见频编码的压缩效率。
通过参照附图对示例性实施例进行的详细描述，本发明的上述和其它方 面将会变得更加清楚，其中
图1示出根据现有技术的16 x 16帧内预测模式； 图2示出根据现有技术的4x4帧内预测模式；图3是根据本发明示例性实施例的视频编码器的框图5A到图5E是用于解释根据本发明示例性实施例的图像修补的示图； 图6是示出根据本发明示例性实施例的用于图像修补的搜索区的示图； 图7A到图7C是示出根据本发明示例性实施例的修补区的边界改变的处 理的示图8是示出根据本发明示例性实施例的视频编码方法的流程图9是根据本发明示例性实施例的视频解码器的框图10是示出根据本发明示例性实施例的视频解码方法的流程图。
具体实施例方式
最优模式
根据本发明的一方面，提供了一种帧内预测编码的方法。所述方法包括 基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当 前图像的先前编码区中的像素来执行图像修补，从而预测当前块；从当前块 减去产生作为预测结果的预测块，从而产生当前块的残差块；编码产生的残 差块。
预测当前块的步骤可包括使用在与当前块和当前图像的先前编码区之 间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行基于样 本的图像修补；根据基于样本的图像修补的结果预测当前块。
基于样本的图像修补的步骤可包括设置当前块与当前图像的先前编码 区之间的边界作为将被修补的区的边界；从与将被修补的区的边界相邻的像 素中选择具有最高修补优先级的像素；在当前图像的先前编码区中搜索与包 括选择的像素的补片相似的补片；基于搜索结果修补宏块中的未编码的区； 基于修补结果更新将被修补的区的边界；重复执行这些步骤直到当前块被修 补。
补片可具有3像素乘以3像素的大小或5像素乘以5像素的大小。 搜索补片的步骤可包括搜索与包括先前编码区中的选择的像素的补片 相似的补片，所述先前编码区限制在从包括当前块的宏块的边界的32像素范围内。
根据本发明的另一方面，提供了一种帧内预测编码的设备。所述设备包
7括帧内预测单元，基于在与当前块和当前图像的先前编码区之间的边界相
邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，从而预
测当前块；减法单元，从当前块减去产生作为预测结果的预测块，从而产生 当前块的残差块；编码单元，编码产生的残差块。
根据本发明的另一方面，提供了一种帧内预测解码的方法。所述方法包 括对当前块的残差块解码；基于在与当前块和当前图像的先前解码区之间 的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修 补，从而预测当前块；将产生作为预测结果的预测块与残差块相加，从而重 建当前块。
预测当前块的步骤可包括使用在与当前块和当前图像的先前解码区之 间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行基于样 本的图像修补；根据基于样本的图像修补的结果预测当前块。
根据本发明的另一方面，提供了一种帧内预测解码的设备。所述设备包 括解码单元、帧内预测单元和加法单元。解码单元对当前块的残差块解码。 帧内预测单元基于在与当前块和当前图像的先前解码区之间的边界相邻的像 素中包括在当前图像的先前解码区中的像素来执行图像修补，从而预测当前 块。加法单元将产生作为预测结果的预测块与残差块相加，从而重建当前块。
根据本发明的另 一方面，提供了 一种记录有用于执行帧内预测编码/解码 的方法的程序的计算机可读记录介质。 发明模式
以下，参照附图来详细描述本发明的示例性实施例。应该注意，在一个 或多个附图中示出的相同的标号表示相同的部件。在本发明的以下描述中， 为了简洁和清楚，将省略合并于此的已知功能和结构的详细描述。
图3是根据本发明示例性实施例的视频编码器300的框图。
参照图3，根据本发明示例性实施例的视频编码器300包括帧内预测单 元310、减法单元320、编码单元330和重建单元340。
帧内预测单元310使用当前图像中的空间冗余产生当前块的预测块。帧 内预测单元310提供除了已经参照图1和图2描述的帧内方向预测之外的新 的预测模式。基于在与当前块和当前图像的先前编码区之间的边界相邻的像 素中包括在编码区中的像素执行图像修补，从而预测当前块。
帧内预测单元310可包括将参照图4详细描述的图^^ff补单元312和预
8测单元314。图4是用于解释根据本发明示例性实施例的帧内预测的示图。 参照图4，图像修补单元312使用在与当前块440和当前图像400的先
前编码区410之间的边界相邻的像素来执行图像修补。优选地，图像修补单
元312使用与当前块440的边界相邻的先前解码区410中包括的像素450来
执行图像修补。在以下描述中，假设当前块440是4x4块并且包括当前块
440的宏块430是16 x 16块来描述帧内预测。
在当前块440与当前图像400的先前解码区410之间的边界被设置为将
被修补的区或修补区的初始边界，使用在与初始边界相邻的像素中的包括在
先前编码区410中的像素450来执行图像修补。
对于图像修补，期望执行下面将参照图5A到图5E描述的基于样本的图
像修补。
图5A到图5E是用于解释根据本发明示例性实施例的参照图4的图像修 补的示图。
参照图5A,基于在与当前块440和先前编码区410之间的边界相邻的像 素中的包括在先前编码区410中的像素来执行图l象修补，以预测当前块440。
首先，乂人与当前块440和当前图像400的先前编码区410之间的边界相 邻的像素中选择具有最高修补优先级的像素510。虽然没有限制选择具有最 高修补优先级的像素的方法，但是期望基于修补区的边界与每个像素的边缘 方向之间的角度来计算修补优先级。
在选择具有最高修补优先级的像素510的情况下，如在图5B中所示设 置包括选择的像素510以及与选择的像素510相邻的像素的补片520。补片 520是图像修补单位,可使用各种大小(诸如，3x3和5x5)的图像修补单 位执行图像修补。在以下描述中，假设补片520具有3x3的大小。
在具有最高修补优先级的像素510周围设置补片520之后，使用包括在 补片520中的像素中包括在先前编码区410中的像素522在当前图像400的 先前编码区410中搜索与补片520最相似的补片。例如，可通过搜索与包括 在先前编码区410中的像素522具有最小绝对误差和(SAD)的补片来找到 最相似的补片。
一旦找到最相似的补片，则找到的补片的一部分被复制到补片520，从 而执行图像修补。在图5B中，包括在找到的相似补片中的像素中包括在找到 的相似补片的最右列中的像素的值作为包括在补片520的未编码区中的像素524的值。
在完成第一图像修补之后，基于图5C所示的修补像素来更新修补区的 边界。在更新的边界中再次选择具有最高修补优先级的像素530。
接下来，如图5D所示在选择的像素530周围设置补片540。使用包括在 补片540中的像素中的包括在先前编码区410中的像素542和包括在先前修 补区中的像素544在先前编码区410中搜索与补片540最相似的补片。根据 搜索结果修补包括在补片540的剩余区中的像素546的值。
在完成第二图像修补之后，如图5E所示再次更新修补区的边界。重复 图像修补直到包括在当前块440中的所有像素被4务补。
为了加速修补处理，可通过增加补片的大小来增加一次修补的像素的数 量。此外，可限制使用设置的补片520或540搜索的当前图像400的先前编 码区410。
图6是示出根据本发明示例性实施例的用于图像修补的搜索区的示图。
当使用包括在参照图5B和图5D描述的设置的补片520或540中的像素 搜索先前编码区410时，可^U叟索先前编码区410的一部分。
更具体地，搜索区被设置为限制在宏块430周围，仅在限制的搜索区中 执行搜索。例如，搜索区可被限制为区610，所述区610具有从宏块430的 左端边界在向左方向612定位32像素的边界、从宏块430的边界的右端边界 在向右方向614定位32像素的边界以及从宏块430的上端边界在向上方向 616定位32像素的边界。
参照回图3,在图像修补单元312修补包括在当前块440中的所有像素 之后，预测单元314基于图像修补单元312的修补结果预测当前块440。优 选的是，预测单元314预测由图像修补单元312获得的修补块作为当前块440 的预测块。
减法单元320从当前块400减去在帧内预测单元310中产生的预测块， 从而产生残差块。
编码单元330编码减法单元320产生的残差块。编码单元330还对残差 块执行离散余弦变换(DCT)以产生DCT系数并量化产生的DCT系数。编 码单元330随后编码量化的DCT系数并将编码的DCT系数插入比特流。
重建单元340对量化的DCT系凄t执行反量化和逆DCT，从而重建残差 块。重建的残差块被加到预测单元314产生的预测块，从而被重建为当前块
10440。重建的当前块440用于下一块442的预测，这将参照图7A到图7C详 纟田4苗述。
图7A到图7C是示出根据本发明示例性实施例的修补区的边界改变的处 理的示图。
参照图7A，示出用于预测包括在宏块430中的块440的在块440与包括 在用于执行图像修补的修补区的先前编码区的像素450之间的初始边界。然 而，参照图7B，在完成块440的编码之后，与块440的右端相邻的块442被 预测编码。因此，当预测与块440的右端相邻的块442时，当前块440必须 被包括在先前编码区410中。
其结果是，当执行图像修补以预测与块440的右端相邻的块442时，在 块442与像素452之间的初始边界如图7B所示。参照图7B,修4卜区的初始 边界被设置为包括宏块430的边界和块442的边界。使用与修补区的初始边 界相邻的^^素452重复参照图5A到图5E所述的图^^奮补，直到与块440的 右端相邻的块442 一t修补。
在完成块442的预测编码之后，与当前块440的下端相邻的块444被预 测编码。相似于与当前块440的右端相邻的块442的情况，在完成当前块440 的编码之后，与当前块440的下端相邻的块444被预测编码。因此，当与当 前块440的下端相邻的块444被预测时，初始边界在块444与像素454之间。
参照图8，在操作810，根据本发明示例性实施例的视频编码器300基于 在与当前块和当前图像的先前编码区之间的边界相邻的像素来执行图像修 补，从而产生当前块的预测块。
优选地是，视频编码器300将当前块与当前图像的先前编码区之间的边 界设置为修补区的初始边界，并执行参照图5A到图5E所述的基于样本的图 像修补。
在操作820，视频编码器300从当前块减去在操作810产生的预测块作 为预测结果，从而产生当前块的残差块。
在操作830,视频编码器300编码在操作820产生的残差块。为此，视 频编码器300对残差块执行DCT以产生DCT系数并量化产生的DCT系数。 视频编码器300随后对量化的系数执行熵编码并将编码的系数插入比特流。
图9是根据本发明示例性实施例的视频解码器900的框图。参照图9，根据本发明示例性实施例的视频解码器卯0包括解码单元910、 帧内预测单元920和加法单元930。
解码单元910对当前块的残差块解码。为此，解码单元910接收用于残 差块的数据，并对接收的数据执行熵解码。解码单元910对产生作为熵解码 的结果的残差块的量化的DCT系数执行反量化。解码单元910对反量化的 DCT系数执行逆DCT,从而对残差块解码。
与视频编码器300的帧内预测单元310相似，帧内预测单元920以根据 本发明示例性实施例的新的预测模式执行帧内预测，从而产生当前块的预测 块。更具体地，帧内预测单元920基于在与当前块和当前图像的先前编码区 之间的边界相邻的像素中包括在先前编码区中的像素执行图像修补，从而预 测当前块。
帧内预测单元920可包括图像修补单元922和预测单元924。
图像修补单元922使用在与当前块和当前图像的先前编码区之间的边界 相邻的像素来执行图像修补。如上所述，图像修补单元922可使用基于样本 的图像修补执行图像修补。
如上参照图5A到图5E所述，图像修补单元922将当前块与当前图像的 先前编码区之间的边界设置为修补区的初始边界，并重复基于样本的图像修 补，从而修补当前块。
预测单元924基于图像修补单元922获得的预测结果产生当前块的预测块。
码的残差块相加，^v而重建当前块。重建的当前块^皮发送到帧内预测单元920 以用于下 一 块的帧内预测。
参照图10,在操作1010,根据本发明示例性实施例的视频解码器900 对当前块的残差块解码。为此，视频解码器900对残差块的数据执行熵解码、 反量化和逆DCT, ^人而重建残差块。
在操作1020，视频解码器900基于与当前图像的先前解码区和当前图像 的未解码区之间的边界相邻的像素来执行图像修补，从而预测当前块。
优选的是，视频解码器卯0基于与当前块和当前图像的先前编码区之间 的边界相邻的像素来执行基于样本的图像修补。与视频编码相关的描述的帧内预测对称地在碎见频解码中使用。
在操作1030,^L频解码器900将操作1010中解码的残差块加到操作1020 中产生的预测块，从而重建当前块。
本发明也可被实施为计算机可读记录介质上的计算机可读代码。计算机 可读记录介质可以是存储其后可被计算机系统读取的数据的任何数据存储装 置。计算机可读记录介质的示例包括只读存储器(ROM)、随机访问存储 器(RAM)、 CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介 质还可分布于联网的计算机系统，从而以分布方式存储和执行计算机可读代 码。
虽然已经参照本发明的示例性实施例具体示出和描述了本发明，但是本 领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围 的情况下，可以进行形式和细节上的各种改变。
权利要求
1、一种帧内预测编码的方法，包括基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以产生当前块的预测块；从当前块减去预测块，以产生当前块的残差块；以及编码产生的残差块。
2、 如权利要求1所述的帧内预测编码的方法，其中，执行图像修补的步骤包括使用在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行基于样本的图像修补；以及根据基于样本的图像修补的结果产生预测块。
3、 如权利要求2所述的帧内预测编码的方法，其中，执行基于样本的图像修补的步骤包括a) 设置当前块与当前图像的先前编码区之间的边界作为将被修补的区的边界；b) 从与将被修补的区的边界相邻的像素中选择具有最高修补优先级的像素；c) 在当前图像的先前编码区中搜索与包括选择的像素的补片相似的补片，产生搜索结果；d) 基于搜索结果修补宏块中的未编码的区；e) 基于操作d)的修补结果更新将被修补的区的边界；以及f) 重复执行操作b)到操作e)直到当前块被修补。
4、 如权利要求3所述的帧内预测编码的方法，其中，补片具有3像素乘以3像素的大小或5像素乘以5像素的大小。
5、 如权利要求3所述的帧内预测编码的方法，其中，搜索补片的步骤包括搜索与包括先前编码区中的选择的像素的补片相似的补片，所述先前编码区限制在从包括当前块的宏块的边界的32像素范围内。
6、 一种帧内预测编码的设备，包括帧内预测单元，基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以产生当前块的预测块；减法单元，从当前块减去预测块，以产生当前块的残差块；以及编码单元，编码产生的残差块。
7、 如权利要求6所述的帧内预测编码的设备，其中，帧内预测单元包括: 图像修补单元，使用在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行基于样本的图像修 补；和预测单元，根据基于样本的图像修补的结果产生预测块。
8、 一种帧内预测解码的方法，包括 对当前块的残差块解码；基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括 在当前图像的先前解码区中的像素来执行图像修补，以产生当前块的预测块； 将预测块与残差块相加，以重建当前块。
9、 如权利要求8所述的帧内预测解码的方法，其中， 一丸行图像修补的步 骤包括使用在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括 在当前图像的先前解码区中的像素来执行基于样本的图像修补；以及 根据基于样本的图像修补的结果产生预测块。
10、 如权利要求9所述的帧内预测解码的方法，其中，执行基于样本的 图像修补的步骤包括a) 设置当前块与当前图像的先前解码区之间的边界作为将被修补的区 的边界；b) 从与将被修补的区的边界相邻的像素中选择具有最高修补优先级的 像素；c) 在当前图像的先前解码区中搜索与包括选择的像素的补片相似的补 片，产生搜索结果；d) 基于搜索结果修补宏块中的未解码的区；e) 基于操作d)的修补结果更新将被修补的区的边界；以及f) 重复执行操作b)到操作e)直到当前块被修补。
11、 如权利要 求IO所述的帧内预测解码的方法，其中，补片具有3像素 乘以3像素的大小或5像素乘以5像素的大小。
12、 如权利要求IO所述的帧内预测解码的方法，其中，搜索补片的步骤包括搜索与包括先前解码区中的选择的像素的补片相似的补片，所述先前解码区限制在从包括当前块的宏块的边界的32像素范围内。
13、 一种帧内预测解码的设备，包括解码单元，对当前块的残差块解码；帧内预测单元，基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，以产生当前块的预测块；加法单元，将预测块与残差块相加，以重建当前块。
14、 如权利要求13所述的帧内预测解码的设备，其中，帧内预测单元包括图像修补单元，使用在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行基于样本的图像修补；和预测单元，根据基于样本的图像修补的结果产生预测块。
15、 一种记录有用于执行帧内预测编码的方法的程序的计算机可读记录介质，包括基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以产生当前块的预测块；从当前块减去预测块，以产生当前块的残差块；以及编码产生的残差块。
16、 一种记录有用于执行帧内预测解码的方法的程序的计算机可读记录介质，包括对当前块的残差块解码；基于在与当前块和当前图像的先前解码区之间的边界相邻的像素中包括在当前图像的先前解码区中的像素来执行图像修补，以产生当前块的预测块；将预测块与残差块相加，以重建当前块。
全文摘要
提供了一种帧内预测编码/解码的方法和设备。所述方法包括基于在与当前块和当前图像的先前编码区之间的边界相邻的像素中包括在当前图像的先前编码区中的像素来执行图像修补，以预测当前块；使用预测结果对当前块执行预测编码。因此，可提供一种能够准确预测当前块的新的帧内预测模式。
文档编号H04N7/32GK101682780SQ200880020003
公开日2010年3月24日 申请日期2008年6月11日 优先权日2007年6月14日
发明者孙有美, 朴正辉, 闵正惠, 韩宇镇 申请人:三星电子株式会社