专利名称：编码交错宏块纹理信息的方法和设备的利记博彩app
技术领域：
本发明涉及的是一种用于编码交错宏块纹理信息的方法和设备；且更具体地，涉及在纹理宏块的基础上在一参考VOP上填充纹理信息以便在交错编码技术上使用运动估计的方法和设备。
在数字可视系统中，如视频电话、电视会议和高清晰度电视系统，需要大量数据来定义每个视频帧信号，这是因为视频帧信号中的每个视频行信号都是由一系列被称作象素值的数据组成，然而由于传输信道的有效带宽是有限的，为了尽可能传输大量数据，这就需要采用各种不同的数据压缩技术以减少或压缩数据量，特别是在低比特率视频信号编码器，如视频电话和电视会议系统，更需要采用数据压缩技术。
一种对于低比特率编码系统的视频信号编码技术，称作面向对象的分析—合成编码技术，其中输入的视频图形被分成几个对象，每个对象有定义运动、形状和象素数据的三个参数集，通过不同的编码通道分别对这三个参数集进行编码。
面向对象编码方案的一个例子就是MPEG(活动图象专家组)发展阶段4(MPEG-4)，它提出一种音频—视频编码标准。这一标准允许基于文本的交互性，改进的编码效率和/或在如低比特率通信这样应用中的通用存取、交互性多媒体(如游戏、交互电视等)和地区监视(参见MPEG-4视频检测模型版本7.0，国际标准化组织，ISO/IEC JTC1/SC29/WG11 MPEG97/N1642，1997年4月)。
根据MPEG-4，视频输入图象被分成许多视频对象平面(VOP’s)，它对应于比特流中的实体，用户可对该实体进行访问和处理。每个VOP可看成一个对象且用一个围绕每个对象的封闭的矩形表示，该矩形的高和宽可以是16个象素的最小倍数(一个宏块的尺寸)，这样编码器可以逐VOP，即逐对象地处理输入视频图象。
MPEG-4中说明的VOP包括对象的形状信息和纹理信息，该对象由一个VOP上的多个宏块表示，每个宏块有例如16×16个象素，其中形状信息以二进制形状信号表示，纹理信息包括亮度和色度数据。
由于两个连续接收到的输入视频图象的纹理信息存在时间冗余，通过采用运动估计和补偿技术，希望可以减少这些时间冗余，从而能对纹理信息进行更为有效的编码。
为进行运动估计和补偿，一个参考VOP(例如前一个VOP)应通过一种渐进图象填充技术，即一种传统的重复填充技术来填充。从原理上讲，重复填充技术通过复制对象的边界象素，填充VOP对象外部透明区域，其中边界象素位于对象的形状信息中。在重构形状信息中最好执行反复填充技术。如果多个边界象素可重复填充对象外部透明区域中的透明象素，则取重复值的平均值作为填充值，这个渐进填充过程一般可分成三步即水平重复填充、垂直重复填充和外部填充(参见MPEG-4视频检验模型版本7.0)。
虽然上述的渐进填充技术可用于以宏块为基础编码行间具有更大空间相关性的渐进纹理信息，但若一VOP或一帧内的对象的运动相当的大，则其编码效率可能很低。因此，在进行具有较快的运动(如体育活动、赛马、汽车赛)的交错纹理信息的逐场的运动和补偿前，对于渐进填充过程最好进行一个交错填充过程，其中在交错填充过程中，一个宏块分为二个场块且填充是在场块基础上进行的。
然而，若所有的场块的填充不考虑场间的相关性，则某些场块可能不被正确的填充。
总之，本发明的一个目的是提出一种能考虑场间的相关性填充交错纹理信息的方法和设备。
根据本发明，提供一种通过当前VOP与一个或多个参考VOP之间的运动估计基于纹理宏块编码交错纹理信息的方法，其中当前及参考VOP的每一纹理宏块有M×N个确定的或未确定的纹理象素，M和N分别是正偶数，该方法包括如下步骤(a)检测每一参考VOP的上述每个纹理宏块是否是边界块，其中边界块至少有一个确定的纹理象素和至少有一个未确定的纹理象素；(b)把边界块分成两个场块，每个场块有M/2×N个纹理象素；(c)基于其确定的纹理象素推出每个场块的未确定的纹理象素，以产生上述两个场块的推测边界块；及(d)若该边界块具有一未确定的场块和一确定的场块，则基于确定的场块填充该未确定的场块，其中未确定的场块和确定的场块分别代表只具有未确定的纹理象素的场块和至少具有一个确定的纹理象素的场块。
本发明的上述目标和特点以及其他一些目标和特点通过对下面优选实施例及其附图的说明，将变得非常明显，其中
图1所示的是根据本发明的视频信号中对象的交错纹理信息编码的设备的原理框图；图2所示的是图1中所示的参考帧处理电路的操作流图；图3A和3B所示的分别是一个边界宏块的顶和底边界场块；图3C到图3E所示是根据本发明对顶边界场块和底边界场块顺序填充过程；图4所示的是一个VOP例子的多个未确定邻块和对每个未确定邻块的填充方向。
参考图1，这是一个在当前VOP进行交错纹理信息编码设备的原理框图。纹理信息被分成多个纹理宏块，提供给分割电路102，其中每个纹理宏块都有M×N个纹理象素，M和N是正偶整数，典型的范围是4到16。
分割电路102把每个纹理宏块分成顶场块和底场块，它们可称为交错纹理信息，其中顶场块有M/2×N个纹理象素，包含每个纹理宏块的全部奇数行，底场块有另外M/2×N个纹理象素，包含每个纹理宏块的全部偶数行。每个纹理宏块的顶场块和底场块分别顺序作为当前的顶场块和底场块送入减法器104和运动估计器116。
从参考帧处理电路114中读出参考(例如前一)交错纹理信息，即参考VOP的交错纹理信息，并提供给运动估计器116和运动补偿器118。参考VOP也分成多个检索区域，每个检索区域分成顶部和底部检索区域，其中具有预定数目(例如P(M/2×N))参考象素的顶部检索区域包括每个检索区域的每一奇数行，具有预定数目的参考象素的底部检索区域包括每一检索区域的每一偶数行，P为正整数，典型值是2。
运动估计器116逐场地为每一当前顶或底场块确定一运动向量。首先，运动估计器116检测两个参考场块，即参考顶场块和参考底场块，其中分别位于顶部和底部检索区域内部的两个参考场块位于与当前顶或底场块同一位置。由于顶部和底部检索区域分别具有多个包括参考顶部和底部场块的候选顶部和候选底部场块，每个当前顶和底场块可以逐象素地在顶部和底部检索区域中移位，以分别为每次移位来对应一个候选顶和底场块；作所有可能的移位处，每个当前顶或底场块与所有的候选顶和底场块之间的误差被计算以与另一个比较；且选择一个产生最小误差的候选顶场块或底场块，把它作为最优候选场块或最相似场块。从运动估计器116输出一个运动向量和一个场指示标志，它们被送入运动补偿器118和通过使用例如变长编码(VLC)原理的统计编码电路108，其中运动向量说明了在每个当前顶场块或底场块与最优候选场块之间的移位，场指示标志则表示最优候选场块是否属于顶部检索区域。
运动补偿器118提供最优候选场块作为对当前每个顶场块或底场块的预测的顶或底场块，基于运动向量和场指示标志将其输入到减法器104和加法器112。
减法器104在相应象素序列基础上，从每个当前顶或底场块中减去预测出的顶或底场块，从而得到一个误差场块，将这个误差场块输出给纹理编码电路106。
在纹理编码电路106中，对误差场块进行正交变换处理，从而去除其中的空间冗余，然后对变换系数进行量化，以将量化了的变换系数输出给统计编码电路108和纹理重构电路110。由于传统正交变换，如离散余弦变换(DCT)，是基于逐DCT块基础上进行变换的，每个DCT块的大小一般是8×8个纹理象素，所示最好把有8×16误差纹理象素的误差场块在纹理编码电路106中分成两个DCT块。如果必要的话，在进行DCT前，在每个VOP的形状信息或重构形状信息的基础上，对每个误差场块进行DCT填充，从而减小DCT处理过程中可能产生的高频成份。举例说明，一个预定值，如‘0’，可分配给每个VOP边界以外的误差纹理象素。
统计编码电路108对从纹理编码电路106输入的量化变换系数、对由运动估计器116输入的每个当前顶场块或底场块的场指示标志和运动向量采用传统变长编码技术进行编码，以将统计编码数据输出给用于发送的发送器(未显示出)。
与此同时，纹理重构电路110对量化的变换系数进行反向量化和逆变换，从而得到对应于误差场块的重构误差场块，并输入加法器112。加法器112将来自于纹理重构电路110的重构误差场块和来自于运动补偿器118的预测顶场块或底场块逐象素地组合，以将组合的结果作为对每个当前顶场块或底场块的重构顶或底场块，输入到参考帧处理电路114。
参考帧处理电路114，根据当前VOP的形状信息或重构出的形状信息，顺序填充重构出的顶或底场块，以将所有填充的顶和底场块作为当前VOP后续VOP的参考交错纹理信息，提供到运动估计器116和运动补偿器118。
参考图2，示出图1所示的参考帧处理电路114的操作过程流图。
在S201步，顺序接收重构的顶和底场块，在S203步，根据形状信息，去除重构顶或底场块的外部象素，其中外部象素位于对象轮廓的外部。重构的形状信息可以当作形状信息。当把外部象素去除而作为透明象素即未确定象素时，在重构的顶或底场块内的剩下的内部象素，则被作为在场块基础上的确定纹理象素。
在S204步，判决具有重构的顶和其响应的重构的底场块的每个重构的块是否超出当前对象。换句话说，判断上述每个重构的块是内部块、边界块、或外部块，其中内部块只有确定的纹理象素，外部块只有未确定的纹理象素，而边界块则既有确定的纹理象素，又有未确定的纹理象素。如果重构块被判决是内部块，则S210步就不会对其进行填充处理，过程转至S208步。
若重构块是如图3A所示的边界块BB，则在步骤S221到S224，边界块的未确定的纹理象素从确定的纹理象素推测以生成推测的边界块，其中每个方块为一个纹理象素，每个阴影方块为一确定的纹理象素，每一白色方块为一未确定的纹理象素。首先，在步骤S221，边界块被分成如图3B所示的顶和底边界场块T和B，其中每个边界场块有M/2×N个纹理象素，即8×16个纹理象素，使得顶和底场块T和B分别具有M/2即8行T1到T8和B1到B8。在第S222步，利用图3C所示的水平反复填充技术逐行地对未确定的纹理象素进行填充，以对每一行B1、B2和B4到B8都产生一个填充行。换句话说，按图3C中的箭头方向，通过复制边界象素对未确定的纹理象素进行填充，其中在确定的纹理象素中的每个边界象素位于对象轮廓即边界制上。如果存在任何未确定的纹理象素可被多个边界象素反复填充，则使用重复值的平均值。
如果在每个顶或底场块中存在一个或多个只具有未确定的纹理象素的透明行，在S223步，则用相应的顶或底场块中的一个或多个最近的已确定或已填充的行对每个透明行进行填充，其中确定的行中都是已确定的纹理象素。例如，如图3D所示，在底场块中所示的透明行B3的每个未确定纹理象素，可用上方最近或下方最近的填充行，即底场块中的第2和第4填充行B2和B4，其中的两个已确定的或已填充的纹理象素的平均值填充。如果透明行是最高行或最低行，即对应于第1行或第8行，上述每个纹理象素可用最近的已填充或已正确的行中的已确定或已填充的纹理象素所替代。
如果边界块中只存在一个透明边界场块，如图3B所示，在S224步，则根据边界块中另一个边界场块对透明边界场块进行填充，其中透明边界场块，即一个未确定场块不具有确定的纹理象素。换句话说，如果一个顶场块是透明的，那么其中所有的未确定纹理象素，可以用一个常数P填充，如图3E所示，如在底场块中的确定的纹理象素的平均值。底场块中已定义或已填充的象素的均值可用来填充透明场块，如果必要的话，根据通道特性，还可使用任一个纹理象素所有可能值的中值2L-1作为填充值，其中L是分配给每个象素的比特数。例如，假设L等于8，则从象素0到255，具有256个纹理象素，其中值等于128。
在所有的内部和边界块被如上所述地填充完之后，为了处理快速运动的VOP，填充还必需延伸到未确定的相邻块，即与一个或多个内部或边界块相邻的内部块。若需要的话，相邻块可在VOP之外。
在S208步，根据推测出的边界块和内部的块之一，对未确定邻块中的未确定纹理信息进行填充，从而产生一个未确定邻块的推测邻块，其中每个推测边界块有对象的部分轮廓A，且每个未确定邻块用阴影区表示，如图4所示。如果多于一个推测边界块围绕着未确定邻块，则以未确定邻块为基准按左方、上方、右方、下方的优先顺序选择一个推测出的边界块，然后按右方、下方、左方、上方的方向复制被选的推测边界块的垂直或水平边界，其中垂直或水平的边界与未确定邻块相邻。如图4所示，未确定邻块JB4、JB10、JB15和JB21和JB28分别选择各自左方的推测边界块a2、a5、a9、a13和a14；未确定邻块JB20、JB27和JB22选择各自的上方推测边界块a10、a14、a13；未确定的邻块JB1、JB9、JB14和JB19选择各自的右边推测边界块a1、a3、a6和a10；未确定的邻块JB2和JB3选择各自的下方推测边界块a1、a2。推测出边界块a2的最右方垂直边界向右方扩展以填充未确定邻块JB4，推测出的边界块a10的最下方水平边界向下扩展以填充未确定邻块JB20，等等。同样，未确定的对角块如M1、M2、M5和M7到M11，也可用一个常数值去填充，(例如，‘128’)以成为未确定邻块的推测邻块，其中每个未确定对角块是与推测出的边界块沿对角线相邻，且象素全是未确定的纹理象素。
如上所述，在S211步，推测出的边界块和推测出的邻块，以及内部块被存储。虽然本发明通过用某个特殊的实施例进行描述，对那些精通本技术的人来说，这一点是很明显的，即不背离如下面权利要求书中明确的本发明的思想和领域的情况下，可以进行不同的变化和修改。
权利要求
1.一种通过当前VOP与一个或多个参考VOP之间的运动估计基于纹理宏块编码交错纹理信息的方法，其中当前及参考VOP的每一纹理宏块有M×N个确定的或未确定的纹理象素，M和N分别是正偶数，该方法包括如下步骤(a)检测每一参考VOP的上述每个纹理宏块是否是边界块，其中边界块至少有一个确定的纹理象素和至少有一个未确定的纹理象素；(b)把边界块分成两个场块，每个场块有M/2×N个纹理象素；(c)基于其确定的纹理象素推出每个场块的未确定的纹理象素，以产生上述两个场块的推测边界块；及(d)若该边界块具有一未确定的场块和一确定的场块，则基于确定的场块填充该未确定的场块，其中未确定的场块和确定的场块分别代表只具有未确定的纹理象素的场块和至少具有一个确定的纹理象素的场块。
2.如权利要求1中所述的方法，其中此方法进一步包括步骤(f)，基于该推测的边界块扩展一未确定的邻块，其中该未确定的邻块与推测的边界块相邻且只具有未确定的纹理象素。
3.如权利要求2所述的方法，其中(c)步骤进一步包括步骤(c1)根据场块中至少一个确定的纹理象素，对至少一个未确定的纹理象素进行填充，从而为该场块产生一个填充的场块。
4.如权利要求3中所述的方法，其中(c1)步包括以下几个步骤(c11)在逐行基础上，填充至少一个未确定的纹理象素，从而产生一个填充行；(c12)如果存在透明行，从最少一个最近的填充行，对上述透明行进行填充，其中透明行表示一个只有未确定纹理象素的行。
5.如权利要求4中所述的方法，其中上述步骤(f)中包括以下几个步骤(f1)如果上述未确定邻块周围有多个推测的边界块，则以上述未确定邻块为基准，按左方、上方、右方、下方这样的优选顺序选择一个推测的边界块；(f2)复制被选推测边界块右方、下方、左方、上方的垂直或水平边界，将其扩展到未确定邻块，其中垂直或水平边界与上述未确定邻块相邻。
6.如权利要求4中所述的方法，其中上述未确定场块中所有的未确定纹理象素用一个常数值填充。
7.如权利要求6中所述的方法，其中上述未确定场块中所有的未确定纹理象素被一均值所填充，对另一个场块来说，这一均值是在已填充的场块内的确定的纹理象素和填充的纹理象素的均值，其中填充的纹理象素是通过步骤(c1)进行场填充而得到的。
8.如权利要求6中所述的方法，上述未确定场块的所有未确定纹理象素被一个均值所填充，对另一个场来说，这一均值是已填充的场块内的确定纹理象素的均值。
9.如权利要求6中所述的方法，其中常数值是2L-1，其中L是分配给每个象素的比特数。
10.如权利要求9中所述的方法，其中L是8。
11.一种用于通过当前VOP与一个或多个参考VOP之间的运动估计基于纹理宏块编码交错纹理信息的方法，其中当前及参考VOP的每一纹理宏块有M×N个确定的或未确定的纹理象素，M和N分别是正偶数，该设备包括一个边界块检测器，用于检测每一参考VOP的上述每个纹理宏块是否是边界块，其中边界块至少有一个确定的纹理象素和至少有一个未确定的纹理象素；一个场分割器，用于把边界块分成两个场块，每个场块有M/2×N个纹理象素；一个纹理象素填充电路，基于其确定的纹理象素推出每个场块的未确定的纹理象素，以产生上述两个场块的推测边界块；及一个透明场填充电路，用于根据边界块的另一个场块，对未确定的场块进行填充，其中未确定场块表示一个只没有未确定的纹理象素的场块。
12.如权利要求11中所述的设备，其中该设备进一步包括邻块填充电路，其用于推测边界块扩展一未确定的邻块，其中该未确定的邻块与该推测的边界块相邻且只有未确定的纹理象素。
13.如权利要求12中所述的设备，其中该设备还包括场填充电路，用于根据其中的确定纹理象素填充场块中的未确定纹理象素，以产生该场块的填充的场块。
14.如权利要求13所述的设备，其中场填充电路包括一个水平填充电路，用于逐行地填充未确定的纹理象素以产生填充的行；一个透明行填充电路，用于根据至少一个最近的填充行对透明行进行填充，其中透明行表示一个只有确定的纹理象素的行。
15.如权利要求14中所述的设备，其中上述邻块填充电路包括一个选择器，其作用是以上述未确定邻块为基准，按左方、上方、右方、下方的优选顺序选择一个推测的边界块；及按向右方、向下方、向左方、向上方对被选的推测边界块的垂直或水平边界进行复制的设备，从而扩展未确定邻块，其中垂直或水平边界与未确定邻块相邻。
16.如权利要求14中所述的设备，其中上述未确定场块的所有未确定的纹理象素用一个常数值填充。
17.如权利要求16中所述的设备，其中上述未确定场块中所有未确定的纹理象素用一个均值填充，对另一场块来说，这一均值是已填充的场块内的确定纹理象素和填充纹理象素的均值，其中填充纹理象素是通过场填充电路进行场填充而成的。
18.如权利要求16中所述的设备，其中上述未确定场块中所有未确定纹理象素可用一个均值填充，对另一个场块来说，这一均值是填充的场块内的确定纹理象素的均值。
19.如权利要求16中所述的设备，其中常数值是2L-1，L是分配给每个象素的比特数。
20.如权利要求19中所述的设备，其中L是8。
全文摘要
一种用于在参考帧上填充交错纹理信息以进行运动估计的方法,该方法检测参考帧中上述每个纹理宏块是否是边界块。顺序使用水平重复填充、透明行填充和透明场填充技术,从边界块中确定的纹理象素中推测出其中未确定的纹理象之后,根据推测出的边界块,对未确定邻块进行扩展。
文档编号H04N7/32GK1229323SQ98102368
公开日1999年9月22日 申请日期1998年6月8日 优先权日1998年3月14日
发明者李尚勲 申请人:大宇电子株式会社