专利名称：用于提高视频质量的错误掩蔽方法
技术领域：
本发明涉及视频通讯领域，尤其涉及在互联网中提高传输实时视频数据的图像质量的方法。
背景技术：
随着社会经济和生活的发展，人们对于通讯的要求也越来越高，已经不仅仅满足于单纯话音方式的沟通，对于视频要求也日益增多，这使得视频通讯技术得到快速的发展。在视频通讯技术中，为提高视频传输质量，需要对视频传输中的错误进行适当处理，最为主要的就是错误掩蔽和错误更正两种方法。错误掩蔽技术是在完全不增加传送信息量的前提下，在接收端进行的恢复错误信息的技术。错误掩蔽的目的不在于完全还原错误，而是利用接收端仅有的视频信息来增加解码后的图像品质。与错误更正相比，错误掩蔽不会降低图像编码的效率。而在容易产生连续长串错误的传输环境，错误更正码本身也容易被错误干扰，导致失去保护的能力，故错误掩蔽技术更能显示其潜在的实用价值。如何在不增加额外信息下利用接收端仅有的信息以增加恢复图像品质，是所有错误掩蔽技术所要面对的问题，目前常用的技术是时间域与空间域的错误掩蔽法。
时间域错误掩蔽的原理就是利用帧间的时间冗余来做恢复。在块组内的错误起始点可能发生在运动向量部分以及运动补偿值的部分。当错误是发生在运动补偿值的部分时，由于宏块本身的运动向量无误，因此可以直接以此运动向量恢复错误的宏块；如果错误是从运动向量码开始的或者是之前宏块的可变长度码有错误，则由于运动向量以及运动补偿值都是可变长度编码而且宏块也无同步码的机制，所以会导致接下来的宏块运动向量以及运动补偿值无法解码，直到下一个块组出现才能重新同步，此时须找寻合适的运动向量做掩蔽。由于一帧中的背景大部分是固定不动的，当有宏块出错时，可以取其参考帧的同一位置宏块(即零运动向量)来填补遗失的宏块。然而并不是每个宏块都是固定不动的，由于帧中物体大多是规则性的移动，因此当宏块错误时，可以由邻近四或六个宏块的运动向量取平均或是中值的方式来取代错误宏块的运动向量。当错误的宏块不完全跟邻近四周的宏块有相同的运动方向与距离时，如果单纯使用四周运动向量平均值或是中值有时反而改变了物体原有的运动方向，因此除了运动向量外，错误掩蔽需应用更多的信息来决定宏块的运动向量，而错误宏块四周正确的像素值就是一个可以应用的信息，由此产生了边界匹配法BMA(Boundary Matching Algorithm)。边界匹配法以及经修改的边界匹配法MBMA(Modified Boundary Matching Algorithm)都是利用运动向量和边缘像素两种可获得的信息来做恢复。BMA最大的特点是不须要复杂的运算，利用选取的宏块跟四周正确的像素经由简单的差异比较即可选择一个在宏块间最匹配者而达到不错的匹配效果。但是其最大的缺点就是当遗失宏块包含非垂直或水平变化的物体边缘时，其匹配容易产生不协调的连接。虽然MBMA改善了BMA对于边缘匹配缺少方向判定的问题，但是并没有改善当丢失宏块内存在不同物体会产生不连续的情况。
空间域的错误掩蔽是使用当前错误帧内未遭受干扰的正确信息来进行恢复。一般图像画面内某一像素和其邻近的像素间具有很高的相关性，故可以用丢失宏块附近的像素以内插、外插配合距离权重等方法恢复错误宏块的像素值。在前后帧内灰度值变化不大时，采用这种方法效果会比较自然，但也有可能会因为物体边缘变化过大或是权重分配不适当等关系使得恢复的宏块有渐层的感觉，常用的方法为顶点像素线性内插法、最接近像素线性内插法与具有方向性的内插法。空间域法的基本原理是使用像素做内插恢复，当四周像素值变化过大或者是有不同物体边缘时，使用空间域的恢复会产生朦胧渐层的感觉，使得物体的边缘模糊。这样的情况在宏块内有非垂直或水平方向变化的边缘时，使用最接近像素线性内插法或是顶点像素线性内插法产生渐层的感觉会特别明显。空间域的错误掩蔽法不适合对大范围区域做恢复，因为当恢复范围过大时，内部的像素离宏块边缘过远，容易失去与边缘像素值的相关性。以一个大小16×16的宏块为例，若完全以空间域的方法恢复，容易在宏块内部产生模糊的影像，而边缘附近的像素恢复效果较好。
时间域与空间域错误掩蔽法分别利用视频在时间域以及空间域上的冗余性来做恢复。对于时间域法而言，因为使用运动向量的关系，帧间物体连续整齐运动的情况下恢复效果很好，但是当物体在帧间不固定运动时，则宏块间会产生不连续的感觉。空间域法是使用像素间的相邻连续性做内插恢复，所以当宏块四周像素值变化不大时，有良好的恢复效果，然而当四周像素值变化过大或者是有不同物体边缘发生时，使用空间域法恢复会产生朦胧渐层的感觉，使得物体的边缘模糊。
发明内容
本发明的目的是克服现有技术存在的宏块间不连续或者物体边缘模糊的缺点，以期实现能够在物体在帧间不固定运动时宏块间保持联系、以及物体边缘仍然保持清晰的目的。
为实现上述目的，本发明提出了一种用于提高视频质量的错误掩蔽方法，其特征在于，包括以下步骤(1)确定错误宏块四周正确宏块的位置；
(2)以时间域原理中运动向量为起始，根据运动向量匹配与否的原则，把欲恢复的宏块分割成数个区域；(3)选择不同错误掩蔽方式恢复对于运动向量匹配的部分，根据边缘匹配原理采用分割区块匹配法进行恢复；当宏块内有某区域无法采用分割区块匹配法恢复时，进一步采用空间域改良最接近像素内插法进行恢复。
在所述步骤(2)中，运动向量代表帧间编码宏块内大部分像素的运动情形，根据下述公式判断某一丢失宏块四周正确宏块的运动向量是块内像素部分匹配或是全部匹配abs(CP(i，j)-RP(i+mvi，j+mvj))＞＝λ 运动向量不匹配abs(CP(i，j)-RP(i+mvi，j+mvj))+＜λ 运动向量匹配其中mvi与mvj分别为宏块运动向量的i与j方向的分量、CP表示当前帧、RP表示当前帧编码时的参考帧、λ代表临界值；在所述步骤(2)中，将丢失宏块的部分区分为直接相关可恢复区域、间接相关可恢复区域、部分间接相关可恢复区域以及无法恢复区域；在所述步骤(3)中，所述直接相关可回复区域与四周正确宏块相邻边的运动向量均为匹配且有相同的值，利用匹配的运动向量在参考政帧内取出相同大小的区域补偿该区域的像素值；所述间接相关可恢复区域与四周正确宏块相邻边的运动向量均为匹配不过却有不相同的值，通过不相同的匹配运动向量在参考帧取出候选区域，以边缘匹配法选择一个最匹配的候选者恢复此区域的像素值；所述部分间接相关可恢复区域与四周正确区块相邻边的运动向量存在有匹配也有不匹配的情况，首先把不匹配的边缘用匹配运动向量运算，如果原本不匹配的边缘变成匹配时，则此区域转换成直接相关可恢复区域，恢复方式与直接相关可恢复区域的相同；反之如果依然不匹配时，则此区域包含匹配与不匹配的运动向量，此时利用边缘匹配法选择出最匹配的区域做恢复；所述无法恢复区域与四周正确宏块相邻边的运动向量均无匹配，除了利用四周宏块的运动向量为候选者外，额外增加零移动向量为候选者之一。
如果四种区域都发生，则当错误掩蔽做完恢复后，选择除无法恢复区域以外所占最大部分的区域的运动向量作为恢复宏块的运动向量。
在所述步骤(3)中，所述改良式最接近像素内插法改善最接近像素内插法在物体边缘会产生模糊的情况，在四周每一条正确像素均依如下公式计算一个判断值b(i，k)＝[1/(tl×dL+tr×dR+tt×dT+tb×dB)]×[tl×dRbL(k，1)+tr×dLbR(k，N)+tt×dBbT(1，i)+tb×dTbB(N，i)](2)其中tl、tr、tt及tb分别为左右上下边的判断值，当丢失宏块内某点像素恢复的方向包含不同物体时，其值设为0，反之则设为1。
在所述步骤(3)中，如所述时间域分割宏块错误掩蔽法对于无法恢复区域没有匹配的运动向量，则使用空间域改良式最接近像素内插法进行恢复。
在所述步骤(3)中，在整合域恢复错误宏块过程中，当分割宏块中有无法恢复区域时，整合域方法才会执行；如果宏块分割内没有无法恢复区域的话，则不会进行空间域的运算，直接以分割宏块匹配法恢复错误的宏块。
本发明所述方法在现有的时间域与空间域错误掩蔽方法的基础上，结合两者的优点提出了一种整合时间域与空间域的错误掩蔽法，依据不同错误的情况采用不同的方式进行恢复，从而达到最好的图像品质。与现有技术相比，在帧间物体不固定运动时，本发明所述方法明显地改善了宏块间产生不连续的感觉，也改善了空间域法恢复后物体边缘模糊的问题，达到了采用错误掩蔽法回复图像的良好效果。
图1是本发明所述方法中判断运动向量匹配性示意图。
图2是本发发明所述方法中直接相关可恢复区域示意图。
图3是最接近像素内插法与改良式最接近像素内插法比较图。
图4是本发明所述方法流程图。
图5是本发明所述方法中分割区块匹配法流程图。
图6是本发明所述方法中空间域改良最接近像素内插法流程图。
具体实施例方式
下面结合附图对本发明所述方法作进一步描述。
本发明的核心思想是整合时间域与空间域的错误掩蔽方法，首先以时间域原理中运动向量为起始，根据运动向量匹配与否的原则，把欲恢复的宏块分割成数个区域并选择不同方式错误掩蔽方法恢复，其中运动向量匹配的部分根据边缘匹配原理采用分割区块匹配法进行恢复，当宏块内有某区域不适合用边缘匹配恢复时，则使用空间域的改良式最接近像素内插法恢复。
整合时间域与空间域的错误掩蔽方法包括分割区块匹配法以及改良式最接近像素内插法的空间域法，下面详细叙述如下。
对于帧间编码的宏块，根据运动估计的原理，运动向量代表宏块内大部分像素的运动情形，可以把运动向量匹配的情形分为完全匹配以及部分匹配两类。判断某一丢失宏块四周正确宏块的运动向量是块内像素部分匹配或是全部匹配，可将每个像素点逐一代入(1)式做判断。
.abs(CP(i，j)-RP(i+mvi，j+mvj))＞＝λ 运动向量不匹配abs(CP(i，j)-RP(i+mvi，j+mvj)＜λ 运动向量匹配 (1)其中mvi与mvj分别为宏块运动向量的i与j方向的分量。CP表示当前帧，RP表示当前帧编码时的参考帧，λ代表临界值。当某一正确宏块的像素点利用本身宏块的运动向量带入(1)式后，如果与参考帧预估的像素值误差大于等于临界值λ时，则表示此像素值不匹配本身宏块的运动向量；反之则为匹配。为了确定丢失宏块四周正确宏块的运动向量匹配程度，取每个宏块相邻丢失宏块的一行或列像素做运动向量匹配与否的判断，如图1所示。丢失宏块四周正确的宏块均经过边界匹配法判断以确定匹配的情况。
当丢失宏块四周正确的边缘做了运动向量匹配与否的检测后，利用这些信息可以把丢失宏块的部分区分为四种区域，分别为直接相关可恢复区域、间接相关可恢复区域、部分间接相关可恢复区域以及无法恢复区域。
直接相关可回复区域当丢失宏块内某一区域与四周正确宏块相邻边的运动向量均为匹配且有相同的值，则称此区域为直接相关可恢复区域。利用匹配的运动向量在参考政帧内取出相同大小的区域补偿这个区域的像素值。以图2为例，当某一丢失宏块的左方以及上方的区域是正确的，如果两者运动向量相同而且左上边缘均匹配其移动向量，则图2丢失区块的左上灰色区域为直接相关可恢复区域。
间接相关可恢复区域当丢失宏块内某一区域与四周正确宏块相邻边的运动向量均为匹配不过却有不相同的值，则称此区域为间接相关可恢复区域。欲恢复这一类区域的像素值，可通过不相同的匹配运动向量在参考帧取出候选区域，以边缘匹配法选择一个最匹配的候选者恢复此区域的像素值。以图2为例，虽然遗失区块左边缘的上部以及上边缘的左半部均为匹配各自宏块的移动向量，但是两运动向量不相同，故以左边以及上边的宏块运动向量寻找恢复的候选者，通过边缘匹配的准则选取最匹配的区域做恢复。
部分间接相关可恢复区域当丢失宏块内某一区域与四周正确区块相邻边的运动向量有匹配也有不匹配的情况时，则称此区域为部分间接相关可恢复区域。欲恢复此区域的像素值首先把不匹配的边缘用匹配运动向量代入(1)式运算，如果原本不匹配的边缘变成匹配时，则此区域转换成直接相关可恢复区域，恢复方式与直接相关可恢复区域的相同；反之如果依然不匹配时，则此区域包含匹配与不匹配的运动向量，此时利用边缘匹配法选择出最匹配的区域做恢复。同样以图2为例，假设上边缘左半部为匹配上方宏块运动向量的边缘而左边缘的上部分为不匹配左方宏块运动向量的边缘，如果以上方宏块的运动向量代入左边缘的上部分运算成为匹配的话，则丢失宏块的灰色部分转变成为直接相关可恢复区域，直接以上方宏块的运动向量做恢复；如果代入左边缘的上部分运算依然为不匹配的话，则以上方及左方宏块的运动向量在参考帧搜寻候选者，以边缘匹配法选择一最匹配的区域恢复。
无法恢复区域丢失宏块内某一区域与四周正确宏块相邻边的运动向量均无匹配的边缘，则称此区域为无法恢复区域。这样的情况下除了利用四周宏块的运动向量为候选者外，额外增加零移动向量为候选者之一，原因是这样的区域可能是背景。
以一个丢失宏块来说，上述四种区域都可能会发生，假设四种区域都发生时的情况，当错误掩蔽做完恢复后，该选择哪一个运动向量供后续宏块使用呢？最基本的原则是选择除了无法恢复区域以外所占最大部分的区域的运动向量作为恢复宏块的运动向量，以符合运动向量表示此区块大部分像素的运动原则。
改良式最接近像素内插法，最主要的目的就是要改善最接近像素内插法在物体边缘会产生模糊的情况，其恢复的原理与最接近像素内插法相同，不过在四周每一条正确像素均给一个判断值如(2)式所示。
b(i，k)＝[1/(tl×dL+tr×dR+tt×dT+tb×dB)]×[tl×dRbL(k，1)+tr×dLbR(k，N)+tt×dBbT(1，i)+tb×dTbB(N，i)](2)其中tl、tr、tt及tb分别为左右上下边的判断值，当丢失宏决内某点像素恢复的方向包含不同物体时，其值设为0，反之则设为1。
图3(a)假设丢失宏块四周的物体边缘变化情形，图3(b)则显示可能的物体边缘方向，图3(c)显示以最接近像素内插法恢复右上角区域时，使用四边像素值做内插，由于不同物件边缘发生于宏块内将使得恢复效果产生了模糊效果。图3(d)显示改良式最接近像素内插法，以点1为例，tl与tb值为0，tt与tr值为1，而对于点2，tl与tb值为1，tt与tr值为0。这样的恢复方式会使得不同物体之间像素的区分变得更明显。
如前所述时间域分割宏块错误掩蔽法中，对于无法恢复区域没有匹配的运动向量，不适合使用时间域的方式恢复，此时可以使用空间域改良式最接近像素内插法进行恢复，这就是整合时间域与空间域的错误掩蔽方法。该方法并不是将各宏块完全以时间域或是空间域的方式做恢复，而是宏块内的各个区域均可能使用时间域或空间域的方式。其整合的顺序如图4所示。
图4说明在整合域恢复错误宏决时，时间域与空间域方法的选择优先顺序。当分割宏块中有无法恢复区域时，整合域方法才会执行；如果宏块分割内没有无法恢复区域的话，则不会进行空间域的运算，直接以分割宏块匹配法恢复错误的宏块。各种情况的判断顺序流程图如图5所示，整合域错误掩蔽方法处理流程如图6所示。
由于整合时间域与空间域错误掩蔽法中首先进行的分割宏块匹配法部分需要运动向量的信息，因此此方法是以时间域为主的错误掩蔽方法，适合使用于帧间编码。对于没有运动向量的帧内编码，当发生错误时，除了使用一般空间域错误掩蔽法恢复以外，也可利用整合时间域与空间域错误掩蔽法，每个帧内编码宏块的运动向量可用相邻的前一帧间编码帧相对应位置的宏块的运动向量来表示，进行如图6同样的步骤恢复帧内编码画面。
权利要求
1.一种用于提高视频质量的错误掩蔽方法，其特征在于，包括以下步骤(1)确定错误宏块四周正确宏块的位置；(2)以时间域原理中运动向量为起始，根据运动向量匹配与否的原则，把欲恢复的宏块分割成数个区域；(3)选择不同错误掩蔽方式恢复对于运动向量匹配的部分，根据边缘匹配原理采用分割区块匹配法进行恢复；当宏块内有某区域无法采用分割区块匹配法恢复时，进一步采用空间域改良最接近像素内插法进行恢复。
2.如权利要求1所述的用于提高视频质量的错误掩蔽方法，其特征在于，在所述步骤(2)中，运动向量代表帧间编码宏块内大部分像素的运动情形，根据下述公式判断某一丢失宏块四周正确宏块的运动向量是块内像素部分匹配或是全部匹配abs(CP(i，j)-RP(i+mvi，j+mvj))＞＝λ运动向量不匹配abs(CP(i，j)-RP(i+mvi，j+mvj))＜λ 运动向量匹配其中mvi与mvj分别为宏块运动向量的i与j方向的分量、CP表示当前帧、RP表示当前帧编码时的参考帧、λ代表临界值。
3.如权利要求1所述的用于提高视频质量的错误掩蔽方法，其特征在于，在所述步骤(2)中，将欲恢复宏块的各个区域分为直接相关可恢复区域、间接相关可恢复区域、部分间接相关可恢复区域以及无法恢复区域。
4.如权利要求1或3所述的用于提高视频质量的错误掩蔽方法，其特征在于，在所述步骤(3)中，所述直接相关可回复区域与四周正确宏块相邻边的运动向量均为匹配且有相同的值，利用匹配的运动向量在参考政帧内取出相同大小的区域补偿该区域的像素值；所述间接相关可恢复区域与四周正确宏块相邻边的运动向量均为匹配不过却有不相同的值，通过不相同的匹配运动向量在参考帧取出候选区域，以边缘匹配法选择一个最匹配的候选者恢复此区域的像素值；所述部分间接相关可恢复区域与四周正确区块相邻边的运动向量存在既有匹配也有不匹配的情况；首先把不匹配的边缘用匹配运动向量运算，如果原本不匹配的边缘变成匹配时，则此区域转换成直接相关可恢复区域，恢复方式与直接相关可恢复区域的相同；如果依然不匹配时，则此区域包含匹配与不匹配的运动向量，此时利用边缘匹配法选择出最匹配的区域做恢复；所述无法恢复区域与四周正确宏块相邻边的运动向量均无匹配，除利用四周宏块的运动向量为候选者外，额外增加零移动向量为候选者之一。
5.如权利要求4所述的用于提高视频质量的错误掩蔽方法，其特征在于，如果四种区域都发生，则当错误掩蔽做完恢复后，选择除无法恢复区域以外所占最大部分的区域的运动向量作为恢复宏块的运动向量。
6.如权利要求1所述的用于提高视频质量的错误掩蔽方法，其特征在于，在所述步骤(3)中，如所述时间域分割宏块错误掩蔽法对于无法恢复区域没有匹配的运动向量，则使用改良式最接近像素内插法进行恢复。
7.如权利要求1或6所述的用于提高视频质量的错误掩蔽方法，其特征在于，在所述步骤(3)中，所述改良式最接近像素内插法改善最接近像素内插法在物体边缘会产生模糊的情况，在四周每一条正确像素均依如下公式计算一个判断值b(i，k)＝[1/(tl×dL+tr×dR+tt×dT+tb×dB)]×[tl×dRbL(k，l)+tr×dLbR(k，N)+tt×dBbT(l，i)+tb×dTbB(N，i)](2)其中tl、tr、tt及tb分别为左右上下边的判断值，当丢失宏块内某点像素恢复的方向包含不同物体时，其值设为0，反之则设为1。
8.如权利要求1所述的用于提高视频质量的错误掩蔽方法，其特征在于，在所述步骤(3)中，在整合域恢复错误宏块过程中，当分割宏块中有无法恢复区域时，才执行整合域方法；如果宏块分割内没有无法恢复区域，则不进行空间域的运算，直接以分割宏块匹配法恢复错误的宏块。
全文摘要
本发明公开了视频通讯领域中用于提高视频质量的错误掩蔽方法，首先确定错误宏块四周正确宏块的位置；以时间域原理中运动向量为起始，根据运动向量匹配与否的原则，把欲恢复的宏块分割成数个区域，并选择不同方式错误掩蔽方法恢复；对于运动向量匹配的部分根据边缘匹配原理采用分割区块匹配法进行恢复。当宏块内有某区域无法采用分割区块匹配法恢复时，进一步采用空间域改良最接近像素内插法进行恢复。本发明所述方法与现有技术相比，在帧间物体不固定运动时，本发明所述方法明显地改善了宏块间产生不连续的感觉，也改善了空间域法恢复后物体边缘模糊的问题，达到了采用错误掩蔽法回复图像的良好效果。
文档编号H04N5/14GK1731856SQ20041007051
公开日2006年2月8日 申请日期2004年8月5日 优先权日2004年8月5日
发明者许东 申请人:中兴通讯股份有限公司