专利名称：检测块假像的方法
技术领域：
本发明涉及一种处理与数字图像序列的像素相对应的数据，以便检测对应于块假象(blocking artefact)的网格的方法，所述方法包括高通滤波数字图像的一部分的步骤，以提供至少一个不连续像素的图(card)，以及根据至少一个不连续像素的图来检测块假象的步骤。
本发明还涉及一种包括处理设备的电视接收机，该处理设备执行根据本发明的数据处理方法。
特别是在检测数字图像中的块假象以及校正包含在这些块中的数据时可应用本发明，以便减弱由于基于块的编码技术所引起的视觉假象，其中已经根据基于块的编码技术，例如MPEG标准(“运动图像专家组”)先编码然后解码该数字图像。
块假象构成了基于块的编码技术的至关重要的问题，该编码技术使用离散余弦变换DCT类型的离散变换。他们表现为块状马赛克的形式，块状马赛克有时候在解码的图像序列中尤其显眼。这些假象是由于离散变换之后的强量化造成的，该强量化使得在编码块的边界上出现了强烈的不连续性。
国际专利申请WO01/20912(案件号PHF99579)描述了一种能够检测和定位与解码的数字图像中的块假象相对应的网格的方法。这种方法授权检测三种规则的网格大小即8×8、10×8和12×8像素，网格大小由用于广播电视数字节目的图像的主要格式决定。网格8×8对应于以576行的720像素的格式编码的图像序列，网格10-11-11×8(近似于10×8的网格)对应于576×540格式的编码(称之为编码格式3/4)以及网格12×8对应于576×480格式的编码(称之为编码格式2/3)。通过搜索块假象之间最常见的距离获得网格的大小。网格相对于图像原点(0，0)的偏移通过在所有可能的偏移中搜索对应于最大数量的块假象的存在来获得。
本发明的一个目的是提供一种更加有效的数据处理方法。
现有技术的方法是基于搜索和检测规则地以定距离间隔的块假象。因此，它只搜索图像内一种网格大小和一个相对所述图像原点的网格偏移。但是，由于再采样该图像，网格在图像内可能会发生失真。有时候可能提前知道这种失真，如在3/4编码格式的情况下，其中网格的宽度随10-11-11模式而变化。但是，这种变化通常是任意的，因为其源自例如比率译码(rate transcoding)、16/9电视接收机中的图像格式转换(例如从4/3格式到16/9格式)、图像部分缩放、A/D转换、或者甚至是这些不同转换的组合。在这种情况下，现有技术的方法保持了最常见大小的网格和位置，并基于这种网格冒着部分或者甚至无效率校正的危险应用一个后处理步骤。
为了应对这些问题，根据本发明的数据处理方法特征在于该方法包括，在图像的一部分内搜索一组网格行，该网格行具有基本上大于其相邻行的块假象密度的块假象密度。
根据本发明的处理方法是基于一种分析以及将图像每行的块假象进行分区，而不是象现有技术那样基于块假象之间距离的周期性的搜索。结果是一组网格行，而不是具有固定大小网孔的网格，在该组网格行中由于再采样该图像而可以改变网格行之间的距离。因此，根据本发明的处理方法提供了处理再采样的图像的可能性，而不用先知道可能的再采样操作。
而且，与现有技术中一个片断一个片断地进行选择的方法相比，由于一行一行地选择块假象，因此减小了错误检测的危险，并显著提高了该方法的效率。
参考在下文中所描述的实施例，通过非限制性的实例将使得本发明的这些和其他方面变得显而易见并对其予以说明。
在附图中
图1所示为根据本发明的数据处理方法；图2示例了以空间域和频域所表示的两个假象分布图p1和p2，原理上，这些假象分布图出现在根据基于块的编码技术编码的图像中；图3描述了校正块假象的方法；以及图4描述了校正p2类型块假象的原理。
本发明涉及一种处理根据基于块的编码技术所编码和解码的数字图像序列的方法。在本实例中，所使用的编码技术为基于离散余弦变换DCT的MPEG标准，但是可替换地，也可应用任何其他的等同标准，诸如例如，H.263或H.26L标准。应该注意到，该方法还可以应用于例如根据JPEG标准编码的静态图像(fixed image)。该处理方法首先涉及检测由于这些基于块的编码技术所引起的块假象，接下来涉及随后的应用诸如例如，后处理技术或图像质量测量。
图1图形化示出了根据本发明的处理方法。这种方法首先包括高通滤波HPF(110)数字图像的一部分的步骤。如果该图像由两个交错的帧构成，那么该部分例如为一帧的两个域的其中之一。在优选实施例中，高通滤波步骤为使用滤波器hp1＝[1，-1，-4，8，-4，-1，1]的梯度滤波步骤。一行LGN一行地水平和垂直应用该滤波器到序列的数字图像域FLD的亮度为Y(m，n)的像素中，其中m和n分别为位于1和M以及1和N之间的整数，并分别对应于根据垂直和水平轴的域中的像素位置(例如在576×720编码格式中，M＝288和N＝720)。
该滤波操作的结果优选由不连续像素的两个图构成，即水平图Eh和垂直图Ev。如主要在水平方向执行再采样操作，示出了垂直不连续性的水平图Eh满足第一个近似。但是，当根据本发明的处理方法基于处理不连续像素的两个图Eh和Ev时，该方法将具有最佳的效率。
其他梯度滤波可能为诸如例如如下Antonini等人在“Image CodingUsing Wavelet Transform(使用小波变换的图像编码)”文章中所建议的用于小波变换的高通滤波器hp2＝
，IEEE Trans.Image Processing(IEEE学报图像处理)，卷1、NO.2，第205-220页，1992年4月。而且，能够以一种特别简单的方式来实现高通滤波器hp1并产生接近于滤波器hp2的结果的结果。
该方法包括一个确定对应于块假象BAD的不连续性的步骤(120)。实际上，不连续性可对应于块假象以及自然轮廓。对应于块假象的像素的选择被执行为对应于不连续像素的滤波系数Yf的值的函数，产生基本块假象的大概位置的两个二进制图。图2示例了在利用滤波器hp1或hp2滤波之后，以空间域和频域所表示的两个假象分布图p1和p2，原理上，这两个假象分布图出现在根据块编码技术编码的图像中。第一分布图p1对应于标准的块假象，而第二分布图p2对应于在已经经过再采样操作或等同处理操作的图像中出现的块假象。在空间域中，第一分布图p1为单个阶梯级，而第二分布图p2为双倍的阶梯级。在频域中，第一分布图p1表示为一个峰值，而第二分布图p2表示为双峰值。
在优选实施例中，确定对应于块假象的不连续性的步骤包括一个检测自然轮廓和不可见的假象的子步骤。为此，水平Yfh(m，n)和/或垂直Yfv(m，n)滤波的系数值必须位于两个门限之间，以便能够对应于块假象。第一门限S1对应于可视性门限，而第二门限对应于该限制，根据该限制像素位置(m，n)对应于一个自然轮廓。优选地为滤波系数的绝对值采用如下条件S1＜|Yfh(m，n)|＜S2和S1＜|Yfv(m，n)|＜S2作为替换，使用以下条件S1＜|Yfh(m，n)|2+|Yfv(m，n)|2＜S＇2其中，S’1和S’2与S1和S2具有相同的功能。该门限值取决于所使用的滤波器。对于滤波器hp2，采用例如S’1＝0.6和S’2＝400，S1＝0.5和S2＝20。特别有利的是，在应用MPEG-4的情况下，访问视频数据流和因此访问域量化阶是可能的，以所述量化阶的函数将门限S1改变为门限S2，以便进一步提高处理方法的效率。例如，门限值为量化阶的线性函数。
确定对应于块假象的不连续性的步骤还包括检测块假象的子步骤。如果满足以下条件，则根据对应于行m的水平方向扫描垂直图Ev，来检测对应于分布图p1的垂直假象|Yfv(m，n)|＞|Yfv(m，n+k)|k＝-2，-1，+1，+2。
如果|Y(m，n)-Y(m，n-1)|＜|Y(m，n)-Y(m，n+1)|，则块的边界位于像素位置(m，n)和像素位置(m，n+1)之间，反之，该边界位于像素位置(m，n-1)和像素位置(m，n)之间。
如果满足以下多重条件，则检测对应于分布图p2的假象fl·|Yfv(m，n)|＜(|Yfv(m，n-1)|+|Yfv(m，n+1)|)|Yfv(m，n-1)|＞f2·|Yfv(m，n-2)||Yfv(m，n+1)|＞f2·|Yfv(m，n+2)|
其中在优选实施例中f1＝6和f2＝2。
块的边界位于像素位置(m，n-1)和像素位置(m，n)之间。以相同的方式，通过扫描包括在对应于列n的垂直方向所滤波的系数Yfh(m，n)的水平图Eh，来检测对应于每个分布图p1和p2的水平假象。
在另一个容易实现的实施例中，高通滤波步骤基于使用滤波器hp3＝[-1，1]的梯度滤波操作。这种类型的滤波器提供了容易检测对应于分布图p1的标准类型的块假象的可能性。确定对应于块假象的不连续性的步骤包括检测自然轮廓子步骤，诸如当满足以下条件时所检测的自然轮廓|Yfh(m，n)|＜Sh，|Yfv(m，n)|＜Sv其中在实例中，对于在0和255之间变化的亮度值Y(m，n)，Sh＝35，Sv＝50。
确定对应于块假象的不连续性的步骤包括子步骤，即在除了自然轮廓以外的像素的Yfh和/或Yfv的滤波值上进行检测块假象的子步骤，当满足以下条件时检测该块假象|Yfh[i,j]|>|Yfh[i,j-1]|+|Yfh‾|2|Yfh[i,j]|>|Yfh[i,j+1]|+|Yfh‾|2]]>|Yfh|为域中Yfh绝对值的平均值。
该处理方法还包括在当前域中搜索(130)具有与相邻行相比高的基本块假象片断密度的像素行的步骤。
该搜索步骤首先包括选择子步骤SEL(131)，以选择不连续像素图的水平或垂直行中的片断，该片断包括大量的高于预定门限S0的连续块假象。实际上，单独(isolated)的不连续性通常对应于补充噪声，而由DCT系数的粗量化产生的块假象则通常产生沿编码块出现的线性错误。预定门限值S0不必太低，以便不利于错误检测。但它也不必太高，以免通过减少所检测的基本块假象的片断数量而过度地限制选择。实际上，对于288行的720像素的域来说，值S0固定为3。
搜索步骤还包括计算CAL(132)每行Li块假象的等级(level)Nbi的子步骤，i为对应于域中行数的整数。在优选实施例中，通过计数与行中存在的基本假象片断相关联的像素数量来获得块假象的等级。作为替换，通过将不连续像素的滤波系数Yf的值进行求和可获得块假象的等级，这些不连续像素对应于行中的选择片断的基本假象。
搜索步骤最后包括确定GLD(133)网格行的子步骤，其中通过与一组相邻行比较来检测每个网格行。
在第一分布图p1的情况下，通过比较当前行Li与紧接在前的行Li-1以及紧接在后的行Li+1的块假象等级，如果满足以下条件，则将该行Li确定为网格的一行Nbi＞α(Nbi-1+Nbi+Nbi+1)，Nbi＞T1·N其中α例如在用于检测垂直行时为等于2/3的系数，以及在用于检测水平行时为等于3/5的系数；T1为一行中假象的最小百分比，利用该百分比可考虑将该行归属于该网格，在本实例中采用的百分比等于10％，其中N为每行的像素数量，即在本例中为720像素，以便使乘积T1.N等于72。
在第二分布图p2的情况下，通过比较当前行Li与紧接在前的行Li-1和Li-2以及紧接在后的行Li+1和Li+2的块假象等级，如果满足以下条件，则将该行Li确定为网格的一行Nbi＞β(Nbi-2+Nbi-1+Nbi+Nbi+1+Nbi+2)，Nbi＞T2·N其中在本例中β为等于2/3的系数；T2为为一行中假象的最小百分比，该百分比在用于检测垂直行时等于5％以及用于检测水平行时等于20％。条件Nbi＞T2·N提供了控制系统可靠性的可能。通过增加T2的值，可减少错误检测的危险。
上述处理方法的步骤可应用于域的该组行中(150)。然后，处理方法包括验证GV(140)的步骤，以确定是否在该域中存在大量网格行。一旦已调查了整个域，该步骤就会发生。该验证步骤保证了不会发生错误地检测网格的行，特别是对于未根据基于块的编码技术进行编码并然后解码或者已经根据这些技术以高的比特率编码的图像序列。实际上，如果在相同域中发现网格的行数非常小，则可能发生错误检测。因此，验证步骤包括比较在该域中发现的网格行的全部数量Ntot，该数量Ntot等于水平网格的行数和垂直网格的行数之和，该总和具有预定的门限Stot。在本实例中，数量Ntot仅仅合计了对应于分布图p1的网格行；但是，还有可能通过修改门限Stot的值而考虑对应于分布图p2的网格行。如果总数Ntot高于门限Stot，则在域中存在一个网格。通过假设网格的最大尺寸为16×16像素，那么预定的门限Stot为域的水平和垂直维H和V的函数，以及为了使检测有效，必须检测网格的至少小部分，在本例中采用等于三分之一的值，换言之Stot＝(H+V)/(3×16)根据本发明的数据处理方法的第一种应用由后处理图像构成，以校正在网格的行中存在的块假象。该校正取决于所检测的块假象的分布图。如果块假象对应于分布图p1，则应用参考图3所描述的校正。校正块假象的方法包括以下步骤-计算第一组N个数据u的第一离散余弦变换DCT1(31)，该组数据位于块边界的左边或上方；-计算第二组N个数据v的第二余弦离散变换DCT1(32)，该组数据位于块边界的右边或下方以及该组与第一组相邻；-计算一组对应于第一和第二组级联CON(30)的2N个数据w的总离散余弦变换DCT2(33)并提供一组变换的数据W；-根据由第一(31)和第二(32)变换DCT1获得的变换数据U和V确定PRED(34)预测的最大频率kwpred，并通过以下方式计算kwpred＝2.max(kumax，kvmax)+2且kumax＝max(k∈{0，...，N-1}/abs(U(k))＞T)，kvmax＝max(k∈{0，...，N-1}/abs(V(k))＞T)其中T为不同于零的门限。
-根据总的离散变换将奇数变换的数据W设置为零，并产生校正数据W’来校正ZER(35)，该变换数据的频率高于预测的最大频率；-计算校正数据的逆离散余弦变换IDCT2(36)，产生接下来意图在屏幕上显示的滤波数据W’。
如果块假象对应于分布图p2，必须显著地修改该校正。实际上，如图4所示例，由于对应于分布图p2的双倍阶梯级，必须更精确地给出块边界的位置。为此，校正方法预先包括步骤，即调整中间像素p(n)亮度值，以为所述亮度值提供直接位于它右侧的p(n+1)像素的亮度值。然后应用先前描述的步骤，其中在中间像素的左边出现块的边界，然后该边界形成片断v的一部分。可替换的是，有可能选择中间像素的亮度值以对应于左边像素的亮度值，或者对应于具有最接近亮度值的像素亮度值。在两种情况下，片断u和v的定位被相应地调整以便应用校正步骤。
根据本发明的数据处理方法的第二种应用是通过用于测量域的块等级以便确定图像的质量的设备来构成。该测量的结果还被称之为度量测量，并例如一个域一个域地通过添加网格不同行的块假象的等级Nbi来计算该结果。
有可能通过电视接收机电路的方式来实现根据本发明的处理方法，所述电路适于被编程。存储在编程存储器中的计算机程序可使该电路执行参考图1如上所述的不同操作。还可以将计算机程序载入到编程存储器中，用于读取数据载体诸如例如，包含所述程序的盘。还可以通过通信网络诸如例如，因特网来执行该读取操作。在这种情况下，服务提供商将可下载的信号形式的计算机程序交给那些感兴趣的人自由处理。
在本文圆括号之间的任何参考标记都不应该是限制性的。使用动词“包括”及其变位并没有排除除了权利要求书中阐述的元件或步骤以外的其他元件或步骤的存在。在元件或步骤之前使用冠词“a”或“an”并没有排除多个这种元件或步骤的存在。
权利要求
1.一种处理对应于数字图像序列像素的数据、以检测对应于块假象的网格的方法，所述方法包括高通滤波(110)数字图像的一部分的步骤，以提供至少一个不连续像素的图，以及根据至少一个不连续像素的图来检测(120)块假象的步骤，所述方法的特征在于，它包括在所述部分中搜索(130)一组网格行的步骤，网格行具有基本上高于其相邻行的块假象密度的块假象密度。
2.根据权利要求1所述的数据处理方法，其中，该搜索步骤包括以下子步骤-在图像部分的行中选择(131)包括大量连续块假象的片断，该块假象的数量高于预定的第一门限；-基于所选择片断的像素值，计算(132)每行的块假象等级；-根据比较当前行与一组相邻行的块假象等级以确定(133)一个网格行。
3.根据权利要求2所述的数据处理方法，包括测量图像质量的步骤，以便为图像的所述部分添加网格的不同行的块假象等级。
4.根据权利要求1所述的数据处理方法，还包括验证(140)的步骤，以便如果在所述部分中发现的网格行的数量高于第二预定门限，则确定在数字图像的该部分中是否存在一个网格。
5.根据权利要求1所述的数据处理方法，其中，高通滤波步骤(110)旨在提供不连续像素的两个图，其中一个为水平图以及一个为垂直图。
6.根据权利要求1所述的数据处理方法，其中，检测块假象的步骤旨在从至少一个不连续像素的图来检测第一类型(p1)的块假象和第二类型(p2)的块假象。
7.根据权利要求6所述的数据处理方法，包括根据其类型(p1，p2)来校正位于网格行中的块假象的步骤。
8.一种电视接收机，其包括使用如权利要求7所述数据处理方法的处理设备，该接收机适于检测数字图像序列内的网格行并用于校正位于所述行中的块假象，利用一个视图在所述接收机的屏幕上显示所校正的数字图像。
9.一种包含一组指令的计算机程序产品，当该指令载入到一个电路中时，使所述电路执行如权利要求1到7中任何一项所述的处理数字图像的方法。
全文摘要
本发明涉及一种检测数字图像序列内块假象的方法。该方法包括高通滤波(110)数字图像的一部分的步骤，以提供至少一个不连续像素的图。该方法还包括根据至少一个不连续像素的图来检测(120)块假象的步骤。最后，它包括在数字图像的该部分内搜索(130)一组网格行的步骤，该网格行具有基本上高于其相邻行的不连续像素的密度。这种检测块假象的方法特别有效，并且例如，允许更好地校正网格行中的块假象。
文档编号H04N7/30GK1663284SQ03814921
公开日2005年8月31日 申请日期2003年6月16日 优先权日2002年6月25日
发明者E·勒塞里尔 申请人:皇家飞利浦电子股份有限公司