专利名称：视频信号去隔行的方法及装置的利记博彩app
技术领域：
本发明涉及一个图像格式转换系统，特别涉及一种将隔行扫描格式转换为逐行扫描格式的三维去隔行方法和装置。
背景技术：
通常在MPEG-2标准中，有两种扫描格式隔行扫描格式和逐行扫描格式。在编码器(未示出)和解码器中，会有要把隔行扫描格式转换为逐行扫描格式的情况发生。这种扫描格式转换被称作为去隔行或隔行到逐行转换。
图1是一个说明传统三维去隔行方法的流程图。
全部的去隔行操作一般都是在各个像素单元上进行的。
例如，假定在如图2中的第n场的(i，j)位置处进行隔行到逐行转换。在本例中，在第n场的(i，j)位置的像素被称之为Yn(i，j)。
首先，在步骤112中，要进行隔行到逐行转换的第n场视频信号与第n场的前一场和后一场(第n-1场及第n+1场)的视频信号一起输入。随后，如图2所示，在步骤114中，计算出第n-1场的像素与第n+1场的像素之间的差值Dmotion。例如，通过使用下面的公式1，像素间的差值Dmotion能够从位于Yn(i，j)前一时刻位置和后一时刻位置的像素Yn-1(i，j)和Yn+1(i，j)，以及位于像素Yn-1(i，j)和Yn+1(i，j)的左右水平位置的像素Yn-1(i，j±1)和Yn+1(i，j±1)中确定。
Dmotion=13Σk=-11|Yn-1(i,j+k)-Yn+1(i,j+k)|···(1)]]>随后，在步骤116中，该差值Dmotion与预定的门限值T相比较。如果差值Dmotion大于预定的门限值T，则认为像素Yn-1(i，j)已经移动了，据此在步骤118中，运动指数值Mn(i，j)就被确定为″1″。反之，如果差值Dmotion小于门限值T，则认为像素Yn-1(i，j)还没有移动，据此在步骤122中，运动指数值Mn(i，j)被确定为″0″。
在步骤124中，需要确定是否第n场中所有要进行隔行到逐行转换的像素的运动指数值都已得到了。
随后，在确定了所有要进行隔行到逐行转换的像素的运动指数值后，模式值M最终在步骤126中确定，这要用到第n场中像素的运动指数值，该像素左右水平位置的像素的运动指数值，以及在前一场的所有像素的运动指数值中与该像素的运动指数值最接近的两个运动指数值。正如图3所示，像素Yn(i，j)的模式值M使用下面的公式2计算出。
M=ΣK=-1,+1Mn-1(i+k,j)+Σk=-1,0,+1Mn(i,j+k)····(2)]]>在步骤128中，如果Yn(i，j)的模式值为”0”，则确定Yn(i，j)是处于停止模式。反之，如果Yn-1(i，j)的模式值不为”0”，则确定Yn-1(i，j)是处于运动模式。
随后，如果确定Yn-1(i，j)是处于停止模式，则通过对两个时间上相邻的像素取平均值的时间内插法在步骤132中输出像素值。反之，如果确定是处于运动模式，则通过空间内插方法在步骤134中输出像素值，空间内插法是一种应用边缘方向值(edge direction value)的方法。
随后，在步骤136中，在所有要做隔行到逐行转换的第n场像素都进行了隔行到逐行转换之后，同样的过程又在下一场进行。
在图1所述的这个现有技术的例子中，运动指数值只由三个像素的运动信息来确定，即当前像素以及其左右水平位置的两个像素。因此，z足够的运动信息没有被反映出来。因此，问题在于，现有技术存在不能与有大量运动的图像一样为有少量运动的图像提供一个稳固的(robust)门限值T的问题。
发明内容
因此，本发明提供的这种去隔行的方法和装置，无论是在没有运动的区域还是在有运动的区域，通过从二维低通滤波后的像素值确定的运动指数值来进行隔行到逐行转换，就能有力地确定运动模式。
根据本发明的一个方面，这里提供一种转换隔行格式为逐行格式的去隔行方法包括
对当前帧和在先帧的各自预定像素进行低通滤波；将各自被滤波后的像素的差值与门限值比较，并且确定在要进行去隔行的当前场中各自像素的运动指数值和在时间和空间上与该各自的像素分别相邻的像素的运动指数值；基于确定的运动指数值来确定运动模式；和根据确定的运动模式有选择地进行空间内插和时间内插。
根据本发明的另一方面，这里提出了一种将隔行格式转换为逐行格式的去隔行装置，这种装置包括一种转换隔行格式为逐行格式的去隔行装置，该去隔行装置包括空间内插单元，用于沿边缘方向作空间内插，在当前帧中各自的像素位置发现该边缘方向；时间内插单元，用于对当前帧和在先帧的像素求平均数；运动指数值测定单元，用于对当前帧中的像素和迟于当前帧一帧的帧中的像素进行二维低通滤波，得到当前帧中滤波后的像素与延迟帧中滤波后的像素之间的差值，并将该差值与门限值相比较，从而确定在场中的像素的运动指数值；和运动模式测定单元，用于在当前场的像素的运动指数值以及由运动指数值测定单元检测出的在先场和在后场中与该像素相邻近的像素的运动指数值的基础上确定像素的运动模式，并据此运动模式来选择空间内插单元和时间内插单元。
通过示范实施例的细节描述及参考其中附图，本发明上述的和其他的特性及优点会更加清楚。
图1是说明传统三维去隔行方法的流程图；图2是确定运动指数值的传统概念上的图解；图3是确定运动模式值的传统概念上的图解；图4是说明本发明的三维去隔行装置的方框图；图5是对图4中出现的运动指数值测定设备的细节展示；图6是说明根据本发明的三维去隔行方法的流程图；图7显示的是根据本发明，被用来确定运动模式值的运动指数值；
图8显示的是4:2:0格式的垂直方向的YUV抽样点。
具体实施例方式
在下文中，将参考附图来详细描述本发明的优选实施例。
图4是说明本发明中的三维去隔行装置的方框图。
参考图4，第一和第二帧存储器410和415以帧为单位将输入的图像信号存储起来，即第一个帧存储器410存储在当前帧中的第(n+1)场和第(n+2)场，第二个帧存储器415存储在前一帧中的第(n-1)场和第n场。通过使用在第一和第二帧存储器410和415中存储的图像信号对第n场和第(n+1)场进行隔行到逐行转换。
运动指数值测定单元420对当前帧中的像素pm1和迟于当前帧一帧的帧中的像素pm2进行二维低通滤波，获得滤波后的像素cm1和cm2的差值Dmotion，再将该差值Dmotion与门限值T比较，从而确定场中当前行的运动指数值。
空间内插单元430基于边缘方向值进行像素的空间内插，该边缘方向值是由在第n场Fn和第(n+1)场Fn+1中各自的像素位置检测到的。
时间内插单元450获取当前帧的各个像素和前一帧中相应像素的平均值。
通过使用从运动指数值测定单元420检测出的当前及周边像素的全部运动指数值，运动模式测定单元460确定各个像素的运动模式，再基于运动模式在空间内插单元430的输出和时间内插单元450的输出之间选择其一。最后，运动模式测定单元460输出进行隔行到逐行转换的第n场Fn和第(n+1)场Fn+1的图像信号。
图5是对图4中提及的运动指数值测定单元的细节展示。
参考图5，第一个低通滤波器510对当前帧Fn+1和Fn+2的各个像素pm1进行二维低通滤波。第二个低通滤波器520对前两帧Fn-1和Fn中的像素pm2进行二维低通滤波，pm2是与各个像素pm1在空间上位置相同的像素。第一和第二低通滤波器510和520在预定的区域内为各自的像素输出加权平均像素值。
第一低通滤波器510输出像素值cm1，第二低通滤波器520输出像素值cm2，差计算单元530在cm1和cm2之间获得差值。
绝对值计算单元540获得来自差计算单元530的差值的绝对值。
运动指数值测定单元550将从绝对值计算单元540获得的差值与门限值相比较，以确定各自像素的运动指数值。就是说，如果该差值大于或等于门限值，则运动指数值测定单元550确定有运动存在，并据此确定相应像素的运动指数值为”1”。反之，如果该差值小于门限值，则运动指数值测定单元550确定没有运动存在，并据此确定相应像素的运动指数值为”0”。
图6是说明根据本发明的三维去隔行方法的流程图。
所有的去隔行操作都是基于像素的亮度分量进行的。Fn(i，j)被定义为第n场(i，j)位置处的像素。
首先，在步骤612中，输入当前帧Fn+1和Fn+2与在先的两帧Fn-1和Fn的图像信号。此时，看一个对第n场Fn进行隔行到逐行转换的例子。在例子中，假定要进行隔行到逐行转换的像素Fn(i，j)在时间上之前和之后位置上的那两个像素中的一个像素Fn+1(i，j)为第一个输出像素pm1，迟后一帧的帧中的像素Fn-1(i，j)为第二个输出像素pm2。
随后，使用第一个输出像素pm1和第二个输出像素pm2，分别经过步骤614中的二维低通滤波，生成第一个滤波输出值cm1和第二个滤波输出值cm2。例如，二维低通滤波可以通过加权平均来实现，就是说，通过将预定的滤波系数与像素相乘来获得平均数，该像素在预定的以当前像素为中心，水平和垂直扩展的窗口区域内。对第一个输出像素pm1和第二个输出像素pm2进行这种低通滤波。在这里，第一个滤波输出值cm1使用下面的公式3计算出。
cm1=Σi=-1,0,1ω0,1Fn+1(i,j+1)+Σk=-1,1Σl=-1,0,1ωk,lFn+2(i+k,j+l)···(3)]]>在此，第二个滤波输出值cm2使用下面的公式4计算出。
cm2=Σi=-1,0,1ω0,1Fn-1(i,j+1)+Σk=-1,1Σl=-1,0,1ωk,lFn(i+k,j+l)···(4)]]>在上面的公式3和4中，ωk，l是二维低通滤波在预定区域内的滤波系数，例如，在一个3×3的区域内。
随后，在获得第一个滤波输出值cm1和第二个滤波输出值cm2之间的差值后，在步骤616中获得差值的绝对值Dmotion。
于是，在步骤618中，差值Dmotion与门限值T相比较。如果差值Dmotion大于或等于门限值T，则确定要进行隔行到逐行转换的像素Fn(i，j)移动了。据此，在步骤622中确定运动指数值M(i，j)为“1”。反之，如果差值Dmotion小于门限值T，则确定像素Fn(i，j)没有移动。据此，在步骤624中确定运动指数值M(i，j)为”0”。
以这种方式，在步骤616中，获得在Fn中的所有要进行隔行到逐行转换的像素的差值Dmotion，并将它们与门限值比较以此获得运动指数值。随后，对Fn+1中的所有要进行隔行到逐行转换的像素重复步骤614到626。
随后，在Fn和Fn+1中所有要进行隔行到逐行转换的像素的运动指数值都确定了后，在步骤628中，使用场Fn及其周边场的运动指数值，确定要进行隔行到逐行转换的像素Fn(i，j)的运动模式值M。例如，在读取了两个相邻帧后，按照每场的像素行的顺序对第一帧的底部场和第二帧的顶部场进行隔行到逐行转换操作。参考图7，黑圈表示顶部场的像素，白圈表示底部场的像素。为了方便起见，以时间方向显示垂直分量(vertical component)的像素。在图7中，要进行隔行到逐行转换的场是Fn和Fn+1，而马上要进行隔行到逐行转换的像素是在场Fn中黑方块位置的像素。要进行隔行到逐行转换的像素的运动模式值M是通过使用像素的运动指数值和白方块位置的运动指数值确定的。这里，过去的场Fn-2和Fn-1的所有运动指数值都预存在一个特定的存储器中。并且，要进行隔行到逐行转换的这行的上面一行的运动模式值预先获得。于是，Fn(i，j)的运动模式值M的表示使用了以下值Fn中的像素的全部运动指数值Mn(i，j)和Mn(i，j±1)，Fn+1的像素中与Fn(i，j)在时间上和空间上最近的像素的运动指数值(即，Mn+1(i-1，j)和Mn+1(i-1，j±1))，Fn-1的像素中与Fn(i，j)在时间上和空间上最近的像素的运动指数值(即，Mn-1(i±1，j)和Mn-1(i±1，j±1))，以及Fn-2的像素中与Fn(i，j)在时间上和空间上最近的像素的运动指数值(即，Mn-2(i，j)和Mn-2(i，j±1))，如下面的公式5所示。
M=Σk=-1l{Mn(i,j+k)+Mn+1(i-1,j+k)+Mn-1(i-1,j+k)+Mn-1(i+1,j+k)+Mn-2(i,j+k)}···(5)]]>在另一实施例中，该模式值M可以用公式5中的15个运动指数值中的一些或是用某些条件下的附加运动指数值计算出。
在步骤632中，如果运动模式值M为 ”0”，则确定Fn(i，j)是处于停止模式，反之，如果运动模式值不为”0”，则确定Fn(i，j)是处于运动模式。
随后，如果确定Fn(i，j)是处于停止模式，则将使用了两个相邻像素的平均值的时间内插法应用于像素值上，在步骤636输出该像素值。反之，如果确定Fn(i，j)是处于运动模式，则将使用边缘方向值的空间内插法应用于像素值上，在步骤634输出该像素值。
以这种方式，基于运动模式值M对要进行隔行到逐行转换的Fn中的所有像素适应性地执行时间内插法和空间内插法，所有最后要进行内插的像素值的亮度分量在步骤638中输出。以同样的方式，将步骤628到638应用到要进行隔行到逐行转换的Fn+1中所有的像素上。结果，根据本发明的隔行到逐行转换方法，无论是在没有运动的区域还是在有运动的区域，通过相对于现有技术使用大量的运动指数值，有力地确定运动模式就是可能的。
根据本发明的另一实施例，这里提供了对4:2:0 YUV格式的图像信号中的UV分量进行三维隔行到逐行转换的方法。就是说，通过象在像素的Y分量里一样检测出像素的UV分量的运动，有选择地使用空间内插和时间内插。然而，由于像素的UV分量变化很小，使用像素的运动指数值进行运动模式测定可能会产生错误。根据本发明，像素的UV分量的运动模式将通过使用从像素的Y分量获得的运动模式值确定。图8显示了4:2:0隔行图像中像素的UV分量的位置。圆圈表示的部分代表Y分量，X表示的部分代表UV分量。
在图8中，假定对在第n个底部场位置A处的像素的YV分量进行去隔行。根据本发明，使用在位置B的Y分量的运动模式值来代替在位置A的UV分量的运动模式值。由于Y分量的模式值是可靠的，并且位置A和位置B之间的间距非常小，本发明的运动模式测定方法就是很有用的。其他位置像素的UV分量的隔行到逐行转换也以同样的方式进行。据此，如果一个要进行隔行到逐行转换的像素的UV分量的运动模式值是“0”，则进行时间内插。反之，如果运动模式值不是“0”，则获得在其上下90°方向相邻的像素的平均值。由于像素的UV分量有小的运动，象在像素Y分量里那样进行方向性内插是困难的。同样，由于试图使用Y分量的方向值的时候，Y分量的方向与UV分量的方向相互不同的可能性很大，因此对像素的UV分量进行一个简单的90°方向的空间内插操作。
本发明可以通过运行来自计算机可读介质的程序在一般用途的数字计算机上实现，该介质包括但并不限于存储介质，象磁存储介质(如ROM、软盘、硬盘等)，光可读介质(如CD-ROM，DVD等)和载波(如在互联网上的传输)。本发明可实现为其中包含计算机可读程序代码单元的计算机可读介质，以使通过网络连接的许多计算机系统实现分布处理。
如上所述，依照本发明，无论是在没有运动的区域还是在有运动的区域，通过从二维低通滤波后的像素值确定的运动指数值来进行隔行到逐行转换，有力地确定运动模式是可能的。
尽管本发明是参照代表性的实施例来具体描述的，但本领域的技术人员应该理解，在不脱离本发明的精神和范围的情况下，可以对其进行形式和细节的各种修改。
权利要求
1.一种转换隔行格式为逐行格式的去隔行方法包括对当前帧和在先帧的各自预定像素进行低通滤波；将各自被滤波后的像素的差值与门限值比较，并且确定在要进行去隔行的当前场中各自像素的运动指数值和在时间和空间上与该各自的像素分别相邻的像素的运动指数值；基于确定的运动指数值来确定运动模式；和根据确定的运动模式有选择地进行空间内插和时间内插。
2.如权利要求1所述的去隔行方法，其中二维低通滤波可以通过加权平均进行，其中平均数是将预定的滤波系数乘以多个像素来获得的，该多个像素在以一帧内的各自像素为中心、有预定的水平和垂直尺寸的窗口内。
3.如权利要求1所述的去隔行方法，其中假定当前要进行隔行到逐行转换的场为第n场并且在第n场中的位置(i，j)处的当前像素为Yn(i，j)，如果差值大于或等于门限值，则将当前像素Yn(i，j)的运动指数值Mn(i，j)确定为1，如果差值小于门限值，则将当前像素Yn(i，j)的运动指数值Mn(i，j)确定为0。
4.如权利要求1所述的去隔行方法，其中Yn(i，j)的运动模式值由下式确定M=Σk=-1l{Mn(i,j+k)+Mn-1(i-1,j+k)+Mn-1(i-1,j+k)+Mn-1(i+1,j+k)+Mn-2(i,j+k)}]]>其中Mn(i，j)为Yn(i，j)的运动指数值。
5.如权利要求1所述的去隔行方法，其中如果当前场中像素的运动指数值与在时间和空间上与该像素邻近的像素的运动指数值的和为“0”，则Yn(i，j)是处于停止模式，如果和不是”0”，则Yn(i，j)是处于运动模式。
6.如权利要求1所述的去隔行方法，其中如果确定像素值是处于停止模式，则将应用了时间内插的像素值输出，如果确定像素值是处于运动模式，则将应用了空间内插的像素值输出。
7.如权利要求1所述的去隔行方法，进一步包括用像素色差分量的运动指数值替换像素亮度分量的运动模式值；和如果确定像素值是处于停止模式，则输出色差分量的像素值，该像素值是由在时间坐标轴线上内插两个相邻像素而获得的，如果确定像素值是处于运动模式，则输出色差分量的像素值，该像素值是对像素进行90°方向的空间内插得到的。
8.一种转换隔行格式为逐行格式的去隔行装置，该去隔行装置包括空间内插单元，用于沿边缘方向作空间内插，在当前帧中各自的像素位置发现该边缘方向；时间内插单元，用于对当前帧和在先帧的像素求平均数；运动指数值测定单元，用于对当前帧中的像素和迟于当前帧一帧的帧中的像素进行二维低通滤波，得到当前帧中滤波后的像素与延迟帧中滤波后的像素之间的差值，并将该差值与门限值相比较，从而确定在场中的像素的运动指数值；和运动模式测定单元，用于在当前场的像素的运动指数值以及由运动指数值测定单元检测出的在先场和在后场中与该像素相邻近的像素的运动指数值的基础上确定像素的运动模式，并据此运动模式来选择空间内插单元和时间内插单元。
9.如权利要求8所述的去隔行装置，其中运动指数值测定单元包括第一低通滤波器，用于对当前帧中的像素进行二维低通滤波；第二低通滤波器，用于对迟于当前帧一帧的帧中的像素进行二维低通滤波；差计算单元，用于获得第一低通滤波器输出的像素值与第二低通滤波器输出的像素值之间的差值；和运动指数值测定单元，用于将差计算单元计算出的差值与门限值相比较，并确定像素的运动指数值。
10.如权利要求9所述的去隔行装置，其中如果差值大于或等于门限值，则运动指数值测定单元确定像素的运动指数值为1，如果差值小于门限值，则确定像素的运动指数值为0。
全文摘要
这里提供了一种转换隔行扫描格式为逐行扫描格式的三维去隔行方法及装置。该三维去隔行方法包括对当前帧和在先帧各自的预定像素进行低通滤波；将各自滤波后的像素的差值与门限值比较，确定当前场中的像素和在要进行去隔行的像素中各自在时间与空间上邻近的像素的运动指数值；在确定了运动指数值的基础上确定运动模式；根据运动模式有选择地进行空间内插或时间内插。
文档编号H04N7/01GK1512771SQ0314846
公开日2004年7月14日 申请日期2003年6月30日 优先权日2002年12月30日
发明者宋秉哲, 千畺旭 申请人:三星电子株式会社