专利名称：具有电影模式适应性的运动补偿去交错的利记博彩app
技术领域：
本发明涉及一种利用至少一个用于内插像素的估计运动矢量来去交错混合视频序列的方法、显示设备和计算机程序。
去交错是高端视频显示系统主分辨率的确定，大量浮现的非线性定标技术只能给高端视频显示系统增加更细微的细节。随着像液晶显示器(LCD)和等离子显示器(PDP)新技术的出现，图像分辨率上的局限性就不再是显示设备本身，而是源系统或传输系统。同时，这些显示器要求逐行(progressively)扫描视频输入。因此，在这样的显示设备中，高质量去交错是高级图像质量的一个重要的先决条件。
人们最先了解去交错是从P.Delonge等人的“ImprovedInterpolation，Motion Estimation and Compensation for InterlacedPictures”，IEEE Tr.on Im.Proc.第3卷第5期第482页至第491页，1994年9月。为了从交错序列中获得逐行扫描，去交错算法被应用。作为去交错算法输入的交错视频序列，是奇偶相位交替的一连串视场。
Delonge建议只使用垂直内插器，这样只在y方向上使用内插器。
在这个方法中，提出一个广义采样原理GST滤波器。当使用一阶线性内插器时，GST滤波器有三个抽头。该内插器利用帧格上的两个相邻像素。将样本从前一时间帧移动到当前时间帧就完成了滤波器系数的导出。同样的，用于一阶线性内插器的线性区域开始于运动补偿样本位置。当把线性区域集中到最近的原始样本和运动补偿样本两者间距的中心时，所得到的GST滤波器可有4个抽头。因此，GST滤波器的鲁棒性得到了增强。这也已知于E.B.Bellers和G.de Haan的“De-interlacinga key technology for scan rate conversion”，ElsevierScience丛书“Advances in Image Communications”，第9卷，2000年。
水平内插法和GST垂直内插法在一个2维不可分的GST滤波器中的结合导致一个鲁棒性更好的内插器。由于视频信号是时间和两个空间方向的函数，所以两个空间方向都处理的去交错导致一个更好的内插。图像质量被提高了。用在该内插法中的像素的分布比仅垂直内插的分布更紧凑。这就意味着用于内插的像素被定位于在空间上更接近被内插的像素。从内插补入的区域像素可以更少。通过利用基于GST的去交错，内插器的性价比提高了，其中所述基于GST的去交错利用水平和垂直两个方向上的相邻像素。
可从视频信号中像素的运动分量得到运动矢量。运动矢量表示视频信号中像素的运动方向。输入像素的当前视场可以是一组像素，这些像素被当前瞬时显示或被在视频信号中接收。根据内插参数，通过对输入像素的亮度值和色度值加权可以得到该输入像素的一个加权和。
与垂直GST滤波器内插相结合在水平方向进行内插，可得到一个10抽头滤波器。这可被称为1维GST，4抽头内插器，这里4仅指垂直方向的GST滤波器。如上所述的线性区域可由一个2维线性区域定义用于垂直和水平内插。数学上，这可以通过找到该频谱的一个互逆点阵来实现，用一个简单等式公式化f→x→=1]]>在此f→=(fh,fv)]]>是在x→(x,y)]]>方向上的频率。该线性区域是对角线等于一个像素大小的正方形。在2维情况下，点阵的位置可在水平方向上被自由移动。三角波内插器的中心位置可处在水平方向x+p+δx，其中p是一个任意整数。通过移动2维线性区域，GST滤波器在水平方向上的孔径可被增大。通过将三角波内插器中心的垂直坐标移动到y+m位置，可以实现一个5抽头内插器。
图2分别描述了一个在频率域的互逆点阵12和一个在空间域的相应点阵。目前点阵12定义的线性区域是一个平行四边形。在 方向上间距为 的像素之间建立了一种线性关系。此外，在一维内插器中所用的三角内插器可以采用锥形内插器的形状。在垂直和水平方向上移动线性区域会导致不同数目的滤波器抽头。尤其是，如果锥状滤波器被集中在(x+p，y)位置，其中p是任意整数，那么就可产生1维的情况。
通常，在已有的视频素材中区分三种不同的视频模式是可能的。所谓的50Hz电影模式包括源于相同图像的两个连续视场对。这种电影模式也被称为2-2帧频转换(2-2pull-down)模式。当一个速率为25画面/秒的电影放到50Hz的电视上播放时，这种模式经常出现。如果已知哪些视场属于同一个图像，那么去交错迫使视场插入。
在电源为60Hz的国家中，电影以24画面/秒的速率播放。在这种情况下，需要所谓的3-2帧频转换(3-2pull-down)模式用于在电视上播放电影。在这种情况下，连续单个视场图像分别在3个视场和2个视场中被重复，结果平均比例为60/24＝2.5。此外，如果已知重复模式，那么一个视场插入可被施用于去交错。
如果一个电影的任意两个连续视场属于不同的图像，那么序列处于视频模式中，并且必须利用特定算法来应用去交错以用来获得一个逐行序列。
在一个序列中电影模式和视频模式联合出现也是已知的。在这样一个所谓的混合模式中，必须使用不同的去交错方法。在一个混合模式中，序列的一些区域属于视频模式，而互补区域属于电影模式。如果使用视场插入来去交错一个混合序列，所得到的结果序列在视频模式区域中显示出所谓的齿状假象(teeth artifact)。另一方面，如果使用了一个视频去交错算法，在电影模式区域中就会引入讨厌的假象，例如闪烁。
在美国专利US6,340,990中，描述了去交错混合序列。公开了一种方法，该方法建议利用多运动检测器去区别不同模式并相应地适应去交错。因为所建议的方法没有利用运动补偿，所以在运动视频部分的效果很差。
因此，本发明的目的在于提供能够提供高的质量效果的混合视频序列去交错。本发明的另一个目的在于提供一个用于混合视频序列的去交错，考虑在场景中的视频模式和运动。
本发明的这些和其它目的是通过利用至少一个用于内插入像素的估计运动矢量来去交错一个混合视频序列的方法实现的，包括步骤为第一运动矢量和第二运动矢量定义值，利用前一图像的至少一个像素和所述第一运动矢量计算至少一个第一像素，利用下一图像的至少一个像素和一个第二运动矢量计算至少一个所述第二像素，通过对至少一个所述第一像素和至少一个所述第二像素进行比较来计算所述第一和所述第二运动矢量的可靠性，所述第一和所述第二运动矢量被预定义用以计算可靠性，并且为已经证明对于去交错所述图像是最可靠的运动矢量估计一个实际值。
本发明方法的一个优点在于可以检测到不同模式，并且去交错可被适应于各自模式。可以给一个去交错器提供一个电影/视频模式适应性。同样，运动补偿也可用于去交错。已经发现对于运动补偿去交错，必须弄清楚运动矢量相对于前一视场和下一视场之间的关系。对于一个像素块，可通过将已计算的像素和取自前一视场、下一视场的运动矢量进行比较并通过比较这些像素来计算一个序列的视频模式。根据像素块的模式，不同运动矢量产生不同结果，并可计算可靠性。
如果一个序列处于视频模式，那么前一视场和下一视场的运动矢量的绝对值相等，并且运动矢量被反向，这时假设在两视场期间呈线性运动。这意味着v→n=-v→p.]]>如果该序列处于电影模式，那么或者v→n=0→]]>并且v→p≠0→,]]>或者v→n≠0→]]>并且v→p=0→.]]>最后，如果该序列包括一个非运动的物体，或者如果该序列处于3-2帧频转换阶段中的一个阶段，那么v→n=v→p=0→.]]>因此，运动矢量可被预定义以解释不同模式。利用这些预定义的运动矢量，可从前一图像和下一图像计算像素。通过比较这些像素，可以发现所计算的像素对于哪些预定义运动矢量相等或相似，又对于哪些预定义运动矢量不同。对于这些运动矢量，其中所计算的像素之间的差值是最小的，相应模式可被估计出。
用来推导第一矢量和第二矢量的预定义值可从所述估计矢量中来定义。
由于理论上，去交错当前视场可用前一视场，同样也可用下一视场，所以就可以检查出对于上述情形中的哪一种情形下两个去交错结果彼此是最相似的。通过逐块地构造判定，使当前视场和用于去交错最优化的3视场运动估计量相结合是可能的。
基于广义采样原理，包括具有运动补偿去交错器的模式检测是可能的。因此，对于一个广义采样原理去交错算法，电影检测可以被最优化。不过，仍可应用任何其他去交错算法。
根据权利要求2和权利要求3，可使用运动矢量之间的关系。更具体而言，运动矢量可被反向。通过这样，可检测视频模式，因为在视频模式之内具有线性运动，v→n=-v→p.]]>如果运动矢量对于预定义值彼此相关，那么在视频模式中这两像素彼此最相似。对于其它模式，将运动矢量预定义为彼此相关，导致从这些运动矢量计算出的像素之间的差值更大。预定义的矢量可分别是-1和1，并且第一和第二矢量可从所估计的矢量和其预定义值相乘得到。
当使用根据权利要求4的方法时，电影模式可被检测到，因为在视频模式中至少2个连续的图像是彼此的一个拷贝，于是运动矢量是零。另一个运动矢量可拥有一个与零矢量不同的值。这意味着预定义值可是1或0。
为了分析一个序列的模式，提出了权利要求5中的方法。通过为不同的估计运动矢量计算一个误差准则，可检测出序列的模式。因此，基于取自当前视场的像素、取自前一视场在所述第一运动矢量上移动的像素以及取自下一视场在所述第二运动矢量上移动的像素来计算第一误差准则是可能的。第二运动矢量可以是第一运动矢量的逆矢量。此外，基于取自当前视场的像素、取自前一视场在所述第一运动矢量上移动的像素以及取自下一视场在所述具有零值的第二运动矢量上移动的像素可以计算第二误差准则。基于取自当前视场的像素、取自前一视场在所述具有零值的第一运动矢量上移动的像素以及取自下一视场在所述第二运动矢量上移动的像素还可以计算第三误差准则。基于取自当前视场的像素、取自前一视场在所述具有零值的第一运动矢量上移动的像素以及取自下一视场在所述具有零值的第二运动矢量上移动的像素还可以计算第四误差准则。
如果第一误差准则是最小值，视频模式可能被检测到，并可从当前视场中的像素、在前一视场中在所述第一运动矢量上移动的像素和在下一视场中在所述第二运动矢量上移动的像素来计算被内插的像素，第二运动矢量是第一运动矢量的逆矢量。
如果第二误差准则是最小值，电影模式可能被检测到，并可从当前视场中的像素、在前一视场中在第一运动矢量上移动的像素和在下一视场中在零运动矢量上移动的像素来计算被内插的像素。
在第三误差准则是最小值的情况，视频模式可能再被检测到，并可从当前视场中的像素、在前一视场中在零运动矢量上移动的像素和在下一视场中在第二运动矢量上移动的像素来计算被内插的像素。
最后，如果第四误差准则是最小值，零模式可能被检测到，并可从当前视场中的像素、在前一视场中在零运动矢量上移动的像素和在下一视场中在零运动矢量上移动的像素来计算被内插的像素。
每个误差准则定义一种不同的模式，并且可被用来计算合适的被内插的图像。根据哪一种模式被检测到，不同的运动矢量及其不同值可被用来去交错图像，取得最好的效果。
为了找到误差准则，提出了权利要求6的方法。通过计算一个像素块上的绝对和，不止一个像素可考虑用于估计正确模式。
根据权利要求7的方法考虑惩罚某个误差准则。通过对结果增加一个偏差，可以通过各自的误差准则来惩罚一个被检测到的但不是每个图像的主要模式的模式或由于其他一些原因是最不想要的模式的模式。如果有偏差的误差准则仍然是最小值，那么就应用合适的去交错。
根据权利要求8，可解释在直接相邻的时空环境中的矢量模式。如果为当前块所计算的误差准则与时空相邻的误差准则不一致，那么为当前块所计算的误差准则通过增加一个偏差而被惩罚。只有在这个误差准则在带有这个惩罚时仍然是最小值之时，才可以应用合适的去交错。
本发明的另一方面是一种用于显示一个已去交错的视频信号的显示设备，包括为第一运动矢量和第二运动矢量定义值的定义装置，利用前一图像的至少一个像素和所述第一运动矢量来计算至少一个第一像素的第一计算装置，利用下一图像的至少一个像素和所述第二运动矢量来计算至少一个第二像素的第二计算装置，通过将至少所述第一像素和至少所述第二像素进行比较来计算所述第一和所述第二运动矢量的可靠性的第三计算装置，所述第一和所述第二运动矢量被预定义用以计算可靠性，以及为已经证明对于去交错所述图像是最可靠的运动矢量估计一个实际值的估计装置。
本发明还有一个方面是一种用于去交错一个视频信号的计算机程序，可操作地使处理器为第一运动矢量和第二运动矢量定义值，利用前一图像的至少一个像素和所述第一运动矢量来计算至少一个第一像素，利用下一图像的至少一个像素和所述第二运动矢量来计算至少一个第二像素，通过将至少所述第一像素和至少所述第二像素进行比较计算所述第一和所述第二运动矢量的可靠性，所述第一和所述第二运动矢量被预定义用以计算可靠性，和为已经证明对于去交错所述图像是最可靠的一个运动矢量估计一个实际值。
参照下图，本发明的这些和其它方面将是显而易见的，并将被说明。在附图中示出
图1是一个GST去交错；图2是一个线性区域；图3是一个用GST运动补偿去交错的去交错的线性区域网格；图4a是一个视频模式；图4b是一个电影模式；图4c是另一个电影模式；图4d是一个零模式。
一种可能的去交错方法也被称为广义采样原理(GST)去交错方法。该方法在图1中被描述。图1示出了一个像素2在一个n-1到n时间顺序中在y+4到y-4的偶数垂直位置上的一个垂直线中的视场。为了去交错，需要两组独立的像素样本。第一组独立的像素样本是通过从前一视场n-1在运动矢量4上移动像素2到当前时间时刻n进入运动补偿像素样本6中而创建的。第二组像素8位于奇数垂直线y+3到y-3。除非运动矢量6足够的小，例如，除非出现所谓的“临界速度”，即，在两个连续像素视场之间导致一个奇整数像素位移的速度，像素样本6和像素8被称为是独立的。通过对来自当前视场的像素样本6和像素8进行加权，输出像素样本10结果是一个样本加权和(GST滤波器)。
数学上，输出样本像素10可被如下描述。用 表示像素在图像数n中的位置 处的亮度值，用Fi表示内插像素在遗漏行(例如奇数行)的亮度值，GST去交错方法的输出为Fi(x→,n)=ΣkF(x→-(2k+1)u→y,n)h1(k,δy)+]]>ΣmF(x→-e→(x→,n)-2mu→yn-1)h2(m,δy)]]>其中h1和h2定义GST滤波器系数。第一项代表当前视场n，第二项代表前一视场n-1。该运动矢量 被定义为
e→(x→,n)=dx(x→,n)2Round(dy(x→,n)2),]]>用Round()舍入到最接近的整数值，并且垂直运动分量δy定义如下δy(x→,n)=|dy(x→,n)-2Round(dy(x→,n)2)|.]]>由线性GST滤波器h1和h2组成的GST滤波器，取决于垂直运动分量 和子像素内插器类型。
当使用一个不可分离的GST滤波器，该线性区域可在水平方向上被延伸。这种GST滤波器的不可分离性对于本发明的方法来说不是必须的。然而，更大的水平孔径增加该方法的鲁棒性。此外，GST滤波器的不可分离性对于两个空间方向处理是同样的，因此更适合视频序列的去交错。
一个图像中像素的亮度值可被写成P(x，y，n)。利用δx和δy作为水平和垂直子像素分量，在第n视场中位于位置(x，y)处的这个像素P可被内插。然后一个像素的亮度值可被写成P(x,y,n)=11-|δy|{δy2(1-|δy2|)Ahoriz]]>-δy2(1-|δy2|)Bhoriz+(1-|δy2|)2Cav-(δy2)2Dav},]]>其中Ahoriz＝δx(1-|δx|)A(x-1，y+sign(δy)，n)+((δx)2+(1-|δx|)2A(x，y+sign(δy)，n)+δx(1-|δx|)A(x+1，y+sign(δy)，n)Bhoriz＝δx(1-|δx|)B(x-1，y-sign(δy)，n)+((δx)2+(1-|δx|)2)B(x，y-sign(δy)，n)+δx(1-|δx|)B(x+1，y-sign(δy)，n)和
Cav＝(1-|δx|)C(x+δx，y+δy，n-1)+|δx|C(x+sign(δx)+δx，y+δy，n-1)，Dav＝(1-|δx|)D(x+δx，y-2sign(δy)+δy，n-1)+|δx|D(x+sign(δx)+δx，y-2sign(δy)+δy，n-1)，给出了GST滤波器的水平孔径。A，B，C，D的值可从相邻像素导出，如图2中所示。
图3描述了2维线性区域，用粗线框出。在不可分离的GST滤波器中所用的像素被包围。
从这些方程式中，可以看出从前一视场和当前视场可获得P(x，y，n)。然而，利用来自下一(n+1)视场和当前n视场的样本内插一个像素也是可能的。这种从下一个样本计算出的像素可被写成N(x,y,n)=11-|δy|{δy2(1-|δy2|)Ahoriz]]>-δy2(1-|δy2|)Bhoriz+(1-|δy2|)2Cav-(δy2)2Dav},]]>附以说明Cav和Dav被从下一视场移动，Cav＝(1-|δx|)C(x+δx，y+δy，n+1)+|δx|C(x+sign(δx)+δx，y+δy，n+1)，Dav＝(1-|δx|)D(x+δx，y-2sign(δy)+δy，n+1)+|δx|D(x+sign(δx)+δx，y-2sign(δy)+δy，n+1)。
假如在两个视场上运动矢量是线性的，对于都属于8*8像素块的所有 而言，一个给定像素块的具有对应矢量分量δx和δy的运动矢量的视频序列的可靠性Rv可通过下式计算出Rv=Σx→|Nv→N=-v→p=-v→(x,y,n)-Pv→p=v→(x,y,n)|.]]>然而，为了固有地实现电影/视频模式适应去交错，对于不同矢量，例如，对于在一个序列中可出现的4个可能位置必须检查这种可靠性。
这些不同位置是对于视频模式，v→n=-v→p;]]>对于2种可能的电影模式，v→=0→]]>并且v→p≠0→,]]>或v→n≠0→]]>并且v→p=0→;]]>对于零模式，v→p=0→.]]>并且v→n=0→.]]>图4a描述了一种视频模式，其中v→n=-v→p.]]>从图4a中可以看出，v→n=-v→p,]]>(利用来自前一视场n-1和下一视场n+1在运动矢量4上移动的运动补偿样本6的)2个GST内插的像素8(P和N)彼此非常相似。因此，当去交错这样一个序列时，就可认为是视频模式。
从图4b，可以看出在电影模式中，在v→n=0→]]>并且 取自一个实际值的情况下，(利用取自前一视场和下一视场的运动补偿样本6的)2个GST内插的像素8(P和N)最相似。
上述同样也适用于图4c，其中 等于零，而 是从实际值估计得到的。
图4d描述了一种零模式，在v→p=0→]]>并且v→n=0→]]>的情况下，取自前一视场和下一视场的运动补偿样本最相似。
当选择适当的去交错算法时，必须考虑这些不同的情况。考虑到这些情况，对于在8*8的像素块中的任意像素位置(x，y)，可靠性值可从下式计算MIN{Rv=|Nv→N=-v→(x,y,n)-Pv→P=v→(x,y,n)|]]>Rf1=|Nv→N=0(x,y,n)-Pv→P=v→(x,y,n)|]]>Rf2=|Nv→N=0(x,y,n)-Pv→P=0(x,y,n)|,]]>Rf3=|Nv→N=0(x,y,n)-Pv→P=0(x,y,n)|}]]> 通过取这个等式的最小值，可计算出对于各块似乎是最适当的模式，并且因此可选择出用于去交错视频的运动矢量估计。
在一个改进中，如果通过差|N(x，y，n)-P(x，y，n)|所测试的模式不是每个图像的主要模式，或者如果该模式与在直接毗相时-空环境中的矢量模式不一致，那么取自上述等式的最小值可通过加上一个正值给该差加上一个惩罚。
通过利用所建议的固有地适应去交错算法，去交错混合视频序列的可能性就打通了，对此还没有一个现有技术算法是适合的。这种方法不依赖任何有关序列所属模式的附加信息，为正确地完成去交错提供了可能性。本发明固有地适应去交错算法具有的优点在于对于所使用的GST内插方法，该算法可被最优化，因此本发明固有地适应去交错算法相对于这个方法具有很好的鲁棒性。
权利要求
1.一种利用至少一个用于内插像素估计运动矢量来去交错混合视频序列的方法，包括步骤为第一运动矢量和第二运动矢量定义预定义值，利用前一图像的至少一个像素和所述第一运动矢量来计算至少一个第一像素，利用下一图像的至少一个像素和所述第二运动矢量来计算至少一个第二像素，通过将至少一个所述第一像素和至少一个所述第二像素进行比较，计算所述第一和所述第二运动矢量的可靠性，所述第一和所述第二运动矢量被预定义用以计算可靠性，和为已经证明对于去交错所述图像是最可靠的运动矢量估计一个实际值。
2.如权利要求1所述的方法，其中，所述运动矢量的所述预定义值彼此相关。
3.如权利要求1所述的方法，其中，所述运动矢量的所述预定义值被反向。
4.如权利要求1所述的方法，其中，所述运动矢量的一个所述预定义值有一个零值，并且所述运动矢量的一个所述预定义值有一个从所述前一个和/或当前和/或下一图像计算出的实际估计值。
5.如权利要求1所述的方法，其中，通过计算至少2个误差准则来计算所述运动矢量的可靠性，其中对于每个所述误差准则，为所述运动矢量的所述预定义值选择不同值。
6.如权利要求5所述的方法，其中，从像素块上的绝对和来计算所述误差准则。
7.如权利要求5所述的方法，其中，所述误差准则和/或所述和被根据估计在所述图像的至少部分中出现最频繁的一个误差准则和/或要修改的各自误差准则来修改。
8.如权利要求5所述的方法，其中，所述误差准则和/或所述和被根据为时间和/或空间相邻块所计算的误差准则来修改。
9.一种用来显示一个已去交错的视频信号的显示设备，包括为第一运动矢量和第二运动矢量定义值的定义装置，利用前一图像的至少一个像素和所述第一运动矢量来计算至少一个第一像素的第一计算装置，利用下一图像的至少一个像素和所述第二运动矢量来计算至少一个第二像素的第二计算装置，通过将至少一个所述第一像素和至少一个所述第二像素进行比较来计算所述第一和所述第二运动矢量的可靠性的第三计算装置，用于所述可靠性计算的所述第一和所述第二运动矢量被预定义，以及为已经证明对于去交错所述图像是最可靠的运动矢量估计一个实际值的估计装置。
10.一种用于去交错一个视频信号的计算机程序，可操作来使处理器去为第一运动矢量和第二运动矢量定义值，利用前一图像的至少一个像素和所述第一运动矢量来计算至少一个第一像素，利用下一图像的至少一个像素和所述第二运动矢量来计算至少一个第二像素，通过将至少一个所述第一像素和至少一个所述第二像素进行比较来计算所述第一和所述第二运动矢量的可靠性，所述第一和所述第二运动矢量被预定义用以计算可靠性，以及为已经证明对于去交错所述图像是最可靠的运动矢量估计一个实际值。
全文摘要
本发明涉及一种利用至少一个用于内插像素的估计运动矢量来去交错一个混合视频序列的方法。所申请专利的视场典型地出现在取材于视频材料的电影中，该视场妨碍了被设计用来将交错视频信号转换为逐行扫描视频的去交错算法功能。因此，必须使用一个用于局部适应电影/视频模式的模式判定，这通过如下方式来实现为第一运动矢量和第二运动矢量定义值，利用前一图像的至少一个像素和第一运动矢量计算至少一个第一像素，利用下一图像的至少一个像素和第二运动矢量计算至少一个第二像素，通过将至少一个所述第一像素和至少一个所述第二像素进行比较来计算所述第一和所述第二运动矢量的可靠性，所述第一和所述第二运动矢量被预定义用以计算可靠性，和为已经证明对于去交错所述图像是最可靠的运动矢量估计一个实际值。
文档编号H04N5/44GK1914913SQ200580003966
公开日2007年2月14日 申请日期2005年1月24日 优先权日2004年2月4日
发明者G·德哈恩, C·西尤胡 申请人:皇家飞利浦电子股份有限公司