专利名称：背景运动向量检测的利记博彩app
技术领域：
本发明涉及用于从为一个图像所计算的一组运动向量中选择在该图像的封闭区域中的像素的背景运动向量的选择器。
本发明还涉及用于根据输入图像序列计算在输出图像的封闭区域中的像素值的上变换单元，该上变换单元包括-运动估计单元，用于估计图像的运动向量，这些运动向量形成运动向量域；-检测单元，用于根据运动向量来检测图像的封闭区域；-运动模型确定单元，用于根据运动向量域的一部分来确定运动模型；-内插单元，用于根据背景运动向量借助于时间的内插来计算像素值；以及-该选择器如上所述用于选择该像素的背景运动向量。
本发明还涉及图像处理设备，它包括-接收装置，用于接收相应于输入图像序列的信号；以及-如上所述的上变换单元。
本发明还涉及用于从为一个图像所计算的一组运动向量中选择在该图像的封闭区域中的像素的背景运动向量的方法。
本发明还涉及要被计算机设备装载的计算机程序产品，包括用于从为一个图像所计算的一组运动向量中选择在图像的封闭区域中的该像素的背景运动向量的指令。
在从运动补偿图像速率变换器得到的图像中，在运动物体的边界处可以看到伪像，这时会出现对背景的遮盖或未遮盖。这些人工产物通常被称为光晕。对于这些光晕的出现有两个原因。第一个较为无足轻重的原因是，运动向量域的分辨率。通常，其上可得到运动向量的网格的密度远小于像素网格的密度。例如，如果运动向量是针对8×8像素的块而得到的，则运动的物体的轮廓在向量网格中只能粗略地近似，导致块状的光晕效应。第二个不是那么无足轻重的原因是，运动估计单元在其中出现遮盖或未遮盖的区域不能很好地执行对在视频序列的两个接连的图像之间运动的估计，因为对于这些区域而言通常背景信息只出现在两个图像的任一个图像中。
而且，上变换单元通常通过使用错误地估计的运动向量来组合来自两个图像的信息(即双向内插)以便创建上变换的图像。因为这些图像之一由于封闭而不包含正确的信息，所以上变换的图像对于封闭区域是不正确的。
为了解决这些问题，上变换单元应当能够检测封闭区域，检测在这些区域中存在的封闭的类型(即，遮盖或未遮盖)，确定用于这些区域的正确的运动向量，以及执行上变换。G.de Haan的著作“Videoprocessing for multimedia systems(用于多媒体系统的视频处理)”，University Press Eindhoven，2000，ISBN 90-9014015-8的第4章描述了用于检测封闭区域和用于遮盖/未遮盖分类的方法。所以，留下了确定在封闭区域中的正确的运动向量的需求。
本发明的目的是提供一个用于容易地确定在封闭区域中的适当的运动向量的选择器。
本发明的目的是这样达到的，该选择器包括-计算装置，用于根据在图像的运动向量域的一部分的基础上所确定的运动模型来计算像素的基于模型的运动向量；-比较装置，用于把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及-选择装置，用于根据所述比较来选择运动向量组中的特定的运动向量以及用于把该特定的运动向量指定为背景运动向量。
典型地，为封闭区域所计算的运动向量组包括一个相应于前景运动的运动向量(即前景运动向量)和一个相应于背景运动的运动向量(即背景运动向量)。然而，并不直接知道运动向量组中哪个运动向量相应于背景。这个背景运动向量可相应于零向量，即，无运动。然而，应当指出，在许多情形下，要移动摄影机以跟踪场景的主要对象。这意味着，前景运动向量相应于零向量而背景运动向量不等于零向量。
为了从运动向量组中选择背景运动向量，使用图像的背景的全局运动模型。根据该模型，针对特定的像素来确定基于模型的运动向量。运动向量组的各个运动向量与基于模型的运动向量进行比较。拟合得最好的运动向量被选择为背景运动向量。
优选地，全局运动模型是基于运动向量域各边界的运动向量的。换句话说，为了确定运动模型而应用的运动向量域的这一部分对应于针对图像边界的邻域中的像素组而估计的运动向量。这些运动向量对应于边界的概率是相当高的。
在按照本发明的选择器的实施例中，比较单元被安排来计算在基于模型的运动向量与运动向量组中的各相应运动向量之间的差值，以及选择单元被安排成如果相应的差值是所述差值中的最小差值，则选择该特定的运动向量。该差值可以是L1-范数，即要被比较的运动向量的各分量的绝对差的和值。替换地，该差值是L2-范数，即要被比较的运动向量的分量的平方差的和值。
在按照本发明的选择器的实施例中，运动模型包括平移(translation)和图像缩放(zoom)。这样的模型的参数是相对较容易计算的，而同时模型是坚固的。通过这样的总体缩放(pan-ZOOM)模型，可以描述视频图像内的最常见的几何运算。通过这个总体缩放模型，基于模型的特定的像素的运动向量D可被确定为D→b=tx+zxxty+zyy---(1)]]>其中tx和ty规定平移，zx和zy规定图像缩放，以及x和y规定图像中的位置。在US 6,278,736和G.de Haan等，“A efficient true-motion estimator using candidate vectors from a parametricmotion model(使用来自参数运动模型的候选向量的有效的真实运动估计器)”，IEEE Transactions on circuits and systems for videotechnology，Vol.8，No.1，pp.85-91，March 1998中描述如何根据运动向量域的一部分构建运动模型。
本发明的另一个目的是提供在开头段落中描述的那种上变换单元，它包括用于容易地确定在封闭区域中的适当的运动向量的选择器。
本发明的这个目的是这样达到的，即用于选择像素的背景运动向量的选择器是如权利要求1中要求的。
本发明的另一个目的是提供在开头段落中描述的那种图像处理设备，它包括用于容易地确定在封闭区域中的适当的运动向量的选择器。
本发明的这个目的是这样达到的，即用于选择像素的背景运动向量的选择器是如权利要求1中要求的。
图像处理设备可包括附加部件，例如，用于显示输出图像的显示设备。图像处理设备可支持一种或多种以下类型的图像处理-视频压缩，即，例如按照MPEG标准的编码或译码；-去隔行扫描隔行扫描是用于交替地发送图像的奇数或偶数行的通用视频广播过程。去隔行扫描试图恢复全部垂直分辨率，即使得每个图像同时可得到奇数或偶数行。
-图像速率变换根据原先的输入图像系列计算更多的系列的输出图像。输出图像暂时被放置在两个原始的输入图像之间；以及-时间噪声减小这也可牵涉到空间处理，导致空间-时间噪声减小。
图像处理设备可以是电视机、机顶盒、VCR(盒式磁带录像机)播放器、卫星调谐器、DVD(数字通用盘)播放器或记录器。
本发明的再一个目的是提供一种用于容易地确定在封闭区域中的适当的运动向量的方法。
本发明的这个目的是用这样的方法达到的，该方法包括-根据在图像的运动向量域的一部分的基础上所确定的运动模型来计算像素的基于模型的运动向量；-把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及-根据比较结果选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
本发明的再一个目的是提供在开头段落中描述的那种计算机程序产品，它用于容易地确定在封闭区域中的适当的运动向量。
本发明的这个目的是这样达到的，即计算机程序产品在被装载后为处理装置提供实行以下步骤的能力-根据在图像的运动向量域的一部分的基础上所确定的运动模型来计算像素的基于模型的运动向量；-把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及-根据该比较来选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
选择器的修正方案及其变例可以相应于所描述的选择器、方法、上变换单元、图像处理设备和计算机程序产品的修正和变化。
按照本发明的方法、上变换单元、图像处理设备和计算机程序产品的这些和其它方面将按照此后所叙述的实现和实施例并参考附图而变得明显并解释清楚，在这些图中
图1示意地显示包含运动的球的图像序列；图2示意地显示图1所示的情形的2-D(二维)图像；图3A和3B示意地显示在现有技术的运动补偿中使用的双向匹配；图4示意地显示运动向量域的哪个部分被使用来确定按照本发明的运动模型；图5示意地显示按照本发明的上变换单元；以及图6示意地显示按照本发明的图像处理设备的实施例。
在所有图上相同的标注数字被使用来表示相似的部件。
考虑图1的情形。两个接连的原始(即输入)的图像100和104分别在第一时间点n-1和在第二时间点n处被给出。这些图像100和104示意地显示一个球106从左向右移动。中间图像102在n-α处产生，其中0＜α＜1。中间图像102是根据原先的两个图像100和104而构建的。时间量相应于轴108。垂直坐标相应于轴110和水平坐标相应于轴112。假设球具有 的速度以及背景是静止的，即b→g=0→.]]>图2示意地显示图1所示的情形的2D(二维)图像。应当指出，图2相对于图1是旋转了的。仅仅显示了时间108和水平112轴。球106现在由灰色矩形表示。球106和背景的运动轨迹分别由箭头114和116表示。在n-α处的输出图像102是通过使用在n-α处被估计为正确的运动向量经过运动补偿的内插而建立的。下面将讨论在按照现有技术的运动估计单元和内差器所造成光晕的问题。
总的来说，运动补偿单元通过从一组候选运动向量中选择最佳匹配的运动向量而确定用于像素组的运动向量。匹配误差通常是通过从在n-1处的输入图像中获取像素以及把这些像素与使用候选运动向量从在n处的输入图像所获取的像素进行比较而得到的一个绝对差的和值(SAD)，即ϵ(D→,X→,n)=Σx→∈B(X→)|F(x→-(1-α)D→,n-1)-F(x→+αD→,n)|---(2)]]>这里 是运动向量， 是位于块位置 处的块， 是像素位置， 是亮度帧，n是图像号以及α是相对位置。图3A上给出一个例子。运动向量 指向两个图像上的相同的信息，因此它具有低的匹配误差。运动向量 指向在时间n-1处的图像100中的信息，它与在时间n处的图像104中的信息不同。其结果是一个高的匹配误差。
问题出现在封闭区域中。在这些区域中，没有一个运动向量会导致正确的匹配，因为在这两个帧的一个帧中不存在信息。在未遮盖的情形下，出现了新的信息，所以这个信息在时间n-1处的图像100中不存在。在覆盖的情况下，信息不出现，因此在时间n处这个信息不存在于图像104中。这导致的结果是运动向量域在封闭区域中是错误的。图3B以灰色显示这些有问题的区域118和120。黑色点122和124代表必须对它们估计运动向量的像素。黑色点122和124位于背景中，但因为在时间n-1处的图像100或在时间n处的图像104中背景被遮盖，所以不存在描述这些图像部分的运动的运动向量。
在已知的上变换单元中，通常，来自两个图像F(n)和F(n-1)的像素值信息都要用于内插。例如，对运动补偿取平均值使用了来自在时间n-1处的图像100的运动补偿的像素和来自在时间n处的图像104的运动补偿的像素F(x→,n-α)=F(x→-(1-α)D→,n-1)+F(x→+αD→,n)2---(3)]]>即使使用了正确的运动向量，在封闭区域中的结果仍旧是错误的，因为来自在时间n-1处的图像100的像素和来自在时间n处的图像104的像素是错误的。
光晕问题的解决方案包括至少两个动作。首先，调整在封闭区域中的可能是错误的运动向量，以使得在上变换时使用正确的运动向量。其次，通过使用正确的运动向量，从正确的图像中获取像素值信息，即，使用单向获取而不是双向获取。
然而有某些困难。为了执行第一个动作，必须知道哪些地方是封闭区域。因此需要封闭检测和前景/背景运动检测。
为了执行第二个动作，必须知道有哪种类型的封闭区域。如果它是遮盖的，则必须获取来自在时间n-1处的图像的像素值信息。如果它是未遮盖的，则必须获取来自在时间n处的图像的像素值信息。因此需要遮盖/未遮盖检测。在G.de Haan的著作“Video processing formultimedia systems(用于多媒体系统的视频处理)”，UniversityPress Eindhoven，2000，ISBN 90-9014015-8，第4章描述了用于封闭区域的检测和用于遮盖/未遮盖分类的方法。
下面描述按照本发明的前景/背景运动检测。图4示意地显示运动向量域400的哪个部分用于按照本发明来确定背景的全局运动模型。假设在图像的各个边界存在背景运动。因此，属于在图像边界处(即在运动向量域的边界处)的像素块的多个运动向量被使用来确定图像的背景的运动模型。确定运动模型的方法在专利说明书US 6,278,736和G.de Haan等，“A efficient true-motion estimator usingcandidate vectors from a parametric motion model(使用来自参数运动模型的候选向量的有效的真实运动估计器)”，IEEETransactions on circuits and systems for video technology，Vol.8，No.1，pp.85-91，March 1998中详细地描述。这个方法根据成对的块的运动向量确定总体图像缩放模型并采取按部件方式的中值作为全局总体图像缩放模型。按照本发明的方法与在所引用的文章中提到的方法之间的差别在于对块的选择。在按照本发明的方法中，使用来自图像的边界的各个块。优选地，使用来自顶部边界的5个块402-410、来自底部边界的5个块412-420、来自左面边界的4个块422-428、和来自右面边界的4个块430-436。这表示总共18个块。通过这个总体图像缩放模型，对特定的像素的基于模型的运动向量 可以借助于公式(1)被确定。
为了确定位置 的背景运动向量，在封闭区域中需要由运动估计单元确定的运动向量组。典型地，运动向量组包括两个运动向量。第一个运动向量是由运动估计单元502针对位置 估计的运动向量D→c=D→(x→)]]>以及在邻域中针对位置 确定的运动向量中的另一个运动向量D→a=D→(x→+δ).]]>一般来说，这些运动向量中的一个相应于前景运动向量而另一个相应于背景运动向量。为了确定该另一个运动向量 要估算从多个像素(典型地δ＝16)的位置到当前位置的左 和右 的运动向量。与当前的向量差别最大的运动向量被选择为该另一个运动向量 D→l=D→(x→-(16,0))---(4)]]>D→r=D→(x→+(16,0))]]> 其中 是向量域。(也参阅US 5,777,682)为了将运动向量 和 分类成前景和背景，把这些运动向量与根据针对图像的背景的运动模型而被计算的运动向量 进行比较。实际的背景向量是具有到 的最小距离的运动向量，即如果|D→c-D→b|<|D→a-D→b|⇒b→g=D→c]]>和f→g=D→a---(6)]]>如果|D→c-D→b|≥|D→a-D→b|⇒b→g=D→a]]>和f→g=D→c---(7)]]>图5示意地显示按照本发明的上变换单元500。上变换单元被安排成根据输入图像的序列来计算在输出图像的封闭区域中的像素值。上变换单元包括-运动估计单元504，用于估计图像的运动向量。运动向量形成运动向量域。运动估计单元例如是在G.de Haan等，“True-motionEstimation with 3-D Recursive Search Block Matching(通过三维递归搜索块匹配的真实运动估计器)”，IEEE Transactions oncircuits and systems for video technology，Vol.3，No.5，October 1993，pp.368-379中规定的。
-检测单元508，用于根据运动向量来检测图像中的封闭区域。这个检测单元508是在G.de Haan著作的书“Video processing formultimedia systems(用于多媒体系统的视频处理)”，UniversityPress Eindhoven，2000，ISBN 90-9014015-8，第4章中更详细地规定的。
-运动模型确定单元505，用于根据运动向量域的一部分确定运动模型。这个运动模型确定单元505是如结合图4所描述的。
-内插单元506，用于根据背景运动向量借助于时间的内插计算输出图像102的像素值；以及-选择器502，如上所述，用于为像素选择背景运动向量。这个选择器包括-运动向量计算单元510，用于根据在图像的运动向量域400的一部分402-436的基础上所确定的运动模型来计算像素的基于模型的运动向量 -比较单元511，用于比较基于模型的运动向量 与运动向量组中的每个运动向量 和 -选择器单元512，用于根据该比较来选择运动向量组中的特定的运动向量以及把特定的运动向量指定为背景运动向量。
运动估计单元504、检测单元508、运动模型确定单元505、内插单元506、和选择器502可以通过使用一个处理器来实施。通常，这些功能是在软件程序产品的控制下执行的。在执行期间，软件程序产品通常被装载在存储器如RAM中，然后由那里被执行。程序可以从诸如ROM、硬盘、或磁和/或光贮存装置的后援存储器被装载，或可以经由诸如互联网那样的网络被装载。任选地，由专用集成电路提供所公开的功能。
上变换单元500的工作情形为如下。在输入连接器514处提供代表一系列输入图像100和104的信号。上变换单元500被安排成在输出连接器516处提供一系列输出图像，包括输入图像100和104以及中间图像，例如102。运动估计单元504被安排成根据输入图像100和104计算用于中间图像的运动向量域400。内插单元506被安排成根据输入图像100和104的像素值524和根据运动向量522来计算中间图像102的像素值。在原理上，这是借助对像素值的双向获取而完成的。然而，如上所述，这导致封闭区域中的伪像。正因为如此，按照本发明的上变换单元500被安排成对于这些封闭区域执行一种可替代的内插。
上变换单元500包括检测单元508，用于检测图像中的封闭区域和用于控制内插单元506。检测单元508被安排成对封闭的类型进行区分，如在专利申请EP 1048170中所描述的。区分是基于对相邻的运动向量进行比较。区分类是如下地进行的 把 (左运动向量的x-分量)与 (右运动向量的x-分量)进行比较。检测单元508把一组运动向量518提供给选择器502。典型地，这组运动向量包括两个运动向量。选择器502被安排成确定这些运动向量中哪个运动向量相应于背景运动以及这些运动向量中哪个运动向量相应于前景运动。内插单元506被安排成根据背景运动向量526获取在适当的图像中相应的像素值-在遮盖的情形下，背景运动向量用来获取在时间n-1处图像中的像素值；以及-在未遮盖的情形下，背景运动向量用来获取在时间n处图像中的像素值；任选地，根据另一个运动向量还要获取在以前的和以后的图像中的附加像素值。借助于滤波运算，例如像取中值的顺序统计运算，计算中间图像的最后的像素值。
总之，光晕减小将如下地进行。光晕减小从确定封闭区域开始。仅仅在封闭区域中，上变换不同于正常的上变换，运动补偿的取均值，如公式3规定的。在封闭区域中，运动向量域是不正确的。所以，要测试另外的运动向量 是否比由运动估计单元504对当前的像素所作估计的运动向量 更好。这两个运动向量(当前的 和另外的 运动向量)被提供到被安排成用于确定背景运动向量的选择器502。根据适当的运动向量，从以前的或以后的图像获取适当的像素值。
图6示意地显示按照本发明的图像处理设备的实施例，包括-接收装置602，用于接收代表输入图像的信号。信号可以是经由天线或电缆接收的广播信号，但也可以是来自诸如VCR(视频盒式磁带录像机)或数字通用盘(DVD)的贮存装置的信号。信号被提供在输入连接器608处；-如结合图5描述的上变换单元；以及-显示设备606，用于显示上变换单元500的输出图像。
图像处理设备600可以是例如电视机。替换地，图像处理设备600不包括任选的显示设备606，但提供输出图像到一个包括显示设备606的设备。这样，图像处理设备600可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。任选地，图像处理设备600包括贮存装置，如硬盘或用于在可拆卸的媒体上贮存的装置，例如光盘。图像处理设备600也可以是电影制作室或广播电台所应用的系统。
应当指出，上述的实施例是显示而不是限制本发明，以及本领域技术人员将能够在不背离所附权利要求的范围的条件下设计替换的实施例。在权利要求中，被放置在括号之间的标注数字不应当看作为限制权利要求。单词“包括”不排除未在权利要求中列出的单元或步骤的存在。在单元前面的字“一个”并不排除多个这样的单元的存在。本发明可以借助于包括几个不同的元件的硬件和借助于适当的编程的计算机来实施。在枚举几个装置的单元权利要求中，几个这样的装置可被体现为同一个硬件项。
权利要求
1.一种选择器(502)，用于从为一个图像所计算的运动向量组中选择在该图像的封闭区域中的像素的背景运动向量，选择器(502)包括-计算装置(510)，用于根据在图像的运动向量域(400)的一部分(402-436)的基础上所确定的运动模型来计算像素的基于模型的运动向量；-比较装置(511)，用于把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及-选择装置(512)，用于根据所述比较来选择运动向量组中的特定的运动向量以及用于把该特定的运动向量指定为背景运动向量。
2.如权利要求1中要求的选择器(502)，其中运动向量域(400)的一部分相应于为在图像的边界的邻域中的像素组而进行估计的运动向量。
3.如权利要求1中要求的选择器(502)，其中比较单元被安排来计算在基于模型的运动向量与该运动向量组的各相应运动向量之间的差值，以及选择单元被安排成如果相应的差值是所述差值中的最小差值的话就选择该特定的运动向量。
4.如权利要求1中要求的选择器(502)，其中运动模型包括平移和缩放。
5.一种上变换单元(500)，用于根据输入图像序列计算在输出图像的封闭区域中的像素值，上变换单元(500)包括-运动估计单元(504)，用于估计图像的各运动向量，这些运动向量形成运动向量域(400)；-检测单元(508)，用于根据各运动向量，检测图像的封闭区域；-运动模型确定单元(505)，用于根据运动向量域(400)的一部分(402-436)，确定运动模型；-内插单元(506)，用于根据背景运动向量，借助于时间的内插来计算像素值；以及-所述选择器(502)用于如权利要求1中要求地选择像素的背景运动向量。
6.一种图像处理设备(600)，包括-接收装置(602)，用于接收相应于输入图像序列的信号；以及-如权利要求5中要求的用于计算输出图像的封闭区域中的像素值的上变换单元(500)。
7.如权利要求6中要求的图像处理设备(600)，其特征在于，还包括用于显示输出图像的显示设备(606)。
8.如权利要求7中要求的图像处理设备(600)，其特征在于，它是电视机。
9.一种用于从为一个图像所计算的一组运动向量中选择在该图像的封闭区域中的像素的背景运动向量的方法，该方法包括-根据在图像的运动向量域(400)的一部分(402-436)的基础上确定的运动模型来计算像素的基于模型的运动向量；-把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及-根据该比较来选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
10.一种由计算机设备装载的计算机程序产品，包括用来从为一个图像所计算的运动向量组中选择在该图像的封闭区域中的像素的背景运动向量的指令，该计算机设备包括处理装置和存储器，该计算机程序产品在被装载后向处理装置提供执行以下步骤的能力-根据在图像的运动向量域(400)的一部分(402-436)的基础上确定的运动模型来计算像素的基于模型的运动向量；-把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及-根据该比较来选择运动向量组中的特定的运动向量以及把该特定的运动向量指定为背景运动向量。
全文摘要
用于从为一个图像所计算的运动向量组中选择在该像素的封闭区域中的像素的背景运动向量的选择器(502)包括计算装置(510)，用于根据在图像的运动向量域(400)的一部分(402－436)的基础上确定的运动模型来计算像素的基于模型的运动向量；比较装置(511)，用于把基于模型的运动向量与运动向量组中的每个运动向量进行比较；以及选择装置(512)，用于根据该比较来选择运动向量组中的特定的运动向量以及用于把该特定的运动向量指定为背景运动向量。
文档编号H04N5/14GK1742486SQ200380109152
公开日2006年3月1日 申请日期2003年12月16日 优先权日2003年1月23日
发明者R·B·维特布鲁德, G·德哈安, R·洛德 申请人:皇家飞利浦电子股份有限公司