专利名称:用受控向量统计特性进行运动估计和补偿的利记博彩app
技术领域:
本申请与在视频图像数据内进行运动估计和补偿的方法和系统有关。
背景技术:
已知的进行运动估计和补偿的系统对接入片外存储器内的视频图像数据有明显的带宽要求。在有些系统中,用一个高速缓存器来降低这种带宽要求。由于在接入视频图像数据中的空间局部性(spatiallocality),平均性能可以得到改善。然而,不能保证存在这样的空间局部性,因此最坏情况的性能得不到改善。这样就提供不了所保证的降低执行接入所需的带宽的要求。
欧洲专利申请EP-A-0 294 957揭示了一种数字电视图像内运动向量处理的方法和设备。这个文件揭示了一个运动向量的滤波电路,用来提高在有些具体情况下向量的质量。这个滤波电路使运动估计器较为不易受噪声的影响,保证运动估计电路传送较可靠的零向量。
G.de Haan等人在“采用3-D递推块匹配的真实运动估计”(“Truemotion estimation with 3-Drecursive block matching”,IEEE Trans.CSVT,Oct 1993,pp.368-388)和“用于经运动补偿的解交错、降噪和图像率变换的集成电路”(“IC for motion-compensated de-interlacing,noise reduction,and picture-rate conversion”,IEEE Trans.on CE,Aug.,1999,pp.617-624)中揭示了各种运动估计技术和实现方式。
发明内容
本发明旨在提供一种处理视频数据的运动估计和运动补偿的方法和系统,在应用一个很小的运动补偿数据高速缓存器的情况下,在所有可能情况下将在运动补偿期间存储器带宽的使用限制在某个最大极限。
按照本发明,所提供的在视频图像数据内进行运动估计和运动补偿的方法包括下列步骤a)分析在视频图像数据的相继图像内的运动,按照所述运动得出一个运动向量场(motion vector field);b)执行运动补偿,将视频图像数据的一个子集存储在一个第一存储装置内,对于每个向量从第一存储装置检索所需数据,在从第一存储装置得不到所需数据的情况下,从一个第二存储装置取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置;其中,在步骤a)中视频运动向量场内的运动向量选择成满足至少一个统计特性。
许多现有系统,如de Haan所揭示的实现方式,应用一个高速缓存器或二维缓存器存储一个图像的一个子集。运动补偿用运动向量从高速缓存器取得数据。在典型的系统中,高速缓存器或二维缓存器覆盖这些运动向量的整个搜索范围;通常它包括一些行存储器。这导致存储器比较大,例如720个像素宽和24行(关联的最大垂直向量范围为[-12,…,+12])。因此这样的高速缓存器需要缓存至少17,280个像素。本发明使运动补偿数据高速缓存器可以容量大大减小。它通常只存储几百个像素。如果没有专门措施,用一个小的运动补偿高速缓存器会导致在图像存储器和高速缓存器之间可能有很高的带宽要求。特别是在各个方向具有大量运动的复杂视频景象的情况下,高速缓存器的刷新速率可以引起可能超过可用带宽的过度数据通信量。结果,使刷新高速缓存器会太慢,这通常导致丢失一个输出图像。这认为是非常严重的不自然现象,应该避免。本发明允许使用一个小的高速缓存器,同时保证使用一个预定的最大带宽,它大大低于最坏情况下使用的带宽。
很清楚,一个数据高速缓存器的效率取决于数据基准的空间局部性。这个局部性与高速缓存器的容量有关。对于一个大的数据高速缓存器,如在现有的系统中所用的,所有的数据接入将从缓存器取得数据。对于一个如在这里所提出的小的高速缓存器,一些数据请求将接入可从高速缓存器得到的数据,而其他请求将接入高速缓存器不能提供的数据。后一种情况引起数据高速缓存器的(局部)刷新,因此引起从图像存储器到高速缓存器的数据传送。由于在图像内数据接入的位置取决于运动向量,因此高速缓存器效率取决于向量场的统计信息。
在采用诸如视频扫描率变换和时移录取之类的一些运动估计和补偿的应用中,在单个系统内运动估计后接着进行运动补偿。在这样的情况下,运动估计器可以控制成所计算的向量场遵从预定的向量统计信息。结果,保证在图像存储器与运动补偿高速缓存器之间的带宽使用低于某个极限。
通过利用视频运动向量场的适当统计特性有可能保证在运动补偿器使用一个本机缓存器(或高速缓存器)时可以将接入片外存储器内的视频图像数据所需的带宽降低到某个所保证的范围。这将避免在一个景象内有许多复杂的运动的情况下所需的带宽可能超过可用带宽从而导致运动补偿处理的延迟。所需的统计特性可以通过优先选择改善需由运动补偿器执行的访问的空间局部性的候选运动向量获得。
至少一个统计特性或限制可以取决于访问第二存储装置的第一带宽。这个第一带宽可以是第二存储装置可用的带宽,即受硬件特性的限制。或者,第一带宽也可以是运动补偿器可用的带宽。
此外,至少一个统计特性可以取决于存储系统(即第一存储装置、第二存储装置和在第一和第二存储装置之间的通信装置(包括所支持的数据传送类型/协议))的至少一个体系结构特性。
在另一个实施例中,根据访问第二存储装置的实际可用带宽动态地调整至少一个统计特性。通过动态地控制统计特性(例如随时确定统计特性),可以影响由运动补偿所引起的来自第二存储装置的数据通信量。这对其他功能也访问第二存储装置的带有共享存储器的系统特别有用。
在另一个实施例中,所述方法还包括使运动估计器实际使用的统计特性对另一个使用第一存储装置的系统可用的步骤。实际使用的统计特性可以与至少一个统计特性不同。而且,至少一个实际使用的统计特性可以用来确定访问第二存储装置实际使用的带宽,可以将可用带宽与实际使用的带宽之差用于另一个系统。例如,运动估计器可以向使用第二存储装置的另一个系统报告实际发现的统计信息。根据这信息,其他系统部件可以确定运动补偿的实际带宽要求。在运动补偿实际没有使用全部可用带宽的情况下,可以允许其他系统部件使用这个带宽。
在另一个实施例中,步骤a)包括a1)确定图像的另一个子集的候选运动向量的一个集合;a2)按照一个先前所选的运动向量与每个候选运动向量之间的相关性计算至少一个损失值(penalty value);a3)考虑候选运动向量的至少一个损失值和先前所选的运动向量的至少一个损失值和至少一个统计特性的统计信息从候选运动向量的集合中选择另一个运动向量。图像的这另一个子集可以与先前为了选择一个运动向量所处理的图像的子集水平邻接(左、右邻接)或垂直邻接(上、下邻接)。在相关性低于一个预定门限值时,向量是弱相关的,因此在运动补偿期间必需(部分)刷新第一数据存储装置。这将增大接入第二存储装置内的视频图像数据所用的带宽。损失计算为在运动补偿期间访问第二存储装置将需要的带宽的度量。通过考虑属于在从候选运动向量中选择一个运动向量时在当前图像内实际所选的运动向量的损失值的统计信息,包括新选的运动向量的损失在内的损失值的统计信息可以由至少一个输入运动估计器的统计特性限制。作为一个例子,所有损失值之和可以表示在运动补偿期间访问第二存储装置的一定带宽。在这里所揭示的方法中,这个和可以加以限制,从而就限制了带宽。在一些已知的运动估计方法中,选择是根据候选运动向量的匹配误差和候选运动向量的其他特征(诸如候选运动向量相对当前位置的起点)进行的。
在另一个实施例中,先前所选的运动向量的至少一个损失值的统计信息基于所有先前所选的运动向量,因此考虑当前图像内所有已选的运动向量。这样,在运动补偿期间访问第二存储装置的带宽限制在单个图像的步长(granularity)。结果,限制了在运动补偿期间对于整个图像所用的平均带宽,但是在处理图像的一个部分期间仍可能耗费高的峰值带宽。
在有些情况下这是不可接受的,或者会导致较不经济的实现。因此,在另一个实施例中,先前所选的运动向量的至少一个损失值的这些统计信息只考虑在当前图像内已经选择的这些运动向量的一个子集。这样,将控制的步长细化到图像的一个部分,从而可以避免在对图像的一个部分进行运动补偿期间耗费高的峰值带宽。
在采用前面提到的这个实施例时,图像处理的开始部分可以具有与图像处理的结束部分不同的质量,因为运动估计步骤可以使在结束部分的运动向量比在开始部分相关更强,以在图像结束部分满足至少一个统计特性。这可以引起可能可见的不自然现象。这种情况可以通过利用在一个视频序列的相继图像之间通常有很强的时间相关(temporal correlation)的事实得到改善。通过时间反馈(temporalfeedback),可以利用图像序列的统计的特性,从而得到更为一致的图像质量。这可以在另一个实施例中实现,在这个实施例中,用先前图像内所选的运动向量的至少一个损失值的统计信息进一步影响步骤a3)的选择过程。
在又一个实施例中,根据存储器和通信装置(包括第一存储装置、第二存储装置或通信装置)的体系结构特性选择图像的另一个子集。这允许视频图像的扫描次序对系统的体系结构特性进行优化。
在另一个方面,本申请提出了一种按照权利要求2至12之一所述的系统。这种系统配置成以一个简单和高效率的实现方式达到本发明的方法的效果。
这种系统可以有益地用于电视机或机顶盒。
下面将通过结合
若干典型的实施例对本发明进行详细说明,在这些附图中
图1示出了按照本发明的一个实施例设计的运动估计/补偿系统的原理图;图2示出了按照本发明的另一个实施例设计的运动估计/补偿系统的原理图;图3示意性地示出了一个包括高速缓存器内的一个子集的图像;图4示意性地示出了一个包括高速缓存器内的另一个子集的图像。
具体实施例方式
对于在视频领域内的一些嵌入系统来说许多应用采用运动估计和/或运动补偿技术。这样一些应用的一个关键特征是它们对于接入在(比较大的)图像存储器内的视频数据有明显的带宽要求。一个可选方案是用一个高速缓存器来降低这些带宽要求,使由于在接入视频数据中的空间局部性引起的平均情况性能得到改善。然而,由于这样的空间局部性得不到保证,这样一个高速缓存器不会改善最坏情况性能,因此将不能提供所保证的减小执行这些接入所需的带宽。
在图1中示出了一个供在视频应用中使用的运动估计和运动补偿系统的简化方框图。这个系统包括一个运动估计器12和一个运动补偿器14。此外,这个系统还包括一个二维缓存器15,用来存储一个视频图像中的一个比较小的2D区域(例如为8行,每行32像素)。视频图像帧在运动补偿器14和/或二维缓存器15的控制之下从一个(可能是片外的)图像存储器10输入二维缓存器。图像存储器10可以存有多个视频图像。图像存储器装有输入视频数据11。在运动估计和运动补偿功能中,由一个运动向量接入视频数据块。利用缓存器15可以重复使用视频数据,从而有效地降低对图像存储器10与二维缓存器15之间的连接20的带宽要求。
运动估计器12配置成可以用众所周知的运动估计技术分析图像存储器10内的相继的视频图像片段,得出一些运动向量。G.de Hewn等人在“用3-D递推块匹配的真实运动估计”(“True motion estimationwith 3-D recursive block matching”,IEEE Trans.CSVT,Oct.1993,pp.368-388)中揭示了各种运动估计技术。
通过通信装置22,这些向量传送给运动补偿器14,运动补偿器14用运动向量接入二维缓存器15内的视频图像数据。在数据在缓存器内不存在的情况下,缓存器将用来自视频图像存储器10的新数据(部分)刷新。在来自缓存器的视频数据处理后,运动补偿器14的结果变换成视频输出数据16。
二维缓存器15的体系结构特性通常在具体实现设计期间规定。对于图像存储器与2D缓存器之间的连接20也可以是这样,为运动补偿提供一个预定的带宽。然而,可能存在图像存储器与其他功能共享的情况。图2示出了这样一种更为高级的系统。
由于图2中的图像存储器是多个功能共享的,因此图像存储器10与缓存器15之间的连接装置20得到扩展。在这种情况下,它通常实现为一个通信总线20。作为一个例子,系统加有总线客户机42,这个总线客户机可以执行与运动估计和运动补偿有关或无关的功能。在象这样的一个系统中,接在通信装置20上的运动补偿器14的可用带宽可以有明显不同,例如取决于总线客户机42是否在用。运动补偿器14的带宽使用可以受运动估计器12内的一些统计限制控制。在这个系统中,这些统计限制30由一个带宽控制单元46动态地调整成适应总线上的可用带宽。作为这个系统的进一步改进,带宽控制单元还可以从运动估计器12检索实际的统计特性48。通过分析这个信息,带宽控制单元46可以预测运动补偿器14在应用运动向量时将实际使用的所需带宽。在这个带宽小于统计限制30所实施的带宽极限的情况下,多余的带宽可以用来改善其他功能的质量。
通过改变统计限制30,可以在图像质量和带宽占用之间进行受控折衷,因此运动补偿器14的输出图像的质量在带宽限制这样要求时有适度的降低。
通过将这些带宽控制机制应用到图2的系统上,甚至可以贯彻多个功能的业务质量,而且在总线过载的情况下使性能只有适度下降,重新使多个功能优化。
在数字视频处理技术中,运动估计功能确定图像数据中一些块的运动的一个向量场。在普通视频图像序列内这些向量在大多数(假设为75%)情况下是高度相关的,而在另一些(假设最坏情况为25%)情况下完全不相关。此外,可以给出弱相关向量和强相关向量的定义。如果下一个向量是弱相关的,所需数据就不在(或不全部在)二维缓存器15内,因此缓存器15需要从图像存储器10(部分)再充填。然而,如果下一个向量是强相关的,所需数据将是在缓存器15内可得到的。
作为例子,图3和4示出了相邻运动向量的相关性与高速缓存器效率的关系从而也就示出了与图像存储器10和缓存器15之间的数据通信量的关系。图3示出了一个图像60,图像数据的一个子集62可在高速缓存器15内得到。使示出了两个运动向量,分别属于图像数据两个相邻的块64和66。这两个运动向量是强相关的,因此这两个通过运动向量接入的块65 67都驻留在图像数据的存储在高速缓存器内的子集62内。在图4中,示出了一个类似的情况,然而,在这种情况下两个运动向量是弱相关的。由于这两个向量之间差别大,通过一个运动向量接入的图像数据的第二块68没有驻留在图像数据的存储在高速缓存器内的子集62内。因此,高速缓存器需要(部分)刷新。
视频图像存储器10与二维缓存器15之间的通信装置20的带宽要求在尽可能重用二维缓存器15内的数据时可以降低。在平均情况性能中,由于接入视频数据的空间局部性,可以增大数据重用的效率。然而,在正常视频数据中,并不保证存在这样的局部性,使用一个二维缓存器改善不了最坏情况性能,从而提供不了所保证的减小执行访问视频图像存储器10所需的带宽。
根据图像存储器10内的图像数据,运动估计器确定一个运动向量场。在计算向量场期间,运动估计器12保证统计限制30满足。因此,运动估计器12可以优先选择改善由运动补偿器14执行的接入的空间局部性的候选运动向量。这将改善二维缓存器15的命中率,因此减小了通过通信装置20访问视频图像存储器10所需的带宽。
在本发明中,限制了可以由运动估计器12选择的弱相关向量的百分比,以便保证不超过某个带宽极限。对于某个图像部分一个候选运动向量是弱相关还是强相关取决于二维缓存器15的体系结构和通信装置20的体系结构。此外,缓存器的容量也有关系。因此,统计限制30取决于图像存储器10与二维缓存器15之间的可用带宽和取决于存储系统的体系的结构特性。
总的来说,如由运动估计器12实现的运动估计操作包括三个步骤。首先,为一个图像的一个给定子集确定一个候选运动向量集合。其次,为每个候选向量计算一个匹配准则,最后选择最好的候选运动向量作为运动估计器12的输出向量。对于图像的每个部分重复每个步骤,从而得到这个特定图像的一个完整的向量场。
在Haan等人的论文(见上)中,一种特别有效的运动估计方法是三维递推搜索。在这种方法中,只有数目很有限的候选向量。在这些候选向量中间,有少数候选向量与在邻接的图像部分上计算出的向量相同或者从在邻接的图像部分上计算出的向量得出。根据定义,相同的向量是强相关的。此外,所得出的向量在很多情况下也是强相关的。在构建一个图像的运动向量场时,在这种情况下,不仅采用匹配准则,而且考虑一个附加的准则(一个候选向量与一个相邻向量的相关值)。因此,运动估计器首先为每个候选运动向量计算出一个损失值。这些损失值取决于候选运动向量与相邻的所计算的运动向量之间的相关性。损失值是对在运动补偿期间所需带宽的度量。在从候选运动向量中选择结果运动向量时,对所计算的损失值进行分析,同时还考虑先前所选的运动向量的损失值的统计信息。这样,除常规匹配准则之外,损失值的分析是一个附加的选择准则。用这种方法,可以选择一个是强相关的结果运动向量,即使是它没有最佳匹配,因此校正了所产生的运动向量,从而保证在运动补偿期间的带宽在一定的极限范围之内。这样的校正可以使图像质量有些降低。
在假设强相关和弱相关向量在整个图像上均匀分布从而在运动估计器内的校正在整个图像上是均匀分布的情况下,这种处理可以方便地进行,因为这意味着图像质量在整个图像上是不变的。在一些视频序列中这可能是不同的,而所揭示的方法可能导致在图像处理开始部分与图像处理结束部分有不同的图像质量。这可以是由于运动估计器12在结束部分它可能必须迫使强相关向量能达到与弱相关向量的所需百分比而出岔引起的。
在大多数视频序列中,在一个视频序列内的相继图像之间存在强的时间相关。通过一个时间递推反馈回路,运动估计器12可以从序列的统计特性估计对一个具体图像所需校正的百分比或总数,将弱相关或强相关的候选运动向量的优先选择均匀地分布到整个图像上,因此提供一个质量恒定的图像。
相邻的图像部分(或运动向量)可以是水平邻接(左、右邻接)或垂直邻接(上、下邻接)的。选择其中的哪种可以取决于存储系统的体系结构特性,以便优化扫描次序。
在一个带有一个小的高速缓存器的系统内,在不利用运动向量场的统计特性时,景象内有许多复杂的运动的情况将导致大量必需的对视频图像存储器10的访问,从而导致通信装置20的过载。结果,一个可能的影响可以是所计算的图像不及时,实际上引起在视频输出16中丢失图像。
在利用按照本发明设计的方法和系统时,在同样的情况下,结果是运动估计器12输出的向量场的质量降低,因为向量一致性的限制将迫使运动估计器12选择一些非最佳向量。这可以导致在运动补偿器14的运动补偿后的视频输出16内图像质量降低。然而,可以防止在视频信息流内丢失图像的严重得多的不自然现象,从而改善了所感觉的图像质量。此外,系统工作的可靠性和预测性还将得到改善。而且,使一个具有多个使用共享资源的功能的系统内业务质量成为可以接受的。
权利要求
1.一种在视频图像数据内进行运动补偿的方法,所述方法包括下列步骤a)分析视频图像数据的相继图像内的运动,按照所述运动得出一个运动向量场;b)执行运动补偿,将视频图像数据的一个子集存储在一个第一存储装置(15)内,对于每个向量从第一存储装置(15)检索所需数据,在从第一存储装置(15)得不到全部所需数据的情况下,从一个第二存储装置(10)取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置(15);其中,在步骤a)中视频运动向量场内的运动向量选择成满足至少一个统计特性。
2.一种在视频图像数据内进行运动补偿的系统,所述系统包括一个运动估计器(12),配置成分析视频图像数据的相继图像内的运动,按照所述运动得出一个运动向量场;一个与运动估计器(12)和第一存储装置(15)连接的运动补偿器(14),配置成执行运动补偿,将视频图像数据的一个子集存储在一个第一存储装置(15)内,对于每个向量从第一存储装置(15)检索所需数据,在从第一存储装置(15)得不到全部所需数据的情况下,从一个第二存储装置(10)取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置(15);所述运动估计器(12)还配置成在视频运动向量场内选择满足至少一个统计特性的运动向量。
3.一种按照权利要求2所述的系统,其中所述至少一个统计特性取决于访问第二存储装置(10)的第一带宽。
4.一种按照权利要求2所述的系统,其中所述至少一个统计特性取决于第一存储装置(15)、第二存储装置(10)或在第一存储装置(15)与第二存储装置(10)之间的通信装置(20)的至少一个体系结构特性。
5.一种按照权利要求2所述的系统,其中所述至少一个统计特性按照访问第二存储装置(10)的实际可用带宽动态调整。
6.一种按照权利要求2所述的系统,其中所述运动估计器(12)配置成使至少一个实际使用的统计特性可为另一个系统(42)所用。
7 一种按照权利要求6所述的系统,其中所述运动估计器(12)配置成用至少一个实际使用的统计特性确定访问第二存储装置(10)实际使用的带宽,以及使可用带宽与实际使用带宽之差可为另一个系统(42)所用。
8.一种按照权利要求2所述的系统,其中所述运动估计器(12)还配置成确定图像的另一个子集的候选运动向量的一个集合,按照在一个先前所选的运动向量与每个候选运动向量之间的相关性计算至少一个损失值,以及考虑这些候选运动向量的至少一个损失值和先前所选的运动向量的至少一个损失值和至少一个统计特性的统计信息从候选运动向量的集合中选择另一个运动向量。
9.一种按照权利要求8所述的系统,其中所述先前所选的运动向量的至少一个损失值基于当前图像内所有先前所选的运动向量。
10.一种按照权利要求8所述的系统,其中所述先前所选的运动向量的至少一个损失值的统计信息基于当前图像内先前所选的运动向量的一个子集。
11.一种按照权利要求8所述的系统,其中先前图像内先前所选的运动向量的至少一个损失值的统计信息用来进一步影响所述另一个运动向量的选择。
12.一种按照权利要求8所述的系统,其中所述图像的另一个子集根据第一存储装置(15)、第二存储装置(10)或通信装置(20)的至少一个体系结构特性选择。
13.一种电视机,所述电视机包括一个按照权利要求2所述的进行运动补偿的系统。
14.一种机顶盒,所述机顶盒包括一个按照权利要求2所述的进行运动补偿的系统。
全文摘要
本发明提出的在视频图像数据内进行运动补偿的方法和系统包括一个配置成分析视频图像数据的相继帧内的运动、按照所述运动得出一个运动向量场的运动估计器(12),一个与运动估计器(12)和第一存储装置(15)连接的运动补偿器(14)。运动补偿器(14)配置成执行运动补偿,将视频图像数据的一个子集存储在一个第一存储装置(15)内,对于每个向量从第一存储装置(15)检索所需数据,在从第一存储装置(15)得不到全部所需数据的情况下,从一个第二存储装置(10)取得含有至少所需数据的遗漏部分的视频图像数据存入第一存储装置(15)。运动估计器(12)还配置成在视频运动向量场内选择满足至少一个统计特性的运动向量。
文档编号H03M7/36GK1620817SQ02813468
公开日2005年5月25日 申请日期2002年6月20日 优先权日2001年7月6日
发明者R·J·舒藤, A·K·里门斯, P·范德沃尔夫 申请人:皇家菲利浦电子有限公司