专利名称：图像预测方法和系统的利记博彩app
技术领域：
本发明一般涉及图像处理，且更具体地，涉及图像预测。
背景技术：
预测是一种统计估计处理，其中根据其他随机变量的观测来估计一个或多个随机变量。当要估计的变量在某种意义上与“将来”相关联并且可观测的变量与“过去”相关联时，这被称为预测。最简单、普遍的预测技术之一是线性预测。线性预测例如在于根据另一向量来预测一向量。预测的最通常用途是根据几个在先样本的观测来估计平稳随机过程(即，当在时间或空间中移位时其联合概率分布不改变的随机过程(random stochastic process)的样本。预测的另一应用是当根据在参考图像(也称为前向图像)中包括的被观测“在先”像素块来估计像素块时、应用在图像/视频压缩中。在此情况下，将每个被预测的图像(或者画面或帧)划分为非重叠的矩形块。使用参考画面中的运动估计(Motion Estimation,ME)来推导每个块的运动向量(即，对于用于提供从被预测画面中的坐标到参考画面中的坐标的偏移的预测所使用的向量)。然后，参考由所推导的运动向量指向的参考帧中的对应块，使用运动补偿(MC)来预测每个块。ME和MC两者都是本领域技术人员所已知的方法。此方法可以有助于消除冗余信息，并结果，可以需要较少的比特来描述残差(其是原始和被预测块之间的差)。然而，这种ME/MC预测方法实际上不是用于预测将来帧的最终解决方案，这是由于它是基于所捕获的运动对象正在执行平移运动的假设，而这不总是真的。此外，对于涉及非高斯过程的图像估计而言，ME/MC技术不能完全地提取出将有助于预测将来帧的关于过去的所有可能信息。如今，需要一种用于克服现有技术缺点的、可以容易地在现有通信基础架构上实现的图像预测解决方案。
发明内容
本发明的目的在于克服缺点和/或对现有技术做出改善。为了达到那样的程度，本发明提出了一种用于根据第一和第二参考帧来计算被预测帧的方法，对于被预测帧中的每个像素块，所述方法包括以下动作a)定义与被预测帧中的像素块并置的第一参考帧中的第一像素块；b)沿着所述并置块从所述第一参考帧到第二参考帧的运动向量来定义在第二参考帧中与第一并置像素块对应的第二像素块；cl)计算用于允许将并置块的像素变换为第二块的像素的第一系数集合；d)使用第一系数集合和来自在第一参考帧中与第二像素块并置的第四块的像素来计算被预测帧块的像素。本发明还涉及一种根据权利要求7的系统。本发明还涉及一种根据权利要求4的装置。本发明还涉及一种根据权利要求10的计算机程序。
4
所提出方法的优点在于，它可以适应性地充分利用冗余度，以根据本地空间时间区域内像素的特性来调整在连续帧之间推导出的运动信息。与现有解决方案相比，所提出方法的另一优点在于，它能够适应性地调节内插系数(以根据先前帧中的现有像素来预测像素)，从而匹配视频信号的不稳定统计属性。内插系数对于预测精度而言扮演了重要角色。所述系数越精确，则被预测帧就越可靠。这些系数可能涉及视频压缩的比特率方面的沉重负担。因而，根据本发明的方法提出了用于通过充分利用相邻帧的相同对象之间的高相似性来推导出第一块的更精确系数的算法，因此释放了传送这种系数的巨大负担。
现在，将单独地借助于示例并且仅仅参考附图来描述本发明的实施例，在所述附图中，向同样的部件提供了对应的附图标记，并且其中图1示意性地图示了根据本发明实施例的根据参考图像中的像素而进行的被预测图像中的像素预测的示例；图2示意性地图示了在根据本发明实施例的方法中使用的块和帧；图3A示意性地图示了根据本发明实施例的方法；图;3B示意性地图示了根据本发明实施例的方法；图3C示意性地图示了根据本发明附加实施例的方法；图4A示意性地图示了用于传统内插方法中的四分之一样本亮度内插(quarter sample Iuma interpolation)的整数(integer)样本禾口分数(fractional)采样位置的示例；图4B示意性地图示了根据本发明实施例的用于对对应分数像素(fractional pixel)进行内插的空间邻域的示例；图5示意性地图示了根据本发明实施例的从后向到前向系数的转变；图6是在DVC编码-“福尔曼(foreman) ”中由根据本发明的方法与现有的基于运动外插的方案生成的边信息的比较；图7是在DVC编码-“莫比尔(Mobile)”中由根据本发明的方法与现有的基于运动外插的方案生成的边信息的比较；图8是在DVC编码-“福尔曼”中由根据本发明的方法与现有的基于运动外插的方案生成的重建WZ帧的比较；图9是在DVC编码-“莫比尔”中由根据本发明的方法与现有的基于运动外插的方案生成的重建WZ帧的比较；图10是当对于序列“莫比尔”通过根据本发明的方法来替换跳跃模型(skip model)时的性能的比较；以及图11是当对于序列“坦普特(Tempete) ”通过根据本发明的方法来替换跳跃模型时的性能的比较。
具体实施例方式以下是示范实施例的描述，当与附图结合地做出时，这些示范实施例的描述将证明上述特征和优点，并且引入此外的特征和优点。在以下描述中，为了解释、而不是限制的目的，提出特定细节(诸如，架构、接口、 技术、装置等)以用于进行说明。然而，对于本领域技术人员将明显的是，脱离这些细节的其他实施例仍将被理解为处于所附权利要求的范围内。而且，为了清楚的目的，省略了公知装置、系统和方法的详细描述，从而不使得本发明的描述模糊。此外，没有详述路由器、服务器、节点、基站、网关或电信网络中的其他实体，这是由于它们的实现超出了本系统和方法的范围。另外，应该明确地理解，为了图示性目的而包括了附图，并且所述附图不表现本系统的范围。根据本发明的方法提出了一种用于基于在先前图像中做出的观测来预测图像 (即，所谓的被预测的或当前的图像/帧)的模型。在根据本发明的方法中，以像素块为单位来执行该预测，并且可以对于被预测图像的每个块来执行该预测。在全文中，可以将图像同化(assimilate)为(像素的)块。通过第一图像和第二图像中的并置(collocated) 块，人们可以理解在两个图像中处于完全相同位置中的块。例如，在图2中，块Bt(k，1)和 Bt-Jk, 1)是并置块。图3A描述了根据本发明的方法的说明性实施例，其中根据两者都已知并且在被预测帧260 (即，要预测的帧)之前的第一参考帧200和第二参考帧210来计算该被预测帧。 所有图像都可以处于图像流中。在此说明性实施例中，对于被预测帧沈0中的要预测的每个像素块，该方法包括用于允许定义与被预测帧中要预测的像素块(即，第三块)并置的第一参考帧中的第一像素块的动作220。然后，动作230允许沿着第一并置像素块从所述第一参考帧到第二参考帧的运动向量来定义在第二参考帧中与所述并置块对应的第二像素块。运动向量是用于帧间预测(inter prediction)的向量，该帧间预测用于提供从被预测画面中的坐标到参考画面中的坐标的偏移。它用于基于参考画面中宏块或像素的位置来表现被预测画面中的此宏块或像素(或相似的一个宏块或像素)。由于第一和第二参考画面是已知画面，所以可以将容易为本领域技术人员可用的技术用于推导从第一参考帧到第二参考帧的并置块的运动向量，并因此，可以定义第二块。随后，可以在动作MO中计算用于允许将并置块的像素变换为第二块的像素的第一系数集合。最终，动作250允许使用第一系数集合和来自在第一参考帧中与第二像素块并置的第四块的像素来计算被预测帧块的像素。在根据本发明的方法中，使用第一系数集合，根据第一参考帧中的第四像素块来推导要预测的像素块。因而，由于将第二和第四块分别并置在第二和第一参考帧中，所以使用第四块来推导被预测帧中的要预测的像素块暗示了 用于定义第二块的运动向量与用于建立第四块与要预测的像素块之间关系的运动向量相同。图1示意性地描述了沿着以下运动向量130而根据参考帧120中的像素来预测被预测帧110中的像素111，该运动向量130用于将要预测的像素111与参考帧120中的其对应像素122进行关联(link)。如图1所示，对于被预测帧110中的每个像素111，沿着(通过运动向量130而在图1中示出的)运动轨迹(trajectory)来推导参考帧120中的对应像素121。定义了在参考帧120中的以对应像素121为中心的方形空间邻域125。因而，将被预测帧中的像素111近似为参考帧120中对应空间邻域125的像素122的线性组合。可以将此内插处理表达为
-雄y)分其中(抝，召)表现了被预测帧110中位于坐标(m，η)处的被预测像素111 ；-Xt^1对应于参考帧120中像素的表现；-(/ ,乃)表现了通过;(爪，妁)的、被预测帧110中位于(m，n)处的对应被预
测像素111的运动向量130所指向的参考帧120中的对应像素121的位置；-α μ是内插系数；-nt(m，n)是加性高斯白噪声。可以使用本领域技术人员已知的方法(诸如，如此后进一步解释的均方误差 (MSE)方法和最小均方(LMS)方法)来推导内插系数。内插集合或内插滤波器(即，用于方形空间邻域125的内插系数的)的半径r可以用于将内插滤波器的尺寸定义为A2r+1) X Qr+1)。例如，在图1中，半径为r = 1，并且内插滤波器的尺寸为3X3。图2描述了在根据本发明的方法中使用的帧。使用第一参考帧Xw 211和第二参考帧Xt_2 222来推导出用于推导被预测帧Yt 205中每个像素块的内插系数。将第一参考帧Xw 211中的第一块Bt_i(k，l)212定义为被预测帧Yt 205中要预测的像素块(第三块)Bt (k，1)201的并置块。由于已知并且定义了第一和第二参考帧两者，所以本领域技术人员已知的现有方法允许沿着并置(或第一)块Bt_i(k，1)212从第一参考帧Xw到第二参考帧Xt_2的运动向
量、 _2 (k，1)来定义第二块
ο因而，可以根据第一和第二参考帧中的已知像素、如图1中描述的那样定义第一内插系数集合。然后，连同此上所先前获得的第一系数集合来使用第二参考帧222中 Bt.2(^/) 221的第一参考帧中的并置块241(参考图3A，也称为第四块)，以推
导出被预测帧205中要预测的像素块(或第三块)Bt(k，1)201中的被预测像素。图;3B描述了根据本发明的方法的说明性实施例。在动作300中，在被预测帧Yt中选择要预测的像素块Bt (k，1)。然后，在动作310 中定义与Yt中要预测的像素块并置的Bt_i (k，1)。由于已知并且定义了 Xw和Xt_2两者，所以在动作320中可以沿着并置块Bt_i(k，1)212从第一参考帧Xt_i到第二参考帧Xt_2的运动
向量Vt-u-Jk，1)来定义在Xt_2中与Uk，1)对应的第二块Bq怵， >在动作330中定义
权利要求
1.一种用于根据第一和第二参考帧来计算被预测帧的方法，对于被预测帧中的每个像素块，所述方法包括以下动作a)定义与对应于被预测帧中像素块的第三像素块并置的第一参考帧中的第一像素块；b)沿着所述第一块从所述第一参考帧到第二参考帧的运动向量来定义在第二参考帧中与第一像素块对应的第二像素块；Cl)计算用于允许将第一块的像素变换为第二块的像素的第一系数集合； d)使用第一系数集合和来自在第一参考帧中与第二像素块并置的第四块的像素，来计算第三块的像素。
2.根据权利要求1的方法，还包括以下动作c2)计算用于允许将第二块的像素变换为第一块的像素的第二系数集合，该动作d)还使用所述第二系数集合。
3.根据前述权利要求之一的方法，其中所述像素块是nXn个像素的方形块，其中η是大于1的整数，第一和第二系数集合对应于第一和第二 η X η矩阵，并且其中，在动作d)中， 该计算步骤考虑到所述第一矩阵和所述第二矩阵的转置。
4.一种用于根据视频流的第一和第二参考帧来计算被预测帧的内插装置，将所述装置安排为从该视频流中选择所述第一和第二帧，对于被预测帧中的每个像素块，将所述装置进一步安排为a)定义与作为被预测帧中像素块的第三像素块并置的第一参考帧中的第一像素块；b)沿着所述第一块从所述第一参考帧到第二参考帧的运动向量来定义在第二参考帧中与第一像素块对应的第二像素块；cl)计算用于允许将第一块的像素变换为第二块的像素的第一系数集合； dl)使用第一系数集合和来自在第一参考帧中与第二像素块并置的第四块的像素，来计算第三块的像素。
5.根据权利要求4的装置，进一步安排为c2)计算用于允许将第二块的像素变换为第一块的像素的第二系数集合； d2)还使用第二系数集合来计算被预测帧的像素。
6.根据前述权利要求4和5之一的装置，其中所述像素块是nXn个像素的方形块，其中η是大于1的整数，第一和第二系数集合对应于第一和第二 nXn矩阵，将该装置进一步安排为考虑到所述第一矩阵和所述第二矩阵的转置来计算被预测帧的像素。
7.一种用于根据视频流的第一和第二参考帧来计算被预测帧的系统，所述系统包括 -传送装置，用于传送该视频流；-内插装置，被安排为 -从该传送装置接收该视频流； -从该视频流中选择所述第一和第二帧， 对于被预测帧中的每个像素块，将所述装置进一步安排为a)定义与作为被预测帧中像素块的第三像素块并置的第一参考帧中的第一像素块；b)沿着所述第一块从所述第一参考帧到第二参考帧的运动向量来定义在第二参考帧中与第一像素块对应的第二像素块；cl)计算用于允许将第一块的像素变换为第二块的像素的第一系数集合；dl)使用第一系数集合和来自在第一参考帧中与第二像素块并置的第四块的像素来计算第三块的像素。
8.根据权利要求7的系统，其中将该内插装置进一步安排为c2)计算用于允许将第二块的像素变换为第一块的像素的第二系数集合； d2)还使用第二系数集合来计算被预测帧的像素。
9.根据前述权利要求7和8之一的系统，其中所述像素块是nXn个像素的方形块，其中η是大于1的整数，第一和第二系数集合对应于第一和第二 ηΧη矩阵，将该装置进一步安排为考虑到所述第一矩阵和所述第二矩阵的转置来计算被预测帧的像素。
10.一种用于提供在计算机可读介质上存储的计算机可执行指令的计算机程序，当加载到数据处理器上时，该计算机可执行指令使得该数据处理器执行根据权利要求1到3的用于根据第一和第二参考帧来计算被预测帧的方法。
全文摘要
一种用于根据第一和第二参考帧来计算被预测帧的方法，对于被预测帧中的每个像素块，所述方法包括以下动作定义与作为被预测帧中像素块的第三像素块并置的第一参考帧中的第一像素块；沿着所述第一块从所述第一参考帧到第二参考帧的运动向量来定义在第二参考帧中与第一像素块对应的第二像素块；计算用于允许将第一块的像素变换为第二块的像素的第一系数集合；使用第一系数集合和来自在第一参考帧中与第二像素块并置的第四块的像素来计算第三块的像素。
文档编号H04N7/36GK102204256SQ200980143556
公开日2011年9月28日 申请日期2009年10月20日 优先权日2008年10月31日
发明者张永兵, 王荣刚 申请人:法国电信公司