专利名称：使用用于视频编码的高级运动模型的参考处理的利记博彩app
技术领域：
本公开主要涉及图像处理和视频处理。更具体地，其涉及使用用于视频编码的高级运动模型的参考处理。
背景技术：
在基于运动补偿预测的视频编码方案中，视频编码方案使用的参考图片的质量可 能显著地影响编码效率。也就是说，质量越高的参考图片(其也与源图片越相关)通常产生改善的编码优势。编码优势包括诸如提高的编码效率、降低的复杂度和更容易并行化的因素。图1示出了传统视频编码系统的实现。在诸如图1所示的传统视频编码系统等传统视频编码系统中，从参考图片缓冲器(100)中检索参考图片，而通常不对参考图片应用任何附加处理。参考图片通常还用于后续图片的预测。任何附加处理的缺失出现在许多编码脚本中。这些编码脚本包括用于静态视频序列或者用于以恒定的直线运动移动的序列的编码。然而，可以通过在使用参考图片用于后续图片的预测之前对参考图片进行预处理，来实现改善的编码优势。使用了预处理的一种脚本是立体或者多点视频编码应用，其中，在预测其它视图/层时利用特定视图/层，并且可以以彼此不同的角度捕获其它视图/层。下面的情况通过引用包含于此2010年4月20日提交的国际专利申请第PCT/US2010/031762 号(2010 年 10 月 28 日公布的国际公布第 W0/2010/123909 号)；2010 年 6月30日提交的国际专利申请第PCT/US2010/040545号(2011年I月13日公布的国际公布第TO/2011/005624号);2011年I月5日提交的国际专利申请第PCT/US2011/020163号(尚未公布)。
包含在本说明书中、构成本说明书的一部分的附图，示出了本公开的一个或更多个实施例，并且与对示例实施例的描述一起，用于解释本公开的原理和实现。图1示出了传统视频编码系统的实现。图2示出了利用参考处理单元的视频编码系统的实现。图3示出了利用参考处理单元的立体视频编码系统的实现。图4示出了被分割为不重叠区域的参考图片。图5示出了被分割为重叠区域的参考图片。图6示出了编码器侧的运动模型估计处理的示例性实施例。
图7示出了快速运动模型选择处理的示例性实施例。图8示出了插值滤波器选择和强度补偿估计处理的示例性实施例。图9示出了像素对称的第一示例。图10示出了像素对称的第二示例。图11示出了用信令表示显式插值滤波器的处理的实施例。图12示出了解码器侧的参考处理单元的框图。
具体实施例方式
本公开的实施例涉及图像处理和视频处理。
根据本公开的第一实施例，提供一种用于对参考图片进行处理的方法，包括i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计；ii)进一步处理经运动估计后的图片，以获得进一步处理后的参考图片估计值；以及对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片。根据本公开的第二实施例，提供一种用于当在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动模型参数，所述方法包括i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估计，以提供运动模型参数；iii)根据所述运动模型参数执行扭曲，以获得扭曲图片；以及对
进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。根据本公开的第三实施例，提供一种迭代法，用于当在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动模型参数，所述方法包括i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估计，以提供运动模型参数；iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及对i)_iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。根据本公开的第四实施例，提供一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包括i)对输入图片执行扭曲，以获得第一处理图片；以及ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。A.参考图片处理图2示出了利用下文中称为RPU的参考处理单元(200)的视频编码系统的实现。RPU(200)允许诸如滤波器参数、运动补偿参数和其它建模参数的处理参数的信令。可以对已经在参考图片缓冲器(205)中可使用的参考图片应用该信令，以生成新的参考图片。这些新的参考图片通常与需要处理的后续图片更相关。如果期望，可以以区域水平、而不是全局水平来操作信令，这使得能够进行更细致的控制并且在编码优势方面获得进一步的改
口 O引入参考处理单元(200)的使用的两个示例性参考文献是2009年4月20日提交的标题为“Directed Interpolation and Post-Processing”的美国临时申请第61/170, 995 号，以及2009年7 月 4 日提交的标题为“Encoding andDecoding Architecturesfor Format CompatibIe3D Video Delivery”的美国临时申请第 61/223，027 号。这两个参考文献的全部内容通过引用包含于此。通过在视频编码系统中利用RPU(200)，已经实现了支持立体和多点视频编码的应用。通过选择高级运动模型和滤波机制，以在使用每个参考图片以预测后续增强层图片之前应用到来自前一层图片的每个参考图片来实现这些应用。
·
在帧兼容3D传递方法和2D兼容3D传递方法两者中，应用涉及针对每个参考图片选择适当的高级运动模型(包括但不限于平移、缩放、旋转、仿射和立体透视变换)和滤波机制(包括但不限于双线性、双三次、米切尔-奈特拉瓦利(Mitchell-Netravali)、兰克泽斯(Lanczos)和用户指定的插值滤波器)的技术。这些3D传递方法与当前由MPEG-4AVC/H. 264的多视点视频编码(MVC)扩展支持的方法类似。与其中对后续增强层的预测考虑未经过处理的、来自前一层的参考图片的MVC不同，RPU(200)使得能够在将来自前一层的参考图片用于后续增强层的预测之前将它们进行改进。改进通常改善编码优势。本公开的几个实施例集中于2D兼容多层3D编码方法。也可以在帧兼容3D编码方法中以及在诸如通用可扩展2D编码等其它应用中使用所呈现的编码方法。另外，可以在与智能和自适应插值滤波、强度补偿方法以及去块/去噪滤波器的组合中，使用所呈现的编码方法。继续参考示出了利用RPU(200)的视频编码系统的图2，在将参考图片存储在参考图片缓冲器(205)中或者从参考图片缓冲器(205)中检索到参考图片之后，对来自参考图片缓冲器(205)的参考图片进行处理。与不对参考图片进行处理的情况相比，通过对参考图片进行处理，参考图片可以提供对后续视频图片更准确的预测。这些处理方法通常包括通过使用运动模型的运动补偿方法。稍后将在本公开中描述运动模型的具体类别。对参考图片进行处理的一种示例性方式是对参考图片应用特定全局或局部化运动模型。在与运动补偿方法的组合中，通过线性或者非线性滤波器进行的处理也可以用于分数位置插值、去噪、伪影(artifact)减少(例如去块)和图像增强。图3示出了参考图片处理技术在多视点或者多层视频编码系统中的使用。参考图3，该系统包括基本视点(300)和第二视点(305)。另外，该系统包括视点间RPU(310)。基本视点(300)和第二视点(305)具有对应的基本视点参考图片缓冲器(315)和第二视点参考图片缓冲器(325)。基本视点参考图片缓冲器(315)与基本视点RPU(320)连接，第二视点参考图片缓冲器(325)与第二视点RPU(330)连接。视点间RPU(310)与两个图片缓冲器
(315,325)连接。虽然图3示出了两个视点或者两层视频编码系统，但是也可以考虑具有用于每个视点或者层的附加RPU的附加视点或者层以及附加视点间或者层间RPU。继续参考图3，由相应的RPU(320、330)对基本和第二视点(300、305)内的参考图片进行处理。另外，在从基本视点(300)向第二视点(305)发送参考图片之前，视点间RPU(310)对从基本视点参考图片缓冲器(315)接收到的参考图片进行处理。由视点间RPU(310)进行的处理通常出现在将所有参考图片存储在每个视点专用的参考图片缓冲器
(315,325)中之后，或者针对后续图片的预测考虑特定参考图片时(例如在敏锐的RPU处理中)。例如，可以根据指定运动模型使用于基本视点(300)的参考图片扭曲，以生成可以在基本视点(300)、第二视点(305)或者两个视点(300、305)中用于后续图片的预测的新的参考图片。使用每个缓冲器(315、325)中的原始参考图片，来生成用于相同视点(300、305)或者用于另一视点(300、305)的附加参考图片。在给出诸如运动模型、插值滤波器和强度补偿参数等新的处理参数(它们可能特定用于要处理的后续图片)的情况下，可以对原始参考图片或者新生成的参考图片再次进行处理。例如，对于视点间参考处理(310)，运动模型信息可以表示视点(300、305)之间的差异，诸如用来捕获每个视点(300、305)的不同的照相机位置和角度。运动模型信息不仅可以包括运动扭曲信息 ，还可以包括例如指示使用哪个插值滤波器以生成子像素位置的附加信息以及强度补偿信息。处理模型可以包含诸如高斯和/或可分离线性滤波器等去噪滤波器、诸如中值或者分阶滤波器等非线性滤波器等。还可以使用可以跨区域指定的去块方法。在通常的情况下，由视频编码系统处理的视点/层的数量可以远多于图3所示的两个视点/层的视频编码系统。通常，可以对特定视点/层的参考图片进行处理，以生成另一视点/层的另外的参考图片。另外，可以对特定视点/层的参考图片进行处理，以生成用于特定视点/层本身的增强参考图片。在参数估计处理方面，可以基于使用适当的扭曲参数的运动模型，在编码器侧估计或者选择运动模型信息。扭曲参数可以取决于单个指定标准或者其它标准中的诸如的视觉质量、算法复杂度、位率等指定标准的组合。可选地，可以基于使用适当的插值滤波器参数、强度补偿参数或者去块/去噪参数的运动模型，在编码器侧估计或者选择运动模型信息。另外，可以基于迄今为止未列出的其它参数中的所使用的扭曲参数、插值滤波器参数、强度补偿参数和去块参数的适当的组合，在编码器侧估计或者选择运动模型信息。通过除了使用高级运动模型之外还将线性和非线性滤波进行组合(级联或者组合)，可以获得附加好处。图12示出了解码器侧的参考处理单元的示例性实施例。可以将包括但不限于扭曲参数、插值滤波器参数、强度补偿参数和去块/去噪参数的所有运动模型信息封装在参考处理单元的有效载荷中，并且发送到解码器(1200)。换句话说，RPU的有效载荷包含直接用于对参考图片进行处理的运动模型信息。与有效载荷相反，RPU还可以包含附加头信息，附加头信息可以对有效载荷以及需要如何对有效载荷进行处理或使用以对信号进行重构和显示进行描述。RPU的解码器包括解析单元(1205)，解析单元(1205)对RPU的有效载荷进行解析，并且使用从有效载荷中提取的信息来恢复与由RPU的编码器(在图12中未示出)使用的处理参数一致或者几乎一致的处理参数。具体地，图12所示的实施例从有效载荷中获得关于由编码器使用的运动模型参数(1210)、插值滤波器参数(1210)、强度补偿参数(1215)和去噪滤波器参数(1220)的信息。在对重构参考图片(1225)进行处理时，利用这些参数(1210、1215、1220)。重构参考图片(1225)可以是原始参考图片或者先前RI3U处理过的参考图片。原始参考图片是指从参考图片缓冲器(例如图2所示的参考图片缓冲器(205))直接取得的未经过任何处理的参考图片。相反，由于可以级联多个RPU，因此先前RPU处理过的参考图片是来自参考图片缓冲器的经过一个RPU或者多个RPU处理的参考图片。因此，所考虑的当前RPU编码器/解码器可以将原始参考图片或者来自前一层或者前一编码/解码步骤的先前RPU处理过的参考图片取作输入参考图片。再次参考图12，原始参考图片或者先前RPU处理过的参考图片用作对于所考虑的当前RPU解码器的输入参考图片(被称为重构参考图片(1225))。作为一系列步骤示出了对重构参考图片(1225)的处理，该一系列步骤包括利用从编码器获得的参数(1210、1215、1220)执行的图片扭曲(1230)、强度补偿(1235)和噪声去除(1240)。处理的结果是处理后的参考图片(1245)。在考虑中的当前RI3U解码器的处理后的参考图片(1245)可以用作到后续RPU解码器的输入参考图片和/或用作用来进行后续图片的预测的图片。由于解码器恢复了与编码器使用的处理模型类似的处理模型，因此处理后的参考图片(1245)经过了与在编码器处进行的处理类似的处理。为了进一步提高编码效率，可以将不同的参考图片处理有效载荷信息发送到重构 参考图片(1225)的不同区域。换句话说，可以将重构参考图片(1225)分割为多个区域，每个区域可以具有其自己的最佳处理参数。这可以允许要应用于每个具体区域的更准确的运动模型参数和滤波参数。图4示出了根据每个区域内的运动的同质性将参考图片分割为许多区域的第一示例。另外，这许多区域是不重叠的。类似地，图5示出了根据运动的同质性将参考图片分割为许多区域的第二示例。然而，图5中的这许多区域是重叠的。在图4和5两者中，可以使用单独的参数集合来描述每个区块。在一个参考图片中存在具有不同运动参数的多个运动区域或者在一个参考图片中存在不同的模糊和焦点特性的情况下，基于区域的RPU信令将可能产生更高的编码效率。区域可以是矩形的，如图4和5所示，但是区域也可以具有任何任意形状。区域可以如在图4中是不重叠的，或者如在图5中是重叠的。另外，区域可以包含单个或多个处理参数。例如，特定区域可以不仅仅由单个运动模型来表示。例如，可以对同一区域以信令通知缩放运动模型和仿射运动模型两者以及诸如强度补偿参数等其它参数。注意，区域的重叠部分通常具有对其应用的多个运动模型。通过使用每个运动模型估计的运动矢量的平均或者加权平均，将获得基于本参考图片的区域对后续图片上的区域的预测。作为示例而非限制，基于特定区域和其邻接区域的运动矢量之间的相似和不同，可以以信令告知或者可以确定具体平均方法。可以跨区域应用去块方法，这可以包括基于像素的方法和/或其它频域(例如超完备去噪)方法。对跨区域应用多少滤波进行量化的去块强度，可以基于在相邻区块中使用的运动模型或者预测方法的不同以及相邻区块之间的运动模型参数的不同。在两个区域使用相同预测方法以及相同或类似运动模型的特定情况下，不进行去块滤波。如果通过应用不同运动模型获得的所有运动矢量的绝对差低于某一预定定义的阈值或者阈值的集合，则认为运动模型类似。另一方面，如果使用不同的运动模型，或者运动矢量之间的差很明显(差大于阈值或者阈值的集合)，则应用强去块。参考图片中的一些区域可能需要较多滤波，而其它区域需要较少滤波。对任意特定区域应用的滤波的量，取决于特定区域的运动模型和预测方法、以及该特定区域的运动模型和预测方法与该特定区域的邻接区块的运动模型和预测方法之间的关系。另外，对区域应用的滤波的量可能受特定区域内的纹理特性的影响。虽然基于区域的RI3U可能需要较高的比特开销，但是编码器可以应用基于率失真的决策，来找到最佳区域分割以及用于每个区域的最佳运动模型和预测方法。作为示例，视频编码系统可以检查使用用于对具有单个区块的参考图片进行处理的RPU的性能，而不检查使用用于对具有MXN个区块的参考图片进行处理的RPU的性能。可以在进行编码之前进行关于区域分割、运动模型和预测方法的最佳组合的决定。例如，可以仅通过将生成的参考图片的参数与要编码的源图片的参数进行比较来进行决定。还可以通过考虑RPU中的全部、部分或者仿真编码来进行决定。例如，使用较低分辨率的图片表示来进行仿真编码。例如，可以基于编码方面的性能来选中选择要以信令通知的方法。可以使用诸如给定了特定拉格朗日乘子的组合率失真性能的特定标准来评价性能。 B.运动樽型在视频编码系统的实施例中，由于不同的运动模型提供多种可选实现，因此考虑几种不同的运动模型，每种实现需要不同的复杂度和运动范围。考虑的运动模型包括其它模型中的平移、缩放、仿射、立体透视、各向同性和多项式模型。如早前所讨论的，这些运动模型的组合也是可以的。这些运动模型通常可以准确地描述可能存在于3D真实世界场景中的复杂运动。然而，虽然诸如立体透视运动模型的运动模型可以准确地描述3D运动，但是这些运动模型的估计可能在计算上十分复杂。另外，与这些运动模型相对应的估计处理可能对噪声敏感。在估计处理对噪声敏感的这些情况下，预滤波或者更鲁棒的估计器可以改善模型估计处理。可以对参考图片、原始图片或者参考或原始图片的运动矢量进行预滤波。鲁棒估计器的示例是利用Levenberg-Marquadet方法的估计器。此外，需要在解码器处应用的针对这些运动模型的运动补偿处理本身可能很复杂。另一方面，诸如平移模型等较简单的运动模型趋于更容易进行估计，并且对噪声更鲁棒。因此，在本实施例的视频编码系统中具有考虑针对参考图片处理具有不同复杂度和性能特性的多个不同的运动模型的灵活性，这允许在设计编码器并且控制需要与编码器一起工作的解码器的复杂度时更简单地考虑不同的复杂度和性能折衷。如早前所讨论的，也可以使用诸如平移和缩放模型的组合等不同运动模型的组合来改善性能。针对参考图片的每个区域的运动模型的选择，取决于诸如失真要求、比特率预期和运动模型复杂度的多种条件。另外，更复杂的模型可以取决于诸如率失真(RD)成本和率失真复杂度(RDC)成本的条件。例如，可以使用拉格朗日最优化方法在方程式(I)中来计算运动模型的RD成本RD(m) = D(Warp(m，R)，O) + λ *(R(motion_model)+R(filier)+R(intensit y_comp)) (I)在上面的方程式(I)中看到的函数Warp(m，I)是用于运动补偿的扭曲函数。Warp (m, I)函数取决于诸如在表I中列出的那些运动模型等所应用的运动模型。具体地，Warp (m，I)是作为运动模型的m和作为输入图像的I的函数。在上面的方程式(I)中还看到的函数R(t)给出针对处理工具t对边信息进行编码的速率。函数D(x，0)是诸如方差和(SSE)等失真度量函数。具体地，D(x, O)是作为处理后的信号的X和作为原始信号的O的函数。更高级的方法例如不仅可以考虑扭曲图片和原始图片之间的失真，还可以考虑视频编码系统内部的使用扭曲图片的最终编码效率。如果考虑失真和最终编码在计算上太复杂，则可以使用不同的估计。例如，可以仅使用基于块的运动估计。可选地，这些估计可以任选地考虑用于估计处理的编解码器内的诸如时间基准的任意可用基准的作用。还可以通过考虑二次采样版本的扭曲图片和原始图片来进行估计。还可以通过使用例如基于层级的运动估计方法，使用不同的分辨率图像来进行估计。如下给出基于层级的运动估计的示例。可以从最低分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数(运动模型参数、插值滤波器参数等)的估计。可以从较高分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数的进一步估计。该进一步估计以及任意后续估计进一步改进了各种RPU参数的值。这同样适用于速率考虑，其中，代替仅考虑对各种RPU参数(运动模型参数、插值滤波器参数等)进行编码所需的速率，还考虑对整个图片进行编码所需的速率。在考虑对 RPU参数进行编码所需的速率和对整个图片进行编码所需的速率两者的情况下，可以选择不同的拉格朗日参数以在RPU信令参数(其相对于针对图片的编码用信令表示的实际位)之间使用。简化可以包括诸如可以潜在地用来对图片进行编码的运动和参考索引等局部参数的考虑。特别地，不对整个图片进行编码；而仅进行局部化运动估计。下面示出的表I列出了各种运动模型。表1.运动模型
用于运动
索引型选择算法运动模型对变换的定义
的组索fl■
0O平移2方程式(2)
1I缩放4方程式(3)
—τ I各向同性 ~4方程式(4)
32仿射6方程式(5)
43立体透视 8方程式(6)
54多项式12方程式(7)表I的最后一列是指定义每个运动模型的变换方程式。特别地，如下给出针对每个模型的方程式。
1. =U1,+/^if4(2)
[ =Ity + kj
权利要求
1.一种用于对参考图片进行处理的方法，包括i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计； )进一步处理经运动估计后的图片，以获得进一步处理后的参考图片估计值；以及对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
2.根据权利要求1所述的方法，其中，所述进一步处理包括用于获得运动模型参数的进一步运动估计以及估计插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个；以及对所述重构参考图片应用所述运动模型参数及所述插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个。
3.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计； )执行进一步运动估计，以提供运动模型参数；以及iii)根据所述运动模型参数来执行扭曲，以获得扭曲图片；以及对进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
4.根据权利要求3所述的方法，在迭代之前还包括iv)对所述扭曲图片进行滤波，以获得处理后的参考图片，其中，所述迭代还对iv)进行迭代，由此对i)_iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
5.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计； )执行进一步运动估计，以提供运动模型参数；iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及对i)-1v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
6.根据权利要求5所述的方法，在迭代之前还包括V)对所述扭曲图片进行滤波，以获得处理后的参考图片，其中，所述迭代还对iv)和V) 进行迭代，由此对i)-v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
7.一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包括i)对输入图片执行扭曲，以获得第一处理图片；以及 )对所述第一处理后图片应用强度补偿，以获得第二处理图片。
8.根据权利要求7所述的方法，还包括iii)对所述第二处理图片进行滤波，以获取处理后的参考图片。
9.根据权利要求1-6中的任一项所述的方法，其中，所述重构参考图片包括未经过处理的所述参考图片缓冲器中的原始参考图片。
10.根据权利要求1-6中的任一项所述的方法，其中，所述重构参考图片包括先前处理过的参考图片。
11.根据权利要求1-6中的任一项所述的方法，其中，所述先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。
12.根据权利要求11所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
13.根据权利要求11所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
14.根据权利要求1-6或者权利要求11中的任一项所述的方法，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。
15.根据权利要求1-6或者权利要求11-12中的任一项所述的方法，其中，所述运动估计包括下列中的至少一个基于块的运动估计；频率相关运动估计；或者相位相关运动估计；像素水平运动估计；或者梯度下降估计。
16.—种系统,包括用于进行、执行或者控制根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤的部件。
17.一种计算机可读存储介质产品，所述计算机可读存储介质产品包括存储在其中的指令，所述计算机可读存储介质产品当在至少一个处理器上执行时，使得、设计、控制或者配置所述处理器进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤。
18.—种视频编码器，包括至少一个处理器；以及计算机可读存储介质，所述计算机可读存储介质包括存储在其中的指令，所述计算机可读存储介质当在所述至少一个处理器上执行时，使得、设计、控制或者配置所述处理器 进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-6或者权利要求11-15中的任一项所述的处理方法的一个或更多个步骤；以及选择性地输出根据所述处理方法步骤编码的视频信号。
19.一种视频解码器，包括至少一个处理器；以及计算机可读存储介质，计算机可读存储介质包括存储在其中的指令，所述计算机可读存储介质当在所述至少一个处理器上执行时，使得、设计、控制或者配置所述处理器 对通过根据权利要求18所述的视频编码器输出的所述视频信号进行解码；或者进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-15 中的任一项所述的处理方法的一个或更多个步骤。
20.一种视频或者计算装置，包括至少一个处理器；以及计算机可读存储介质，所述计算机可读存储介质包括存储在其中的指令，所述计算机可读存储介质当在所述至少一个处理器上执行时，使得、设计、控制或者配置所述处理器 对从根据权利要求16所述的视频编码器输出的所述视频信号进行编码；对通过根据权利要求18或权利要求19中的一个或更多个所述的视频编码器输出的所述视频信号进行解码；或者进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-15 中的任一项所述的处理方法的一个或更多个步骤。
21.一种视频或者计算装置，包括下列中的至少一个根据权利要求18或者权利要求19中的一个或更多个所述的视频编码器；根据权利要求19所述的视频解码器；或根据权利要求20所述的视频或者计算装置。
22.根据权利要求21所述的视频装置，其中，所述装置被配置、被设计或者被控制为执行根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤。
全文摘要
描述了对参考图片的处理。参考处理单元使得能够用信令表示诸如运动模型参数、插值滤波器参数、强度补偿参数和去噪滤波器参数等参数。还讨论了用于估计各种参数的方法。处理在将参考图片用于后续图片的预测之前改善了参考图片的质量，由此改善了预测。
文档编号H04N7/50GK103026707SQ201180035727
公开日2013年4月3日 申请日期2011年7月20日 优先权日2010年7月21日
发明者贺玉文, 叶琰, 亚历山德罗斯·图拉皮斯 申请人:杜比实验室特许公司