专利名称：用于多层视频编码应用的高性能码率控制的利记博彩app
技术领域：
码率控制是现代视频编码器中执行关键功能的要素。其确保所生成的压缩比特流(a)达到比特率目标；(b)满足最大平均比特率约束；以及(C)满足假设性參考解码器(缓冲延迟)约束等。可选的但非常理想的目的是优化压缩视频比特流的视频质量。满足约束(a)确保压缩视频比特流将会适合通信管道或者存储空间。例如，对于 视频传输，无线网络仅可允许达到768kbps。这与例如蓝光盘相反，蓝光盘对于2D应用而言可以允许达到40Mbps的视频带宽，以及对于3D应用而言允许达到60Mbps的视频带宽。另夕卜，对于档案应用或者带宽会非常高的应用(诸如从硬盘驱动器读取)的应用，仅可以指定最后比特流文件的总大小。约束(b)也值得注意，这是因为回放装置毎秒仅可以存储并解码一定的比特数。可能在编码处理期间会有如下的状况其中，对于整个压缩比特流，平均比特率达到比特率目标，但是平均比特率局部地超过比特率目标，例如，在几秒钟的持续时间内。这会经常发生，因为难以编码的区域通常需要更多比特以确保一致的或更好的视频质量。然而，这些比特率“尖峰”(假定它们足够大)会对资源受限的解码器造成问题。可能影响解码器的问题包括内部缓冲区的上溢或者无法及时对比特流解码以按正确的顺序且以适当的定时显示帧。最后，约束(c)与约束(b)紧密相关并且可以认为是比特流必须满足的一组更严格的要求。简言之，必须对压缩比特流进行编码以使得在以目标比特率传输的情况下绝不会引起解码器缓冲区上溢或者下溢，结果，解码后的视频绝不会在回放期间拖延(stall)或者停止。码率控制也负责考虑到上述比特率和缓冲约束而确保可能的最好视频质量。可以在单个编码通道(coding pass)中对视频序列进行编码。这可能是由于计算或时间约束、或者由于内容的性质，内容正在被实况流送，并且从采集到传送到用户之间的固定延迟可能仅允许很小的对未来的前瞻。如果这些约束是不严格的，会希望执行多于ー个编码通道以压缩视频序列。在这种情况下，码率控制受益于从之前的编码通道中提取的信息。该信息例如可包括复杂度的度量，诸如针对给定的帧类型和量化參数(QP)所生成的头部比特(header bit)和纹理比特(texture bit)的数量、或者在图像序列中的巾贞的时间相关性等，并且该信息既可以改进比特率精度又可以有助于满足比特率和缓冲约束。头部比特包括用于对运动信息、编码模式、块类型、參数集合以及解码处理不需要的信息(诸如，视频可用性描述符)进行编码的比持。纹理比特包括用于对帧间或帧内预测残差的变换系数进行编码的比持。通常，后者的比特数构成编码后的比特流的大部分，尤其对于高比特率。此外，从之前的编码通道提取的信息可以极大地改进压缩视频比特流的质量。原因是可获得整个视频序列的编码统计信息。这样的知识使得能够有效地将比特用在它们发挥最大作用的视频序列段中(如通常按照率失真性能形式測量)。众所周知，与如静态场景相比，将更多的比特用在难以编码的区域(高动态场景、具有大量纹理、渐变、场面变化、闪烁等的场景)中，将会总体上(既主观地又客观地)改进质量。通常，考虑到某一固定的比特率预算，编码通道越多，可以达到的视频质量就越好。然而，总是存在某ー收益递减的点，其中，与额外的计算成本相比，编码增益的回报将是微不足道的。传统的码率控制范例已应用于单层视频比特流。需要全面地对与单个帧对应的单层比特流进行解析并解码以重构帧。当符合H.264/MPEG-4Part 10 AVC视频编码标准的附录H吋，创建这样的比特流。參见參考文献1，其全部内容通过引用而合并于此。
图I示出了一般的可伸缩视频编码系统。图2示出了 3D立体可伸缩视频编码系统。 图3示出了一般的多层视频编码系统。图4示出了多层视频编码系统，其中每层多路复用多于ー个视图。图5示出了用于多层编码系统的受益于层间关系信息的码率控制的图。图6示出了基本流程图，其中在进行了层间考虑的情况下执行码率控制。图7示出了更具体的流程图，其中在进行了层间考虑的情况下执行码率控制。图8示出了用于在进行了层间考虑的情况下的码率控制的多通道码率控制算法。图9示出了用于在进行了最大增强层(EL)比特率比率考虑的情况下的单通道码率控制的方法。
具体实施例方式根据第一实施例，提供了一种多层视频编码系统，其包括基本层编码器，提供视频输入的基本层编码比特流；一个或多个增强层编码器，提供对应的、视频输入的一个或多个增强层编码比特流；层间分析模块，收集并分析来自基本层编码器和ー个或多个增强层编码器中的一个或多个的编码统计信息；以及至少ー个码率控制模块，基于层间分析模块而对基本层编码器和一个或多个增强层编码器中的一个或多个执行码率控制。根据第二实施例，提供了一种用于对视频信号进行编码的方法，其包括对视频信号进行基本层编码以提供基本层编码比特流；对视频信号进行增强层编码以提供一个或多个增强层编码比特流；收集并分析来自基本层编码和/或增强层编码的编码统计信息以提供层间关系；以及基于层间关系而对基本层编码和/或增强层编码执行码率控制。根据第三实施例，提供了一种用于多层视频编码应用的多通道码率控制方法，其中多层视频编码应用包括基本层和ー个或多个增强层，该多通道码率控制方法包括对基本层执行第一编码通道；收集第一编码通道的编码统计信息；对基本层和ー个或多个增强层中的ー个或多个执行中间编码通道；收集中间编码通道的编码统计信息；基于第一编码通道和中间编码通道估计层间的关系；以及基于所收集的编码统计信息和所估计的关系执行最后编码通道。根据第四实施例，提供了一种用于多层视频编码应用的多通道码率控制方法，其中多层视频编码应用包括基本层和ー个或多个增强层，该多通道码率控制方法包括对基本层和ー个或多个增强层执行第一编码通道，其中用于基本层的量化參数与ー个或多个增强层中的每个增强层的量化參数存在固定偏移量；针对基本层和ー个或多个增强层而收集编码统计信息；对基本层和ー个或多个增强层中的ー个或多个执行中间编码通道；收集中间编码通道的编码统计信息；以及基于所收集的编码统计信息执行最后编码通道，以满足目标比特率和固定的量化參数约束。根据第五实施例，提供了一种用 于多层视频编码应用的多通道码率控制方法，其中多层视频编码应用包括基本层和ー个或多个增强层，该多通道码率控制方法包括对基本层执行第一编码通道；针对基本层收集编码统计信息；对基本层和ー个或多个增强层中的ー个或多个执行中间编码通道，其中，当对增强层执行编码时，用于基本层的量化參数与增强层的量化參数存在偏移量；收集中间编码通道的编码统计信息；基于第一编码通道和中间编码通道估计层间的关系；以及基于所收集的编码统计信息和所估计的关系执行最后编码通道，以满足目标比特率和固定的量化參数约束。根据第六实施例，提供了一种用于多层视频编码应用的码率控制方法，其中多层视频编码应用包括基本层和ー个或多个增强层，该码率控制方法包括用为了获得期望的比特率比率约束而选择的编码參数对ー个或多个增强层进行编码；如果没有获得期望的比特率比率约束，则更新编码參数；以及再次对ー个或多个增强层进行编码，直到获得期望的比特率比率约束为止。根据第七实施例，提供了一种用于多层视频编码应用的多通道码率控制方法，其中多层视频编码应用包括基本层和ー个或多个增强层，该多通道码率控制方法包括对基本层和ー个或多个增强层执行第一编码通道，其中用于基本层的量化參数与ー个或多个增强层中的每个增强层的量化參数存在固定偏移量；收集基本层和ー个或多个增强层的编码统计信息；对基本层和ー个或多个增强层中的ー个或多个执行中间编码通道；收集中间编码通道的编码统计信息；以及基于所收集的编码统计信息执行最后编码通道，其中针对每个量化參数约束选择量化參数和比特分配，以使得满足固定偏移量约束以及总体的基本层和增强层比特目标。在本申请的说明书、附图以及权利要求中提供了本公开的其他实施例。多层或可伸缩比特流由以预先定义的依赖关系为特征的多个层构成。这些层中的ー层是需要在任何其他层之前解码的所谓的基本层(BL)。剰余的层通常称为增强层(EL)，这是因为它们的功能是当仅基本层被解析和解码时改进所提供的内容。这些也是从属层(dependent layer)，因为它们都需要基本层，并且通常它们中的一个或多个也可依赖于其他更高优先级增强层的解码。例如，可以參考图I和图3中所述的图。多层或者可伸缩比特流使得在质量/SNR、空间和时间伸縮性、以及甚至其他视图的可用性方面实现可伸縮性。当采用H. 264/MPEG-4 Part 10AVC视频编码标准的可伸缩视频编码(SVC)延伸部分(附录G)时，前两个范例是可能的。例如，基本层提供了粗质量版本的图像序列，而ー个或多个增强层可根据视觉质量提供另外的増量。类似地，基本层可提供低分辨率版本的图像序列。可以通过对另外的增强层进行解码来提高分辨率。通过对可任意处理的图片的编码，可利用H. 264/MPEG-4 AVC的基本模式(附录A)获得时间可伸縮性。在这种情况下，基本层可以以例如毎秒15帧提供某个版本的图像序列，可以通过对时间增强层进行解码来将毎秒15帧提高到例如毎秒30帧。可伸縮或多层比特流也用于提供多视图可伸縮性。一种这样的应用是立体的3D视频，其由两个视图构成，一个针对左眼和另ー个针对右眼。可以使用两层，基本层针对一个视图，而增强层针对另ー个视图。例如參见图2。最近，在エ业中已显著关注立体(3D)视频传输并受其吸引。在下一代以立体3D内容为特征的蓝光盘中将运用H. 264/MPEG-4 Part 10AVC视频编码标准的多视图编码(MVC)延伸部分(附录H)[參见參考文献1，其全部内容通过引用而合并于此]。MVC延伸部分使用H. 264/AVC兼容的基本层和增强层，其中该基本层压缩一个视图(通常为左边)，该增强层压缩其他视图。基本层本身是有效的附录A H. 264/AVC比特流并且是可独立于增强层来解码，这并不适用于增强层。增强层可以使用从基本层解码的帧作为參考。结果，它受益于视图间的预测和压缩对于具有高视图间相关性或者低立体视差的场景而言改进极大。本公开的教导可以应用于这样的预测范例。类似地，第61/223，027号美国临时专利申请(其全文通过引用而合并于此)以基本层和增强层为特征。与MVC方法不同，可以将视图多路复用到两层 中以向用户提供基本层，其中基本层通过传送两个视图的子抽样版本而帧兼容。此外，可能出现另外的预处理阶段，其在使用基本层解码的帧作为用于预测增强层的运动补偿參考之前，考虑到基本层解码的帧而预测增强层帧。例如參见图4。本公开的教导同样也可以应用于此编码范例。本公开的实施例针对用于对多层编码应用进行有效码率控制的技术和方法，其中多层编码应用以基本层和ー个或多个增强(从属)层为特征。 通常通过保持、更新、并且使用码率控制模型来执行码率控制。码率控制模型可以考虑到某些编码參数而产生对帧进行编码所需的比特或者可以产生用所分配的比特数对帧进行编码所需的编码參数。编码參数包括但不限于帧编码的类型(I、P或B)、在帧或块/区域级上设置的量化參数(QP)、在率失真优化运动估计和模式判定期间使用的拉格朗日乘子法、诸如网格优化的量化、系数阈值，加权预测的特征的可用性、编码模式和块类型的可用性等。上述全部为影响率失真性能的因素。码率控制模型考虑上述因素的某一子集、某一图像统计信息(诸如，方差或者熵)，并且将它们与比特率使用(通常为纹理比特率使用)联系起来。很受欢迎的模型是所谓的ニ
次率控制模型，其用公式表达为 J + k = c1x — + c2x~r。项t和h表示纹理比特和
Q Q'
头部比特，而O表示源方差，以及Q表示量化步长(与QP具有一对ー关系)。术语C1和C2为模型參数。在多层视频编码系统中，码率控制模型可以对单个层或者多个层进行建摸对于前者，考虑到该层的编码參数而估计对给定层进行编码所需的比特数；并且同等地，确定编码參数以用所分配的比特数对给定层进行编码。对于后者(联合模型)，考虑到给定层及其依赖的层(基本层和增强层)的编码參数，估计对给定层进行编码所需的比特数。类似地，考虑到所分配的比特数，码率控制模型可以估计用于给定层及其依赖的层(高优先级层)的编码參数。通常，已约束为高优先级层所选择的编码參数以减轻计算量，这是因为另外可能存在数不尽的可行方案。应该注意，用在低优先级(增强)层的比特不明显地影响诸如基本层的高优先级层。由于增强层依赖于基本层，因此，用在基本层的更多或者更少的比特不仅影响该层的质量，而且这样增加或減少的质量还可通过层间预测传播到增强层。因此，额外的比特在哪里会发挥最大作用并不总是清楚的。图5示出了根据相同的几个实施例的本公开的教导的高级示图。如图5中所示，多层编码系统包括基本层(BL)编码器和ー个或多个增强层(EL)编码器0，1，…，L-1。可以对每个编码器执行码率控制。码率控制的范围和哪些是码率控制所关注的编码器可以依赖于层间分析，其在执行了多通道编码时又依赖于通过先前的编码通道所生成的信息和/或统计信息，或者依赖于由先前编码的高优先级层生成的统计信息。例如，可以使用来自BL的统计信息来影响并改进对ー个或多个EL的码率控制。如果期望，则层间分析也可以依赖于从预分析模块收集的信息。编码统计信息包括图片或切片(slice)编码类型(诸如，I、P或B);每类(诸如，纹理、头部以及运动)比特使用、编码模式统计信息(例如，多少跳转(skip)或者帧内编码模式)、块类型统计信息、的空间统计信息(诸如方差、直方图)、编码參数(所使用的QP和、Lagrangian lambda)、编码工具设置(示出它们的哪ー个被启用)、运动矢量信息、运动补偿和帧内预测误差、加权预测參数、帧和块级失真、帧分类(例如，场景改变)等。层间分析涉及通过之前的某一编码通道(或者之前編码的层)或者通过某ー预分析阶段(如图5中所示的预分析阶段)收集信息。预分析阶段可考虑空间或运动补偿的分析方法。可以在原始图像序列的时间或空间子抽样的版本中执行分析。此外，对于多视图应用，分析可仅考虑子集的视图总数。可以使用空间特征(诸如，条件熵、方差、边缘以及亮度和/或色度直方图)来确定层(或者视图)间的相似度。可以使用通过运动估计和补偿所获得的运动信息和运动模型预测误差来确定立体视差并且通常确定不同层间的相关性。也可以使用伴有运动/立体视差(在视图可伸縮的情况下)分析的分段来估计层间的相关性。如图6的流程图中所示，可以考虑基本层的特征及其与增强层的关系，以调整作为联合模型或者作为多个独立模型的码率控制模型。如之前所述，在独立模型中，基于所选层的统计信息和/或者分析控制用于该层的比特数和/或编码參数。在联合模型中，基于多层的统计信息和/或者分析控制用于所选层的比特数和/或编码參数。独立模型的使用不妨碍通过还考虑来自其他层的统计信息来改进并更新这样的模型。作为示例，可以考虑简单的独立模型例子bits_EL = aXQP_EL。尽管模型參数a仅依赖于EL參数(QP_EL)，但是可以使用来自其他之前編码的层的知识来更新这样的參数。另ー方面，联合模型的示例例如为bits_EL = aXQP_EL+bXQP_BL。针对基本层以及针对增强层收集编码统计信息，其中增强层取决于其所依赖以便于解码的层。通过预分析阶段也可以获得另外的信息。此外，也可以计算并保留层间关系。这些关系也可以用于更新独立码率控制模型或者联合码率控制模型，同样如图6的流程图中所示。在独立模型的情况下，在一些实施例中，模型M的数量可以少于层L的数量。在保持并建立与第61/061941号美国临时专利申请(其全部内容通过引用合并于此)中描述的模式类似的变换模型之后，这通过将编码參数或者比特估计从ー层变换到另ー层而是可能的。具体地，变换模型是将编码參数或者比特使用从ー种编码类型变换为另ー种(例如，从P帧到I帧)的函数、公式或者方法。在当前的情况下，可以使用这些模型来从ー层变换到另ー层。还可以采用层的数量比实际的层数量多的码率控制模型。例如，使用第2009-0086816号美国公开专利申请(其全部内容通过引用合并于此)概述的方法是可行的。在单个码率控制模型由于内容的快速改变而难以较好执行的情况下，这可能是有利的。层间关系可包括使比特估计取决于影响当前增强层或基本层的层的编码參数。在一个实施例中，这些关系考虑基本层和增强层两者的QP值以得到对增强层的比特估计。类似地，考虑到这些层之一的比特估计和编码參数，可以得到用于其他层的编码參数。可以通过处理因果关系统计信息或者之前的编码或处理通道而建立这些关系或模型。在用于多视图应用的实施例中，可以使用立体视差或者立体深度信息来建立并初始化可以用于多视图编解码器的码率控制的这些关系。这些关系可以采用多种形式可以使用线性回归或最小ニ乘估计来提供如下函数，该函数估计来自多层的编码參数的比特，或者估计ー个给定比特目标的编码參数和来自其他层的编码參数。如果已知内容统计信息(例如，多视图应用的视差)，则这些关系可以为这些统计信息的函数，使用各种优化技术当中的线性回归或者最小ニ乘估计来进ー步调整这些函数的參数。层间关系可以根据内容而改变例如，与动态(高运动)内容相比，EL相对于BL的可压缩性对于静态内容而言将会是不同的。例如，这适用于时间可伸縮性。对于视图可伸縮性，这些关系将依赖于立体视差(其随时间和场景类型而改变)等。 在本公开的ー些实施例中，为多层视频编码系统的每ー层保持単独的码率控制模型。然而，码率控制模型初始化、其收敛以及性能受益于关于相关性和率失真性能的层间信息的使用。在对基本层进行编码并更新基本层码率控制模型之后，可以使用该信息更新用于增强层的码率控制模型，甚至在针对给定帧而对该层进行编码之前。考虑到关于层间相关性和变换关系的信息，这是可能的。因此，在一些实施例中，即使当对于每层存在模块吋，也可以使用变换关系来初始化并更新模块。例如，在对BL进行编码之后，可获得ー些知识和(可能地)一些先验的层间分析信息。可以在对任何EL帧进行编码之前使用这些来初始化用于EL的码率控制模型。同样可以伴随对除第一帧以外的帧进行编码而发生。可以使用层间相关性更新每个模型作为示例，由于场景变化，由对BL进行编码而得到的知识可用作“前瞻”类型的信息。类似地，在对增强层进行编码之后，所得到的编码统计信息不仅更新了增强层码率控制模型，而且也用于更新基本层或者其他从属的增强层码率控制模型。最后，同样适用于码率控制模型初始化。由于模型收敛因而更快，因此，码率控制模型性能受益。可以參考第60/976，381号美国临时专利申请(其全部内容通过引用而合并于此)的技术，其中针对该申请的切片的技术可以应用于本申请的不同层。在一个实施例中，基于图片序列统计信息而自适地计算并更新这些变换关系(和在变换关系中所使用的层间信息)。这既可以在单通道编码中仅通过使用因果关系统计信息来执行，又可以在多通道编码中通过除来自当前通道的因果关系统计信息之外还使用来自于之前通道的统计信息来执行。应注意，多通道编码可以采用随后的实施例中描述的体系结构，其中，第一通道可以忽略增强层，而中间通道可以选择性地考虑增强层，以得到这些关系。对于多视图或者立体3D视频编码实施例，还可以借助于立体视差或者深度信息来对变换关系进行建摸。在图7所示的方法中，当对基本层进行编码吋，更新用于EL的模型，并且当使用层间关系对增强层进行编码吋，更新用于BL和EL的模型。如以上已经注意的，根据本公开的另ー实施例，与第61/061,941号美国临时专利申请中所示的类似，需要比层L的总数少的模型M是可能的。与上述方法类似，也可以使用层间信息和变换关系来更新模型。另外，对于没有利用码率控制模型所建模的层，可以使用变换关系来针对给定比特目标和为剰余的层所选择的编码參数得到比特估计或者编码參数。根据本公开的另ー实施例，针对多层视频编码系统的所有层保持联合码率控制模型。在一个实施例中，基于区域、图片和图片组、和/或图像序列统计信息，自适应地更新码率控制模型。这可以在单通道编码中通过仅使用因果关系统计信息来执行，以及在多通道编码中通过除来自当前通道的因果关系统计信息之外还使用来自先前通道的统计信息来执行。与之前提到的类似，对于多视图或者立体3D视频编码实施例，还可以借助于立体视差或者深度信息来更新模型。伴有运动/立体视差分析的分段也可以用于估计视图间相关性。可以通过先前的一些编码通道或者通过先前的ー些分析阶段获得这样的信息。在不同的实施例中，可以固定或者预定这些变换关系例如，会希望固定编码參数的关系。在一个这样的实施例中，会希望固定用于对当前增强层进行编码的QP相对于对相同帧的基本层进行编码的QP的差异。对于涉及诸如图I和图3中所示的系统的应用的实施例(其中，每层对应于单个视图)，可以将QP偏移量设置为接近0，以确保两个视图之间的一致视频质量。该设置不仅限于QP，而且也可以扩展到控制码率使用和视频质量的其他编码參数，诸如拉格朗日乘子、变换系数阈值策略等。对于涉及应用(诸如图2和图4中的应用)的实施例(其中，每层可包括来自多个或全部视图的样本)，可以放松关系，并且与每层对应于单个视图的应用相比，可以增大QP (或者其他參数)偏移量(等同于质量増量可増加)。原因是空间和立体声屏蔽，这降低了编码伪像的视觉影响。在另外的实施例中，可以作为某ー预分析阶段的结果而估计QP (或者其他參数)偏移量，该预分析阶段可以检查立体视差、立体深度、空间相关性(例如，是否存在纹理)等。因此，变换关系可取决于图像序列统计信息。应该注意，存在当每层对应于每个视图时大的QP 偏移量是有益的情况QP在区域级变化，并且对于ー个层，对区域A编码比对区域B编码更好，而对于其他层则相反。这样的技术开发了立体声屏蔽。在不同的情况下，如果存在序列具有低频特征并且通常平滑的证据(例如通过预分析)，则与图像序列具有视觉上显著的边缘(或者纹理对象等)并且需要保留的情况相比，QP (或者其他參数)偏移量较大。高频内容可能要求较小的QP偏移量，但在质量不一致性几乎看不见的高空间屏蔽(例如，有草或树的场景)的情况下，这可能并不适用。需要注意的是，QP偏移量还可取决于基本QP或者目标比特率。通常，量化越精细(或者目标比特率越高)，QP偏移量就会越大。QP偏移量还可以取决于颜色分量和颜色空间。例如，当对YUV域内的顔色信息进行编码时以及当对RGB或其他域内的信息进行编码时，需要进行不同的考虑。通常，与Y分量相比，U分量和V分量的这样的QP偏移量会更高，这是因为Y分量已包括颜色信息的一部分。示例 I
现在将參考图8中所示的流程图描述执行用于多层视频编码应用的多通道码率控制的示例。执行仅考虑基本层的第一编码通道。从每个编码帧收集编码统计信息。预分析阶段还可在该通道之前以为该通道提供有助于选择编码參数和预测结构的信息。与最后的编码通道相比，(ー个或多个)该第一编码通道具有较低的复杂度。随后的通道必须使用诸如在附录A中概述的这些技术解决该差异。随后的编码通道被设计成如附录A中概述的那样解决复杂度差异。这些所谓的中间通道可以使用时间或空间子抽样以及特别制作的预测结构。考虑到来自第一通道的信息，也可以将图像序列再划分为子序列并且分配不同的编码參数。在根据本公开的多层应用中，尤其关注取得关于层间相关性和统计的信息。在一个实施 例中，与只考虑基本层的该算法的第一编码通道相反，中间通道现在也考虑(ー个或多个)增强层。应注意，针对在这些中间编码通道中所编码的每帧，不需要对所有增强层进行编码。如在附录A中所示，根据为了这些通道所采用的预测结构，可以对ー帧编码多次。由于层间信息不特别地依赖于预测结构或编码參数(例如，QP)，因此可以针对给定帧而仅对增强层编码一次。需要注意的是，对于时间可伸縮性，在增强层为时间层的情况下，预测结构会影响层间信息。替选地，也取决于序列统计信息(可从第一编码通道取得)的某种时间子抽样可以用于选择性地启用或者禁用在这些中间通道中对增强层的编码。针对每个编码帧和帧组收集编码统计信息。在执行考虑到所有层的负载度最高的最后编码通道之前，码率控制模块考虑在仅考虑基本层的第一(复杂度可能低)编码通道和随后的中间编码通道内所收集的所有数据。码率控制模块通过应用相关申请中概述的方法，得到复杂度以及甚至可能得到编码參数(例如，QP)关系。另外，码率控制模块还负责导出描述不同编码层间的相关性和统计的关系。然后，使用这些关系来得到对最后编码通道的码率控制判定。这些关系可能包括针对给定编码參数的比特率关系，其中给定编码參数取决于多个层(诸如，这些对联合码率控制模型有用的层)。这些关系还包括导致相同比特率使用的编码參数关系，该比特率使用还取决于来自多个层的參数的数量。示例 2现在将描述另ー示例，其中基于对于ー个或多个增强层的固定QP偏移量约束，执行多通道码率控制。执行第一编码通道，其中增强层采用相对于基本层QP的固定QP偏移量。固定基本层QP或者使用调整基本层QP的简单的码率控制算法(使用预定义的QP偏移量来根据这些基本层QP获得EL QP),以使得基本层和增强层的总比特率接近比特率目标。针对所有层收集编码统计信息。如果第一编码通道具有低复杂度，则使用如在上述的相关申请中所描述的中间编码通道来改进在第一编码通道内所收集的统计信息。在一个实施例中，由于不同层之间的统计信息实际上会相当类似，因此中间编码通道仅考虑基本层以进一步约束计算和存储复杂度。在最后编码通道中，考虑到固定QP偏移量约束，选择QP和比特分配，以使得满足总体的基本层和增强层比特目标。使用来自两个层的统计信息来分配比特和QP。示例 3
现在将描述如下另外的示例基于对于增强层的QP偏移量约束，执行多通道码率控制，其中相对于基本层来调制增强层。对于所有基本层QP值，QP偏移量不必相同。相反，QP偏移量可以基于基本层QP的值而变化。通常，在QP值越低的情况下，偏移量会越高，反之亦然。因此，可以如QPa = QPBL+QPoffSet = QPBL+f (QPbl) 一样获得偏移量。在ー个示例实施例中，对于I < QP < 20，f (QP)可被设置为等于3，对于21 < QP < 35，f (QP)可被设置为等于2，以及对于36 < QP < 5，f (QP)可被设置为等于I。执行仅考虑基本层的第一编码通道。固定或调制基本层QP。针对所有帧收集编码统计信息。该步骤类似于上述示例2中的等同步骤。该步骤涉及中间编码通道，并且类似于上述示例2的第二步骤。然而，它采取如下变型当(可选地)对增强层进行编码时，采用BL调制的QP偏移量约束。然后，针对每个编码帧或者帧组收集统计信息。在最后编码通道之前，如在示例2的最后步骤中一祥得到比特率、复杂度以及层 间关系。在最后编码通道内，考虑到BL调制的QP偏移量约束，选择QP和比特分配，以使得满足总体的基本层和增强层比特目标。使用来自所有层的统计信息来分配比特和QP。实际上，除总体的基本层和增强层比特率目标之外，还希望约束分配给每层的比特之比率。例如，希望将该比率约束为最大值为例如10%。可以对序列级或者甚至帧级强加该约束。尽管这对于每层对应于不同视图的应用通常可能不现实，但是对于多个或所有视图被多路复用到每层的应用是可能的，这是因为空间和立体声屏蔽可以解决视觉质量的损失。根据ー个实施例，可以考虑这两种层的联合码率控制，其中调整基本层比特分配以使得适当地满足增强层比特率比率限制并且保持并改进主观和/或者客观质量。在这样的实施例中，基本层比特率依赖于比特预算余数以及增强层需要的比特数的某ー估计。然后，考虑到每层已经使用的比特数，增强层的码率控制考虑对于该层的比特率约束。可使用如之前讨论的层间变换关系导出该估计。通过进ー步考虑对质量(不仅对基本层而且对增强层)的影响调整基本层比特率，这是因为基本层影响增强层的质量。在一个实施例中，对于基本层，保持单个码率控制模型，然后，可选地使用在第61/061，941号美国临时专利申请中概述的方法将其变换为增强层的码率控制模型，而在另一实施例中，对于每层，保持単独的码率控制模型。示例 4现在描述用于单通道码率控制的示例。对于在基本层中所编码的每帧，对增强层的码率控制选择会有助于保持比特率比率约束的编码參数(例如，QP)。如果码率控制选择超过比率约束，则可对增强层重新编码以确保满足约束。在图9中示出流程图，其中示出了更新编码參数以满足EL比特率比率。示例5现在将描述用于多通道码率控制的示例。由于可得到来自整个序列和所有层或视图的信息，因此，可以得到增强层的QP相对于层或视图的相同集合中的基本层的QP的固定QP偏移量，其将满足最大比率約束。这样做将会保证一致的视频质量并且避免层间质量的时间波动。換言之，质量增量会近似为常数。前两个步骤与上述示例2和示例3的步骤ー致。另外如下变更第三阶段在最后编码通道中，码率控制方法通过ー组可能的固定QP偏移量约束而循环。对于每个QP约束，选择QP和比特分配以使得满足总体的基本层和增强层比特目标。选择也满足基本层/增强层比特率比率的固定QP约束，以对整个多层/多视图序列进行编码。使用来自两个层的统计信息来分配比特和QP。·示例 6在该示例中，上述用于所有多通道实施例的初始编码通道也可以被ー些预处理分析通道代替或者增强，其中预处理分析通道不产生任何压缩比特流而是产生对于码率控制算法有用的统计信息。码率控制分析模块可以借助于适当的中间编码通道来仍将这些统计信息变换为编码统计信息。在本公开中所描述的方法和系统可以以硬件、软件、固件或者其组合来实现。被描述为块、模块或者部件的特征可以一起实现(例如，在诸如集成逻辑装置的逻辑装置中)或者分别实现(例如，作为所连接的単独逻辑装置)。本公开的方法的软件部分可包括计算机可读介质，该计算机可读介质包括当被执行时至少部分地执行所述方法的指令。计算机可读介质可包括例如随机存取存储器(RAM)和/或只读存储器(ROM)。指令可以由处理器(例如，数字信号处理器(DSP))、专用集成电路(ASIC)、或者现场可编程逻辑阵列(FPGA)执行。在本说明书中所提到的所有专利和出版物可以表明本公开所属的领域的技术人员的技术水平。如同每篇參考文献的全部内容通过引用分别合并于此一祥，在本公开中所引用的所有參考文献通过引用而以相同程度合并于此。可以理解，本公开不限于特别的方法或系统，其当然可以变化。也可以理解，在此使用的术语只是出于描述特定实施例的目的，并不g在进行限制。如在本说明书和所附权利要求中所使用的，単数形式的“ー个(a/an)、“该(the)”包括复数的指示对象，除非内容另外明确規定。术语“多个”包括两个或者更多的指示对象，除非内容另外明确規定。除非另外限定，在此使用的所有技术和科学术语具有与本公开所属的技术领域的普通技术人员通常理解的含义相同的含义。提供上述的示例以向本领域的普通技术人员给出如何制作和使用本公开的用于多层视频编码应用的高性能码率控制的实施例的完整公开和描述，并且不g在限制发明人看作其公开的范围。用于实施本公开的上述模式的变型可以由视频领域的技术人员使用，并且g在落入在所附权利要求的范围内。已描述了本公开的若干实施例。然而，可以理解，在不背离本公开的精神和范围的情况下可进行各种变型。因此，其他的实施例也落入在所附权利要求的范围内。參考文献列表[I]Aavanced video coding for generic audiovisual service,http://www. itu. int/rec/recommendation. asp type=folder&lang=e&parent=T-REC-H. 264, October 2009。
权利要求
1.一种多层视频编码系统，包括 基本层编码器，提供视频输入的基本层编码比特流； 一个或多个增强层编码器，提供对应的、所述视频输入的一个或多个增强层编码比特流； 层间分析模块，收集并分析来自所述基本层编码器和所述一个或多个增强层编码器中的一个或多个的编码统计信息；以及 至少一个码率控制模块，基于所述层间分析模块而对所述基本层编码器和所述一个或多个增强层编码器中的一个或者多个执行码率控制。
2.根据权利要求I所述的系统，还包括预分析模块，其中，由所述层间分析模块分析的所述编码统计信息也依赖于所述预分析模块。
3.根据权利要求I或2所述的系统，其中，对层的码率控制基于该层的编码统计信息。
4.根据权利要求I或2所述的系统，其中，对层的码率控制基于该层和其他层的编码统计信息。
5.根据前述权利要求中任一项所述的系统，其中，所述码率控制模块的数量小于、等于或者大于层的数量。
6.根据前述权利要求中任一项所述的系统，其中，基于层间关系更新所述码率控制模块。
7.根据权利要求6所述的方法，其中，自适应地计算所述层间关系。
8.根据权利要求7所述的方法，其中，在单通道编码或多通道编码中执行自适应计算。
9.根据前述权利要求中任一项所述的系统，其中，针对一层所收集的编码统计信息用在用于该层的码率控制模块中。
10.根据权利要求I至8中任一项所述的系统，其中，针对一层所收集的编码统计信息也用在用于不同层的码率控制模块中。
11.根据权利要求9或10所述的系统，其中，在单通道编码或多通道编码中收集所述编码统计息。
12.—种对视频信号进行编码的方法，包括 对所述视频信号进行基本层编码以提供基本层编码比特流； 对所述视频信号进行增强层编码以提供一个或多个增强层编码比特流； 收集并分析来自所述基本层编码和/或增强层编码的编码统计信息以提供层间关系；以及 基于所述层间关系而对所述基本层编码和/或所述增强层编码执行码率控制。
13.根据权利要求12所述的方法，其中，分析所述编码统计信息还基于对所述视频信号的预分析。
14.根据权利要求12或13所述的方法，其中，对层执行码率控制基于该层的编码统计信息。
15.根据权利要求12或13所述的方法，其中，对层执行码率控制基于该层和其他层的编码统计信息。
16.一种用于多层视频编码应用的多通道码率控制方法，其中所述多层视频编码应用包括基本层和一个或多个增强层，所述多通道码率控制方法包括对所述基本层执行第一编码通道； 收集所述第一编码通道的编码统计信息； 对所述基本层和所述一个或多个增强层中的一个或者多个执行中间编码通道； 收集所述中间编码通道的编码统计信息； 基于所述第一编码通道和所述中间编码通道估计所述层间的关系；以及 基于所收集的编码统计信息和所估计的关系执行最后编码通道。
17.根据权利要求16所述的方法，其中，从预分析阶段选择用于所述第一编码通道的编码参数。
18.根据权利要求16或17所述的方法，其中，所述中间编码通道使用空间和/或时间子抽样。
19.根据权利要求16至18中任一项所述的方法，其中，所述中间编码通道使用根据视频信息的特定序列而分配的编码参数。
20.根据权利要求16至19中任一项所述的方法，其中，所述第一编码通道由预处理器分析代替或者增强。
21.根据权利要求16至20中任一项所述的方法，其中，与所述最后编码通道相比，以较低复杂度执行关于所述基本层的所述第一编码通道。
22.一种用于多层视频编码应用的多通道码率控制方法，其中所述多层视频编码应用包括基本层和一个或多个增强层，所述多通道码率控制方法包括 对所述基本层和一个或多个增强层执行第一编码通道，其中用于所述基本层的量化参数与所述一个或多个增强层中的每个增强层的量化参数存在固定偏移量； 针对所述基本层和所述一个或多个增强层而收集编码统计信息； 对所述基本层和所述一个或多个增强层中的一个或多个执行中间编码通道； 收集所述中间编码通道的编码统计信息；以及 基于所收集的编码统计信息执行最后编码通道，以满足目标比特率和固定量化参数约束。
23.根据权利要求22所述的方法，其中，所述第一编码通道由预处理器分析代替或者增强。
24.一种用于多层视频编码应用的多通道码率控制方法，其中所述多层视频编码应用包括基本层和一个或多个增强层，所述多通道码率控制方法包括 对所述基本层执行第一编码通道； 针对所述基本层收集编码统计信息； 对所述基本层和所述一个或多个增强层中的一个或多个执行中间编码通道，其中当对增强层执行编码时，用于所述基本层的量化参数与所述增强层的量化参数存在偏移量；收集所述中间编码通道的编码统计信息； 基于所述第一编码通道和所述中间编码通道估计所述层间的关系；以及基于所收集的编码统计信息和所估计的关系执行最后编码通道以满足目标比特率和固定量化参数约束。
25.根据权利要求24所述的方法，其中，所述偏移量根据用于所述基本层的量化参数的值而变化。
26.根据权利要求25所述的方法，其中，所述第一编码通道由预处理器分析代替或者增强。
27.一种用于包括基本层和一个或者多个增强层的多层视频编码应用的码率控制方法，其包括 用为了获得期望的比特率比率约束而选择的编码参数对所述一个或多个增强层进行编码； 如果没有获得所述期望的比特率比率约束，则更新所述编码参数；以及 再次对所述一个或多个增强层进行编码，直到获得所述期望的比特率比率约束为止。
28.一种用于多层视频编码应用的多通道码率控制方法，其中所述多层视频编码应用包括基本层和一个或多个增强层，所述多通道码率控制方法包括 对所述基本层和所述一个或多个增强层执行第一编码通道，其中用于所述基本层的量化参数与所述一个或多个增强层中的每个增强层的量化参数存在固定偏移量； 针对所述基本层和所述一个或多个增强层收集编码统计信息； 对所述基本层和所述一个或多个增强层中的一个或者多个执行中间编码通道； 收集所述中间编码通道的编码统计信息；以及 基于所收集的编码统计信息执行最后编码通道，其中针对每个量化参数约束选择量化参数和比特分配，以使得满足固定偏移量约束以及总体的基本层和增强层比特目标。
29.根据权利要求28所述的方法，其中，所述第一编码通道由预处理器分析代替或者增强。
全文摘要
描述了用于多层视频编码的方法和系统。在该系统中，层间分析模块收集并分析层间编码统计信息，以使得码率控制模块可以基于统计信息对不同层执行码率控制。
文档编号H04N7/26GK102714725SQ201180005402
公开日2012年10月3日 申请日期2011年1月3日 优先权日2010年1月6日
发明者亚历山德罗斯·图拉皮斯, 阿萨纳西奥斯·莱昂塔里斯 申请人:杜比实验室特许公司