专利名称：用于多层帧兼容视频传输的系统及方法
技术领域：
本公开内容涉及图像处理和视频压缩。更具体地，本发明的实施方式涉及用于多层帧兼容视频传输的编码和解码系统及方法。
背景技术：
近来，产业对于立体(3D)视频传输已经有了相当大的兴趣和吸引力。高票房的电影已经使3D立体视频成为主流，同时大型体育赛事也正在用3D来制作和播放。具体地，动 画电影正在越来越多地以立体格式生成和呈现。然而，虽然3D功能的电影屏幕已经有了足够大的安装基础，但对消费者的3D应用来说并不是这样。这个领域的努力仍然处于初期阶段，但一些业界各方在消费者3D功能的显示器[参考文献I]的开发和市场营销方面正在投入相当大的努力。立体显示技术和立体内容创作是必须得到妥善解决以确保足够高质量的体验的问题。3D内容的传输同样很关键。内容传输包括几个部分，包括压缩。立体传输是具有挑战性的，因为立体传输系统处理的信息是2D传输系统的两倍。此外，计算和存储吞吐量要求也显著地增加了。通常，存在两种主要的分配渠道，立体内容可以通过这两个主要的分配渠道传输给消费者如蓝光光盘等固定介质以及其中内容首先传输给机顶盒然后再传输给PC的流解决方案。大多数目前配置的蓝光播放器和机顶盒仅支持编解码器，例如基于ITU-T/IS0/IECH. 264/14496-10 [参考文献2]现有技术视频编码标准(也已知为MPEG-4第10部分AVC)和SMPTE VC-1标准[参考文献3]的附录A的规范的这些编解码器。这些编解码器解决方案中的每个使得服务提供商能够以1920X 1080像素的分辨率传输单个HD (高清)图像序列。然而，传输立体内容包括传送左序列和右序列两个序列的信息。直接的方法是对两个单独的比特流进行编码，每个比特流用于一个视点，这种方法也已知为同时联播。首先，同时联播或类似的方法的压缩效率低。它们还使用高的带宽以维持可接受的质量等级。这是因为，左视点序列和右视点序列独立编码，即使它们是相关的。其次，在两个适当地同步的解码器中对两个单独的比特流并行地进行解复用和解码。为了实现这样的解码器，可以使用两个现有的非专门设计的解码器。此外，并行解码适合图形处理单元架构。支持多个层的编解码器可以为立体视频提供高的压缩效率，同时维持向后兼容性。
多层的或可伸缩的比特流由用预先定义的依赖关系表征的多个层组成。这些层中的一个或更多个层为在任何其他层之前解码并且是独立地可解码的所谓的基本层。其他层通常已知为增强层，因为它们的功能是改善通过对一个或更多个基本层进行解析和解码而获得的内容。这些增强层也是依赖层，因为它们依赖于基本层。增强层使用某种层间预测，增强层中的一个或更多个通常也可以依赖于对其他较高优先级的增强层的解码。因此，解码也可以在中间层之一处终止。多层的或可伸缩的比特流在质量/信号噪声比(SNR)、空间分辨率和/或时间分辨率和/或甚至额外的视点的可用性方面使能可伸缩性。例如，使用基于H. 264/MPEG-4第10部分、VC-1或VP8的附录A规范的编解码器，可以产生时间上可伸缩的比特流。第一基本层如果被解码则可以以每秒15帧(fps)提供图像序列的版本，而第二增强层如果被解码则可以结合已经解码的基本层以30fps提供相同的图像序列。SNR和空间可伸缩性也是可能的。例如，当采用H. 264/MPEG-4第10部分AVC视频编码标准(附录G)的可伸缩视频编码(SVC)扩展时，基本层(根据附录A编码的)生成粗劣质量版本的图像序列。一个或更多个增强层可以在视觉质量方面提供额外的增加。类似地，基本层可以提供低分辨率版本的图像序列。可以通过对额外的增强层、空间和/或时间地进行解码来提高分辨率。可伸缩的或多层的比特流对于提供多视点可伸缩性也是有用的。最近，H. 264/AVC的多视点编码(MVC)扩展(附录H)的立体高规范已经完成并且已被采用作为用于以立体内容为特征的下一代蓝光光盘(蓝光3D)的视频编解码器。这种编码方法尝试在一定程度上解决对立体视频流的高比特率的要求。立体高规范利用符合H. 264/AVC的附录A的高规范并且对被称为基本视点的视点之一(通常为左视点)进行压缩的基本层。然后，增强层对被称为视点相关视点(dependentview)的另一视点进行压缩。虽然基本层就其本身而言是有效的H. 264/AVC比特流，并且是独立于增强层可解码的，然而，对增强层来说可能不是并且通常不是这样。这是因为增强层可以利用来自基本层的已解码图片作为经运动补偿的预测参考。因此，视点相关视点(增强层)可以受益于视点间预测，并且，对于具有高视点间相关性(即，低的立体视差)的场景，压 缩可以得到相当大地改善视点。因此，MVC扩展方法试图通过利用立体视差来解决增加的带宽的问题。然而，这种方法可能无法提供与现有的配置的机顶盒和蓝光播放器基础设施的兼容性。尽管现有的H. 264解码器能够对基本视点进行解码和显示，然而，它会简单地丢弃和忽视相关(右)视点。因此，现有的解码器不具有对使用MVC编码的3D内容进行解码和显示的能力。因此，虽然MVC保留了 2D相容性，然而，MVC不能在传统的设备中传输3D内容。向后兼容性的缺乏是消费者3D立体视频的快速采用的另外的障碍。
并入到本说明书中并且构成本说明书的一部分的附图示出了本公开内容的一种或更多种实施方式，并且，附图连同对示例实施方式的描述一起用于说明本公开内容的原理和实现。图1描绘了用于立体素材的传输的棋盘交织布置。图2描绘了用于立体素材的传输的水平采样/列交织布置。
图3描绘了用于立体素材的传输的垂直采样/行交织布置。图4描绘了用于立体素材的传输的水平采样/并排布置。图5描绘了用于立体素材的传输的垂直米样/上下(over-under)布置。图6描绘了用于立体素材的传输的梅花形采样/并排布置。图7描绘了具有用于层间预测的参考处理的帧兼容全分辨率3D立体可伸缩视频编码系统。图8描绘了具有用于层间预测的参考处理的帧兼容全分辨率3D立体可伸缩视频解码系统。·
图9描绘了具有用于层间预测的参考处理单元的可伸缩视频编码系统。图10描绘了用于帧兼容全分辨率两层传输系统的重建模块。图11描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以某个降低的分辨率执行运动/视差补偿(帧兼容)。图12描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以某个降低的分辨率执行运动/视差补偿(帧兼容)。图13描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以增强分辨率执行运动/视差补偿。图14描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以增强分辨率执行运动/视差补偿。图15描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)进行编码。图16描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)进行编码。图17描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层对残差进行编码并且以增强分辨率维持两个参考图片缓冲区中的每一个，以及以某个降低的分辨率执行运动/视差补偿(帧兼容)。图18描绘了根据本公开实施例的多层分辨率可伸缩3D立体视频解码器，其中，增强层对残差进行编码并且以增强分辨率维持两个参考图片缓冲区中的每一个，以及以某个降低的分辨率执行运动/视差补偿(帧兼容)。图19描绘了根据本公开实施例的多层分辨率可伸缩视频编码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层针对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)对残差进行编码。图20描绘了根据本公开实施例的多层分辨率可伸缩视频解码器，其中，基本层对帧兼容版本的数据进行编码，并且两个增强层针对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)对残差进行编码。
具体实施例方式根据本公开内容的第一方面，提供了一种用于多层帧兼容视频传输的编码方法，所述编码方法包括a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括i)提供所述多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，包括i)提供所述多个数据类别的图像或视频帧的增强层帧兼容表示，ii)维持至少一个增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行运动或视差补偿，其中，所述一个或更多个增强层中的每个对所有的所述多个数据类别进行处理。 根据本公开内容的第二方面，提供了一种用于多层帧兼容视频传输的编码方法，包括a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括i)提供所述多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括i)针对所述多个数据类别之一提供图像或视频的增强层表示，ii)在每个增强层中维持增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理，以及iv)执行运动或视差补偿。根据本公开内容的第三方面，提供了一种用于多层帧兼容视频传输的解码方法，所述解码方法包括a)通过基本层对多个基本层比特流信号进行基本层处理，包括i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层对多个增强比特流信号进行增强层处理，包括i)针对多个数据类别提供至少一个增强层已解码图像或视频帧，ii)维持至少一个增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理，以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。根据本公开内容的第四方面，提供了一种用于多层帧兼容视频传输的解码方法，所述解码方法包括a)通过基本层对通过基本层的多个基本层比特流信号进行基本层处理，包括i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层，针对多个数据类别，对通过一个或更多个增强层的多个增强比特流信号进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括i )针对所述多个数据类别之一提供至少一个增强层已解码图像或视频帧，ii)维持至少一个增强层参考图片缓冲区，iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理，以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。鉴于现有的编解码器缺乏向后兼容性，利用机顶盒、蓝光播放器和高清晰度电视机的安装基础可以加速消费者3D部署。大多数显示器制造商提供支持3D立体显示的高清晰度电视机。这些电视机包括所有的专业显示技术的模型LCD、等离子和DLP[参考文献I]。关键是提供具有包含两个视点但仍然符合单个帧的限定的内容的显示，同时还利用现有和配置的编解码器，如VC-1和H. 264/AVC。这样的方法是所谓的帧兼容方法，该方法对立体内容进行格式化，使得内容适合单个图片或帧。帧兼容表示的大小不需要与原始视点帧的大小相同。与H. 264的MVC扩展类似，杜比(Dolby)的立体3D消费者传输系统[参考文献4]以基本层和增强层为特征。与MVC方法相对地，视点可以复用到两个层中以向消费者提供通过携带视点子采样版本的两个视点而帧兼容的基本层；以及当与基本层结合时导致两个视点的全分辨率重建的增强层。向后兼容的3D视频传输系统可以通过现有的或传统的2D视频硬件和系统向家庭或其他场所提供3D视频。帧兼容3D视频系统提供了这样的向后兼容的传输架构。在这种情况下，可以使用分层方法，其中，基本层提供以“帧兼容”格式布置的低分辨率版本的左眼·和右眼。帧兼容格式包括并排、上下和梅花/棋盘交织。图1至图6示出了一些示意性的示例。此外，可以有额外的预处理阶段，该预处理阶段在使用增强层帧作为用于预测增强层的的运动补偿参考之前考虑基本层已解码帧对增强层帧进行预测。图7和图8分别示出了用于[参考文献4]中所公开的系统的编码器和解码器。甚至非帧兼容编码布置如MVC的编码布置也可以使用预处理器(例如，参考处理单元(RPU) /预测器)来增强，预处理器在使用取自基本视点的参考作为用于视点预测相关视点的参考之前对取自基本视点的参考进行改进。这种架构也公开在[参考文献4]中并且在图9中示出。[参考文献4]的帧兼容技术确保了帧兼容的基本层。通过预处理器/RPU元件的使用，这些技术减少在实现立体视点的全分辨率重建时的开销。图10示出了全分辨率重建的处理。基于增强层的可用性，存在若干用于获取最终的重建视点的方法。其中的一些方法可以考虑对增强层中的实际的像素数据进行编码，或者可以考虑对残差数据进行编码或通常与基本层(例如，高频率与低频率)数据不同的数据编码，该基本层数据如果以一定的形式结合则可以使得能够对重建信号进行较高质量/分辨率的表示。任意分辨率可以用于这些方法，例如其中的一些方法可以以二分之一分辨率，而其中的一些方法可以以全分辨率或甚至更低、更高，或介于两者之间的分辨率。本公开的实施例可以针对任何分辨率。它们可以根据基本层(图10的(1002))的帧兼容输出被插值并且可选地被后处理以产生\%，_ (1004)和V1^ut (1006)。可替代地，它们可以通过增强层的适当的样本被复用以产生每个视点的较高的表示重建Vwuut (1008)和V1Juut (1010)。在这两种情况下所得到的重建视点可以具有相同的分辨率。然而，在第二种情况下，针对所有样本对信息进行编码，而在第一种情况下，重建视点的信息的一半通过使用智能算法的插入获得，如[参考文献4]中所公开的。从图10中可以观察到继对基本层和增强层的解码之后，使用额外的和潜在地为存储密集型和带宽密集型的操作以获得最终的全分辨率重建视点。本公开提供了使得帧兼容3D视频系统能够实现全分辨率3D传输的技术。本公开还提供了用于通过在一些较高表示/分辨率的样本域中执行运动和立体视差补偿来改善增强层中的内部预测精度的方法。这些域可以与以帧兼容表示的样本相比具有更高的空间或频率分辨率。在一些实施例中，这些域可以具有等于全分辨率的分辨率，即，在每个类别的帧被滤波、采样和复用到帧兼容表示之前的这些帧的原始分辨率。用于对通过这些布置而压缩的数据进行处理的额外的方法在[参考文献5]中可以找到。贯穿整个说明书，术语“数据类别”或“类别”指代数据组。不同的数据类别可以指代可能具有或不具有组间关系的不同的数据组。对于涉及3D或立体图像或视频传输的本公开的实施例，术语“数据类别”或“类别”指代3D图像或视频的单个视点。图11示出了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以某个降低的分辨率(例如，二分之一水平或竖直分辨率)执行运动/视差补偿。图12示出了根据本公开实施例的与图11中所示的编码器相对应的解码器。根据该实施方式，提供了用于视频序列的压缩的多层编解码器，该视频序列由属于给定时间实例的多个数据类别的帧组成。根据本公开的实施例，图11的基本层(1102)提供了多个数据类别的帧兼容表示。这里，帧兼容表示指的是将不同的数据类别采样和复用为单个帧。这种单个帧可以与包括原始类别的帧具有不同的大小。根据本公开内容的另外的实施例，图11的基本层(1102)可以使用任意可用的或未来的视频编解码器(如H. 264/AVC、VP8和VC-1)来实现和编码。
继续参照图11，在将数据发送给基本层编码器(1104 )之前，通过采样器(1106 )对数据进行采样并且通过复用器(1108)对数据进行复用。在另外的实施例中，采样也可以包括滤波。此外，滤波在不同的数据类别之间可以是非对称的。例如，在又一实施例中，可以对一种类别进行滤波和采样，使得少于一半的信息(例如，频率内容)被保留。可以对另一种类别进行滤波和采样，使得多于一半的信息被保留。图1至图6示出了两种类别的图像数据的示意性的采样和复用布置。根据图11中所示的实施例，提供了额外的增强层(1152)。根据其他实施例，额外的增强层的数量取决于在基本层之内已经采样和交织的数据和帧数据的类别的数量。选择在增强层中被采样和交织的数据，使得当与已经在基本层中存在的数据相结合时，采样和交织的数据导致对大多数类别的数据的有效表示和重建。根据图11中所示的实施例，其中包括两种类别的数据，一个增强层(1152)用于对所有的原始数据进行编码。根据该实施例，基本层(1102)可以携带每个类别的一半样本，增强层(1152)可以提供每个数据类别的另一半缺失的样本。根据本公开内容的另外的实施例，基本层对一种类别的三分之一的样本进行压缩，其余三分之二的样本被存储在增强层中。相反的情况也是可能的。类似地，正如基本层，增强层中的每个类别的数据内容可以与另一数据类别的内容不相同。这可以通过使用不同类型的滤波或者不同数量和布置的样本(例如，梅花形相对基于行的子采样)来实现。根据该实施例，采样操作获得用于增强层处理的样本，采样操作可以包括对这些样本的滤波。根据图11中所示的实施例，增强层(1152)采用混合视频编码模型，该模型可以在现代视频编解码器如VC-ι和H. 264/AVC中找到。可以根据相同的图片或帧中的相邻的样本(使用帧内预测)来预测输入数据，或者根据来自属于相同的层并且在所谓的参考图片缓冲区内缓冲为运动补偿预测参考的过去的已解码帧的样本(帧间预测)来预测输入数据。如果来自优先级较低的层(如基本层)的已解码信息对于增强层可用，则层间预测也是可能的。对这些信息进行访问的一种方法是通过将来自优先级较低的层的已解码图片作为运动补偿的参考。预测之后，对预测残差(1154)进行变换(1156)和量化(1158)，然后使用熵编码(1160)对量化系数进行编码。图12中示出的解码器的增强层(1252)逆转这个处理。
与图11的具有包含过去的已解码图片/帧的单个参考图片缓冲区(1110)的基本层(1102)不同，增强层(1152)维持多个内部参考图片缓冲区(1162)，每个内部参考图片缓冲区(1162)用于每个数据类别。在图11的实施例中，存储在这些缓冲区中的参考图片的生成是通过使用解复用器和RPU处理器(1164)来实现的。解复用器和RPU处理器(1164)对预测残差和预测帧(其通过帧内或帧间预测获得)之和进行处理。图11的解复用器(1164)也执行对每个类别的丢失样本的上采样和插值。每个参考图片缓冲区(1162)仅包括属于相同的数据类别的帧。缓冲区(1162)以比输入至增强层(1102 )的样本的分辨率高的分辨率存储图像或帧、或可选地以增强分辨率存储图像或帧。此外，用于将帧存储在每个参考图片缓冲区中的分辨率可以彼此不同。一个缓冲区可以以一种分辨率存储图片，而第二图片缓冲区可以以另一分辨率存储图片。在执行视差补偿(即运动补偿或帧内预测)(1168)之前，使用采样器(1170)下采样并且使用复用器(1172)复用所选择的来自每个图片缓冲区(1162)的参考，以生成现在可以在帧兼容布置中被格式化的单个参考图片。根据另外的实施例，下采样和复用为帧兼容格式的操作可以包括更复杂的操作，如将两个参考线性或非线性地组合成最终的帧兼容参考图片。根据再一实施例，内部缓冲区中的帧的分辨率可以与增强分辨率配。 根据图11中所示的实施例，在对内部多个(可选地，增强分辨率的)参考图片缓冲区提供的参考图片进行采样(1170)和复用(1172)之后，进行增强层(1152)内的帧间预测。因此，帧间预测在“帧兼容”域中进行，但是不一定在与基本层相同的域中。根据立体视频的另外的实施例，基本层帧兼容格式可以包括来自左视点的偶数列和来自右视点的奇数列，而在增强层处，帧兼容格式可以包括来自左视点的奇数列和来自右视点的偶数列。类似的布置对于其他的交织布置(如上下、并排等)也是可能的，选择适当的布置方法，使得在帧兼容的基本层图片中编码的样本与在一个或更多个增强层中编码的样本的组合应当产生数据类别的增强分辨率重建。根据本公开内容的另一实施例，这样的技术可以扩展到任何数量的层或视点。此外，帧间预测处理包括对每个增强层的运动参数的集合进行估计，该参数被编码并且被传送给解码器。根据图11中所示的实施例，增强层参考图片缓冲区(1162)包括图片，该图片不限于增强层(1152)的已经解复用和上采样(1164)的解码图片。基本层至增强层参考处理单元(RPU)/预处理器模块(BL至ELRPU) (1166)将来自基本层(1102)的参考图片缓冲区(1110)的帧兼容解码图片作为输入，然后对帧数据进行复用和上采样以对属于不同的数据类别的较高的表示(可选地，增强分辨率的)帧进行估计。根据另外的实施例，BL至EL RPU (1166)处理可以包括滤波、放大、丢失样本的插入、以及频率内容的恢复或估计。当例如基本层对低频率进行编码并且增强层对高频率进行编码时，使用频率内容的恢复或估计。然后，这些BL至EL RPU (1166)处理图像被放置以及用作增强层(1152)的较高的表示(可选地为增强分辨率)的参考图片缓冲区(1162)中的额外的运动补偿预测参考。编码器处的BL至EL RTO模块(I 166)生成预测/上采样处理的信息并且将该信息(“RPU比特流”)(1174)传送给图12的相同的BL至EL RPU (1254)，其位于图12中所示的解码器模块处。以这种方式，可以在解码器处复制编码器预测操作。使用这个RPU模块的插值和预测可以包括[参考文献6]中公开的技术。根据本公开的另外的实施例，内部缓存器以增强分辨率存储帧，解码器在内部重建每个数据类别的增强分辨率帧并且将其存储在参考图片缓冲区中。因此，为了显示增强分辨率数据，本实施例中不使用图10的处理模块。替代地，根据本实施例，可以直接从增强层的参考图片缓冲区中提取和显示增强分辨率重建帧。根据本公开内容的另一实施例，每个类别的增强分辨率是不相等的。在本实施例中，编码器和解码器将增强层的缓冲区中的图片重新缩放为某个相同的增强分辨率。在另外的实施例中，在基本层中编码的帧的大小可以与属于每个类别的帧的大小相同。在另外的实施例中，增强层中的参考图片缓冲区包含原始帧的分辨率(全分辨率)的帧。根据本公开的实施例，其中被施加运动补偿的帧兼容的域可以与基本层的域相同。在另外的实施例中，基本层可以以并排格式交织，并且增强层也可以对以相同的并排格 式交织的帧进行编码。根据本公开的实施例，基本层帧兼容格式可以包括来自第一视点的偶数列和来自第二视点的奇数列，而在增强层，帧兼容格式可以包括来自第一视点的奇数列和来自第二视点的偶数列。根据本公开的实施例，层可以以不同的空间分辨率对帧进行编码，在这种情况下，可以建立具有空间可伸缩性的系统。根据另外的实施例，编解码器系统具有1280X720并排帧兼容基本层和可以以1920 X 1080重建这两个视点的增强层。在本实施例中，BL至ELRPU首先将帧兼容数据解复用为不同的类别，然后可以执行以下操作之一。在一个方案中，BL至EL RPU首先对该种类别的丢失样本进行插值，然后在将所得到的帧(1280 X 720)存储在增强层中的相应的参考图片缓冲区中之前将该所得到的帧重新缩放至预期空间分辨率(1920 X 1080)。在第二个方案中，将可用的和经解复用的样本从较低的分辨率重新缩放至较高的分辨率，例如，从640 X 720至960 X 1080。然后，额外的插值操作确定丢失的列，以及可选地还对现有的样本进行滤波以推导全分辨率帧。根据本公开的实施例，增强层中的多个参考图片缓冲区也可以通过存储管理控制操作(MMCO)来控制，如[参考文献2]中所公开的操作。MMCO操作对参考图片如何添加至缓冲区中以及如何从缓冲区中移除进行控制。根据另外的实施例，MMCO操作针对增强层被发生。在本实施例中，每个参考图片缓冲区的MMCO的集合是相同的，或者，MMCO操作的集合是用信号通知的。这适用于两个参考图片缓冲区。因此，图片缓冲区的操作维持同步。再一实施例可以使用用于参考图片列表修正/重新排序信令(reordering signaling)的类似的方法，包括但不限于[参考文献2]中所公开的方法。信令信息控制缓冲区中的参考图片列表的生成。然后，在运动补偿预测中使用这些列表。根据另外的实施例，修正信息对于每个数据类别的参考图片列表来说是相同的。在再一实施例中，修正信息的单个集合被发生并且将被应用于增强层中的所有列表。根据本公开的另外的实施例，在利用对参考图片缓冲区的内容进行控制的信令和对其参考图片列表的初始化和修改进行控制的信令的编解码器中使用类似的方法。根据本公开的实施例，可以将这样的解复用器和上采样器RPU实现为如[参考文献6]中所公开的参考处理单元其在得到增强分辨率的单个类别帧之后将帧存储到参考图片缓冲区中。根据本公开内容的另外的实施例，基本层可以使用第一范围的频率内容对表示进行编码，而额外的增强层可以提供第二范围的频率内容。也可以在解码器处对它们的输出进行组合以提供原始数据类别的更好的表示。图13示出了根据本公开的实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层以增强分辨率维持两个参考图片缓冲区中的每一个，并且以增强分辨率执行运动/视差补偿。图14示出了根据本公开实施例的、与图13中所示的编码器相对应的解码器。图13和图14中所示的实施例与图11和图12中所示的实施例类似。但是，与图11和图12中所示的实施例不同，根据图13中所示的实施例，采样器(1354)和复用器(1356)被放置在视差补偿模块(1358)之后。事实上，有多少数据类别就有多少视差补偿模块(1358)。根据图13中所示的立体视频传输的实施例，有两个视差补偿模块(1358)，每个视点一个模块。在对每个较高表示参考执行视差补偿之后，将所得到的帧传递给执行下采样处理的采样器(1354)，下采样处理可以在滤波之前或之后进行(在两个视点的情况下，它将保留一半的样本)。然后，将来自每个数据类别的经下采样的数据馈送给生成帧兼容图片·(1360)的复用器(1356)。然后，这个帧兼容图片(1360)被用作预测残差(1362)被添加到增强层混合视频编码回路内的预测。根据图13中所示的实施例，视差补偿模块(1358)使得较多的样本可用(较高表示图片)，并且能够产生更好的预测。另外，视差补偿模块可以在运动补偿中具有更多的空间上的精确分区。例如，当使用并排格式时，帧兼容参考图片中的4X4的分区大小等于全分辨率图片中的8X4的分区大小。类似地，16X16的分区实际上是全分辨率图片中的32X16分区。因此，在本实施例中，视差补偿模块(1358)可以具有更大和更准确的分区。根据图13中所示的实施例，可以在增强层处多次(例如两次)执行视差估计和补偿，从而增加了系统复杂度。另外，由于运动补偿的空间精确度增加而得到的益处取决于如何从通过将预测残差添加到图13的帧兼容预测图片VFaPKED (1362)所获得的帧兼容图片中上采样较高表示参考图片。此外，根据本实施例，增强层对运动矢量信息的量进行两次压缩。根据另外的实施例，参考图片缓冲区采用增强分辨率，并且执行每个数据类别的最终重建，作为生成存储在增强层的参考图片缓冲区中的参考的一部分。因此，与图中所示的解码器不同，本实施例不对基本层和增强层的输出进行进一步处理。根据本公开的另外的实施例，多层编解码器可以考虑空间可伸缩性，这与第一方法的附加实施例类似。与图11和图12中所示的实施例类似，再一实施例提供了参考图片列表修改和用信号发送给解码器的MMCO操作。根据本公开内容的另外的实施例，由于在多个视差/运动估计器和补偿模块中使用的运动参数中存在足够的相互关系，选择这些运动参数以使得能够根据来自其他模块的参数对一个模块的参数进行高效的预测。在再一实施例中，将运动参数选择为相同的，并且针对每个增强层，仅发送一个集合的参数。在另一实施例中，每个模块的参数的集合是用信号发送的。运动参数预测也可以使用从优先级较高的视差估计/补偿模块用信号发送的相邻的或并排的参数的信息。根据本公开内容的另外的实施例，在基本层中编码的帧的大小可以与属于每个类别的帧的大小相同。根据另一实施例，增强层中的参考图片缓冲区包含原始帧的分辨率(全分辨率)的帧。根据再一实施例，在被存储到参考图片缓冲区中之前得到增强分辨率的单个类别帧的解复用器和上采样器可以被实现为[参考文献6]中所公开的参考处理单元。在再一实施例中，基本层可以以第一范围的频率内容对表示进行编码，而额外的增强层可以提供第二范围的频率内容。也可以在解码器处对它们的输出进行组合以提供原始数据类别的更好的表示。图15示出了根据本公开的实施例的多层分辨率可伸缩视频编码器，其中，基本层(1502)对数据的帧兼容版本进行编码，并且多个增强层中的两个(1532，1562)对两个增强分辨率数据类别中的每个(3D立体视频传输情况下的每个视点)进行编码。图16示出了根据本公开实施例的相应的解码器。根据图15中所示的实施例，基本层(1502)的结构与图11至图14中所示的实施例的结构相同。根据图15中所示的实施例，基本层(1502)可以对多个数据类别的帧兼容版本进行编码。在本实施例中，针对每个数据类别设置增强层(1532，1562)。根据用于立体视频传输的另外的实施例，每个增强层(1532，1562)提供对每个数据类别的增强分辨率重 建。根据本实施例，每个增强层(1532，1562)包含单个参考图片缓冲区(1534，1564)，并且使用与基本层(1502)非常类似的结构。在本实施例中，增强层(1532，1562)直接接收每个类别的增强(例如全)分辨率帧。相反，根据图11至图14中所示的实施例，增强层的输入由所有数据类别的帧兼容表示组成。根据图15中所示的实施例，每个层(1532，1562)的参考图片缓冲区(1534，1564)存储可以用于运动补偿预测(1536，1566)的参考。这些参考包括相同层的之前的解码帧。根据另外的实施例，增强层(1532，1562)中的附加的参考可以从基本层(1502)插入，如通过
H.264的MVC扩展所完成的一样。在本实施例中，在被插入之前，使用RPU/预处理器(1538，1568)对这些参考进行处理，以获得与存储在目标参考图片缓冲区中的帧相对应的经处理的参考。根据用于立体视频传输的另外的实施例，基本层帧兼容图片被解复用为属于不同类别的样本。然后，在样本被存储在每个增强层(1532，1562)的参考图片缓冲区(1534，1564)中之前，将样本在RPU/预处理器(1538，1568)之内上采样为增强(例如全)分辨率。根据本实施例，在RPU/预处理器(1538，1568)之内的预测、插值和上采样处理可以采用[参考文献6]中所公开的技术。根据图15中所示的实施例，可以实现单独的RPU (1538，1568)，以产生每个参考，每个参考将被存储在增强层的参考图片缓冲区(1534，1564)中的每个中。根据另一实施例，可以设置单个模块，以共同地优化和执行将基本层解码帧兼容图片解复用和上采样为多个全参考图片，每个增强层用于一个全参考图片。根据本公开内容另一实施例，提供了增强层的除了对于基本层的依赖关系(dependency)之外的附加的依赖关系。在本实施例中，增强层可以依赖于对另一增强层的解析和解码。继续参照图15，除了基本层(1502)之外，对增强层I (1562)的解码处理也可以依赖于增强层O (1532)。存储在增强层O (1532)的参考图片缓冲区(1534)中的用于显示的图片(1572)被馈送到额外的RPU/预处理器模块(1570)中。额外的RPU/预处理器(1570)将馈送的参考输入(1572)处理成与增强层I (1562)的格式类似。然后，将经处理的结果(1574)存储到增强层I (1562)的参考图片缓冲区(1564)中，并且可用于运动补偿预测(1566)。根据用于立体视频传输的另外的实施例，每个增强层对其中的一个视点进行编码，RI3U将使用运动和空间处理对一个视点进行处理，以便产生较接近于另一视点的参考图片。根据再一实施例，运动处理可以包括高阶运动模型，如仿射和透视运动模型。
根据另外的实施例，与图11至图14中所示的实施例类似，多层编解码器可以考虑空间可伸缩性。在本实施例中，根据基本层执行对增强层的预测的预处理器模块(例如，图15的1538和1568)还可以包括重新缩放至目标层分辨率。如果增强层不具有相同的空间分辨率，则根据第二增强层(例如，图15的1570)对一个增强层进行预测的预处理器模块还可以包括重新缩放。图17示出了根据本公开实施例的多层分辨率可伸缩3D立体视频编码器，其中，增强层对残差进行编码并且以增强分辨率维持两个参考图片缓冲区中的每一个，以及以某个降低的分辨率(帧兼容)执行运动/视差补偿。图18示出了根据本公开的实施例的相应的解码器。根据图17中所示的实施例，基本层(1702)对帧兼容信号进行编码，当对一个或更多个增强层(1752)进行解码以及将它们与基本层(1702)的输出组合时，该信号可以被进一步改进(尤其是，在分辨率或空间频率内容方面)。根据本实施例，增强层(1752)对经滤波、经采样和经复用的残差(1754)进行编码[参考文献7]，该残差是减去原始的全分辨率数据类别帧的预测(1756)的结果。这个预测(1756)是使用RPU处理器(1758)的结果，RPU 处理器将来自帧兼容基本层(1702)的解码图片(1760)作为输入，并且以原始的(全)分辨率输出原始的帧类别的预测(1756)。在另外的实施例中，RPU (1758)可以使用如[参考文献6]中所公开的那些技术，包括滤波，插值，重新缩放等。根据图17中所示的实施例，增强层(1752)的内部图片缓冲区(1762)不通过RPU从基本层缓冲区(1704)接收经处理的参考。在图18中所示的解码器处，类似的RPU (1854)将来自基本层(1802)的图片缓冲区(1804)的解码基本层图片作为输入，将其处理为原始的(全)分辨率以得到每个类别的全分辨率帧(1856)，然后将这些帧(1856)添加到已经在增强层参考图片缓冲区(1860)中解码的帧(1858)以产生每个数据类别的最终的重建帧(1862)。根据图11和图12中所示实施例的与图11和图12中所示实施例以及图17和图18中所示实施例之间的差异不相冲突的所有的另外的实施例也适用于根据图17和图18中所示实施例的另外的实施例。根据另外的实施例，基本层的分辨率、增强层的分辨率以及增强层的内部参考图片缓冲区可以不同。在根据图17和图18中所示实施例的另外的实施例中，与图13和图14中所示的实施例类似，增强层提供了多个视差补偿模块，每个数据类别的每个参考图片缓冲区一个视差补偿模块。在此，根据图13和图14中所示的实施例的所有适用的另外的实施例同样适用。图19示出了根据本公开实施例的多层分辨率可伸缩视频编码器，其中，基本层对数据的帧兼容版本进行编码，并且两个增强层针对增强分辨率数据类别中的每个(3D立体视频传输的每个视点)对残差进行编码。图20示出了根据本公开的实施例的相应的解码器。根据图19中所示的实施例，与图17和图18中所示的实施例类似，增强层(1932，1962)采用残差编码。根据本实施例，每个增强层(1932，1962)对应于每个数据类别并且对残差(1934，1964)进行编码，该残差为减去原始的全分辨率数据类别帧的预测(1936，1966)的结果[参考文献7]。这个预测是针对每个增强层(1932，1962)使用RPU处理器(1938，1968)的结果，RPU处理器使来自帧兼容基本层(1902)的解码图片作为输入，并且以给定层的原始的(全)分辨率输出原始帧类别的预测(1736，1966)。根据另外的实施例，RPU(1938，1968)可以使用如[参考文献6]中所公开的那些技术，包括滤波、插值、重新缩放等。根据图19中所示的实施例，增强层(1932，1962)的内部图片缓冲区(1940，1970)不通过RPU从基本层缓冲区(1904)接收经处理的参考。在图20中所示的解码器处，对于每个增强层(2032,2062)，类似的RPU (2034，2064)将来自基本层(2002)的图片缓冲区(2004)的解码基本层图片作为输入，将其处理成原始的(全)分辨率以得到给定的类别的全分辨率帧(2036，2066)，然后将这个帧(2036，2066 )添加到已经在增强层参考图片缓冲区(2040，2070 )中解码的帧(2038，2068 )以产生给定的数据类别的最终的重建帧(2042，2072)。根据图15和图16中所示实施例的与图15和图16中所示的实施例与图19和图20中所示的实施例之间的差异不相冲突的所有另外的实施例也适用于根据图19和图20中所示实施例的另外的实施例。根据另外的实施例，基本层的分辨率与增强层的分辨率以及增强层的内部参考图片缓冲区可以不同。而且，每个增强层的分辨率可以不同。
本公开所描述的方法及系统可以用硬件、软件、固件或其组合来实现。以块、模块或部件描述的特征可以一起实现(如，在如集成逻辑器件的逻辑器件中)或单独实现(如，单独连接的逻辑器件)。本公开的方法的软件部分可以包括计算机可读介质，其包括当被执行时至少部分地执行所描述的方法的指令。上述计算机可读介质可以包括如随机存取存储器(RAM)和/或只读存储器(ROM)。上述指令可以由处理器(如，数字信号处理器(DSP)、专用集成电路(ASIC)、或现场可编程门阵列(FPGA))来执行。因此，已经对本发明的实施例进行了描述，这些实施例涉及以下顺序地、直接地列举的示例实施例中的一个或更多个。因此，本发明可以用本文中所描述的任何形式来实施，包括但不限于下面的描述本发明的某些部分的结构、特征和功能的列举的示例实施例(EEE)EEE1. 一种用于多层巾贞兼容视频传输的编码方法,包括a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括i)提供多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，包括i)提供多个数据类别的图像或视频帧的增强层帧兼容表示；ii)维持至少一个增强层参考图片缓冲区；iii)针对对于基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行运动或视差补偿，其中，一个或更多个增强层中的每个对所有的多个数据类别进行处理。EEE2.根据列举的示例实施例1所述的编码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。EEE3.根据列举的示例实施例1或2所述的编码方法，其中，提供多个数据类别的图像或视频帧的基本层帧兼容表示包括将多个数据类别的图像或视频帧基本层采样和基本层复用为单个帧。EEE4.根据列举的示例实施例1至3中的任一项所述的编码方法，其中，基本层处理符合多个现有的视频编解码器之一。EEE5.根据列举的示例实施例4所述的编码方法，其中，多个现有的视频编解码器包括 H. 264/AVC、VP8 和 VC-1。EEE6.根据列举的示例实施例3至5中的任一项所述的编码方法，其中，基本层处理的采样包括对该多个数据类别的图像或视频帧进行对称或非对称滤波。EEE7.根据列举的示例实施例3至6中的任一项所述的编码方法，其中，基本层采样包括水平采样、垂直采样或梅花形采样。EEE8.根据列举的示例实施例3至7中的任一项所述的编码方法，其中，所述基本层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。·EEE9.根据列举的示例实施例2至8中的任一项所述的编码方法，其中，基本层处理还包括对多个视点的图像或视频帧的等量或不等量的样本进行处理。EEE10.根据列举的示例实施例2至9中的任一项所述的编码方法，其中，增强层处理采用混合视频编码模型，所述混合视频编码模型符合多个现有的编解码器中的任一个。EEEl1.根据列举的示例实施例10所述的编码方法，其中，多个现有的编解码器包括 VC-1 和 H. 264/AVC。EEE12.根据列举的示例实施例2至11中的任一项所述的编码方法，其中，增强层处理还包括通过根据相同的图像或帧中的样本或者根据来自相同的增强层中的之前的已解码帧的样本预测至少一个预测图像，来生成至少一个参考图像或视频帧，以及将至少一个参考图像或视频帧存储在至少一个增强层参考图片缓冲区中。EEE13.根据列举的示例实施例12所述的编码方法，其中，生成至少一个参考图像或视频帧还包括对至少一个预测残差图像与至少一个预测图像之和进行解复用和参考处理。EEE14.根据列举的示例实施例13所述的编码方法，其中，解复用还包括对至少一个预测残差图像与至少一个预测图像之和进行上采样和插值。EEE15.根据列举的示例实施例2至14中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区之一以与至少一个增强层参考图片缓冲区中的其余缓冲区不同的分辨率来存储图像或视频帧。EEE16.根据列举的示例实施例1至15中的任一项所述的编码方法，其中，增强层处理还包括针对多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；将所选择的至少一个参考图像增强层采样和增强层复用为至少一个帧兼容图像；以及基于至少一个帧兼容图像执行视差补偿或帧间预测。EEE17.根据列举的示例实施例16所述的编码方法，其中，对所选择的至少一个参考图像的增强层采样包括水平采样、垂直采样或梅花形采样中的任一种；以及
对所选择的至少一个参考图像的增强层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。EEE18.根据列举的示例实施例16或17所述的编码方法，其中，增强层处理还包括对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。EEE19.根据列举的示例实施例18所述的编码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。·EEE20.根据列举的示例实施例19所述的编码方法，其中，BL至EL处理还包括对至少一个基本层已解码帧兼容图像进行滤波、放大和插值。EEE21.根据列举的示例实施例18至20中的任一项所述的编码方法，其中，增强层处理还包括将与BL至EL处理有关的信息提供给相应的解码器。EEE22.根据列举的示例实施例1至21中的任一项所述的编码方法，其中，针对多个数据类别中的每个数据类别，至少一个增强层参考图片缓冲区以相同的或不同的增强分辨率存储图像。EEE23.根据列举的示例实施例1至22中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区以与原始输入图像相同的分辨率存储图像。EEE24.根据列举的示例实施例1至23中的任一项所述的编码方法，其中，基本层复用和增强层复用使用相同的帧兼容打包布置。EEE25.根据18至24中任一项所述的编码方法，其中，基本层处理和增强层处理以不同的空间分辨率对图像进行处理。EEE26.根据列举的示例实施例25所述的编码方法，其中，BL至EL处理包括对至少一个基本层解码帧兼容图像进行解复用；对经解复用的至少一个基本层已解码帧兼容图像进行插值；以及将经插值和解复用的至少一个基本层解码帧兼容图像重新缩放至目标空间分辨率。EEE27.根据列举的示例实施例25所述的编码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行解复用；将经解复用的至少一个基本层解码帧兼容图像重新缩放至不同的空间分辨率；以及将经解复用和重新缩放的至少一个基本层解码帧兼容图像插值至目标空间分辨率。EEE28.根据列举的示例实施例27所述的编码方法，还包括将经解复用和重新缩放的至少一个基本层已解码帧兼容图像滤波至目标空间分辨率。EEE29.根据列举的示例实施例1至28中的任一项所述的编码方法，其中，增强层处理还包括通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。EEE30.根据列举的示例实施例29所述的编码方法，其中，根据MMCO的一个或更多个集合，使至少一个增强层参考图片缓冲区中的每个同步。EEE31.根据列举的示例实施例29或30所述的编码方法，其中，增强层处理还包括将与MMCO有关的信息提供给相应的解码器。EEE32.根据列举的示例实施例1至31中任一项所述的编码方法，其中，基本层处理对在第一频率范围内的图像内容进行编码，并且，增强层处理对在第二频率范围内的图像内容进行编码。EEE33.根据列举的示例实施例1至15中任一项所述的编码方法，其中，增强层处理还包括 针对多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；通过基于至少一个参考图像执行视差补偿或帧间预测来获取多个数据类别中的每个的至少一个补偿图像；以及将至少一个补偿图像增强层采样和增强层复用为至少一个帧兼容图像。EEE34.根据列举的示例实施例33所述的编码方法，其中，增强层处理还包括通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。EEE35.根据列举的示例实施例34所述的编码方法，其中，增强层处理还包括将与MMCO有关的信息提供给相应的解码器。EEE36.根据列举的示例实施例33至35中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区针对多个数据类别中的每个以相同的或不同的增强分辨率存储图像。 EEE37.根据列举的示例实施例33至36中的任一项所述的编码方法，其中，至少一个增强层参考图片缓冲区以与原始输入图像相同的分辨率存储图像。EEE38.根据列举的示例实施例33至37中的任一项所述的编码方法，其中，基本层处理对第一频率范围内的图像内容进行编码，并且增强层处理对第二频率范围内的图像内容进行编码。EEE39. 一种用于多层巾贞兼容视频传输的编码方法,包括a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括i)提供多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，其中，多个数据类别中的每个在单独的增强层中被单独地处理，一个或更多个增强层中的每个包括i)针对多个数据类别之一提供图像或视频的增强层表示；ii)维持每个增强层中的增强层参考图片缓冲区；iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行运动或视差补偿。EEE40.根据列举的示例实施例39所述的编码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。EEE41.根据列举的示例实施例39或40所述的编码方法，其中，提供多个数据类别的图像或视频帧的基本层帧兼容表示包括将多个数据类别的图像或视频帧基本层采样和基本层复用为单个帧。EEE42.根据列举的示例实施例39至41中的任一项所述的编码方法，其中，基本层处理符合多个现有的视频编解码器之一。EEE43.根据列举的示例实施例42所述的编码方法，其中，多个现有的视频编解码器包括 H. 264/AVC、VP8 和 VC-1。EEE44.根据列举的示例实施例41至43中的任一项所述的编码方法，其中，基本层处理的采样包括对该多个数据类别的图像或视频帧进行对称或非对称滤波。EEE45.根据列举的示例实施例41至44中的任一项所述的编码方法，其中，基本层采样包括水平采样、垂直采样或梅花形采样。
EEE46.根据列举的示例实施例41至45中的任一项所述的编码方法，其中，基本层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。EEE47.根据列举的示例实施例40至46中的任一项所述的编码方法，其中，基本层处理还包括对多个视点的图像或视频帧的等量或不等量的样本进行处理。EE48.根据列举的示例实施例40至47中的任一项所述的编码方法，其中，增强层处理采用混合视频编码模型，混合视频编码模型符合多个现有的编解码器中的任一个。EEE49.根据列举的示例实施例48所述的编码方法，其中，多个现有的编解码器包括 VC-1 和 H. 264/AVC。EEE50.根据列举的示例实施例39至49中的任一项所述的编码方法，其中，运动或视差补偿的执行基于存储在增强层参考图片缓冲区中的至少一个图像。EEE51.根据列举的示例实施例39至49中的任一项所述的编码方法，其中，增强层处理还包括对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。EEE52.根据列举的示例实施例51所述的编码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。EEE53.根据列举的示例实施例52所述的编码方法，其中，对一个或更多个增强层中的每个的BL至EL处理是由单个处理单元处理的，所述处理单元共同执行和优化对至少一个基本层已解码帧兼容图像的参考处理、解复用和上采样。EEE54.根据列举的示例实施例39至53中的任一项所述的编码方法，其中，增强层处理还包括对存储在不同的增强层中的增强层参考图片缓冲区中的至少一个参考图像进行增强层至增强层(EL至EL)处理；将经EL至EL处理的至少一个增强层参考图像存储在该至少一个增强层参考图像的至少一个增强层参考图片缓冲区中。EEE55.根据列举的示例实施例51至54中的任一项所述的编码方法，其中，BL至EL处理还包括将经BL至EL处理的至少一个基本层解码帧兼容图像重新缩放至目标空间分辨率。EEE56.根据列举的示例实施例54或55所述的编码方法，其中，EL至EL处理还包括将经EL至EL处理的至少一个增强层参考图像重新缩放至目标空间分辨率。EEE57.根据列举的示例实施例1所述的编码方法，其中，提供多个数据类别的图像或视频帧的增强层帧兼容表示包括对多个数据类别的原始全分辨率图像的差分图像和至少一个基本层至增强层(BL至EL)预测进行滤波、采样和复用。EEE58.根据列举的示例实施例57所述的编码方法，其中，BL至EL预测通过对来 自所述基本层的至少一个帧兼容已解码图片进行解复用和参考处理来获得。EEE59.根据列举的示例实施例58所述的编码方法，其中，所述解复用和参考处理还包括滤波、插值或重新缩放。EEE60.根据列举的示例实施例57所述的编码方法，其中，针对所述多个数据类别中的每个执行所述运动或视差补偿。EEE61.根据列举的示例实施例39所述的编码方法，其中，针对多个数据类别之一提供图像或视频的增强层表示包括针对多个数据类别中的一个，获取至少一个原始的全分辨率图像的至少一个差分图像和至少一个基本层至增强层(BL至EL)预测。EEE62.根据列举的示例实施例61所述的编码方法，其中，所述至少一个BL至EL预测通过对来自基本层的至少一个帧兼容已解码图片进行解复用和参考处理来获得。EEE63.根据列举的示例实施例62所述的编码方法，其中，解复用和参考处理还包括滤波、插值或重新缩放。EEE64. 一种用于多层巾贞兼容视频传输的解码方法,包括a)通过基本层对多个基本层比特流信号进行基本层处理，包括i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层对多个增强比特流信号进行增强层处理，包括i)针对多个数据类别提供至少一个增强层已解码图像或视频帧；ii)维持至少一个增强层参考图片缓冲区；iii)针对对于基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行视差补偿，其中，在相同的增强层中对所有的多个数据类别进行解码和处理。EEE65.根据列举的示例实施例64所述的解码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。EEE66.根据列举的示例实施例64或65所述的解码方法，其中，基本层处理符合多个现有的视频编解码器之一。EEE67.根据列举的示例实施例66所述的解码方法，其中，多个现有的视频编解码器包括 H. 264/AVC、VP8 和 VC-1。EEE68.根据列举的示例实施例64至67中的任一项所述的解码方法，其中，增强层处理采用混合视频编码模型，混合视频编码模型符合多个现有的编解码器中的任一个。EEE69.根据列举的示例实施例68所述的解码方法，其中，多个现有的编解码器包括 VC-1 和 H. 264/AVCOEEE70.根据列举的示例实施例64至69中的任一项所述的解码方法，其中，增强层处理还包括通过根据相同的图像或帧中的样本或根据相同的增强层中的之前的已解码帧的样本预测至少一个预测图像来生成至少一个参考图像或视频帧，以及将至少一个参考图像或视频帧存储在至少一个增强层参考图片缓冲区中。EEE71.根据列举的示例实施例70所述的解码方法，其中，生成至少一个参考图像或视频帧还包括对从多个增强比特流信号解码的至少一个图像与至少一个预测图像之和进行解复用和参考处理。EEE72.根据列举的示例实施例71所述的解码方法，其中，解复用还包括对至少一个预测残差图像与至少一个预测图像之和进行上采样和插值。 EEE73.根据列举的示例实施例65至72中的任一项所述的解码方法，其中，至少一个增强层参考图片缓冲区之一以与所述至少一个增强层参考图片缓冲区中的其余缓冲区不同的分辨率来存储图像或视频帧。 EEE74.根据列举的示例实施例64至73中的任一项所述的解码方法，其中，所述增强层处理还包括所述多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；将所选择的至少一个参考图像增强层采样和增强层复用为至少一个帧兼容图像；以及基于至少一个帧兼容图像执行视差补偿或帧间预测。EEE75.根据列举的示例实施例73或74所述的解码方法，其中，增强层处理还包括对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。EEE76.根据列举的示例实施例75所述的解码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。EEE77.根据列举的示例实施例76所述的解码方法，其中，BL至EL处理还包括对至少一个基本层已解码帧兼容图像进行滤波、放大和插值。EEE78.根据列举的示例实施例75至77中的任一项所述的解码方法，其中，所述增强层处理还包括从相应的编码器接收与BL至EL处理有关的信息。EEE79.根据列举的示例实施例75至78中的任一项所述的解码方法，其中，基本层处理和增强层处理以不同的空间分辨率对图像进行处理。EEE80.根据列举的示例实施例79所述的解码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行解复用；对经解复用的至少一个基本层已解码帧兼容图像进行插值；以及将经插值和解复用的至少一个基本层已解码帧兼容图像重新缩放至目标空间分辨率。EEE81.根据列举的示例实施例79所述的解码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行解复用；将经解复用的至少一个基本层已解码帧兼容图像重新缩放至不同的空间分辨率；以及将经解复用和重新缩放的至少一个基本层已解码帧兼容图像插值至目标空间分辨率。EEE82.根据列举的示例实施例81所述的解码方法，还包括将经解复用和重新缩放的至少一个基本层已解码帧兼容图像滤波至目标空间分辨率。
EEE83.根据列举的示例实施例64至82中的任一项所述的解码方法，其中，增强层处理还包括通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。EEE84.根据列举的示例实施例83所述的解码方法，其中，根据MMCO的一个或更多个集合，使至少一个增强层参考图片缓冲区中的每个同步。EEE85.根据列举的示例实施例83或84所述的解码方法，其中，增强层处理还包括从相应的编码器接收与所述MMCO有关的信息。EEE86.根据列举的示例实施例64至67中的任一项所述的解码方法，其中，增强层处理还包括针对多个数据类别中的每个，从至少一个增强层参考图片缓冲区中选择至少一个参考图像；通过基于至少一个参考图像执行视差补偿或帧间预测来获取多个数据类别中的每个的至少一个补偿图像；以及将所述至少一个补偿图像增强层采样和增强层复用为至少一个帧兼容图像。EEE87.根据列举的示例实施例86所述的解码方法，其中，增强层处理还包括通过存储管理控制操作(MMCO)对至少一个增强层参考图片缓冲区进行控制。EEE88.根据列举的示例实施例87所述的解码方法，其中，增强层处理还包括从相应的编码器接收与MMCO有关的信息。EEE89. 一种用于多层巾贞兼容视频传输的解码方法,包括a)通过基本层对通过基本层的多个基本层比特流信号进行基本层处理，包括i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层，对多个数据类别的、通过一个或更多个增强层的多个增强比特流信号进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括i)针对多个数据类别之一提供至少一个增强层已解码图像或视频帧；ii)维持至少一个增强层参考图片缓冲区；iii)对对于基本层或不同的增强层的至少一个依赖性进行参考处理；以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。EEE90.根据列举的示例实施例89所述的解码方法，其中，多个数据类别包括用于立体图像或视频的多个视点。
EEE91.根据列举的示例实施例89或90所述的解码方法，其中，基本层处理符合多个现有的视频编解码器之一。EEE92.根据列举的示例实施例91所述的解码方法，其中，多个现有的视频编解码器包括 H. 264/AVC、VP8 和 VC-1。EEE93.根据列举的示例实施例89至92中的任一项所述的解码方法，其中，编码层处理采用混合视频编码模型，所述混合视频编码模型符合多个现有的编解码器中的任一个。EEE94.根据列举的示例实施例93所述的解码方法，其中，多个现有的编解码器包括 VC-1 和 H. 264/AVC。EEE95.根据列举的示例实施例89至94中的任一项所 述的解码方法，其中，运动或视差补偿的执行基于存储在增强层参考图片缓冲区中的至少一个图像。EEE96.根据列举的示例实施例89至95中的任一项所述的解码方法，其中，增强层处理还包括对来自基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在至少一个增强层参考图片缓冲区中。EEE97.根据列举的示例实施例96所述的解码方法，其中，BL至EL处理包括对至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样。EEE98.根据列举的示例实施例97所述的解码方法，其中，对一个或更多个增强层中的每个的BL至EL处理是由单个处理单元处理的，该处理单元共同执行和优化对至少一个基本层已解码帧兼容图像的参考处理、解复用和上采样。EEE99.根据列举的示例实施例89至98中的任一项所述的解码方法，其中，增强层处理还包括对存储在不同的增强层中的增强层参考图片缓冲区中的至少一个参考图像进行增强层至增强层(EL至EL)处理；将经EL至EL处理的至少一个增强层参考图像存储在该至少一个增强层参考图像的至少一个增强层参考图片缓冲区中。EEE100.根据列举的示例实施例89至99中的任一项所述的解码方法，其中，BL至EL处理还包括将经BL至EL处理的至少一个基本层已解码帧兼容图像重新缩放至目标空间分辨率。EEE101.根据列举的示例实施例99或100所述的解码方法，其中，EL至EL处理还包括将经EL至EL处理的至少一个增强层参考图像重新缩放至目标空间分辨率。EEE102.根据列举的示例实施例89所述的解码方法，其中，针对多个数据类别提供至少一个增强层已解码图像或视频帧包括将存储在至少一个增强层参考图片缓冲区中的参考图像添加到至少一个基本层至增强层(BL至EL)预测。EEE103.根据列举的示例实施例102所述的解码方法，其中，所述至少一个BL至EL预测通过对存储在基本层的参考图片缓冲区中的至少一个帧兼容已解码图片进行解复用和参考处理来获得。EEE104.根据列举的示例实施例102所述的解码方法，其中，针对多个数据类别中的每个执行视差补偿。EEE105.根据列举的示例实施例89所述的解码方法，其中，针对多个数据类别之一提供至少一个增强层已解码图像或视频帧包括将存储在至少一个增强层参考图片缓冲区中的参考图像添加到至少一个基本层至增强层(BL至EL)预测。EEE106.根据列举的示例实施例105所述的解码方法，其中，至少一个BL至EL预测通过对存储在基本层的参考图片缓冲区中的至少一个帧兼容已解码图片进行解复用和参考处理来获得。EEE107.根据列举的示例实施例106所述的解码方法，其中，解复用和参考处理还包括滤波、插值或重新缩放。·EEE108. 一种用于根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法对至少一个图像或视频帧进行编码的编码器。EEE109. 一种用于根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法对至少一个图像或视频帧进行编码的装置。EEEl 10. 一种用于根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法对至少一个图像或视频帧进行编码的系统。EEEl 11. 一种用于根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法对至少一个图像或视频帧进行解码的解码器。EEEl 12. 一种用于根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法对至少一个图像或视频帧进行解码的装置。EEEl 13. 一种用于根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法对至少一个图像或视频帧进行解码的系统。EEEl 14. 一种包括指令的集合的计算机可读介质，所述指令的集合使得计算机执行根据列举的示例实施例1至107、117以及118中的一个或更多个中所述的方法。EEEl 15. 一种将根据列举的示例实施例1至63以及117中的一个或更多个中所述的方法用于对至少一个图像或视频帧进行编码的用途。EEEl 16. 一种将根据列举的示例实施例64至107以及118中的一个或更多个中所述的方法用于对至少一个图像或视频帧进行解码的用途。EEEl 17.根据列举的示例实施例1至38中的任一项所述的编码方法，其中，所述至少一个增强层参考图片缓冲区包括至少两个增强层参考缓冲区。EEEl 18.根据列举的示例实施例64至88中的任一项所述的解码方法，其中，所述至少一个增强层参考图片缓冲区包括至少两个增强层参考缓冲区。本说明书中所提到的所有的专利和出版物可以表示与本公开相关的领域的普通技术人员的水平。本公开中所引用的所有参考文献通过引用而被合并，所引用的程度如同单独将每个文献的全部内容通过弓I用而合并。提供以上阐述的示例，以向本领域普通技术人员给出对如何做出与使用本公开的用于多层帧兼容视频传输的实施例的完整的公开和描述，并且不意在将发明人考虑的范围限制为其公开内容。本领域普通技术人员可以使用用于执行本公开的上述模式的修改，并且这些修改意在在所附权利要求的范围内。本说明书中所提到的所有专利与出版物可以表示与本公开内容相关的领域的普通技术人员的水平。本公开内容中所引用的所有参考文献通过引而被合并，所引用的程度如同单独将每个文献的全部内容通过引用而合并。应当理解，本公开不限于具体的方法或系统，其当然可以变化。还应当理解，本文中所使用的术语仅出于描述具体实施例的目的，无意成为限制。如在本说明书和所附权利要求所使用的，除非内容另外清楚地指出，否则单数形式“一个(a)”、“一个(an)”和“该(the)”包括多个指代对象。除非内容另外清楚地指出，否则用语“多个”包括两个或更多个对象。除非另有定义，否则本文中所使用的所有的技术和科学术语具有与本公开相关的领域的普通技术人员所通常理解的含义相同的含义。已经对本公开的大量的实施例进行了描述。然而，应当理解，可以在不偏离本公开的精神和范围的前提下做出各种修改。因此，其他实施例在所附权利要求的范围内。参考文献列表
[I]D. C. Hutchison, "Introducing DLP3-D TV",http://www.dlp.com/downloads/Introducing DLP3D HDTVWhitepaper, pdf[2]Advanced video coding for generic audiovisual services,http://www.1tu.1nt/rec/recommendation. asp type=folders&lang=e&parent=T-REC-H. 264，2010 年 3 月.[3]SMPTE421M, "VC-lCompressed Video Bitstream Format andDecoding Process", 2006 年 4 月·[4]A. Tourapis, P. Pahalawatta, A. Leontaris, K. Stec, and ff. Husak, "Encodingand Decoding Architecture for Format CompatibIe3D VideoDelivery, 〃美国临时专利申请 No. 61/223，027，2009 年 7 月·[5] A. Leontaris, A. Tourapis, and P. Pahalawatta, "Enhancement Methodsfor Sampled and Multiplexed Image and Video Data, 〃美国临时专利申请No.61/365，743，2010 年 7 月.[6] A. Tourapis, A. Leontaris, P. Pahalawatta, and K. Stec, "DirectedInterpolation/Postprocessing methods for video encoded data, 〃美国临时专利申请No.61/170，995，2009 年 4 月.[7] P. Pahalawatta, A. Tourapis, ff. Husak, ^Systems and Methods forMult1-Layered Image and Video Delivery Using Reference Processing Signals",美国临时专利申请No. 61/362，661，2010年7月·
权利要求
1.一种用于多层巾贞兼容视频传输的编码方法，包括a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括 i)提供所述多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，包括 i)提供所述多个数据类别的图像或视频帧的增强层帧兼容表示； )维持至少一个增强层参考图片缓冲区；iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行运动或视差补偿，其中，所述一个或更多个增强层中的每个对所有的所述多个数据类别进行处理。
2.—种用于多层巾贞兼容视频传输的编码方法，包括a)通过基本层对多个数据类别的图像或视频帧进行基本层处理，包括 i)提供所述多个数据类别的图像或视频帧的基本层帧兼容表示；以及b)通过一个或更多个增强层对多个数据类别的图像或视频帧进行增强层处理，其中， 所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括i)针对所述多个数据类别之一提供图像或视频的增强层表示；ii)维持每个增强层中的增强层参考图片缓冲区；iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行运动或视差补偿。
3.一种用于多层巾贞兼容视频传输的解码方法，包括a)通过基本层对多个基本层比特流信号进行基本层处理，包括 i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层对多个增强比特流信号进行增强层处理，包括i)针对多个数据类别提供至少一个增强层已解码图像或视频帧；ii)维持至少一个增强层参考图片缓冲区；iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处理。
4.一种用于多层巾贞兼容视频传输的解码方法，包括a)通过基本层对通过基本层的多个基本层比特流信号进行基本层处理，包括 i)提供至少一个帧兼容基本层解码图像或视频帧；以及b)通过一个或更多个增强层，针对多个数据类别，对通过一个或更多个增强层的多个增强比特流信号进行增强层处理，其中，所述多个数据类别中的每个在单独的增强层中被单独地处理，所述一个或更多个增强层中的每个包括i)针对所述多个数据类别之一提供至少一个增强层已解码图像或视频帧；ii)维持至少一个增强层参考图片缓冲区；iii)针对对于所述基本层或不同的增强层的至少一个依赖关系进行参考处理；以及iv)执行视差补偿，其中，在相同的增强层中对所有的所述多个数据类别进行解码和处
5.根据权利要求1至4中的任一项、包括所引权利要求的全部所述的方法，其中，所述多个数据类别包括用于立体图像或视频的多个视点。
6.根据权利要求1、2或3中的一项或更多项、包括所引权利要求的全部所述的方法，其中，提供所述多个数据类别的图像或视频帧的基本层帧兼容表示包括将多个数据类别的图像或视频帧基本层采样和基本层复用为单个帧。
7.根据权利要求6所述的方法，其中，所述基本层处理的所述采样包括对所述多个数据类别的图像或视频帧进行对称或非对称滤波。
8.根据权利要求6所述的方法，其中，所述基本层采样包括水平采样、垂直采样或梅花形采样。
9.根据权利要求6所述的方法，其中，所述基本层复用使用棋盘交织布置、列交织布置、行交织布置、并排布置和上下布置中的任一种帧兼容打包布置。
10.根据权利要求5所述的方法，其中，所述基本层处理还包括对所述多个视点的图像或视频帧的等量或不等量的样本进行处理。
11.根据权利要求1、2或3中的一项或更多项、包括所引权利要求的全部所述的方法， 其中，所述增强层处理还包括通过根据相同的图像或帧中的样本或者根据来自相同的增强层中的之前的已解码帧的样本预测至少一个预测图像，来生成至少一个参考图像或视频帧，以及将所述至少一个参考图像或视频帧存储在所述至少一个增强层参考图片缓冲区中。
12.根据权利要求11所述的方法，其中，生成所述至少一个参考图像或视频帧还包括 对至少一个预测残差图像与所述至少一个预测图像之和进行解复用和参考处理。
13.根据权利要求12所述的方法，其中，所述解复用还包括对所述至少一个预测残差图像与所述至少一个预测图像之和进行上采样和插值。
14.根据权利要求13所述的方法，其中，所述至少一个增强层参考图片缓冲区之一以与所述至少一个增强层参考图片缓冲区中的其余缓冲区不同的分辨率来存储图像或视频帧。
15.根据权利要求1或3中的一项或更多项、包括所引权利要求的全部所述的方法，其中，所述增强层处理还包括针对所述多个数据类别中的每个，从所述至少一个增强层参考图片缓冲区中选择至少一个参考图像；将所选择的至少一个参考图像增强层采样和增强层复用为至少一个帧兼容图像；以及基于所述至少一个帧兼容图像执行视差补偿或帧间预测。
16.根据权利要求1、2或3中的一项或更多项、包括所引权利要求的全部所述的方法， 其中，所述增强层处理还包括对来自所述基本层中的参考缓冲区的至少一个基本层已解码帧兼容图像进行基本层至增强层(BL至EL)处理；将经BL至EL处理的至少一个基本层已解码帧兼容图像存储在所述至少一个增强层参考图片缓冲区中。
17.根据权利要求16所述的方法，其中，所述BL至EL处理包括下列中的一个或更多个对所述至少一个基本层已解码帧兼容图像进行参考处理、解复用和上采样；或者对所述至少一个基本层已解码帧兼容图像进行滤波、放大和插值。
18.—种视频编码器，包括至少一个处理器；以及计算机可读存储介质，所述计算机可读存储介质包括通过其有形地存储的指令，所述指令在由所述至少一个处理器执行时使得、编程、配置或控制所述处理器执行根据权利要求1、2或权利要求5至17中的任一项中的一项或更多项、包括所引权利要求的全部所述的方法步骤中的至少一个。
19.一种视频解码器，包括至少一个处理器；以及计算机可读存储介质，所述计算机可读存储介质包括通过其有形地存储的指令，所述指令在由所述至少一个处理器执行时使得、编程、配置或控制所述处理器执行根据权利要求3、4或权利要求5至17中的任一项中的一项或更多项、包括所引权利要求的全部所述的方法步骤中的至少一个。
20.一种视频设备，包括至少一个处理器；以及计算机可读存储介质，所述计算机可读存储介质包括通过其有形地存储的指令，所述指令在由所述至少一个处理器执行时使得、编程、配置或控制所述处理器执行、实施或控制根据权利要求1至17中的一项或更多项、包括所引权利要求的全部所述的方法步骤中的至少一个；对根据权利要求18所述的视频编码器进行编程、控制或配置；或者对根据权利要求19所述的视频解码器进行编程、控制或配置。
21.一种计算机，包括至少一个处理器；以及计算机可读存储介质，所述计算机可读存储介质包括通过其有形地存储的指令，所述指令在由所述至少一个处理器执行时使得、编程、配置或控制所述处理器执行、实施或控制根据权利要求1至17中的一项或更多项、包括所引权利要求的全部所述的方法步骤中的至少一个；对根据权利要求18所述的视频编码器进行编程、控制或配置；对根据权利要求19所述的视频解码器进行编程、控制或配置；或者对根据权利要求20所述的视频设备进行编程、控制或配置。
22.—种系统,包括用于执行、实施、引起或控制根据权利要求1至17中的一项或更多项、包括所引权利要求的全部所述的方法步骤中的至少一个的装置；用于对根据权利要求18所述的视频编码器进行编程、控制或配置的装置；用于对根据权利要求19所述的视频解码器进行编程、控制或配置的装置；用于对根据权利要求20所述的视频设备进行编程、控制或配置的装置；或者用于对根据权利要求20所述的计算机进行编程、控制或配置的装置。
23.一种计算机可读存储介质产品，包括有形地通过其编码的指令，所述指令在由一个或更多个处理器执行时使得所述处理器执行、实施或控制根据权利要求1至17中的一项或更多项、包括所引权利要求的全部所述的方法步骤中的至少一个；对根据权利要求18所述的视频编码器进行编程、控制或配置； 对根据权利要求19所述的视频解码器进行编程、控制或配置；或者对根据权利要求20所述的视频设备进行编程、控制或配置；对根据权利要求20所述的视频设备进行编程、控制或配置；对根据权利要求20所述的计算机进行编程、控制或配置；或者对根据权利要求21所述的系统进行编程、控制或配置。
全文摘要
描述了多层帧兼容视频传输。提供了多层编码和解码方法，包括使用参考处理的基本层和至少一个增强层。另外，描述了使用层间依赖关系的多层编码和解码方法。还描述了能够进行帧兼容3D视频传输的编码和解码方法。
文档编号H04N7/26GK103026706SQ201180035724
公开日2013年4月3日 申请日期2011年7月20日 优先权日2010年7月21日
发明者阿萨纳西奥斯·莱昂塔里斯, 亚历山德罗斯·图拉皮斯, 佩沙拉·V·帕哈拉瓦达, 凯文·斯特茨, 沃尔特·胡萨克 申请人:杜比实验室特许公司