基于高效率视频译码对视频信息的可缩放译码的装置和方法
【技术领域】
[0001]本发明涉及视频译码和压缩、基于高效率视频译码(HEVC)的可缩放译码和基于HEVC的多视图和3DV(三维视频)译码的领域。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏主机、蜂窝式或卫星无线电电话、视频电话会议装置和其类似者。数字视频装置实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-TH.263、ITU-T H.264/MPEG-4部分10先进视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准和这些标准的扩展中所描述的视频压缩技术。视频装置可通过实施这些视频译码技术来更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0003]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频译码来说，可将视频图块(例如，视频帧、视频帧的一部分等)分割成视频块，所述视频块也可被称作树型块、译码单元(CU)和/或译码节点。使用相对于在相同图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码
(I)图块中的视频块。图片的帧间译码(P或B)图块中的视频块可使用相对于在相同图片中的相邻块中的参考样本的空间预测或相对于在其它参考图片中的参考样本的时间预测。可将图片称作帧，且可将参考图片称作参考帧。
[0004]空间预测或时间预测产生待译码块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。根据指向形成预测性块的参考样本的块的运动向量和指示经译码块与预测性块间的差的残余数据来编码帧间译码块。根据帧内译码模式和残余数据来编码帧内译码块。为了进行另外的压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描最初布置成二维阵列的经量化的变换系数以便产生变换系数的一维向量，且可应用熵编码以达成甚至更多压缩。
【发明内容】
[0005]可缩放视频译码(SVC)指其中使用基础层(BL)(有时称作参考层(RL))和一或多个可缩放增强层(EL)的视频译码。对于SVC来说，基础层可携载具有基础质量电平的视频数据。一或多个增强层可携载额外视频数据以支持较高的空间、时间和/或信噪比SNR等级。可相对于先前编码层来定义增强层。例如，底层可充当BL，而顶层可充当EL。中间层可充当EL抑或RL，或充当EL与RL两者。例如，位于中间的层对于位于其下方的层(例如，基础层或任何介入增强层)来说可为EL，且同时可充当位于其上方的一或多个增强层的RL。类似地，在HEVC标准的多视图或3D扩展中，可存在多个视图，且可利用一个视图的信息来译码(例如，编码或解码)另一视图的信息(例如，运动估计、运动向量预测和/或其它冗余)。
[0006]在HEVC扩展中，增强层或另一视图中的当前块可使用基础层或视图中的对应块加以预测。例如，当前块的语法元素、运动信息(例如，运动向量)或模式信息(例如，帧内模式)可基于基础层中的对应块。例如，可将基础层运动向量(MV)用作增强层合并模式/AMVP候选者列表中的候选者。候选者列表是待由译码器用来预测当前块的空间和时间运动向量预测子的阵列。例如，视频编码器可编码并传达关于已知(或可知)的运动向量的运动向量差(MVD)，而非编码并传达运动向量自身。在H.264/AVC中，已知的运动向量(其可与MVD—起用来定义当前运动向量)可由所谓的运动向量预测子(MVP)来定义，所述MVP是作为与相邻块相关联的运动向量的中值而导出。然而，更先进的MVP技术可允许视频编码器选择根据哪一相邻者来定义MVP0
[0007]然而，例如，当经译码帧大小大于可能显示于装置上的实际帧大小时，或当基础层通过另一视频标准(例如，AVC或MPEG2)译码时，基础层的对应块可位于基础层帧外部。在这些情形中，不能使用对应块的信息来预测增强层或视图中的当前块，这是因为不存在可用于对应块的信息。换句话说，不能使用来自基础层或视图的信息来译码不对应于基础层图片的实际帧大小或经译码帧大小内的区域的增强层或视图部分，且因此可降低译码效率。通过允许使用从基础层或视图导出的信息来预测增强层或视图的这些部分，本发明中所描述的技术可改善译码效率和/或降低与译码视频数据的方法相关联的计算复杂性。
[0008]本发明的系统、方法和装置各自具有若干创新方面，所述方面皆不单独负责本文中所揭示的所要属性。
[0009]在一个实施例中，一种经配置以译码视频信息的设备包含存储器单元和与所述存储器单元通信的处理器。所述存储器单元经配置以存储与具有第一块的增强层和具有第二块的基础层相关联的视频信息，所述基础层中的第二块对应于所述增强层中的第一块。所述处理器经配置以基于从基础层中的第二块导出的信息通过层间预测来预测增强层中的第一块。第二块的至少一部分位于基础层的参考区域外部，所述参考区域可供用于第一块的层间预测。从基础层中的第二块导出的信息可包含对应于最接近第二块的相邻块的信息。可通过将第二块的坐标信息截割到基础层的参考区域的范围(例如，在水平与垂直两方面)来定位所述相邻块。替代地，可在进行位置映射过程以确定基础层的第二块之前首先将第一块的坐标信息截割到基础层的当前经解码或经裁剪图片的范围。在第二块(或其一部分)经确定为位于基础层的参考区域外部的状况下，可针对第一块而停用语法元素和残余信息的层间预测，或替代地，可将默认的语法值用于第一块的层间预测。在另一实施例中，可将相邻块的语法值用于第一块的层间预测。增强层的最小译码单元(SCU)大小可经配置成与基础层的S⑶不同。增强层的每一图片边界的边界填补(padding)大小可经配置成与基础层的每一对应的图片边界的边界填补大小不同。
[0010]在另一实施例中，一种编码视频信息的方法包含:接收与基础层和增强层相关联的视频信息；和基于从基础层中的第二块导出的信息通过层间预测来预测增强层中的第一块，所述基础层中的第二块对应于所述增强层中的第一块；和基于从基础层中的第二块导出的信息通过层间预测来预测增强层中的第一块。第二块的至少一部分位于基础层的参考区域外部，所述参考区域可供用于第一块的层间预测。从基础层中的第二块导出的信息可包含对应于最接近第二块的相邻块的信息。可通过将第二块的坐标信息截割到基础层的参考区域的范围(例如，在水平与垂直两方面)来定位所述相邻块。替代地，可在进行位置映射过程以确定基础层的第二块之前首先将第一块的坐标信息截割到基础层的当前经解码或经裁剪图片的范围。在第二块(或其一部分)经确定为位于基础层的参考区域外部的状况下，可针对第一块而停用语法元素和残余信息的层间预测，或替代地，可将默认的语法值用于第一块的层间预测。在另一实施例中，可将相邻块的语法值用于第一块的层间预测。增强层的最小译码单元(SCU)大小可经配置成与基础层的SCU不同。增强层的每一图片边界的边界填补大小可经配置成与基础层的每一对应的图片边界的边界填补大小不同。
[0011]在另一实施例中，一种解码视频信息的方法包含:接收从经编码视频位流所提取的语法元素，其中所述语法元素包括与具有第一块的增强层和具有第二块的基础层相关联的视频信息，所述第二块对应于所述第一块；和基于从基础层中的第二块导出的信息通过层间预测来预测增强层中的第一块，其中所述第二块的至少一部分位于所述基础层的参考区域外部，所述参考区域可供用于第一块的层间预测。从基础层中的第二块导出的信息可包含对应于最接近第二块的相邻块的信息。可通过将第二块的坐标信息截割到基础层的参考区域的范围(例如，在水平与垂直两方面)来定位所述相邻块。替代地，可在进行位置映射过程以确定基础层的第二块之前首先将第一块的坐标信息截割到基础层的当前经解码或经裁剪图片的范围。在第二块(或其一部分)经确定为位于基础层的参考区域外部的状况下，可针对第一块而停用语法元素和残余信息的层间预测，或替代地，可将默认的语法值用于第一块的层间预测。在另一实施例中，可将相邻块的语法值用于第一块的层间预测。增强层的最小译码单元(SCU)大小可经配置成与基础层的SCU不同。增强层的每一图片边界的边界填补大小可经配置成与基础层的每一对应的图片边界的边界填补大小不同。
[0012]在另一实施例中，一种非暂时性计算机可读媒体包含代码，所述代码在执行时使设备执行以下步骤:存储与具有第一块的增强层和具有第二块的基础层相关联的视频信息，所述第二块对应于所述第一块；和基于从基础层中的第二块导出的信息通过层间预测来预测增强层中的第一块，其中第二块的至少一部分位于基础层的参考区域外部，所述参考区域可供用于第一块的层间预测。
[0013]在另一实施例中，一种经配置以译码视频信息的视频译码装置包含:用于存储与具有第一块的增强层和具有第二块的基础层相关联的视频信息的装置，所述第二块对应于所述第一块；和用于基于从基础层中的第二块导出的信息通过层间预测来预测增强层中的第一块的装置，其中第二块的至少一部分位于基础层的参考区域外部，所述参考区域可供用于第一块的层间预测。
【附图说明】
[0014]图1为说明视频编码和解码系统的实例的框图，所述视频编码和解码系统可利用根据本发明中所描述的方面的技术。
[0015]图2为说明视频编码器的实例的框图，所述视频编码器可实施根据本发明中所描述的方面的技术。
[0016]图3为说明视频解码器的实例的框图，所述视频解码器可实施根据本发明中所描述的方面的技术。
[0017]图4为说明基础层和增强层中的各种帧的图。
[0018]图5为说明根据本发明的一个实施例的译码视频信息的方法的流程图。
【具体实施方式】
[0019]本文中所描述的某些实施例涉及在先进的视频编码解码器(例如，HEVC(高效率视频译码))的内容脉络中用于可缩放视频译码的层间预测。更具体地说，本发明涉及用于在HEVC的可缩放视频译码(SVC)扩展中改善层间预测的性能的系统和方法。
[0020]在以下的描述中，描述了与某些实施例相关的H.264/AVC技术；也论述了 HEVC标准和相关技术。虽然本文中在HEVC和/或H.264标准的内容脉络中来描述某些实施例，但一般所属领域的技术人员可了解，本文中所揭示的系统和方法可适用于任何合适的视频译码标准。例如，本文中所揭示的实施例可适用于以下标准中的一或多者:ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 ISO/IEC MPEG_2Visual、ITU-T Η.263、ISO/IECMPEG-4Visual 和 ITU-T H.264(也称为 ISO/IEC MPEG-4AVC)(包含所述 ITU-T H.264 的可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)。
[0021]仅为了说明的目的，通过仅包含两个层(例如，例如基础层的较低层级的层，和例如增强层的较高层级的层)的实例来描述本文中所揭示的某些实施例。应理解，这些实例可适用于包含多个基础层和/或增强层的配置。另外，为了解释的容易性，以下揭示内容包含关于某些实施例的术语“帧”或“块”。然而，这些术语并不意谓具限制性。例如，可将下文所描述的技术与任何合适的视频单元(例如，块(例如，CU、PU、TU、宏块等)、图块、帧等)一起使用。
[0022]HEVC大体上在许多方面遵循先前视频译码标准的构架。HEVC中的预测单元与某些先前视频译码标准中的预测单元(例如，宏块)不同。事实上，宏块的概念并不像在某些先前视频译码标准中所理解一般存在于HEVC中。宏块由基于四分树方案的阶层式结构来替代，所述四分树方案可提供高灵活性以及其它可能的益处。例如，在HEVC方案内，定义三种块类型，即，译码单元(CU)、预测单元(PU)和变换单元(TU)。CU可指区域分裂的基本单元。可将CU视为类似于宏块的概念，但CU并不限制最大大小且可允许递归分裂成四个相等大小的CU以改善内容自适应性。可将PU视为帧间/帧内预测的基本单元且PU可在单一PU内含有多个任意形状的分割区以有效地译码不规则图像图案。可将TU视为变换的基本单元。可独立于PU来定义TU;然而，TU的大小可受限于其所属的CU。将块结构以此方式分成三种不同概念可允许每一者根据其作用而被优化，从而可导致改善的译码效率。
[0023]视频译码标准
[0024]数字图像(例如，视频图像、TV图像、静态图像或由视频记录器或计算机所产生的图像)可由按多个水平和垂直行布置的像素组成。单一图像中的像素的数目通常为数万个。每一像素通常含有明度和色度信息。在不压缩的情况下，待从图像编码器传递到图像解码器的信息的数量如此庞大，以致于其使实时图像传输不可能实现。为了减少待传输的信息的量，已开发了若干不同压缩方法(例如，JPEG, MPEG和H.263标准)。
[0025]视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262 或 ISO/IEC MPEG-2Visual、ITU-T H.263、IS0/IEC MPEG_4Visual 和 ITU-T H.264 (也称为 ISO/IECMPEG-4AVC)(包含所述ITU-T H.264的可缩放视频译码(SVC)和多视图视频译码(MVC)扩展)，以上各者皆以全文引用的方式而并入本文。
[0026]另外，正由ITU-T视频译码专家群(VCEG)和ISO/IEC运动图片专家群(MPEG