双层帧相容全分辨率立体3d视频输送的利记博彩app

双层帧相容全分辨率立体3d视频输送的利记博彩app
【专利摘要】3D图像可被编码成基层中的降低分辨率图像数据和一个或更多个增强层中的增强层（EL）图像数据。可在EL图像数据中使用不同类型的数据组成。不同类型的数据组成可包含用于左眼透视图和右眼透视图中的一个或两者的未过滤全分辨率图像数据、或用于例如亮度通道的颜色通道的未过滤全分辨率图像数据、或用于图像帧的选择部分的未过滤全分辨率图像数据、或备用数据组成。基于包含比特率要求和带宽约束的决定因子，不同类型的数据组成可替代性地被上游装置使用以将可能的最佳3D图像数据输送至各种各样的下游装置。上游装置可向下游装置通知具有EL图像数据描述符的特定类型的数据组成。
【专利说明】双层帧相容全分辨率立体3D视频输送
[0001]对相关申请的交叉引用
[0002]本申请要求在2011年9月29日提交的美国临时专利申请N0.61/541005作为优先权，其全部内容通过引用被并入这里。
【技术领域】
[0003]本发明总体上涉及图像数据。更特别地，本发明的示例性实施例涉及用于立体3D图像的图像数据。
【背景技术】
[0004]由于半分辨率3D内容仅包含从全分辨率3D图像帧二次采样的半分辨率图像帧，因此用于3D内容输送的帧相容半分辨率(FCHR)方案遭受劣化的空间分辨率。
[0005]帧相容全分辨率(FCFR)方案可被用于通过经由基层发送半分辨率3D图像帧并经由增强层发送互补半分辨率3D图像帧来产生全分辨率3D图像帧。半分辨率3D图像帧和互补半分辨率3D图像帧可由接收装置组合成全分辨率的3D图像帧。
[0006]但是，双层FCFR方案实现低通过滤，以减少/去除半分辨率图像帧中的混叠。当通过低通过滤去除图像帧中的高频率内容时，下游装置不能恢复处于高空间频率内容中的所有的细微细节和构造。虽然仍可构建全分辨率3D图像帧，但3D图像帧中的像素会被低通过滤不可逆地修改，并且不可被用于再现导致3D图像帧的原始3D内容中的原始分辨率和锐度。
[0007]在本部分中描述的方法是可从事的方法，但未必是以前已经构想或从事的方法。因此，除非另外指出，否则，不应仅凭借包含于本部分中而认为在本部分中描述的方法中的任一种为现有技术。类似地，除非另外指出，否则，关于一种或更多种方法识别的问题不应基于本部分而认为在任何现有技术中已被识别。
【专利附图】

【附图说明】
[0008]在附图中作为例子而决不是限制示出本发明，其中，类似的附图标记表示类似的要素，并且，
[0009]图1A示出示例性的多层3D视频编码器，图1B示出示例性的基层3D视频解码器，图1C示出示例性的多层3D视频解码器；
[0010]图2示出与颜色空间相关的采样方案中的示例性的图像容器；
[0011]图3A?3E示出与增强层图像数据有关的图像数据组成的示例性类型；
[0012]图4示出与增强层图像数据有关的一些示例性备用(fallback)数据组成；
[0013]图5A和图5B示出根据本发明的示例性实施例的示例性处理流程；并且
[0014]图6示出根据本发明的实施例的在其上可实现这里描述的计算机或计算装置的示例性硬件平台。【具体实施方式】
[0015]这里描述涉及在不同的显示能力之间基于感知亮度非线性的图像数据交换的示例性实施例。在以下的描述中，出于解释的目的，为了使得能够彻底理解本发明，阐述了大量的特定细节。但应理解，可以在没有这些特定细节的情况下实施本发明。在其它情况下，为了避免不必要地遮蔽、掩盖或混淆本发明，不以详尽的细节描述公知的结构和装置。
[0016]这里根据以下的要点描述示例性实施例:
[0017]1.总体概要
[0018]2.多层视频输送
[0019]3.图像容器和图像数据组成
[0020]4.示例性的图像数据组成
[0021]4.1互补图像数据
[0022]4.2用于两个透视图中的一个的未过滤全分辨率图像数据
[0023]4.3分辨率不对称的未过滤亮度图像数据
[0024]4.4未过滤全分辨率图像数据的选择部分
[0025]4.5用于透视图中的一个的未过滤全分辨率亮度图像数据的选择部分
[0026]4.6备用或替代性图像数据组成
[0027]5.示例性处理流程
[0028]6.实现机构一硬件概要
[0029]7.等同、扩展、替代和其它
[0030]1.总体概要
[0031]本概要给出本发明的示例性实施例的一些方面的基本描述。应当注意，本概要不是示例性实施例的各方面的详尽或全面的概括。并且，应当注意，本概要不应被理解为识别示例性实施例的任何特别重要的方面或要素，也不应被理解为特别地将示例性实施例的任何范围划界，也不总体上将本发明划界。本概要仅以简要和简化的格式给出与示例性实施例有关的一些概念，并且应被理解为仅是以下给出的示例性实施例的更详细的描述的概念性序言。
[0032]当从基于因特网的内容提供商通过网络连接输送视频数据时，分配给诸如计算装置上的3D显示应用的接收显示应用的比特率受到限制并会随时间明显改变，在诸如晚间的峰值网络访问时间尤其如此。
[0033]为了支持可能最广的多种3D图像呈现装置，3D图像内容可作为具有降低分辨率的帧相容3D图像帧(或图片)被输送。如讨论的那样，3D图像帧可从全分辨率3D图像帧二次采样为降低分辨率3D图像帧；可通过低通滤波器去除全分辨率3D图像帧中的高空间频率内容以防止二次采样图像帧中的混叠。
[0034]本发明的实施例利用人视觉在立体3D观察的情况下的感知冗余和眼间掩蔽效果。当观察3D图像的两种不同的透视图(perspective)的3D图像巾贞(同时或者以巾贞顺序的方式)时，人眼趋于以3D图像的两个图像帧中的图像细节相对更多的图像帧的分辨率感知3D图像。人视觉还更适于检测亮度水平而不是色度值的差异。
[0035]实施例包括将多层3D图像数据编码并将其提供给下游装置。在一些示例性实施例中，虽然在基层中向接收装置提供3D图像的帧相容的降低分辨率左眼(LE)和右眼(RE)图像帧，但在与基层分开的一个或更多个增强层中对于特定的透视图和/或对于一个或更多个特定的颜色通道向接收装置提供3D图像的附加的3D图像数据。附加的3D图像数据可被接收装置使用以提高输出3D图像的质量。
[0036]可以使用与不同的颜色空间和/或不同的采样率相关联的大量的不同类型的图像容器以承载增强层图像数据。对大量的不同类型的图像容器中的每一个，大量的不同类型的数据组成可被用于承载增强层(EL)图像数据。在示例性实施例中，下游装置具有EL图像数据(针对3D图像序列中的3D图像)，其的至少包含用于透视图(可以是左眼透视图或右眼透视图)和/或用于颜色通道的全分辨率未过滤图像数据的一部分。
[0037]可对于不同的透视图和/或对于采用的颜色空间(例如，RGB、YCbCr等)的不同的颜色通道提供不同量的未过滤图像数据。未过滤图像数据可被能够实现多层的下游装置使用，以改进从一个或更多个基层视频信号解码的图像帧的分辨率。例如，输出3D图像帧(例如，左眼图像帧)的颜色通道(例如，亮度)可被填充未过滤图像数据(例如，亮度图像数据)。得到的输出3D图像帧可以是分辨率对称的或者可以不分辨率对称。
[0038]如这里使用的那样，术语“颜色通道”指的是颜色空间中的分量。在RGB颜色空间中，颜色通道可包含红、绿和蓝颜色通道。在YCbCr颜色空间中，颜色通道可包含亮度和色度通道。因此，这里描述的颜色通道可指的是诸如亮度通道的灰度级通道。如这里使用的那样，术语“全分辨率未过滤图像数据的一部分”可指的是颜色通道中的未过滤全分辨率图像数据。
[0039]不同类型的数据组成的自适应切换可被上游装置使用，以向下游装置输送可能的最佳质量EL图像数据。如这里使用的那样，术语“质量”可通过可在输出3D图像中再现的可感知图像细节被测量。
[0040]在示例性实施例中，诸如内容提供商服务器的上游装置被配置为基于一个或更多个决定因子确定用于将全分辨率未过滤3D图像数据的至少一部分携带到接收装置的特定类型的数据组成。作为该确定的一部分，上游装置可选择该特定类型的数据组成以在增强层中传送最佳质量图像数据。EL图像数据可用于特定的透视图、两个透视图和/或一个或更多个特定的颜色通道。这里描述的决定因子的例子可包含但不仅限于不同类型的数据组成各自的带宽要求、上游装置和接收装置之间的当前网络连接的带宽约束、当前网络连接支持的最大、平均或最小比特率和/或当前网络连接的服务质量(包损失、比特误差等)。
[0041]EL图像数据描述符可连同EL图像数据被提供，以信令增强层中的特定颜色通道和/或特定的透视图中的EL图像数据的有无。EL图像数据描述符可包含指示与EL图像数据的不同数据部分相关联的透视图的校验信息和指示与EL图像数据的不同数据部分相关联的通道的通道信息。可作为补充增强信息(SEL)或视频比特流中可用的其它类似的元数据载体的一部分传送EL图像数据描述符。
[0042]在示例性实施例中，诸如图像呈现装置的下游装置被配置为接收包含这里描述的多层图像数据的视频信号，并基于接收的EL图像数据描述符确定EL图像数据是否可用于特定的透视图和/或一个或更多个特定的颜色通道。如果情况如此，那么下游装置因此从特定的透视图和/或一个或更多个特定的颜色通道的一个或更多个输入视频信号解码EL图像数据，并且使用解码的EL图像数据以改善/替代从基层构建的过滤降低分辨率图像帧中的对应部分。[0043]由于3D图像的质量和锐度的感知朝观看更多的可检测图像细节的眼睛更强地加权，因此可对特定的透视图和/或特定的颜色通道差动调整在这里描述的视频信号中编码的LE和RE图像帧的绝对分辨率和相对分辨率。调整分辨率可基于上述的决定因子，并且可动态、手动、从节目到节目地进行，等等。
[0044]实现这里描述的技术的编解码器可被配置为包含用以充分利用基层(BL)图像数据与原始未过滤全分辨率输入图像数据之间的统计冗余的层间预测能力。EL图像数据可(仅仅是可能)承载残差(或差动)图像数据，而不是在不利用不同层的图像数据中的统计冗余的情况下承载大量的全分辨率未过滤图像数据。在增强层中提供的残差图像数据使得下游装置能够高效地用全分辨率未过滤图像数据的至少一部分构建图像帧。例如，用于产生预测基准帧或其中的预测基准值的预测参数可连同残差图像数据被提供给接收装置。通过在至少部分地基于接收的预测参数和BL图像数据重构的预测基准帧或其中的预测基准值的上面添加残差图像数据，可在接收装置重构未过滤全分辨率图像数据。
[0045]在一些示例性实施例中，编解码器可被配置为包含如在ITU-T推荐H.264和ISO/IEC14496-10中描述的那样使用的视图间预测能力。在一些示例性实施例中，RPU (基准处理单元)可被用于改进用于增强层压缩的层间预测的效率。
[0046]在一些示例性实施例中，其它应用所需要的数据也可与全分辨率未过滤图像数据一起被包含在增强层中。这里描述的基层和增强层可支持由可在商业上从SanFrancisco, California 的 Dolby Laboratories 得到的 FCFR 技术提供的特征。
[0047]本发明的实施例可使带宽或比特率使用最小化，并保留具有降低分辨率的帧相容3D图像数据，这可支持各种电视、显示器和其它图像呈现装置。并且，与不使用这里描述的技术的其它方法相比，一些可用系统部件的重新使用和自适应特征以及改进能力允许相对较低成本的实现。
[0048]这里描述的技术在EL图像数据的不同类型的数据组成之中交替，以在变化的网络条件下实现最佳的3D图像质量，需要很少的数据量，但仍提供与如下情况类似的主观图片质量，即在其它技术下使用更多的数据以为左眼和右眼提供具有全分辨率未过滤图像数据的分辨率对称3D图像数据。
[0049]在一些示例性实施例中，这里描述的机构形成媒体处理系统的一部分，包含但不限于:手持装置、游戏机、电视、膝上型计算机、笔记本计算机、平板计算机、蜂窝无线电电话、电子书阅读器、销售点终端、台式计算机、计算机工作站、计算机售货亭或各种其它类型的终端和媒体处理单元。
[0050]对于本领域技术人员来说，这里描述的优选实施例和一般原理及特征的各种修改是容易想到的。因此，本公开不是要被局限于所示的实施例，而是要被赋予与这里描述的原理和特征一致的最宽的范围。
[0051]2.多层视频输送
[0052]图1A表示根据示例性实施例的多层3D视频编码器(100)。在示例性实施例中，多层视频编码器(100)被配置为编码由3D输入图像序列构成的输入3D视频序列。在示例性实施例中，3D图像序列中的3D输入图像包含全分辨率未过滤3D图像数据(包含但不仅限于高空间频率内容)，其的至少一部分可被承载在由多层3D视频编码器(100)产生的一个或更多个输出视频信号中。如这里使用的那样，术语“全分辨率”可指的是图像帧中的可独立设定像素的总数在最大程度上支持的空间频率。在示例性实施例中，构成3D图像序列中的3D输入图像的图像数据可被解码成3D输入图像的输入左眼(LE)图像帧(102-L)和输入右眼(RE)图像帧(102-R)。
[0053]在示例性实施例中，多层3D视频编码器(100)中的一个或更多个过滤机构(例如，104-L和104-R)基于输入LE和RE图像帧(102-L和102-R)产生经过滤的LE和RE图像数据(106-L和106-R)。可通过从输入LE和RE图像帧(102-L和102-R)去除高空间频率内容的全部或大部分来产生经过滤的LE和RE图像数据(106-L和106-R)。可通过过滤机构(例如，104-L和104-R)中的一个或更多个低通滤波器(LPF)执行过滤。在示例性实施例中，这里描述的过滤去除或基本上抑制与输入LE和RE图像帧(102-L和102-R)支持的全分辨率的分数(例如，一半、三分之一等)对应的阈值频率之上的输入图像中的任何空间频率内容。
[0054]如这里使用的那样，术语“高空间频率内容”可指的是存在于输入3D视频序列中但出于抗混叠目的例如通过低通滤波器被从经过滤的图像数据去除的高空间频率图像细节。如果已发生高空间频率内容的去除，那么这会是不可逆的，原因是下游装置将不能通过经过滤的图像数据再现高分辨率图像细节。
[0055]在示例性实施例中，可被实现为过滤机构(例如，104-L和104-R)的一部分或者该过滤机构的附加物的一个或更多个采样器(例如，在图1A的104-L和104R中以向下的箭头示出的下采样器)执行作为产生经过滤的LE和RE图像数据(106-L和106-R)的一部分的采样(下采样)。在示例性实施例中，采样器将经过滤的LE图像数据分成两半，其中之一包含二次采样(例如，每奇数列；每奇数行；或列和/或行的其它交错分解)LE图像数据部分，另一个包含互补二次采样(例如，每偶数列；每偶数行；或列和/或行的其它交错分解)LE图像数据部分。类似地，采样器将经过滤的RE图像数据分成两半，其中之一包含二次采样(例如，每奇数列；每奇数行；或列和/或行的其它交错分解)RE图像数据部分，另一个包含互补二次采样(例如，每偶数列；每偶数行；或列和/或行的其它交错分解)RE图像数据部分。
[0056]在示例性实施例中，多路复用器(例如，Muxl08_l)将经过滤的LE和RE图像数据(106-L和106-R)多路复用为多路复用3D图像帧(112-1)。多路复用3D图像帧(112-1)包含用于左眼的(例如，下采样)图像数据部分和用于右眼的(例如，下采样)图像数据部分。多路复用3D图像帧可通过下游装置被解码成小于全分辨率的100%的降低分辨率(例如，半分辨率等)的LE图像帧和RE图像帧。这种解码的降低分辨率的LE和RE图像帧可被上采样，以包含数量与全分辨率图像帧相同的像素，但与不通过上采样操作获得的全分辨率图像相t匕，具有较不明确(less defined)的外观。
[0057]在示例性实施例中，多路复用3D图像帧(I 12-1)包含用于左眼的全分辨率图像帧中的像素总数的一半(例如，每隔一列或每隔一行)的图像数据以及用于右眼的另一半的图像数据。降低分辨率LE和RE图像数据部分可被以并排格式、上下格式、梅花形格式、棋盘格式、交错格式、以上格式的组合或其它复用格式多路复用为多路复用3D图像帧(112-1)。
[0058]可以使用一个或更多个增强层以承载具有针对LE和RE透视图中的一个或两者和/或LE和RE透视图中的一个或两者中的颜色通道中的一个或更多个的未过滤高空间频率内容的至少一部分的输出视频信号。在示例性实施例中，BL编码器(110)至少部分地基于多路复用3D图像帧(112-1)产生要在基层帧相容视频流(BL FC视频流118-1)中承载的基层视频信号，而EL编码器(116)至少部分地基于(未过滤)输入LE图像帧(102-L)和(未过滤)输入RE图像帧(102-R)中的一个产生要在增强层视频流(EL视频流118-1)中承载的具有针对特定的透视图和/或特定的通道的未过滤高空间频率内容的增强层视频信号，该增强层视频流(EL视频流118-1)可以是帧相容的或者可以不是帧相容的。可通过使用诸如H.264/AVC、VP8、VC-1和/或其它的多个编解码器中的一个或更多个实现BL编码器(110)和EL编码器(116)中的一个或两者。
[0059]可通过使用(例如，通过诸如VC-1、H.264/AVC和/或其它的视频编解码器实现的)混合视频编码方法，产生这里描述的增强层视频信号。具有未过滤全分辨率图像数据的至少一部分的LE或RE图像帧中的图像数据可从同一图像帧中的相邻的采样(使用帧内预测)被预测，或者从来自属于同一层并且作为经运动补偿的预测基准被缓冲在预测基准图像帧缓冲器内的以前解码的图像帧的采样被预测(帧间预测)。层间预测也可至少部分地基于来自其它层(例如，基层)的解码信息。
[0060]附加地和/或可选地，多层3D视频编码器(100)可包含执行与预测有关的一个或更多个操作的基准处理单元(RPU114)。通过基准处理单元实现的预测可减少多层3D视频解码器(例如，图1C的150)中通过未过滤全分辨率图像数据的至少一部分构建图像帧的开销。RPU (114)可从BL编码器110接收BL图像数据，并通过帧内预测或帧间预测(或估计或其它方法)产生预测基准图像帧。
[0061]在示例性实施例中，决策器(decis1n maker) (120)从(未过滤)输入LE图像中贞(102-L)和(未过滤)输入RE图像帧(102-R)提取EL图像数据，并将EL图像数据存储于增强层图像帧(I 12-2)中。EL图像帧(I 12-2)可包含仅来自(未过滤)输入LE图像帧(102-L)和(未过滤)输入RE图像帧(102-R)中的一个的图像数据。作为替代方案和/或可选地，EL图像帧(I 12-2)可包含来自(未过滤)输入LE图像帧(102-L)和(未过滤)输入RE图像帧(102-R)两者的图像数据。作为替代方案和/或可选地，EL图像帧(112-2)可包含来自(未过滤)输入LE图像帧(102-L)和(未过滤)输入RE图像帧(102-R)中的一个或两者中的不同颜色通道的图像数据。
[0062]EL图像帧(112-2)可通过下游装置被解码成图像数据的不同的部分，这些部分中的至少一个是未过滤全分辨率图像数据。下游装置可组合基层(112-1)中的过滤图像数据与增强层(112-2)中的图像数据，以产生分辨率比完全从基层(112-1)中的过滤图像数据构建的图像帧的分辨率高的一个或更多个输出图像帧。
[0063]在示例性实施例中，决策器(120)被配置为产生描述EL视频流(118-3)中的EL图像数据(112-2)的EL图像数据描述符。EL图像数据描述符中的一个或更多个字段的值可以是数值、基于字符的值、以上的组合或其它类型的代表值，只要EL图像数据描述符的值指示EL视频流(118-3)中的EL图像数据(112-2)的诸如特定透视图和/或颜色通道的数据组成即可。决策器(120)被配置为基于基层图像数据、(未过滤)输入LE图像帧(102-L)和(未过滤)输入RE图像帧(102-R)中的一个或更多个决定EL图像数据描述符的值。在示例性实施例中，决策器(120)向RPU (114)提供EL图像数据描述符。EL图像数据描述符和与EL图像数据描述符相关联的图像帧的识别信息可通过使用EL RPU流(118-2)(例如，作为SEI的一部分)被信令到下游装置。在示例性实施例中，决策器(120)被配置为设立要提供给EL编码器(116)的EL图像数据(112-2)的数据流路径。EL图像数据(112-2)然后通过EL编码器(116)被编码成一个或更多个EL视频信号。[0064]在利用这种预测的那些示例性实施例中，EL编码器(116)至少部分地基于(a)未过滤输入LE图像帧(102-L)和未过滤输入RE图像帧(102-R)中的一个或两者和(b)预测基准图像帧产生未过滤图像残差(预测基准图像帧与未过滤输入LE图像帧(102-L)和未过滤输入LE图像帧(102-L)的未过滤全分辨率图像数据的至少一部分之间的差)作为EL图像数据(112-2)，将EL图像数据(112-2)编码在要在EL视频流(118-3)中承载的增强层视频信号中。并且，RPU (114)至少部分地基于预测基准图像帧产生要在增强层(EL) RPU流(118-2)中承载的基准视频信号。
[0065]由多层3D视频编码器(100)或其中的决策器(120)进行的决定引导一个或更多个增强层比特流的创建。因此，决定与一个或更多个视频信号一起被传送到下游装置，以供下游装置使用它们以便正确地用EL图像数据构建输出3D图像巾贞。可在EL RPU流(118-2)中承载或者以其它类似的方式传送这种信号。附加地和/或可选地，用于指示任何需要的通过下游装置的过滤的索引可出于在视频解码器侧构建LE或RE输出图像帧的目的被提供给下游装置。
[0066]在一些实施例中，不同的透视图可承载在不同的时间未过滤全分辨率图像数据的不同部分(包含零量)；同一透视图中的不同颜色通道也可承载在不同的时间未过滤全分辨率图像数据的不同部分(包含零量)。用户能够注意到与不同的透视图和/或颜色通道中的未过滤全分辨率图像数据的这些变化相关联的“闪烁”。在一些示例性实施例中，这可通过一种或更多种先进的后处理技术(例如通过用诸如运动估计运动补偿(MEMC)或3D内插技术的方法内插丢失的像素)在接收器/解码器侧得到改善。
[0067]在一些示例性实施例中，可通过小的转变周期(transit1n per1d),诸如几分之一秒、一秒、多秒、一巾贞、多巾贞、一个场景、多个场景、一个节目、多个节目或其它的时间间隔来实现增强层中的交替的不同类型的数据组成。例如，当在EL图像数据(112-2)中包含未过滤LE图像数据的第一数据组成被包含未过滤RE图像数据的第二数据组成替代时，这里描述的多层3D视频编码器(例如，100)可将未过滤LE图像数据的全分辨率逐渐(在连续的帧中；以避免单个帧的急剧切换)按比例缩小(scale down)到与基层中的过滤RE图像帧的分辨率相当的转变分辨率(与之相等、与之在相同的分辨率范围内、与之的分辨率差为百分之五(5%)或另一更小的百分比等)。当通过EL图像数据(112-2)中的按比例缩小LE图像数据达到该转变分辨率时，按比例缩小到与转变分辨率相当的开始分辨率的未过滤RE图像数据被编码成EL图像数据(112-2)(在一些示例性实施例中，包含EL基准层)。多层3D视频编码器(100)可将EL图像数据(112-2)中的RE图像数据逐渐(在连续的帧中)从开始分辨率按比例放大(scale up)到未过滤RE图像数据的全分辨率。
[0068]在一些示例性实施例中，可通过下游装置执行在增强层中交替不同类型的数据组成时逐渐转变分辨率。例如，多层3D视频编码器(100)可从预定的一组滤波器选择滤波器。当被应用时，该滤波器可在承载于增强层中的图像数据中逐渐减小用于一只眼睛的分辨率而逐渐增加用于另一只眼睛的分辨率。在示例性实施例中，多层3D视频编码器(100)可包含在EL RPU流中承载的RPU数据中的滤波器索引。滤波器索引可被下游装置使用以查找预先配置的一组可用的滤波器，并确定该预先配置的一组可用滤波器中的哪一个应被应用以在不同类型的数据组成之间逐渐转变图像帧的分辨率。
[0069]图1B示出根据示例性实施例的基层视频解码器(150-1)，其处理其中已从原始视频序列(可以是结合图1A讨论的输入视频序列)去除了高空间频率内容的一个或更多个输入视频信号。在示例性实施例中，基层视频解码器(150-1)被配置为将从基层接收的BL输入视频信号(图1B的BL FC视频流118-1)解码成输出3D图像序列，而在由解码器接收的物理信号中可能存在或者可能不存在其它层中的视频信号。在示例性实施例中，基层视频解码器(150-1)被预先配置或者替代性地被动态或手动配置为忽略BL FC视频流(I 18-1)以外的其它流中的视频信号的任何存在。
[0070]由基层视频解码器(150-1)产生的输出3D图像序列中的输出3D图像不包含全分辨率未过滤3D图像数据，原因是导致输入视频信号的原始视频序列中的高空间频率内容已从通过基层视频解码器(150-1)处理的输入视频信号被过滤/去除，并且不能通过基层视频解码器(150-1)从这些输入视频信号被恢复。
[0071]在示例性实施例中，BL解码器(图1B的152)至少部分地基于BL FC视频流(图1B的118-1)中的BL输入视频信号产生多路复用3D图像帧(图1B的158-1)。可通过使用诸如H.264/AVC、VP8、VC-1等的任何可用的或将来的视频编解码器实现BL解码器(图1B的152)。
[0072]在示例性实施例中，上采样单元(174)将多路复用3D图像帧(158_1)解复用和/或分离成两个图像数据部分。在多路复用3D图像帧(158-1)包含用于两个透视图的多路复用过滤图像数据的情况下，图像数据部分包含经过滤的LE图像数据部分和经过滤的RE图像数据部分，它们均处于低于全分辨率的降低分辨率。在示例性实施例中，上采样单元(174)上采样经过滤的LE图像数据部分以形成低于全分辨率的上采样LE过滤输出图像帧(172-L)。类似地，上采样单元(174)上采样经过滤的RE图像数据部分以形成低于全分辨率的上采样RE过滤输出图像帧(172-R)。尽管上采样LE和RE过滤图像帧(172-L和172-R)中的每一个可包含与全分辨率图像帧相同数量的像素，但是，与由不通过上采样操作获得的全分辨率LE和RE图像帧构成的3D图像相比，通过上采样LE和RE过滤图像帧(172-L和172-R)呈现的3D图像具有较不明确的外观。另外，上采样LE和RE过滤图像帧(172-L和172-R)不具有在基层中的输入视频信号的编码过程中被去除的高空间频率图像细节。
[0073]可通过显示装置(例如，可包含基层视频解码器150-1)表现低于全分辨率的上采样LE和RE过滤图像帧(172-L和172-R)以呈现输出3D图像。呈现上采样LE和RE过滤图像帧(172-L和172-R)可以为但不限于帧顺序方式。
[0074]图1C示出根据示例性实施例的处理包含未过滤高空间频率内容的输入视频信号的多层3D视频解码器(150)。在示例性实施例中，在包含基层和一个或更多个增强层的多个层(或多个比特流)中接收输入视频信号。如这里使用的那样，术语“多层”或“多个层”可指的是承载视频信号的两个或更多个比特流，该视频信号在(视频信号中)相互之间具有一个或更多个逻辑依赖关系。
[0075]在示例性实施例中，多层3D视频解码器(150)被配置为将BL FC视频流(图1C的118-1)、ELRPU流(图1C的118-2)和EL视频流(图1C的118-3)中的一个或更多个输入视频信号解码成输出3D图像序列。在示例性实施例中，输出3D图像序列中的输出3D图像的图像帧包含未过滤全分辨率图像数据的至少一部分。
[0076]多层3D视频解码器(150)可组合在一个或更多个增强层(例如，EL RPU流118_2和EL FC视频流118-3)中接收的图像数据与在基层(例如，BL FC视频流118-1)中接收的图像数据，以产生输出图像帧。
[0077]在示例性实施例中，BL解码器(152)至少部分地基于BL FC视频流(118_1)中的BL视频信号产生多路复用3D图像帧(158-1)。多路复用3D图像帧(158-1)包含用于两个透视图的多路复用的过滤图像数据。多路复用的过滤图像数据包含用于第一透视图(例如，左眼视图)的第一过滤图像数据部分和用于第二透视图(例如，右眼视图)的第二过滤图像数据部分。
[0078]在示例性实施例中，EL解码器(156)至少部分地基于EL视频流(图1C的118-3)中的EL视频信号产生包含EL图像数据的EL图像帧(158-2)，其可包含存在于原始输入视频序列(例如，图1A的输入视频序列)中的未过滤全分辨率图像数据的至少一部分。
[0079]可通过使用诸如H.264/AVC、VP8、VC-1等的任何可用的或将来的视频编解码器，实现BL解码器(152)和EL解码器(156)中的一个或两者。
[0080]在示例性实施例中，多层解复用器(178)被配置为从BL编码器(152)、RPU( 154)和EL解码器(156)接收中间图像数据。中间图像数据可包含(a)多路复用3D图像帧(158-1 )、(b)具有EL图像数据的EL图像帧(158-2)、(c)用于产生预测基准图像帧或预测基准值的预测参数和/或(d) EL图像数据描述符。
[0081]在示例性实施例中，多层解复用器(178)被配置为分离和上采样多路复用3D图像帧(158-1)中的第一和第二过滤图像数据部分，以形成低于全分辨率的用于第一透视图的第一上采样过滤输出图像帧和用于第二透视图的第二上采样过滤输出图像帧。尽管这里描述的上采样过滤图像帧可包含与全分辨率图像帧数量相同的像素，但是，与不通过上采样操作获得的全分辨率图像帧相比，上采样过滤图像帧具有较不明确的外观。另外，上采样过滤图像帧不具有在多层解码器(150)的输入视频信号的编码处理中被去除的高空间频率图像细节。
[0082]EL图像帧(158-2)可包含用于第一透视图(例如，左眼视图)的第三图像数据部分和用于第二透视图(例如，右眼视图)的第四图像数据部分。在一些示例性实施例中，第三图像数据部分和第四图像数据部分包含未过滤全分辨率图像数据的至少一部分。
[0083]在示例性实施例中，多层解复用器(178)被配置为使EL图像帧(158-2)中的第三和第四图像数据部分相互分离。多层解复用器(178)可基于从RFU (154)接收的EL图像数据描述符分离第三和第四图像数据部分。
[0084]在利用这些预测的那些示例性实施例中，多层解复用器(178)至少部分地基于第一和第三图像数据部分和预测参数产生用于第一透视图的第一输出图像帧(例如，176-L)。多层解复用器(178)还可至少部分地基于第二和第四图像数据部分和预测参数产生用于第二透视图的第二输出图像帧(例如，176-R)。在各种实施例中，第一和第二输出图像帧中的零个、一个或两者包含未过滤高空间频率内容。
[0085]可通过显示装置(例如，可包含多层3D视频解码器150)呈现第一输出图像帧(176-L)和第二输出图像帧(176-R)以表现输出3D图像。呈现RE和EL图像帧可以为但不限于帧顺序方式。
[0086]3.图像容器和图像数据组成
[0087]在一些实施例中，当BL和EL视频流两者连同RPU流一起在输入视频信号中可用时，下游装置(可以是结合有图1C的多层3D视频解码器150的显示装置)产生全分辨率(FR)图像帧。图1C所示的多层解码器(150)可被用于至少部分地基于在一个或更多个增强层中传送的EL图像数据(图1A的112-2或图1C的158-2)重构全分辨率图像帧。
[0088]在各种实施例中，多层3D视频编码器(图1A的100)向下游装置提供多个不同类型的EL图像数据(例如，112-2)。多种不同类型的EL图像数据(112-2)中的每一个可包含EL图像数据的不同数据组成。EL图像数据的不同的数据组成与EL图像数据中的未过滤全分辨率图像数据的各部分的不同组合对应。
[0089]上游装置(可包含图1A的多层3D视频编码器100)可通过随时间交替EL图像数据的不同的数据组成来自适应地切换/转变输出视频信号的图像数据内容。可按时域多路复用的方式在EL图像数据内多路复用未过滤全分辨率图像数据的多个部分。自适应内容切换/转变可按几分之一秒、一秒、多秒、一巾贞、多巾贞、一个场景、多个场景、一个节目、多个节目或其它的时间间隔发生。可以使用包含与信号特性、图像内容、比特率要求、带宽约束、网络条件等有关的决定因子的一个或更多个决定因子作为用于确定是否以及什么时候应在EL层中以时域多路复用的方式承载未过滤全分辨率图像数据的部分的不同组合的基础。
[0090]根据在这里描述的技术，可以使用各种不同类型的图像容器以承载EL图像数据。如这里使用的那样，术语“图像容器”可指的是用于保持像素值和/或相关联的元数据的图像数据结构；图像容器可以是基于标准的、专有的或者由标准或专有规范的扩展限定的。图像容器可被限定为保持一个或更多个图像帧。在示例性实施例中，对单个图像帧限定的图像容器可被用于承载图像数据(例如，图1A的未过滤全分辨率图像帧102-L和102-R)的多路复用数据部分(例如，来自不同的透视图和/或不同的颜色通道)。如这里使用的那样，“在图像容器中保持图像数据”可指的是图像数据可在逻辑上被映射到图像容器的特定图像数据结构中。
[0091]第一示例性类型的图像容器可以是被限定为保持RGB颜色空间(sRGB、adobeRGB或其它RGB颜色空间)中的红、绿和蓝色通道值的图像容器。第二示例性类型的图像容器可以是被限定为保持YCbCr颜色空间中的亮度和色度值的图像容器。可根据这里描述的技术等同地使用其它类型的图像容器。
[0092]根据这里描述的技术，各种不同的采样方案可与图像容器一起使用以保持EL图像数据。第一示例性的采样方案可以是不对图像容器的颜色通道(或分量)执行二次采样的4-4-4。第二示例性的采样方案可以是可对图像容器的三个颜色通道中的两个执行二次采样的4-2-2。第三示例性的采样方案可以是可在4-2-2采样方案中执行的二次采样之上执行附加的二次采样的4-2-0。也可根据这里描述的技术使用诸如互补采样和公共采样的其它的米样方案。
[0093]仅出于解释的目的，在解释这里描述的一些技术时，可使用YCbCr颜色空间中的4-2-0采样方案。应当注意，可根据这里描述的技术使用其它的采样方案和/或其它的颜色空间。
[0094]图2示出根据示例性实施例的根据4-2-0采样方案的YCbCr颜色空间中的亮度(Y)和色度(Cb/Cr)颜色通道(或分量)的图像数据部分(200-1?200-3)。在例子中，出于视频压缩目的，根据这里描述的技术的多层3D视频编解码器支持由各种显示应用支持的8位YCbCr4:2:0数据格式。如图2所示，在该图像容器格式中，色度通道的数据部分(200-2和200-3中的任一个)是亮度通道的数据部分(200-1)的尺寸的四分之一。在一些实施例中，出于视频压缩目的，通过多层3D视频编码器(例如，图1的100)将BL图像数据或EL图像数据转换成具有图2的示例性数据部分(200-1?200-3)的图像容器格式。
[0095]4.示例性的图像数据组成
[0096]4.1互补图像数据
[0097]在示例性实施例中，多层3D视频编码器(图1A的100)从未过滤全分辨率LE图像帧(图1A的102-L)产生过滤LE图像数据，将过滤LE图像数据二次采样成两个半部，其包含二次采样过滤LE图像数据的第一半部(例如，每奇数列或行)和互补二次采样过滤LE图像数据的第二半部(例如，每偶数列或行)。类似地，多层3D视频编码器(图1A的100)从未过滤全分辨率RE图像帧(图1A的102-R)产生过滤RE图像数据，将过滤RE图像数据二次采样成两个半部，其包含二次采样过滤RE图像数据的第一半部(例如，每奇数列或行)和互补二次采样过滤RE图像数据的第二半部(例如，每偶数列或行)。过滤LE和RE图像数据的二次采样可基于一个或更多个不同的二次采样方案中的一个。
[0098]在示例性实施例中，基层(图1A的112-1或图1B和图1C的158_1)中的图像数据可包含二次采样过滤LE和RE图像数据的第一半部。
[0099]在示例性实施例中，增强层中的EL图像数据(图1A的112-2或图1C的158_2)可承载与在基层中承载的图像数据(图1A的112-1或图1B和图1C的158-1)互补的半分辨率图像数据。EL图像数据(图1A的112-2或图1C的158-2)中的半分辨率图像数据可包含二次采样过滤LE和RE图像数据的第二半部。
[0100]图3A示出基于图2所示的示例性图像容器格式的EL图像数据的示例性图像数据组成。在示例性实施例中，二次采样过滤LE和RE图像数据的第二半部的亮度通道中的图像数据被保持于指定用于YCbCr颜色空间中的亮度通道的数据部分(200-1)中；二次采样过滤LE和RE图像数据的第二半部的Cb色度通道中的图像数据被保持于指定用于YCbCr颜色空间中的Cb色度通道的数据部分(200-2)中；二次采样过滤LE和RE图像数据的第二半部的Cr色度通道中的图像数据被保持于指定用于YCbCr颜色空间中的图像帧的Cr色度通道的数据部分(200-3)中。
[0101]出于简化的原因，亮度通道中的图像数据可被称为“亮度图像数据”或“亮度值”，而色度通道中的图像数据可被称为“色度图像数据”或“色度值”。类似地，Cb通道中的图像数据可被称为“Cb图像数据”或“Cb值”，而Cr通道中的图像数据可被称为“Cr图像数据”或“Cr值”。
[0102]如果需要的话，不同颜色通道中的图像数据部分的尺寸可通过调整(下采样、上采样或其它图像数据压缩或扩展方法)被限于在所采用的采样方案中规定的尺寸。在例子中，根据4-4-4采样方案，亮度图像数据部分可具有与色度图像数据部分相同的尺寸。在另一例子中，根据图2所示的4-2-0采样方案，亮度图像数据部分(200-1)的尺寸可以为色度图像数据部分(200-2和200-3中的任一个)的4倍(4x)。
[0103]二次采样过滤LE和RE图像数据在增强层中的布置可被以与图3A所示的方式不同的方式配置。例如，作为如图3A所示的那样布置LE和RE子部分的替代，亮度图像数据部分(200-1)中的LE和RE子部分可被交换，使得RE子部分位于数据部分(200-1)的左半部分且LE子部分位于数据部分(200-1)的右半部分。相同的讨论也适用于其它的数据部分(200-2 和 200-3)。
[0104]多层3D视频解码器(例如，图1C的150)可组合基层中的半分辨率图像数据部分与增强层中的互补半分辨率图像数据(例如，在数据部分200-1?200-3中)，以形成全分辨率过滤LE和RE图像帧。由于已通过上游编码装置(例如，图1A的100)滤除高空间频率内容，因此组合的全分辨率过滤LE和RE图像帧不具有与高空间频率内容对应的图像细节。
[0105]4.2用于两个透视图之一的未过滤全分辨率图像数据
[0106]在示例性实施例中，增强层中的(例如，在数据部分200-1?200-3中的)EL图像数据(图1A的112-2或图1C的158-2)可在任何给定的时间承载LE和RE透视图中的一个的未过滤全分辨率图像数据。具体来说，未过滤全分辨率图像数据可包含未过滤全分辨率LE和RE图像帧中的一个(图1A的102-L或102-R)的图像数据。在示例性实施例中，多层3D视频编码器(图1A的100)遵照采用的采样方案二次采样未过滤全分辨率图像数据。
[0107]图3B示出基于图2所示的示例性的图像容器格式的包含LE和RE透视图中的一个的未过滤全分辨率图像数据的EL图像数据的示例性图像数据组成。仅出于解释的目的，图3B的示例性图像数据组成中的未过滤全分辨率图像数据是LE透视图的。在示例性实施例中，未过滤全分辨率LE图像帧(102-L)的亮度图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的亮度通道的数据部分(例如，200-1)中；未过滤全分辨率LE图像帧(102-L)的Cb图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的Cb色度通道的数据部分(例如，200-2)中；未过滤全分辨率LE图像帧(102-L)的Cr图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的Cr色度通道的数据部分(例如，200-3)中。
[0108]如果必要的话，不同的颜色通道中的未过滤图像数据部分的尺寸可通过调整被限于在采用的采样方案中规定的尺寸。
[0109]在示例性实施例中，多层3D视频编码器(图1A的100)自适应地在LE和RE透视图之间在增强层中切换未过滤全分辨率图像数据。在增强层中的未过滤全分辨率图像数据的承载可从一个3D图像到下一 3D图像、从一个场景到下一场景、从一个固定持续期到下一固定持续期在LE透视图与RE透视图之间交替。在示例性实施例中，固定持续期可以是一个帧或多个帧的回放时间。在示例性实施例中，持续期的长度可在不同的节目之间改变。可以使用在LE与RE透视图之间交替承载未过滤全分辨率图像数据的其它方式。在其它示例性实施例中，输入3D图像(或它们的LE和RE构成图像帧)的一个或更多个信号特性(例如，指纹、统计亮度值、运动、色度特征、锐度、亮度、颜色等)可被这里描述的多层3D视频编码器使用，以决定是否以及什么时候进行透视图之间的增强层中的切换或转变。
[0110]可以使用用于充分利用多层图像数据之间的统计冗余的层内预测和/或层间预测能力以减少在增强层中承载未过滤全分辨率图像数据的比特率要求。RPU(例如，图1A的114)可上采样基层中的半分辨率图像数据部分(其从未过滤全分辨率图像帧(例如，102-L)导出)，以产生未过滤全分辨率图像帧(102-L)的预测基准帧。可在增强层中连同在产生预测基准帧时使用的一组基准参数一起承载预测基准帧与未过滤全分辨率图像帧(102-L)之间的残差(或差值)。
[0111]多层3D视频解码器(例如，图1C的150)可通过使用从多层3D视频编码器(图1A的100)接收的一组基准参数上采样基层中的同一半分辨率图像数据部分来产生预测基准帧，并通过加算预测基准帧与从增强层中接收的残差中的图像数据来进一步产生具有第一透视图(例如，在本例子中，为左眼透视图)的未过滤全分辨率图像数据的图像帧。另外，多层3D视频解码器(图1C的150)可基于基层中的从另一未过滤全分辨率图像帧(102-R)导出的另一半分辨率图像数据部分产生仅包含用于不同的第二透视图(例如，在本例子中，为右眼透视图)的过滤图像数据的上采样图像帧。
[0112]4.3分辨率不对称的未过滤亮度图像数据
[0113]在示例性实施例中，在任意给定的时间，增强层中的EL图像数据(图1A的112-2或图1C的158-2)可承载第一透视图(例如，左眼透视图)的未过滤全分辨率亮度图像数据和第二不同透视图的未过滤半分辨率亮度图像数据。未过滤全分辨率亮度图像数据可包含用于第一透视图的未过滤全分辨率图像帧(例如，图1A的102-L)的亮度图像数据，而未过滤半分辨率亮度图像数据可包含用于第二透视图的另一未过滤全分辨率图像帧(在本例子中，图1A的102-R)的半分辨率亮度图像数据。在示例性实施例中，用于第二透视图的未过滤半分辨率亮度图像数据和用于第二透视图的BL亮度图像数据部分承载另一未过滤全分辨率图像帧(在本例子中，图1A的102-R)中的像素的同一部分的亮度图像数据。在示例性实施例中，多层3D视频编码器(图1A的100)根据采用的采样方案二次采样EL图像数据。
[0114]图3C示出根据(例如，4-2-0)采样方案的YCbCr颜色空间中的包含用于第一透视图的未过滤全分辨率亮度图像数据和用于第二不同透视图的未过滤半分辨率亮度图像数据的EL图像数据中的示例性图像数据组成。仅出于解释的目的，示例性图像数据组成中的未过滤全分辨率亮度图像数据是LE透视图的，而示例性图像数据组成中的未过滤半分辨率亮度图像数据是RE透视图的。
[0115]在示例性实施例中，未过滤全分辨率LE图像帧(102-L)的亮度图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的亮度通道的数据部分(200-1)中。未过滤半分辨率亮度图像数据的第一部分(例如，由其代表的像素的上半部分)(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的Cb色度通道的数据部分(200-2)中。未过滤半分辨率亮度图像数据的第二部分(例如，由其代表的像素的下半部分)(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的Cr色度通道的数据部分(200-3)中。
[0116]如果必要的话，不同的透视图中的未过滤图像数据部分的尺寸可通过任何调整被限于与在采用的采样方案中规定的尺寸一致。
[0117]在示例性实施例中，在LE和RE透视图之间在增强层中，多层3D视频编码器(图1A的100)自适应地切换未过滤全分辨率亮度图像数据，并相应地切换未过滤半分辨率亮度图像数据。在增强层中的未过滤全分辨率图像数据的承载可从一个3D图像到下一 3D图像、从一个场景到下一场景、从一个固定持续期到下一固定持续期在LE透视图与RE透视图之间交替。也可以使用在LE与RE透视图之间交替承载未过滤全分辨率亮度图像数据的其它方式。
[0118]为了通过增强层传送未过滤全分辨率亮度图像数据，RPU (例如，图1A的114)可上采样第一透视图(例如，在前面的例子中的左眼透视图)的BL半分辨率亮度图像数据，以产生数据部分200-1中的未过滤全分辨率亮度图像数据的预测基准值。RPU (114)可上采样第二不同透视图(右眼透视图)的BL半分辨率亮度图像数据，以产生数据部分200-2和200-3中的未过滤半分辨率亮度图像数据的附加的预测基准值。可以应用一个或更多个操作以改进这些预测基准值的层间预测质量。
[0119]可以计算第一透视图(102-L)的未过滤图像帧中的全分辨率亮度图像数据与预测基准值之间的亮度残差(或差值)。亮度残差存储于数据部分200-1中。也可计算第二透视图(102-R)的其它未过滤图像帧中的半分辨率亮度图像数据与附加预测基准值之间的附加亮度残差(或差值)。附加亮度残差存储于数据部分200-2和200-3中。
[0120]然后，在增强层中连同在产生预测基准值和附加预测基准值时使用的一组基准参数一起承载所有数据部分200-1至200-3中的亮度残差。
[0121]多层3D视频解码器(例如，图1C的150)可接收并通过使用该组基准参数上采样第一透视图的基层中的半分辨率亮度图像数据部分，产生预测基准值，并进一步通过加算预测基准值与从增强层接收的亮度残差(在数据部分200-1中)来产生第一透视图的输出图像帧中的未过滤全分辨率亮度图像数据。
[0122]多层3D视频解码器(图1C的150)可接收并通过使用该组基准参数上采样第二透视图的基层中的半分辨率亮度图像数据部分，产生附加预测基准值，并进一步通过加算附加预测基准值与从增强层接收的附加亮度残差(在数据部分200-2和200-3中)产生第二透视图的另一输出图像帧中的半分辨率亮度图像数据。
[0123]在示例性实施例中，一个或更多个增强层只承载亮度图像数据，不承载任何色度图像数据。为了产生具有未过滤全分辨率(例如，亮度)图像数据的至少一部分的3D图像，基层中的色度图像数据可被下游装置(例如，图1C的多层视频解码器150)上采样以及必要时被内插亮度图像数据，以形成3D图像的输出LE和RE图像帧。
[0124]4.4未过滤全分辨率图像数据的选择部分
[0125]在一些实施例中，一个或更多个增强层可包含在未过滤全分辨率LE和RE图像帧(例如，图1A的102-L和102-R)两者中的未过滤全分辨率图像数据的选择部分。如这里使用的那样，“选择部分”可指的是图像帧中的少于像素总数的100%的任何部分。这里描述的选择部分可包含图像帧中的像素总数的O?100%、10?90%、20?80%、30?70%、40?60%、50%或其它百分比范围中的一个。
[0126]在不例性实施例中，相同的米样方案适用于(a)未过滤全分辨率LE和RE图像中贞(例如，图1A的102-L和102-R)和(b)包含未过滤全分辨率LE和RE图像帧的选择部分的EL图像数据这两者；对于在增强层中保持未过滤全分辨率LE和RE图像帧(图1A的102-L和102-R)的选择部分来说，低通过滤和二次采样可能均不是必需的。
[0127]经常地，只有3D图像的显著部分会在3D图像的低通过滤版本(例如，图1B的172-L和172-R)与3D图像的未过滤全分辨率版本(例如，图1A的102-L和102-R)之间显现明显差异。这种观察可通过各种3D内容而做出。在一些实施例中，当全尺寸地承载未过滤全分辨率LE和RE数据两者不可用或不被支持时，仅发送在视觉上显著的区域(例如，3D图像的中心矩形部分、3D图像的中心椭圆部分或3D图像的另一视觉显著部分)是明智的。
[0128]图3D示出存储在未过滤全分辨率LE和RE图像帧(例如，图1A的102-L和102-R)中的未过滤全分辨率图像数据的选择部分的EL图像数据中的示例性图像数据组成。
[0129]在示例性实施例中，未过滤全分辨率LE和RE图像帧(102-L或102-R)的选择部分的亮度图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的图像帧的亮度通道的数据部分(200-1)中。未过滤全分辨率LE和RE图像帧(102-L或102-R)的选择部分的Cb图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的图像帧的Cb颜色通道的数据部分(例如，200-2)中。未过滤全分辨率LE和RE图像帧(102-L或102-R)的选择部分的Cr图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的图像帧的Cr色度通道的数据部分(例如，200-3)中。
[0130]如果必要的话，不同的透视图中的未过滤图像数据部分和过滤图像数据部分的尺寸可被调整为与采用的采样方案中所规定的尺寸一致。
[0131]例如，可通过RI3U流(图1A或图1C的118_2)中的一个或更多个视频信号传送包含但不限于指示选择部分的位置的信息的几何信息。
[0132]为了通过增强层传送未过滤全分辨率LE和RE图像帧(102-L和102-R)的选择部分的未过滤全分辨率图像数据，RPU (例如，图1A的114)可上采样BL半分辨率图像数据部分的选择部分，以产生未过滤全分辨率LE和RE图像帧(102-L和102-R)的选择部分的预测基准值。可以应用一个或更多个操作以改进这些预测基准值的层间预测质量。
[0133]也可计算未过滤全分辨率LE和RE图像帧(102-L和102-R)的选择部分中的全分辨率亮度图像数据与预测基准值之间的残差(或差值)。残差然后被置于数据部分200-1?200-3 中。
[0134]数据部分200-1?200-3中的残差连同在产生预测基准值时使用的一组基准参数一起在增强层中被传送至接收装置。
[0135]在示例性实施例中，多层3D视频解码器(例如，图1C的150)接收并上采样基层中的图像数据部分以形成上采样LE和RE图像帧。多层3D视频解码器(图1C的150)通过使用该组基准参数用上采样LE和RE图像帧的选择部分计算预测基准值，并进一步通过加算预测基准值和从增强层接收的(在数据部分200-1?200-3中的)残差来产生/替代输出LE和RE图像帧(例如，图1C的176-L和176-R)的选择部分。
[0136]4.5用于透视图之一的未过滤全分辨率亮度图像数据的选择部分
[0137]在示例性实施例中，在任何给定的时间，增强层中的EL图像数据(图1A的112-2或图1C的158-2)可提供第一透视图(例如，左眼透视图)的未过滤全分辨率亮度图像数据和第二不同透视图的未过滤全分辨率亮度图像数据的选择部分。第一透视图的未过滤全分辨率亮度图像数据可包含用于第一透视图的未过滤全分辨率图像帧(例如，图1A的102-L)的亮度图像数据，而第二透视图的未过滤全分辨率亮度图像数据的选择部分可包含用于第二透视图的其它未过滤全分辨率图像帧(在本例子中，图1A的102-R)的选择部分的亮度图像数据。
[0138]图3E示出包含用于第一透视图(例如，左眼透视图)的未过滤全分辨率亮度图像数据和用于第二不同透视图(例如，右眼透视图)的未过滤全分辨率亮度图像数据的选择部分的EL图像数据中的示例性图像数据组成。
[0139]在示例性实施例中，未过滤全分辨率LE图像帧(102-L)的亮度图像数据(如果必要的话根据采用的采样方案被二次采样)被保持于指定用于YCbCr颜色空间中的图像帧的亮度通道的数据部分(200-1)中。在一些采样方案中，剩余数据部分比数据部分(200-1)小。例如，在4-2-0采样方案中，剩余数据部分可总计为数据部分(200-1)的一半。因此，剩余数据部分可能不具有足够的数据容量以承载用于第二透视图的亮度图像数据。作为替代，如果必要的话根据采用的采样方案被二次采样的用于第二透视图的未过滤全分辨率亮度图像数据的选择部分(例如，50%)的第一部分(例如，由其代表的像素的上半部分)被保持于指定用于YCbCr颜色空间中的图像帧的Cb色度通道的数据部分(200-2)中。如果必要的话根据采用的采样方案被二次采样的用于第二透视图的未过滤全分辨率亮度图像数据的选择部分的第二部分(例如，由其代表的像素的下半部分)被保持于指定用于YCbCr颜色空间中的图像帧的Cr色度通道的数据部分(200-3 )中。
[0140]如果必要的话，不同透视图中的未过滤图像数据部分的尺寸通过任何调整可被限于与采用的采样方案所规定的尺寸一致。
[0141]在示例性实施例中，在LE和RE透视图之间在增强层中，多层3D视频编码器(图1A的100)切换未过滤全分辨率亮度图像数据，并相应地切换未过滤全分辨率亮度图像数据的选择部分。在增强层中的未过滤全分辨率图像数据的承载可从一个3D图像到下一 3D图像、从一个场景到下一场景、从一个固定持续期到下一固定持续期在LE透视图与RE透视图之间交替。也可以使用在LE与RE透视图之间交替承载未过滤全分辨率图像数据的其它方式。
[0142]为了通过增强层传送未过滤全分辨率亮度图像数据，RPU(例如，图1A的114)可上采样第一透视图(例如，在前面的例子中的左眼透视图)的BL半分辨率亮度图像数据，以产生数据部分200-1中的未过滤全分辨率图像数据的预测基准值。RPU (114)可上采样第二不同透视图(右眼透视图)的BL半分辨率亮度图像数据的选择部分，以产生数据部分200-2和200-3中的未过滤全分辨率图像数据的附加的预测基准值。可以应用一个或更多个操作以改进这些预测基准层的层间预测质量。
[0143]可以计算第一透视图(102-L)的未过滤图像帧中的全分辨率亮度图像数据与预测基准值之间的亮度残差(或差值)。亮度残差存储于数据部分200-1中。也可计算第二透视图(102-R)的未过滤全辨率亮度图像数据的选择部分与附加的预测基准值之间的附加亮度残差(或差值)。附加亮度残差存储于数据部分200-2和200-3中。
[0144]数据部分200-1?200-3中的亮度残差连同在产生预测基准值和附加的预测基准值时使用的一组基准参数一起在增强层中输出。可通过RPU流(图1A或图1C的118-2)中的一个或更多个视频信号传送包含但不限于指示选择部分的位置的信息的几何信息。
[0145]多层3D视频解码器(例如，图1C的150)可接收并通过使用该组基准参数上采样第一透视图的基层中的半分辨率亮度图像数据部分，产生预测基准值，并进一步通过加算预测基准值与从增强层接收的亮度残差(在数据部分200-1中)来产生第一透视图的输出图像帧中的未过滤全分辨率亮度图像数据。
[0146]在示例性实施例中，多层3D视频解码器(图1C的150)接收并上采样基层中的半分辨率亮度图像数据部分以形成第二透视图的上采样图像帧。多层3D视频解码器(图1C的150)通过使用该组基准参数用上采样图像帧的选择部分计算预测基准值，并进一步通过加算预测基准值和从增强层接收的残差(在数据部分200-1?200-3中)来产生/替代输出图像帧(例如，图1C的176-R)的选择部分。
[0147]在示例性实施例中，基层中的色度图像数据可通过下游装置(例如，图1C的多层视频解码器150)被上采样并被内插亮度图像数据作为形成用于3D图像的输出LE和RE图像帧的一部分。
[0148]4.6备用或替代性图像数据组成
[0149]出于解释的目的，已经描述了一些示例性EL数据组成包含亮度图像数据和非亮度图像数据两者，或者包含用于一个透视图的亮度图像数据和用于另一透视图的部分亮度图像数据两者。作为备用，这些示例性的EL数据组成可例如基于当前的网络条件动态地被配置为承载更少的图像数据。在一些实施例中，对于一个或两个透视图只有亮度图像数据被传送到接收装置。例如，图2的数据部分200-2和200-3可仅承载具有残余值(stubvalue)的平面图像，这些残余值可以是在8比特图像数据的情况下均被设为128的pel (或备用)值。
[0150]图4示出一些示例性备用数据组成。在图4 (a)所示的例子中，与图3A相同，可使用数据部分200-1以传输用于LE和RE透视图两者的过滤半分辨率亮度图像数据；但是，图4的数据部分200-2和200-3现在仅包含pel值(例如，128)而不是Cb/Cr图像数据。在图4 (b)所示的另一例子中，与图3B、图3C和图3E相同，数据部分200-1可承载用于第一透视图的未过滤全分辨率亮度图像数据；但是，图4的数据部分200-2和200-3仅包含pel值(例如，128)而不是Cb/Cr图像数据或其它的亮度图像数据。在图4 (c)所示的另一例子中，与图3D相同，可以使用数据部分200-1以传输用于LE和RE透视图两者的未过滤全分辨率亮度图像数据的选择部分；但是，图4的数据部分200-2和200-3仅包含pel值(例如，128)而不是Cb/Cr图像数据。
[0151]在这些示例性EL数据组成中使用pel值在视频压缩中消耗数量可忽略的比特。
[0152]仅出于解释的目的，已经示出了用于EL图像数据的大量的备用和非备用数据组成。可在本发明的范围内使用其它类型的数据组成。此外，以上的数据组成的组合可被用于在一个或更多个增强层中承载图像数据。在示例性实施例中，数据部分200-1可被用于承载图3D所示的EL亮度数据，而数据部分200-2和200-3可被用于承载未过滤全分辨率LE和RE亮度图像数据的剩余像素的一部分。
[0153]在示例性实施例中，图像帧(图1A的112-2或图1C的158_2)的亮度通道被用于通过一个或更多个增强层传输原始未过滤全分辨率输入LE和RE图像帧(例如，图1A的102-L和102-R)中的未过滤亮度图像数据的子集，而图像帧(图1A的112-2或图1C的158-2)的色度通道被用于承载(a)原始未过滤全分辨率输入LE和RE图像帧(图1A的102-L和102-R)的剩余亮度数据的子集、(b)从原始未过滤全分辨率输入LE和RE图像帧(图1A的102-L和102-R)导出的互补过滤图像数据(图1A的112-1或图1C的158-1)的子集或(c)原始未过滤全分辨率输入LE和RE图像帧(图1A的102-L和102-R)中的未过滤色度数据的子集。
[0154]在示例性实施例中，多层3D视频解码器(例如，图1C的150)可被配置为处理在一个或更多个数据部分中具有pel值的EL图像数据。例如，数据部分(例如，200-1?200-3中的一个)可改变地、部分地或者完全地填充pel值以调整通过下层网络条件的3D图像数据的传输。作为产生输出LE和RE图像帧的一部分，多层3D视频解码器(图1C的150)可上采样和/或内插由已由pel值替代的丢失图像数据。
[0155]当增强层被分配有限的带宽之时及之处，可以使用这些示例性数据组成。根据这里描述的技术，亮度图像数据相对于增强层中的其它图像数据被最大程度地优先化，其原因是与色度图像数据相比，输出3D图像的质量更依赖于亮度图像数据，当可用的带宽低时以及当产生质量3D图像所需要的比特率高时尤其如此。
[0156]在一些实施例中，上游装置(可包含诸如图1A的100的多层3D视频编码器)可支持多种不同类型的数据组成，并可以多种不同类型的数据组成中的任一种传送EL图像数据。不同类型的数据组成可包含但不仅限于图3和图4所示的示例性数据组成。在示例性实施例中，上游装置可被预先配置为、在运行期间被动态配置为或者由用户手动配置为对于一个巾贞、多个巾贞、一个场景、多个场景、一秒、多秒、一个节目、多个节目等使用一个或更多个数据组成。附加地和/或可选地，可以使用在不同类型的数据组成之间交替EL图像数据的承载的其它方法。例如，输入3D图像(或它们的LE和RE构成图像帧)的一个或更多个信号特性(例如，指纹、统计亮度值、运动、色度特征、锐度、明亮度、颜色等)可被这里描述的多层3D视频编码器使用以决定是否以及什么时候应使用特定类型的数据组成以传送EL图像数据。
[0157]在一些实施例中，下游装置(可包含诸如图1C的150的多层3D视频解码器)可支持一种或更多种不同类型的数据组成，并可接收为一种或更多种不同类型的数据组成的任一种的EL图像数据。在示例性实施例中，下游装置可被预先配置为、在运行期间被动态配置为或者由用户手动配置为选择性地接收为一种或更多种不同类型的数据组成的视频信号。
[0158]在一些实施例中，上游装置可基于当前网络条件和/或接收装置的特性以一种或更多种特定类型的数据组成传送EL图像数据。在一些实施例中，下游装置可基于当前网络条件和/或相同媒体内容的不同类型的数据组成的可用性选择具有为一种或更多种特定类型的数据组成的EL图像数据的一个或更多个视频信号。在一些实施例中，这里描述的图像处理装置被配置为通过提供最佳的可能的立体3D观察体验的一种或更多种不同类型的数据组成操作。
[0159]附加地和/或可选地，这里描述的视频编码器或解码器可执行变换、量化、熵编码、图像缓冲、采样过滤、下采样、上采样、内插、多路复用、解复用、交织、按比例放大、按比例减小、运动补偿、视差估计、视差补偿、深度估计、深度补偿、编码、解码等中的一个或更多个。
[0160]这里描述的技术在被感知的立体3D中产生更好的空间分辨率。在一些示例性实施例中，保持了与仅能够解码BL3D图像的解码器的后向相容和与能够解码过滤互补EL3D图像数据的解码器的后向相容中的一个或更多个。因此，在一些示例性实施例中，这里描述的视频信号可与用于3D内容传输的现有帧相容系统后向相容，并且可与当前的FCFR构架一起使用。另外，这里描述的技术提供了在增强层中在不同类型的图像数据组成之间交替以便创建3D视觉质量的最佳再现的灵活性。
[0161]5.示例性处理流程
[0162]图5A示出根据本发明的示例性实施例的示例性处理流程。在一些示例性实施例中，一个或更多个计算装置或部件可执行该处理流程。在块502中，多层3D视频编码器(例如，图1A的100)接收输入3D图像序列中的第一输入3D图像。第一输入3D图像具有用于第一透视图的第一输入图像帧和用于不同的第二透视图的第二输入图像帧。
[0163]在块504中，多层3D视频编码器(100)基于一个或更多个决定因子从多个不同类型的数据组成选择用于在一个或更多个增强层中传送增强层(EL)图像数据的特定类型的数据组成。
[0164]在块506中，多层3D视频编码器(100)通过使用第一输入图像帧和第二输入图像帧中的一个或更多个导出一个或更多个颜色通道中的图像数据。
[0165]在块508中，多层3D视频编码器(100)编码和输出一个或更多个颜色通道中的图像数据作为特定类型的数据组成中的EL图像数据。
[0166]在不例性实施例中，多层3D视频编码器(100)基于第一输入图像巾贞和第二输入图像帧产生用于第一透视图和第二透视图的降低分辨率图像数据，并编码和在基层中输出降低分辨率图像数据。在示例性实施例中，一个或更多个颜色通道中的图像数据包含从第一和第二输入图像帧中的一个或更多个导出的未过滤高空间频率内容，而降低分辨率图像数据包含从第一和第二输入图像帧导出的过滤图像数据。
[0167]在示例性实施例中，多层3D视频编码器(100)至少部分地基于降低分辨率图像数据和一组基准参数来产生多个预测基准值；计算一个或更多个颜色通道中的图像数据作为第一和第二输入图像帧中的至少一个中的一个或更多个颜色通道中的多个像素值与多个预测基准值之间的多个残差值；并编码和输出该组基准参数与一个或更多个颜色通道中的图像数据。
[0168]在示例性实施例中，输入3D图像序列包含具有用于第一透视图的第三输入图像帧和用于第二透视图的第四输入图像帧的第二不同输入3D图像。多层3D视频编码器(100)基于一个或更多个决定因子从多种不同类型的数据组成选择用于在一个或更多个增强层中传送第二 EL图像数据的第二特定类型的数据组成；从第三输入图像帧和第四输入图像帧中的一个或更多个导出一个或更多个第二颜色通道中的一个第二图像数据；编码和输出一个或更多个第二颜色通道中的第二图像数据作为第二特定类型的数据组成下的第二 EL图像数据。在示例性实施例中，指示用于EL图像数据的特定类型的数据组成的第一 EL图像数据描述符与EL图像数据一起在增强层中被输出，而指示用于第二 EL图像数据的第二特定类型的数据组成的第二不同EL图像数据描述符与第二图像数据一起在增强层中被输出。在示例性实施例中，EL图像数据描述符序列与从输入3D图像序列导出的图像数据一起在增强层中被输出。在EL图像数据描述符序列中，第一 EL图像数据描述符紧接在第二EL图像数据描述符前面；并且，在帧水平、场景水平或固定持续期水平中的一个上，第一 EL图像数据描述符在EL图像数据描述符序列中转变到第二 EL图像数据描述符。
[0169]在示例性实施例中，一个或更多个颜色通道包含RGB颜色空间、YCbCr颜色空间或其它颜色空间中的一个中的至少一个颜色通道。
[0170]在示例性实施例中，图像容器被用于保持一个或更多个颜色通道中的图像数据，其中，图像容器包含在采样方案下被采样的两个或更多个数据部分；并且，图像容器选自与多个采样方案相关联的多个图像容器。在一些实施例中，多个采样方案至少包含4-4-4采样方案、4-2-2采样方案、4-2-0采样方案或其它采样方案。
[0171]在一些实施例中，多个不同类型的数据组成包含以下中的一个或更多个:(a)补充通过基层传送的过滤降低分辨率图像数据的互补过滤降低分辨率图像数据；(b)用于第一和第二透视图中的一个的未过滤全分辨率图像数据；(C)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的半分辨率亮度图像数据；(d)从第一和第二输入图像帧的选择部分导出的未过滤全分辨率亮度图像数据；(e)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的部分未过滤全分辨率亮度图像数据；以及Cd)用pel值替代图像数据的至少一部分的一个或更多个备用类型的数据组成。
[0172]在示例性实施例中，一个或更多个决定因子包含音频和视频信号特性、多个不同类型的数据组成各自的带宽要求、上游装置与接收装置之间的当前网络连接上的带宽约束、当前网络连接所支持的最大、平均或最小比特率和/或当前网络连接的一个或更多个服务质量度量中的一个或更多个。
[0173]在示例性实施例中，多层3D视频编码器(100)将通过一个或更多个输入视频信号代表、接收、传送或存储的一个或更多个输入3D图像转换成通过一个或更多个输出视频信号代表、接收、传送或存储的一个或更多个输出3D图像。
[0174]在一些实施例中，第一输入3D图像和EL图像数据中的至少一个包含以高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/R0MM)标准、sRGB颜色空间或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB颜色空间中的一个编码的图像数据。
[0175]图5B示出根据本发明的示例性实施例的示例性处理流程。在一些示例性实施例中，一个或更多个计算装置或部件可执行该处理流程。在块552中，多层3D视频解码器(图1C的150)接收基层中的3D图像的第一透视图和第二不同透视图的输入降低分辨率图像数据和3D图像的输入增强层(EL)图像数据；并接收一个或更多个增强层中的输入EL图像数据描述符。输入EL图像数据描述符指示一个或更多个增强层中的输入EL图像数据的特定类型的数据组成。
[0176]在块554中，多层3D视频解码器(150)至少部分地基于由输入EL图像数据描述符指示的特定类型的数据组成从输入EL图像数据导出一个或更多个颜色通道中的3D图像的图像数据。
[0177]在块556中，多层3D视频解码器(150)基于一个或更多个颜色通道中的图像数据以及输入降低分辨率图像数据来产生用于第一透视图的第一输出图像帧和用于第二透视图的第二输出图像帧。
[0178]在块558中，多层3D视频解码器(150)通过呈现第一透视图的第一输出图像帧并通过呈现第二透视图的第二输出图像帧来呈现3D图像。
[0179]在实施例中，一个或更多个颜色通道中的图像数据包含从未过滤全分辨率源图像数据导出的一个或更多个颜色通道中的未过滤高空间频率内容，然而，输入降低分辨率图像数据包含从未过滤全分辨率源图像数据导出的过滤图像数据。
[0180]在示例性实施例中，多层3D视频解码器(150)接收一个或更多个增强层中的一组输入基准参数；至少部分地基于输入降低分辨率图像数据和该组输入基准参数产生多个预测基准值；和将一个或更多个颜色通道中的图像数据的残差值与多个预测基准值组合成第一和第二输出图像帧中的至少一个中的一个或更多个颜色通道中的多个像素值。
[0181]在示例性实施例中，3D图像是如下3D图像序列中的3D图像，该3D图像序列的图像数据被从基层和一个或更多个增强层两者接收；3D图像序列包含不同的第二 3D图像；并且，多层3D视频解码器(150)进一步被配置为执行以下操作:接收基层中的第二 3D图像的第一透视图和第二透视图的第二输入降低分辨率图像数据和一个或更多个增强层中的第二 3D图像的第二输入EL图像数据和第二输入EL图像数据描述符，第二 EL图像数据描述符指示一个或更多个增强层中的第二 EL图像数据的第二特定类型的数据组成；至少部分地基于由第二 EL图像数据描述符指示的第二特定类型的数据组成从第二 EL图像数据导出一个或更多个第二颜色通道中的第二 3D图像的第二图像数据；基于一个或更多个第二颜色通道中的第二图像数据以及第二输入降低分辨率图像数据来产生第一透视图的第三输出图像帧和第二透视图的第四输出图像帧；和通过呈现第一透视图的第三输出图像帧并通过呈现第二透视图的第四输出图像帧来呈现第二 3D图像。
[0182]在示例性实施例中，输入EL图像数据描述符的序列与3D图像序列的图像数据被输入增强层中；在输入EL图像数据描述符的序列中，第一输入EL图像数据描述符紧接在输入第二输入EL图像数据描述符前面；并且，在帧水平、场景水平或固定持续期水平中的一个上，在EL图像数据描述符的序列中，第一输入EL图像数据描述符转变到第二输入EL图像数据描述符。
[0183]在示例性实施例中，一个或更多个颜色通道包含RGB颜色空间、YCbCr颜色空间或其它颜色空间中的一个中的至少一个颜色通道。
[0184]在示例性实施例中，图像容器被用于保持一个或更多个颜色通道中的图像数据，其中，图像容器包含在采样方案下被采样的两个或更多个数据部分；图像容器选自与多个采样方案相关联的多个图像容器；并且，多个采样方案至少包含4-4-4采样方案、4-2-2采样方案、4-2-0采样方案或其它采样方案。
[0185]在示例性实施例中，多个不同类型的数据组成包含以下中的一个或更多个:(a)补充通过基层传送的过滤降低分辨率图像数据的互补过滤降低分辨率图像数据；(b)用于第一和第二透视图中的一个的未过滤全分辨率图像数据；(C)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的半分辨率亮度图像数据；(d)从第一和第二输入图像帧的选择部分导出的未过滤全分辨率亮度图像数据；(e)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的部分未过滤全分辨率亮度图像数据；Cd)用pel值替代图像数据的至少一部分的一个或更多个备用类型的数据组成。
[0186]在示例性实施例中，多层3D视频解码器(150)处理通过一个或更多个输入视频信号代表、接收、传送或存储的一个或更多个3D图像。
[0187]在示例性实施例中，输入降低分辨率图像数据或输入EL图像数据的至少一部分包含以高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/R0MM)标准、sRGB颜色空间或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB颜色空间中的一个编码的图像数据。
[0188]在各种示例性实施例中，编码器、解码器、系统、设备或一个或更多个其它的计算装置执行描述的以上方法中的任一个或一部分。
[0189]6.实现机构一硬件概要
[0190]根据一个实施例，通过一个或更多个专用计算装置实现这里描述的技术。专用计算装置可被硬接线以执行技术，或者可包含永久地被编程以执行技术的诸如一个或更多个专用集成电路(ASIC)或场可编程门阵列(FPGA)的数字电子装置，或者可包含被编程以根据固件、存储器、其它的存储器或组合中的程序指令执行技术的一个或更多个通用硬件处理器。这种专用计算装置也可组合定制硬接线逻辑、ASIC或FPGA与定制编程以实现技术。专用计算装置可以是台式计算机系统、便携式计算机系统、手持装置、联网装置或结合有硬接线和/或程序逻辑以实现技术的任何其它的装置。
[0191]例如，图6是示出可实现本发明的示例性实施例的计算机系统600的框图。计算机系统600包含用于传送信息的总线602或其它的通信机构和与总线602耦合的用于处理信息的硬件处理器604。硬件处理器704可以是例如通用微处理器。
[0192]计算机系统600还包含与总线602耦合的用于存储要由处理器604执行的指令和信息的诸如随机存取存储器(RAM)或其它动态存储装置的主存储器606。主存储器606还可被用于在要由处理器604执行的指令的执行期间存储临时变量或其它的中间信息。当被存储于可由处理器604访问的非暂态存储介质中时，这种指令使得计算机系统600变为被定制以执行在指令中规定的操作的专用机器。
[0193]计算机系统600还包含与总线602耦合的用于存储用于处理器604的指令和静态信息的只读存储器(ROM) 608或其它的静态存储装置。用于存储信息和指令的诸如磁盘或光盘的存储装置610被设置并与总线602耦合。
[0194]计算机系统600可通过总线602与用于向计算机用户显示信息的诸如液晶显示器的显示器612耦合。用于向处理器604传送信息和命令选择的包含文字数字和其它键的输入装置614与总线602耦合。另一类型的用户输入装置是光标控制616，诸如鼠标、跟踪球或用于向处理器604传送方向信息和命令选择并用于控制显不器612上的光标移动的光标方向键。该输入 装置典型地在两个轴(即第一轴(例如，x)和第二轴(例如，Y?上具有两个自由度，这允许装置规定面内的位置。
[0195]计算机系统600可通过使用定制的硬接线逻辑、一个或更多个ASIC或FPGA、与计算机系统组合以导致计算机系统600成为或将其编程为专用机器的固件和/或程序逻辑来实现这里描述的技术。根据一个实施例，响应处理器604执行包含于主存储器606中的一个或更多个指令的一个或更多个序列由计算机系统600执行这里的技术。这种指令可从诸如存储装置610的另一存储介质被读取到主存储器606中。包含于主存储器606中的指令的序列的执行导致处理器604执行这里描述的处理步骤。在替代性实施例中，作为软件指令的替代，或者与其组合，可以使用硬接线电路。
[0196]这里使用的术语“存储介质”指的是存储导致机器以特定的方式操作的数据和/或指令的任何非暂态介质。这种存储介质可包含非易失性介质和/或易失性介质。非易失性介质包含例如光盘或磁盘，诸如存储装置610。易失性介质包含诸如主存储器606的动态存储器。存储介质的常见形式包含例如软盘、柔性盘、硬盘、固态驱动器、磁带或任何其它的磁性数据存储介质、CD-ROM、任何其它光学数据存储介质、具有孔图案的任何物理介质、RAM、PROM和EPROM、FLASH-EPROM、NVRAM、任何其它存储芯片或盒。
[0197]存储介质与传输介质明显不同，但可与其组合使用。传输介质参与存储介质之间的信息传送。例如，传输介质包含共轴电缆、铜线和光纤，包括包含总线602的导线。传输介质也可采取声波或光波的形式，诸如在无线电波和红外数据通信期间产生的那些。
[0198]各种形式的介质可涉及将一个或更多个指令的一个或更多个序列承载到处理器602以供执行。例如，可初始地在磁盘或远程计算机的固态驱动器上承载指令。远程计算机可将指令加载到其动态存储器中并且通过使用调制解调器在电话线上发送指令。计算机系统600本地的调制解调器可接收电话线上的数据，并且使用红外发射器以将数据转换成红外信号。红外检测器可接收在红外信号中承载的数据并且适当的电路可将该数据放置在总线602上。总线602将数据承载到主存储器606，从该主存储器606，处理器604检索和执行指令。由主存储器606接收的指令可任选地在被处理器604执行之前或之后被存储于存储装置610上。
[0199]计算机系统600还包含与总线602耦合的通信接口 618。通信接口 618提供与网络链路620的双向数据通信耦合，该网络链路620连接到局部网络622。例如，通信接口 618可以是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器或提供与相应类型的电话线的数据通信连接的调制解调器。作为另一例子，通信接口 618可以是提供与兼容的LAN的数据通信连接的局域网络(LAN)卡。也可实现无线链路。在任何这种实现中，通信接口 618发送和接收承载代表各种类型的信息的数字数据流的电、电磁或光学信号。
[0200]网络链路620典型地提供通过一个或更多个网络的与其它的数据装置的数据通信。例如，网络链路620可提供通过局域网络622与主机计算机624或由互联网服务提供商(ISP) 626操作的数据设备的连接。ISP626继而通过现在一般称为“因特网”628的全球分组数据通信网络提供数据通信服务。局域网络622和因特网628均使用承载数字数据流的电、电磁或光学信号。承载通向和来自计算机系统600的数字数据的通过各种网络的信号以及处于网络链路620上并通过通信接口 618的信号是传输介质的示例性形式。
[0201]计算机系统600可通过网络、网络链路620和通信接口 618发送消息并接收包含程序代码的数据。在因特网例子中，服务器630可通过因特网628、ISP626、局域网络622和通信接口 618传送用于应用程序的请求代码。
[0202]接收的代码可在其被接收时被处理器604执行，和/或被存储于存储装置610或其它的非易失性存储器中以稍后执行。
[0203]7等同、扩展、替代和其它
[0204]在以上的说明书中，参照可随实现而改变的大量的具体细节描述了本发明的实施例。因此，什么是本发明以及本发明的 申请人:意图什么成为本发明的专有和专用的指示是包含任何随后的校正的一组权利要求，这些权利要求以这些权利要求发布的特定的形式从本申请发发布。这里对于包含于这些权利要求中的术语明确阐述的任何定义应掌控在权利要求中使用的这些术语的意思。由此，没有在权利要求中明确详述的限制、要素、性能、特征、优点或属性不应以任何的方式限制这些权利要求的范围。因此，说明书和附图应视为解释性而不是限制性的。
【权利要求】
1.一种方法，包括: 接收输入3D图像序列中的第一输入3D图像，第一输入3D图像具有用于第一透视图的第一输入图像帧和用于不同的第二透视图的第二输入图像帧； 基于一个或更多个决定因子，从多个不同类型的数据组成选择用于在一个或更多个增强层中传送增强层(EL)图像数据的特定类型的数据组成； 通过使用第一输入图像帧和第二输入图像帧中的一个或两者导出一个或更多个颜色通道中的图像数据；以及 编码并输出一个或更多个颜色通道中的图像数据作为所述特定类型的数据组成中的EL图像数据。
2.如权利要求1所述的方法，还包括: 基于第一输入图像帧和第二输入图像帧产生用于第一透视图和第二透视图的降低分辨率图像数据；和 在基层中编码并输出降低分辨率图像数据。
3.如权利要求2所述的方法，其中，一个或更多个颜色通道中的图像数据包含从第一输入图像帧和第二输入图像帧中的一个或更多个导出的未过滤高空间频率内容，并且其中，降低分辨率图像数据包含从第一输入图像帧和第二输入图像帧导出的过滤图像数据。
4.如权利要求2所述的方法，还包括: 至少部分地基于降低分辨率图像数据和基准参数集合产生多个预测基准值； 计算一个或更多个颜色通道中的图像数据作为第一输入图像帧和第二输入图像帧中的至少一个中的一个或更多个颜色通道中的多个像素值与多个预测基准值之间的多个残差值；和 用一个或更多个颜色通道中的图像数据编码并输出基准参数集合。
5.如权利要求1所述的方法，其中，输入3D图像序列包含不同的第二输入3D图像，所述第二输入3D图像具有用于第一透视图的第三输入图像帧和用于第二透视图的第四输入图像帧，并且，所述方法还包含: 基于一个或更多个决定因子从多个不同类型的数据组成选择用于在一个或更多个增强层中传送第二 EL图像数据的第二特定类型的数据组成； 从第三输入图像帧和第四输入图像帧中的一个或两者导出一个或更多个第二颜色通道中的第二图像数据；和 编码并输出一个或更多个第二颜色通道中的第二图像数据作为第二特定类型的数据组成中的第二 EL图像数据。
6.如权利要求5所述的方法，其中，在增强层中连同EL图像数据一起输出指示EL图像数据的特定类型的数据组成的第一 EL图像数据描述符，并且其中，在增强层中连同第二图像数据一起输出指示第二EL图像数据的第二特定类型的数据组成的不同的第二EL图像数据描述符。
7.如权利要求6所述的方法，其中，在增强层中连同从输入3D图像序列导出的图像数据一起输出EL图像数据描述符序列；在EL图像数据描述符序列中，第一 EL图像数据描述符紧接在第二 EL图像数据描述符前面，并且，在帧水平、场景水平或固定持续期水平中的一个上，第一 EL图像数据描述符在EL图像数据描述符序列中转变到第二 EL图像数据描述符。
8.如权利要求1所述的方法，其中，一个或更多个颜色通道包含RGB颜色空间、YCbCr颜色空间或其它颜色空间中的一个中的至少一个颜色通道。
9.如权利要求1所述的方法，其中，图像容器被用于保持一个或更多个颜色通道中的图像数据，其中，图像容器包含在采样方案下被采样的两个或更多个数据部分，图像容器选自与多个采样方案相关联的多个图像容器，并且，多个采样方案至少包含4-4-4采样方案、4-2-2采样方案、4-2-0采样方案或其它采样方案。
10.如权利要求1所述的方法，其中，多个不同类型的数据组成包含以下中的一个或更多个:Ca)补充通过基层传送的过滤降低分辨率图像数据的互补过滤降低分辨率图像数据；(b)用于第一透视图和第二透视图中的一个的未过滤全分辨率图像数据；(C)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的半分辨率亮度图像数据；(d)从第一输入图像帧和第二输入图像帧的选择部分导出的未过滤全分辨率亮度图像数据；(e)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的部分未过滤全分辨率亮度图像数据；(d)用pel值替代图像数据的至少一部分的一个或更多个备用类型的数据组成。
11.如权利要求1所述的方法，其中，一个或更多个决定因子包含音频和视频信号特性、多个不同类型的数据组成各自的带宽要求、上游装置与接收装置之间的当前网络连接的带宽约束、当前网络连接支持的最大、平均或最小比特率、和/或当前网络连接的一个或更多个服务质量度量中的一个或更多个。
12.如权利要求1所述的方法，还包括将通过一个或更多个输入视频信号表示、接收、传送或存储的一个或更多个输入3D图像转换成通过一个或更多个输出视频信号表示、接收、传送或存储的一个或更多个输出3D图像。
13.如权利要求1所述的方法，其中，第一输入3D图像和EL图像数据中的至少一个包含以高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB颜色空间中的一个编码的图像数据。
14.一种方法,包括: 接收基层中的3D图像的第一透视图和不同的第二透视图的输入降低分辨率图像数据和3D图像的输入增强层(EL)图像数据，并且接收一个或更多个增强层中的输入EL图像数据描述符，输入EL图像数据描述符指示一个或更多个增强层中的输入EL图像数据的特定类型的数据组成； 至少部分地基于由输入EL图像数据描述符指示的特定类型的数据组成从输入EL图像数据导出一个或更多个颜色通道中的3D图像的图像数据； 基于一个或更多个颜色通道中的图像数据以及输入降低分辨率图像数据产生用于第一透视图的第一输出图像帧和用于第二透视图的第二输出图像帧；以及 通过呈现用于第一透视图的第一输出图像帧并通过呈现用于第二透视图的第二输出图像帧来呈现3D图像。
15.如权利要求14所述的方法，其中，一个或更多个颜色通道中的图像数据包含从未过滤全分辨率源图像数据导出的一个或更多个颜色通道中的未过滤高空间频率内容，并且，输入降低分辨率图像数据包含从未过滤全分辨率源图像数据导出的过滤图像数据。
16.如权利要求14所述的方法，还包括: 接收一个或更多个增强层中的输入基准参数集合； 至少部分地基于输入降低分辨率图像数据和输入基准参数集合产生多个预测基准值；和 将一个或更多个颜色通道中的图像数据与多个预测基准值的残差值组合成第一输出图像帧和第二输出图像帧中的至少一个中的一个或更多个颜色通道中的多个像素值。
17.如权利要求1所述的方法，其中，3D图像是在3D图像序列中的，该3D图像序列的图像数据被从基层和一个或更多个增强层两者接收到；该3D图像序列包含不同的第二 3D图像；并且，所述方法还包括: 接收基层中的第二 3D图像的第一透视图和第二透视图的第二输入降低分辨率图像数据和一个或更多个增强层中的第二 3D图像的第二输入EL图像数据和第二输入EL图像数据描述符，第二 EL图像数据描述符指示一个或更多个增强层中的第二 EL图像数据的第二特定类型的数据组成； 至少部分地基于由第二 EL图像数据描述符指示的第二特定类型的数据组成从第二 EL图像数据导出一个或更多个第二颜色通道中的第二 3D图像的第二图像数据； 基于一个或更多个第二颜色通道中的第二图像数据以及第二输入降低分辨率图像数据产生用于第一透视图的第三输出图像帧和用于第二透视图的第四输出图像帧；和 通过呈现用于第一透视图的第三输出图像帧并通过呈现用于第二透视图的第四输出图像帧呈现第二 3D图像。
18.如权利要求17所述的方法，其中，输入EL图像数据描述符序列连同3D图像序列的图像数据一起输入增强层中；在输入EL图像数据描述符序列中，第一输入EL图像数据描述符紧接在第二输入EL图像数据描述符前面，并且，在帧水平、场景水平或固定持续期水平中的一个上，第一输入EL图像数据描述符在该EL图像数据描述符序列中转变到第二输入EL图像数据描述符。
19.如权利要求14所述的方法，其中，一个或更多个颜色通道包含RGB颜色空间、YCbCr颜色空间或其它颜色空间中的一个中的至少一个颜色通道。
20.如权利要求14所述的方法，其中，图像容器被用于保持一个或更多个颜色通道中的图像数据，其中，图像容器包含在采样方案下被采样的两个或更多个数据部分，图像容器选自与多个采样方案相关联的多个图像容器，并且，多个采样方案至少包含4-4-4采样方案、4-2-2采样方案、4-2-0采样方案或其它采样方案。
21.如权利要求14所述的方法，其中，多个不同类型的数据组成包含以下中的一个或更多个:Ca)补充通过基层传送的过滤降低分辨率图像数据的互补过滤降低分辨率图像数据；(b)用于第一透视图和第二透视图中的一个的未过滤全分辨率图像数据；(C)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的半分辨率亮度图像数据；(d)从第一输入图像帧和第二输入图像帧的选择部分导出的未过滤全分辨率亮度图像数据；(e)用于第一透视图的完整未过滤全分辨率亮度图像数据和用于第二透视图的部分未过滤全分辨率亮度图像数据；(d)用pel值替代图像数据的至少一部分的一个或更多个备用类型的数据组成。
22.如权利要求14所述的方法，还包括对通过一个或更多个输入视频信号表示、接收、传送或存储的一个或更多个3D图像进行处理。
23.如权利要求14所述的方法，其中，输入降低分辨率图像数据或输入EL图像数据中的至少一部分包含以高动态范围(HDR)图像格式、与电影艺术与科学学院(AMPAS)的学院颜色编码规范(ACES)标准相关联的RGB颜色空间、数字电影倡导联盟的P3颜色空间标准、参考输入媒介度量/参考输出媒介度量(RIMM/ROMM)标准、sRGB颜色空间或与国际电信联盟(ITU)的BT.709推荐标准相关联的RGB颜色空间中的一个编码的图像数据。
24.一种执行 如权利要求1~13所述的方法中的任一种的编码器。
25.—种执行如权利要求14~23所述的方法中的任一种的解码器。
26.—种执行如权利要求1~25所述的方法中的任一种的系统。
27.—种系统,包括: 编码器，该编码器被配置为: 接收包含第一输入3D图像的输入3D图像序列，第一输入3D图像具有用于第一透视图的第一输入图像帧和用于不同的第二透视图的第二输入图像帧； 基于一个或更多个决定因子，从多个不同类型的数据组成选择用于在一个或更多个增强层(EL)中传送增强层图像数据的特定类型的数据组成； 通过使用第一输入图像帧和第二输入图像帧中的一个或两者导出一个或更多个颜色通道中的图像数据；以及 编码并输出一个或更多个颜色通道中的图像数据作为所述特定类型的数据组成中的EL图像数据； 解码器，该解码器被配置为: 接收基层中的3D图像的第一透视图和不同的第二透视图的输入降低分辨率图像数据，并且接收增强层中的EL图像数据和输入EL图像数据描述符，输入EL图像数据描述符指示一个或更多个增强层中的EL图像数据的特定类型的数据组成； 至少部分地基于由EL图像数据描述符指示的特定类型的数据组成从EL图像数据导出一个或更多个颜色通道中的图像数据； 基于一个或更多个颜色通道中的图像数据以及输入降低分辨率图像数据产生用于第一透视图的第一输出图像帧和用于第二透视图的第二输出图像帧；以及 通过呈现用于第一透视图的第一输出图像帧并通过呈现用于第二透视图的第二输出图像帧来呈现3D图像。
【文档编号】H04N13/00GK104041023SQ201280047469
【公开日】2014年9月10日 申请日期:2012年9月26日 优先权日:2011年9月29日
【发明者】陈涛, S·N·胡亚勒卡, G·拉克什米纳拉亚纳 申请人:杜比实验室特许公司