Mvc立体视图与用于3dtv的左或右眼显示器的关联的利记博彩app
【专利摘要】一种通过MPEG-2系统标准流将根据多视图视频编译(MVC)编码(110)的表示场景的左(208L)和右(208R)眼视图的视频数据从发送器传递到接收器的方法，包括在发送器(114,218)处接收传送作为基本视图和增强视图编码的数据的输入视频基本流，其中，基本视图表示左和右眼视图中的特定一个，并且增强视图表示左和右眼视图中的另一个。MPEG-2系统标准复用器(218)在发送器处生成MPEG-2系统标准流，其从输入视频基本流得到，并且传送将基本视图与左和右眼视图中的特定一个相关联的关联信息。将MPEG-2系统标准流从发送器发送到接收器。
【专利说明】MVC立体视图与用于3DTV的左或右眼显示器的关联
[0001]相关申请的交叉引用
[0002]根据35USC120本申请要求2011年11月14日提交的美国临时申请N0.61/559，149的权益，其公开的全部内容通过引用被包含在此用于所有目的。
【背景技术】
[0003]该申请的主题涉及MVC立体视图与用于3DTV的左或右眼显示器的关联。
[0004]参考附图的图1，在分布2D视频内容的传统方法中，视频编码器10从诸如相机的源(未示出)通常以SMPTE292M定义的HD-SDI格式接收原始视频数据。视频编码器利用HD-SDI数据以生成视频基本流并且将视频基本流供应到视频分组器14，其产生由多达64kbyte的可变长度分组构成的视频分组基本流(PES)。相似地，音频编码器(未示出)从例如麦克风接收原始音频数据并且将音频基本流供应到音频分组器，其产生由可变长度分组构成的音频PES。
[0005]在生成视频基本流中，基于通过原始视频数据所表示的连续图片之间的相关性，视频编码器使用已知预测技术压缩原始视频数据。视频基本流表示作为从I图片开始的一系列图片(GOP)组组织的一系列I (帧内编码)图片、P(预测编码)图片和B(双向预测编码)图片。典型地，视频PES的每个分组包含一个或多个编码的图片。
[0006]视频和音频分组器可以将视频和音频PES提供到传输流复用器18，其将各自的节目标识符(PID)分配到视频PES和音频PES，并且将视频和音频PES的可变长度分组组织为固定长度MPEG-2传输流(TS)分组，该每个固定长度MPEG-2传输流(TS)分组具有包括PES的PID的报头和包含PES视频(或音频)数据的有效载荷。
[0007]通过视频和音频PES传送的视频和音频基本流被认为是包括在通过传输流复用器输出的单一节目传输流(SPTS)中的服务。SPTS也可以包括其他服务，诸如通过具有分配到其的各自PID的各自分组基本流所传送的第二语言音频和节目指南数据。
[0008]SPTS的TS分组也包括节目映射表(PMT)，其包含通过SPTS传送的基本流的PID，并且可以包含其他信令机制。
[0009]通过传输流复用器18输出的SPTS可以被供应到节目复用器22，其将SPTS和传送其它节目的其它传输流组合，以产生多节目传输流(MPTS)。通过信道将MPTS发送到接收器24，在接收器24处，节目解复用器26将被选择的SPTS与MPTS分离并且将其供应到传输流解复用器30。可以在连接到数字TV装置25的机顶盒(STB)中实施接收器24。本领域的技术人员应该理解的是，通过传输流复用器18所输出的SPTS在没有首先与其它传输流组合的情形下，可以被直接发送到传输流解复用器30以产生MPTS，但是无论哪种情形，传输流解复用器接收被选择的SPTS的固定长度传输流分组并且在PID的基础上将它们分离，将传输流分组解分组以重新产生PES分组，并且将该视频PES指导给所称的视频传输系统目标解码器(T-STD) 34，以及将音频PES指导给音频T-STD38。本申请的主题涉及处理视频数据，因此我们将不再进一步讨论音频解码器。
[0010]视频T-STD34包括视频解分组器40和视频解码器42。视频解分组器40从传输流解复用器接收视频PES并且将编码的比特流提供给视频解码器，其解码该比特流并且以显示顺序将图片的流输出到TV装置25。典型地，解码器42通过HDMI (高清晰多媒体接口)电缆被连接到TV装置。在STB中的HDMI编码器产生HDMI兼容数字信号，其通过HDMI电缆被传到TV装置中的HDMI解码器。HDMI解码器生成适当信号用于驱动TV装置的显示电路。
[0011]在MPEG-2系统标准(IS0/IEC13818-1)中定义的MPEG-2传输流，通过易于发生错误的信道广泛用于编码视频的传递。MPEG-2系统标准也定义MPEG-2节目流，其可以用于无误差环境中的编码视频的传输。图1示出将作为节目流的视频PES发送至视频节目系统目标解码器(P-STD) 50作为替换物以作为传输流传递到视频T-STD34。术语“MPEG-2系统标准流”在本文中使用，以表示MPEG-2传输流和MPEG-2节目流。将理解的是，无论通过节目流或传输流传递视频内容，在描述的方法的实际实施中可能需要上文描述和示出的那些之外的其它功能块。
[0012]通过视频编码器10产生的比特流可以遵循通常称为H.264/AVC的在ISO/IEC14496-10(MPEG-4部分10)高级视频编码(AVC)中特定的视频压缩标准。本领域的技术人员应该理解的是，H.264/AVC允许图片被分割成片并且图片由一个或多个I片、P片和B片构成。然而为了简洁明了，我们将在下文限制对这些图片的描述。编译视频序列(与先前视频压缩标准的GOP相对应)的第一图片或存取单元可以是IDR(即时解码器刷新)存取单元，其可以被定义为仅包含I片或SI (切换的帧内编码)片的存取单元。
[0013]H.264/AVC的附件H指定已知为多视图视频编译或MVC的H.264/AVC的扩展，其提供相同场景的多视图的有效压缩。
[0014]参考图2，MVC视频编码器110从表示相同场景的视图的各自源，接收通常作为HD-SDI数据流的原始视频数据。三个源和三个数据流足以示出附加H的原理，但是本领域的技术人员应理解的是，可以存在两个源或者四个或者更多的源。MVC编码器110使用三个流中的时间和视图间相关性，可以生成传送每个从IDR存取单元开始并且包含分别从三个视图得到的存取单元的一系列编译视频序列的单一压缩视频基本流。可以从这三个流的任何一个得到在编译视频序列开始处的IDR存取单元。通常，从与紧接在前面的编译视频序列开始处的IDR存取单元不同的流，可以得到在编译视频序列的开始处的IDR存取单元。
[0015]压缩的视频基本流通过视频分组器114分组，并且视频PES传到传输流复用器118。MPEG-2系统标准不允许单一 PID被分配到IDR存取单元和从其它视图得到的存取单元。因此，传输流复用器118将编译视频序列分离成包含DIR存取单元和从相同视图(称为基本视图)得到的其它存取单元的存取单元的主序列，以及包含从附加视图(在示例的情形下的两个附加视图)得到的存取单元的存取单元的次序列，并且将各自的PID分配到两个序列。与图1中示出的传输流复用器18相似，图2中示出的传输流复用器118将视频PES的可变长度分组和相对应的音频PES组织为固定长度TS分组，并且通过节目复用器/解复用器122、126将TS分组直接地或者作为多节目传输流的一部分，发送到传输流解复用器130。传输流解复用器130恢复一系列的编译视频序列，并且将视频PES分组传送到视频解分组器140，其将视频PES解分组并且重建视频基本流。MVC视频解码器142解码存取单元，并且将与通过MVC视频编码器110接收的图片的三个流相对应的演示单元的三个流供应到HDMI编码器146。HDMI编码器经由HDMI解码器148从诸如视频游戏机的显示装置125接收控制信号，并且响应于控制信号，HDMI编码器创建通过HDMI电缆将被选择的三个视图之一传输到HDMI解码器的HDMI兼容数字信号。HDMI解码器生成适当信号用于驱动显示装置的显示电路，以便显示被选择的视图。
[0016]已经将多视图视频编译应用到其中多视图是左和右眼立体视图的情形，以便支持将3D视频内容传递至支持3D的TV装置。参考图3，左右相机208L、208R提供表示场景的左右眼视图的原始视频数据，并且MVC编码器110产生传送从启用MVC解码器142的左和右眼视图得到的存取单元的编码比特流，该MVC解码器142解码存取单元和恢复相对应的演示单元，以将一系列的演示单元供应到HDMI编码器146。在TS比特流之外的信令机制启用HDMI编码器，以确定所给演示单元是否表示左眼视图或右眼视图。如TV装置225的显示电路需要，HDMI解码器148将控制信号发送到调用一系列左和右眼视图演示单元的HDMI编码器，以便提供3D显示，并且HDMI编码器通过将适当系列的左和右眼视图演示单元供应到HDMI解码器148来响应于控制信号。MVC的这些扩展不可应用到通过MPEG-2系统标准流发送的信号，因为MPEG-2系统标准当前未提供用于保存左右眼视图信息的机制。
[0017]H.264/AVC视频压缩标准或者MPEG-2系统标准都不提供用于提供信息的信令机制，该信息将演示单元或存取单元与通过演示单元或存取单元所表示的视图的手(左或右)关联。这种标准化机制的不存在限制将MVC应用到3D内容传递的发展。
【发明内容】
[0018]根据本申请的主题的第一方面，提供一种通过MPEG-2系统标准流将表示根据多视图视频编译(MVC)编码的场景的左和右眼视图的视频数据从发送器传递到接收器的方法，包括:在发送器处接收传送作为基本视图和增强视图编码的数据的输入视频基本流，其中，基本视图表示左和右眼视图中的一个，并且增强视图表示左和右眼视图中的另一个；在发送器处利用MPEG-2系统标准复用器以生成从输入视频基本流得到的MPEG-2系统标准流，并且传送将基本视图与所述左右眼视图中的一个相关联的关联信息；发送来自发送器的MPEG-2系统标准流，在接收器处接收MPEG-2系统标准流，并且在接收器处利用MPEG-2系统标准解复用器，以生成从MPEG-2系统标准系统得到的输出视频基本流，其中，输出视频基本流传送作为基本视图和增强视图编码的数据，并且从MPEG-2系统标准流恢复关联信息。
[0019]根据本申请的主题的第二方面，提供一种通过MPEG-2系统标准流将表示根据多视图视频编译(MVC)编码的场景的左和右眼视图的视频数据从发送器传递到接收器的方法，包括:在发送器处接收传送作为基本视图和增强视图编码的数据的输入视频基本流，其中，基本视图表示左和右眼视图中的一个，并且增强视图表示左和右眼视图中的另一个；在发送器处利用MPEG-2系统标准复用器以生成从输入视频基本流得到的MPEG-2系统标准流，并且传送将基本视图与所述左右眼视图中的一个相关联的关联信息；并且从发送器发送MPEG-2系统标准流。
[0020]根据该申请的主题的第三方面，提供一种处理MPEG-2系统标准流的方法，MPEG-2系统标准流传送根据多视图视频编译(MVC)编码的和表示场景的基本视图和增强视图的视频数据，并且也传送将基本视图与场景的左眼视图和右眼视图中的一个相关联的关联信息，包括利用MPEG-2系统标准解复用器以生成从MPEG-2系统标准流得到的输出视频基本流，其中，输出视频基本流传送作为基本视图和增强视图编码的数据，并且从MPEG-2系统标准流恢复关联息。
[0021]根据该申请的主题的第四方面，提供一种包括软件的非暂时性计算机可读介质，当通过具有用于接收信号的输入的计算机执行软件时，通过以下方法将数据传递到接收器，该信号通过MPEG-2系统标准流将表示根据多视图视频编译(MVC)编码的场景的左和右眼视图的视频数据从发送器发送到接收器，该方法包括在发送器处接收传送作为基本视图和增强视图编码的数据的输入视频基本流，其中基本视图表示左和右视图中的一个，并且增强视图表示左和右眼视图中的另一个，在发送器处利用MPEG-2系统标准复用器以生成MPEG-2系统标准流，该MPEG-2系统标准流从输入视频基本系统得到并且传送将基本视图与左和右眼视图中的所述一个相关联的关联信息，并且从发送器发送MPEG-2系统标准流。
[0022]根据该申请的主题的第五方面，提供一种包括软件的非暂时性计算机可读介质，当通过具有用于接收MPEG-2系统标准流的输入的计算机执行软件时，通过以下方法处理MPEG-2系统标准流，MPEG-2系统标准流传送根据多视图视频编译(MVC)编码和表示场景的基本视图和增强视图的视频数据，并且也传送将基本视图与场景的左眼视图和右眼视图中的一个相关联的关联信息，该方法包括利用MPEG-2系统标准解复用器来生成从MPEG-2系统标准流得到的输出视频基本流，其中，输出视频基本流传送作为基本视图和增强视图编码的数据，并且从MPEG-2系统标准流恢复关联信息。
【专利附图】
【附图说明】
[0023]为了更好的理解本发明，并且为了示出本发明怎样实施，现将通过示例参考附图，其中:
[0024]图1是供应用于演示的压缩视频材料的第一系统的构架的示意框图；
[0025]图2是供应用于演示的压缩视频材料的第二系统的构架的示意框图；
[0026]图3是供应用于演示的压缩视频材料的第三系统的构架的示意框图；
[0027]图4是供应用于演示的压缩视频材料的第四系统的构架的块示意性图；以及
[0028]图5是用于实施参考图4所描述的处理的部分的计算机的示意框图。
【具体实施方式】
[0029]通过图4中示出的MVC编码器110产生的每个编译视频序列从IDR图片开始，其从左眼视图或右眼视图可以被得到。提供IDR图片的视图(左或右眼)是用于被编译的视频序列的基本视图；另一视图是增强视图。通常，用于所给定的编译视频序列的基本视图与用于紧接在前面的编码视频序列的基本视图不相同(左眼或右眼)。
[0030]图4中示出的传输流复用器218将从视频分组器接收的编译视频序列的可变长度PES分组组织成固定长度TS分组的两个分量序列。一个分量序列(本文称为主序列)包含传送基本视图图片和被分配主PID的PES分组。另一分量序列(次序列)包含传送增强视图图片和被分配次PID的PES分组。应理解的是，主序列的PES分组传送编译视频序列从其开始的IDR图片和次序列不传送IDR图片。次序列从所谓的锚图片开始。也应该理解的是，如果从两个连续的编译视频序列的第一个得到的主序列传送右眼视图图片，则通常从两个编译视频序列的第二个得到的主序列将传送左眼视图图片。[0031]传输流复用器218接收将当前编译视频序列和适当的(左或右)眼视图明确关联的信息。该关联信息最终从相机分别与左右眼视图的关联得到，并且可以被包括在通过MVC编码器产生的补充增强信息(SEI)消息中，或者与由相机提供的视频数据分离地通过信令机制被提供到TS复用器。
[0032]通过传输流复用器218产生的MPEG-2传输流的节目映射表(PMT)可以包含节目特定信息(PSI)，即关于通过传输流所传送的节目的信息。PSI可以包括包含标准定义或用户定义的数据元素的描述符。例如，该节目映射表可以包括包含视频基本流的编译参数的视频流描述符。该描述符也可以用于将关于该节目的信息用信令发送到T-STD。在MPEG-2节目流的节目流映射中相似描述符可以被传送，以将关于该节目的信息发送到P-STD。
[0033]TS复用器218包括描述符处理器，该描述符处理器接收关联信息并且根据该关联信息是否指示当前编译视频序列的基本视图是左眼视图或右眼视图，生成包括具有值左或右的参数的视频关联描述符。传输流复用器218包括通过该传输流复用器输出的传输流的PMT中的视图相关描述符。
[0034]单一节目传输流通过信号传播介质传递到传输流解复用器230。信号传播介质可以包括任何适当的介质或介质的组合，诸如有线TV分布网、互联网、和无线发送器和接收器。SPTS可以被包含到MPTS,用于通过信号传播介质传递。
[0035]传输流解复用器230接收传送从提供到传输流复用器218的编译视频序列得到的主和次分量序列的SPTS，基于各自的PID将主和次分量序列分离，并且将主和次分量序列重新组合，以再创建包含一系列的编译视频序列的PES分组。视频PES分组传到视频解分组器，其分组该视频PES分组并且重建视频基本流并且将其供应给MVC解码器142。针对每个编译视频序列，MVC解码器解压缩存取单元，并且生成分别与基本视图和增强视图相对应的两个序列的演示单元，并且将两个序列演示单元供应到HDMI编码器146。
[0036]传输流解复用器230也从视图相关描述符恢复相关信息，并且将相关信息传到HDMI编码器。例如在供应到视频解分组器的比特流中TS解复用器包括的SEI消息中，该相关信息可以经由MVC解码器从TS解复用器传到HDMI编码器，如图4中示意地示出，或者其可以从TS解复用器直接传到MVC解码器。在前述情形下，关联信息凭借视频PES的结构与编译视频序列同步；在后述情形下，确保关联信息与编译视频序列同步是很重要的。
[0037]为了提供适当的3D显示，HMDI解码器148将控制信号发到调用左眼视图图片和右眼视图图片的交替序列的HDMI编码器146。HDMI编码器使用同步关联信息，以确定是否基本视图图片是左眼视图图片或右眼视图图片，并且使用演示单元的两个序列和关联信息，在通过HDMI解码器提供的控制信号所需要的时间，创建传送左眼视图图片和右眼视图图片的适当序列的HDMI兼容数字信号，并且通过HDMI电缆在TV装置中将HDMI信号供应到HDMI解码器。随后，支持3D的TV装置能够提供恰当的3D显示。
[0038]通过视频分组器114输出的视频PES通过MPEG-2节目流也可以被传送到视频解分组器240。如图4中所示，视频PES分组被传递到节目流复用器用于形成节目流，其被传到节目流解复用器。节目流解复用器将视频PES分组输出到解分组器240。
[0039]与传输流情形相似，节目流复用器在SEI消息中或者与从MVC编码器接收的任何SEI消息分离地接收关联信息。PS复用器包括描述符中的关联信息，其通过节目流的节目流映射被传送。PS解复用器恢复关联信息并且将其供应给视频解分组器。[0040]在HDMI编码器被连接到2D TV装置325的情形下，HDMI解码器248不调用左眼视图图片和右眼视图图片的交替序列。HDMI编码器146提供单眼视图图片的序列。单眼视图图片通常在基本视图和增强视图之间交替。HDMI解码器248生成适当信号用于驱动TV装置的显示器电路250，用于显示单眼视图。因此，图4中示出的传递系统与2D TV装置向
后兼容。
[0041]参考图5，用于产生传输流或节目流的图4中示出的一个或多个功能块，或者用于接收传输流或节目流和将HDMI兼容信号提供到装置225或325的图4中示出的一个或多个功能块，可以使用包括以普通传统构架配置的至少一个处理器161、随机存取存储器162、只读存取器163、I/O设备164(包括用于接收和发送比特流的适当的适配器)、用户接口165、CD ROM驱动器166和硬盘驱动器167的计算机来实施。该计算机根据存储在诸如硬盘驱动器167或CD-R0M168的非暂时性计算机可读介质中的程序来操作，并且被加载到随机存取存储器162，用于执行。该程序由指令组成，以便当通过包括在I/O设备164的适当接口，计算机接收表示一个或多个功能块的输入的信号时，该计算机将存储器分配到适当的缓冲器，并且使用其它适当的资源和功能以执行通过一个或多个功能块所执行的上述的各种操作。
[0042]本领域的技术人员应该理解的是，该程序使用CD-ROM驱动器166可能不从CD-R0M168被直接加载到随机存取存储器中，并且该程序通常以需要将该程序从⑶-R0M168被安装在硬盘驱动器167上的形式，被存储在⑶-ROM或其它分布介质上。
[0043]应该理解的是，本发明不限于已经描述的特定实施例，并且在不脱离随附权利要求所定义的、根据现行法律的原理所解释的本发明的范围的情形下可以进行各种更改，包括等效原则或扩大它的文字范围之外的权利要求的可实施范围的任何其它原理。例如，虽然图4的描述涉及包含指示是否基本视图是左眼视图或右眼视图的信息的视频相关描述符，该描述符可以包含指示是否增强视图是左眼视图或右眼视图的信息，或者明确指示基本视图的手(左或右)和增强视图的手的信息。除非文中另有说明，在权利要求中对于要素的多个实例的引用，无论是对于一个或多个实例的引用，至少需要该要素的陈述数目的实例，但并非旨在从权利要求的范围中排除具有比陈述的该要素更多实例的结构或方法。词“包括”或其衍生形式，当用于权利要求中时，是非排他性含义，并非旨在排除权利要求所述的结构或方法中存在其它的要素或步骤。
【权利要求】
1.一种通过MPEG-2系统标准流将表示根据多视图视频编译(MVC)编码的场景的左和右眼视图的视频数据从发送器传递到接收器的方法，包括: 在发送器处接收传送作为基本视图和增强视图编码的数据的输入视频基本流，其中，所述基本视图表示所述左和右眼视图中的一个，并且所述增强视图表示所述左和右眼视图中的另一个， 在所述发送器处采用MPEG-2系统标准复用器，以生成从所述输入视频基本流得到的MPEG-2系统标准流，并且传送将所述基本视图与所述左和右眼视图中的所述一个相关联的关联信息，以及 从所述发送器发送所述MPEG-2系统标准流。
2.根据权利要求1所述的方法，其中，所述MPEG-2系统标准流是传输流，并且所述方法包括通过所述传输流的描述符传送所述关联信息。
3.根据权利要求1所述的方法，其中，所述MPEG-2系统标准流是节目流，并且所述方法包括通过所述节目流的描述符传送所述关联信息。
4.一种处理MPEG-2系统标准流的方法，所述MPEG-2系统标准流传送根据多视图视频编译(MVC)编码的并且表示场景的基本视图和增强视图的视频数据，并且还传送将所述基本视图与场景的左眼视图和右眼视图中的一个相关联的关联信息，包括: 采用MPEG-2系统标准解复用器来生成从所述MPEG-2系统标准流得到的输出视频基本流，其中，所述输出视频基本流传送作为基本视图和增强视图编码的数据，并且从所述MPEG-2系统标准流恢复所述关联信息。
5.根据权利要求4所述的方法，包括经由接口将所述输出视频基本流传递到支持3D的显示设备，所述接口接收所述关联信息并且根据所述关联信息将一系列左眼视图图片和右眼视图图片提供到所述显示设备。
6.根据权利要求4所述的方法，其中，所述MPEG-2系统标准流是传输流，所述传输流通过所述传输流的描述符传送所述关联信息。
7.根据权利要求4所述的方法，其中，所述MPEG-2系统标准流是节目流，所述节目流通过所述节目流的描述符传送所述关联信息。
8.一种包括软件的非暂时性计算机可读介质，当通过具有用于接收MPEG-2系统标准流的输入的计算机执行所述软件时，通过方法处理所述MPEG-2系统标准流，所述MPEG-2系统标准流传送根据多视图视频编译(MVC)编码并表示场景的基本视图和增强视图的视频数据，并且还传送将所述基本视图与场景的左眼视图和右眼视图中的一个相关联的关联信息，所述方法包括: 利用MPEG-2系统标准解复用器来生成从所述MPEG-2系统标准流得到的输出视频基本流，其中，所述输出视频基本流传送作为基本视图和增强视图编码的数据，并且从所述MPEG-2系统标准流恢复所述关联信息。
【文档编号】H04N21/2365GK103931200SQ201280055877
【公开日】2014年7月16日 申请日期:2012年7月31日 优先权日:2011年11月14日
【发明者】曼达亚姆·A·纳拉辛汉 申请人:摩托罗拉移动有限责任公司