图像编码方法、图像解码方法、图像编码装置及图像解码装置的利记博彩app

专利名称：图像编码方法、图像解码方法、图像编码装置及图像解码装置的利记博彩app
技术领域：
本发明涉及包括将由I个以上的图片构成的图像编码而生成编码流的视频层、和生成用来将编码流传送或储存的系统流的系统层的图像编码方法。
背景技术：
在由 ITU-T (International Telecommunication Union TelecommunicationStandardization Sector)推荐的Η· 264中，有用来实现空间可伸缩性及时间可伸缩性的可伸 缩影像编码(SVC :Scalable Video Coding)的扩展规格。在SVC中，通过包括基本层及扩展层等的多个层确保可伸缩性(扩展性)。例如，从基本层能够得到较低的分辨率的图像。并且，从扩展层能够得到较高的分辨率的图像。在SVC中，所谓空间可伸缩性，意味着关于图像的分辨率、或者图像的尺寸等的扩展性。所谓时间可伸缩性，意味着关于帧速率等的扩展性。通过将它们用多个层级处理，实现分等级的品质。此外，在由ITU-T推荐的H. 264中，有能够将关于多个视点(视)的多个图像高效率地编码的称作多视点影像编码(MVC =Multi-View VideoCoding)的扩展规格。在MVC中，将关于包括基本视(也称作独立视)及非基本视(也称作依存视)的多视的多个图像编码。并且，在编码时，有使用视间预测的情况。例如，在非基本视的图像的编码中，使用基本视的图像作为预测图像。由此，编码效率提高。另外，在非专利文献I 5中，在用来将图像及声音编码的MPEG-2系统中，记载有用来识别上述扩展规格的规格。先行技术文献非专利文献非专利文献I =ITU-TRec. H. 222. O | IS0/IEC13818-1非专利文献2 IS0/IEC13818-1 2007/Amd4 2009非专利文献3 !Recommendation H. 222. O (2006) Amendments (12/09) “Transportof multiview video over ITU-T Rec. H. 222. 0|IS0/IEC13818-1’非专利文献4 IS0/IEC13818-1 2007/Amd3 2009非专利文献5 :RecommendationH. 222. 0 (2006) Amendment3 (03/09)“Transport ofscalable video over ITU-T Rec. H. 222. 0|IS0/IEC13818-1’
发明概要发明要解决的课题但是，在以往的SVC中，不存在用来处理3D图像的规定，以往的SVC不能处理3D图像。另一方面，以往的MVC虽然能够处理3D图像，但不能用不同的多个分辨率处理3D图像。
例如，有将图像区域划分为左右两个区域、在左侧的区域中配置左眼用的图像、在右侧的区域中配置右眼用的图像的称作并排(SBS:Side BySide)的影像格式。在并排中，每个单侧的分辨率为通常的一半。具体而言，在由1920像素X 1080像素的分辨率构成的全HD的环境下，通过并排得到的每个单侧的分辨率为全HD的一半。以往的SVC及以往的MVC也可以具有使用并排的影像格式将图像编码、以使由基本层带来的分辨率为全HD的一半、由扩展层带来的分辨率为全HD的功能。假如在将图像用并排的影像格式通过以往的MVC或以往的SVC编码的情况下，使用并排得到的比特流与不使用并排得到的比特流的判别变得困难。更具体地讲，在上述非专利文献I (ITU-T Rec. H. 222. O | IS0/IEC13818-1)等的系统层中，判别这些影像格式的差异变得困难。因而，图像解码装置的结构变得复杂。
发明内容
所以，本发明的目的是提供一种能够适当地对应由基本层及扩展层构成的3D影像格式的图像编码方法及图像解码方法。用于解决课题的手段为了解决上述问题，有关本发明的图像编码方法，是包括将由I个以上的图片构成的图像编码而生成编码流的视频层、和生成用来将上述编码流传送或储存的系统流的系统层的图像编码方法，上述视频层包括将上述图像编码而生成上述编码流的编码步骤；上述系统层包括将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)在上述编码步骤中生成的上述编码流多路复用而生成上述系统流的多路复用步骤；在上述编码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像编码而生成上述编码流。由此，有关本发明的图像编码方法能够生成能够在解码侧的系统层中判别图像是否是左右混合格式的系统流。因而，有关本发明的图像编码方法能够适当地对应于由基本层及扩展层构成的3D影像格式。此外，也可以是，上述系统层依据MPEG-2系统；上述视频层依据多视点影像编码方式；在上述编码步骤中，按照上述多视点影像编码方式将上述图像编码而生成上述编码流；在上述多路复用步骤中，在关于上述多视点影像编码方式的描述符中插入上述识别码，将包括上述识别码的上述描述符与上述编码流多路复用，生成上述系统流。由此，以多视点影像编码方式将图像编码。并且，在关于多视点影像编码方式的描述符中插入识别码。因而，有关本发明的图像编码方法能够使用描述符生成适当的系统流。此外，也可以是，上述视频层依据H. 264 MVC ;关于上述多视点影像编码方式的上述描述符是关于上述H. 264 MVC的MVC描述符；在上述编码步骤中，按照上述H. 264 MVC将上述图像编码而生成上述编码流；在上述多路复用步骤中，在关于上述H. 264 MVC的上述MVC描述符中插入上述识别码，将包含上述识别码的上述MVC描述符与上述编码流多路复用，生成上述系统流。由此，用H. 264 MVC将图像编码。并且，在关于H. 264 MVC的MVC描述符中插入识别码。因而，有关本发明的图像编码方法能够使用MVC描述符生成适当的系统流。
此外，也可以是，在上述编码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将上述左右混合格式的上述图像编码；在上述图像的上述格式不是上述左右混合格式的情况下，将包括左视点的图片和右视点的图片作为相互不同的图片的格式即左右独立格式的上述图像编码。由此，有关本发明的图像编码方法能够将左右混合格式的图像、或左右独立格式的图像编码。此外，也可以是，上述系统层依据MPEG-2系统；上述视频层依据可伸缩影像编码 方式；在上述编码步骤中，按照上述可伸缩影像编码方式将上述图像编码而生成上述编码流；在上述多路复用步骤中，在关于上述可伸缩影像编码方式的描述符中插入上述识别码，将包含上述识别码的上述描述符和上述编码流多路复用而生成上述系统流。由此，以可伸缩影像编码方式将图像编码。并且，在关于可伸缩影像编码方式的描述符中插入识别码。因而，有关本发明的图像编码方法能够使用描述符生成适当的系统流。此外，也可以是，上述视频层依据H. 264 SVC ;关于上述可伸缩影像编码方式的上述描述符是关于上述H. 264 SVC的SVC描述符；在上述编码步骤中，通过按照上述H. 264SVC将上述图像编码，生成上述编码流；在上述多路复用步骤中，在关于上述H. 264 SVC的上述SVC描述符中插入上述识别码，将包含上述识别码的上述SVC描述符与上述编码流多路复用，生成上述系统流。由此，用H. 264 SVC将图像编码。并且，在关于H. 264 SVC的SVC描述符中插入识别码。因而，有关本发明的图像编码方法能够使用SVC描述符生成适当的系统流。此外，也可以是，在上述编码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将用于立体显示的上述图像编码；在上述图像的上述格式不是上述左右混合格式的情况下，将用于平面显示的上述图像编码。由此，有关本发明的图像编码方法能够将用于立体显示的图像、或用于平面显示的图像编码。此外，也可以是，上述图像编码方法还包括通过(i)生成在上述左视点用图像区域中包含作为左视点的图片的左图片的第I部分、在上述右视点用图像区域中包含作为右视点的图片的右图片的第2部分的图片作为上述基本层的图片、(ii)生成在上述左视点用图像区域中包含是上述左图片的部分、作为与上述第I部分不同的部分的第3部分、在上述右视点用图像区域中包含是上述右图片的部分、作为与上述第2部分不同的第4部分的图片作为上述扩展层的图片、将上述图像以上述左右混合格式生成的生成步骤；在上述编码步骤中，在将上述左右混合格式的上述图像编码时，将在上述生成步骤中生成的上述图像编码而生成上述编码流。由此，根据与对应于基本层的图片的部分不同的部分生成扩展层的图片。因而，通过基本层的图片和扩展层的图片实现分等级的精度。此外，也可以是，上述图像编码方法还包括通过(i)生成在上述左视点用图像区域中包含作为左视点的图片的左图片的第I部分、在上述右视点用图像区域中包含作为右视点的图片的右图片的第2部分的图片作为上述基本层的图片、(ii)生成在上述左视点用图像区域中包括上述左图片的全部、或上述左图片中的包括上述第I部分的第3部分、在上述右视点用图像区域中包括上述右图片的全部、或上述右图片中的包括上述第2部分的第4部分的图片作为上述扩展层的图片、将上述图像以上述左右混合格式生成的生成步骤；在上述编码步骤中，在将上述左右混合格式的上述图像编码时，将在上述生成步骤中生成的上述图像编码而生成上述编码流。由此，根据包括对应于基本层的图片的部分的部分生成扩展层的图片。因而，通过基本层的图片和扩展层的图片实现分等级的精度。此外，有关本发明的图像解码方法，是包括从用来将包括由I个以上的图片构成的图像的编码流传送或储存的系统流中取得上述编码流的系统层、和将上述编码流的上述图像解码的视频层的图像解码方法，上述系统层包括将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)上述编码流从上述系统流分离、取得上述识别码和上述编码流的分离步骤；上述视频层包括将包含在由上述分离步骤取得的上述编码流中的上述图像解码的解码步骤；上述图像解码方法还包括以按照由上述分离步骤取得的上述识别码确定的输出形态输出由上述解码步骤解码的上述图像的输出步骤；在上述解码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述 扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像解码。由此，有关本发明的图像解码方法能够根据表示图像是否是左右混合格式的识别码切换图像的输出形态。因而，有关本发明的图像解码方法能够适当地对应于由基本层及扩展层构成的3D影像格式。此外，也可以是，上述系统层依据MPEG-2系统；上述视频层依据多视点影像编码方式；在上述分离步骤中，将关于上述多视点影像编码方式的描述符与上述编码流从上述系统流中分离，取得包含在上述描述符中的上述识别码和上述编码流；在上述解码步骤中，将按照上述多视点影像编码方式编码的上述图像解码。由此，有关本发明的图像解码方法能够将用多视点影像编码方式编码的图像解码。并且，有关本发明的图像解码方法能够从关于多视点影像编码方式的描述符中取得识别码。因而，有关本发明的图像解码方法能够适当地对应于左右混合格式。此外，也可以是，上述视频层依据H. 264 MVC ;关于上述多视点影像编码方式的上述描述符是关于上述H. 264 MVC的MVC描述符；在上述分离步骤中，将关于上述H. 264 MVC的上述MVC描述符和上述编码流从上述系统流中分离，取得包含在上述MVC描述符中的上述识别码和上述编码流；在上述解码步骤中，将按照上述H. 264 MVC编码的上述图像解码。由此，有关本发明的图像解码方法能够将用H. 264 MVC编码的图像解码。并且，有关本发明的图像解码方法能够从关于H. 264 MVC的MVC描述符中取得识别码。因而，有关本发明的图像解码方法能够适当地对应于左右混合格式。此外，也可以是，在上述解码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将上述左右混合格式的上述图像解码；在上述图像的上述格式不是上述左右混合格式的情况下，将包含左视点的图片和右视点的图片作为相互不同的图片的格式即左右独立格式的上述图像解码。由此，有关本发明的图像解码方法能够将左右混合格式的图像、或左右独立格式的图像解码。
此外，也可以是，上述系统层依据MPEG-2系统；上述视频层依据可伸缩影像编码方式；在上述分离步骤中，将关于上述可伸缩影像编码方式的描述符和上述编码流从上述系统流中分离，取得包含在上述描述符中的上述识别码和上述编码流；在上述解码步骤中，将按照上述可伸缩影像编码方式编码的上述图像解码。由此，有关本发明的图像解码方法能够将用可伸缩影像编码方式编码的图像解码。并且，有关本发明的图像解码方法能够从关于可伸缩影像编码方式的描述符取得识别码。因而，有关本发明的图像解码方法能够适当地对应于左右混合格式。 此外，也可以是，上述视频层依据H. 264 SVC ;关于上述可伸缩影像编码方式的上述描述符是关于上述H. 264 SVC的SVC描述符；在上述分离步骤中，将关于上述H. 264 SVC的上述SVC描述符和上述编码流从上述系统流中分离，取得包含在上述SVC描述符中的上述识别码、和上述编码流；在上述解码步骤中，将按照上述H. 264 SVC编码的上述图像解码。由此，有关本发明的图像解码方法能够将用H. 264 SVC编码的图像解码。并且，有关本发明的图像解码方法能够从关于H. 264 SVC的SVC描述符中取得识别码。因而，有关本发明的图像解码方法能够适当地对应于左右混合格式。此外，也可以是，在上述解码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将用于立体显示的上述图像解码；在上述图像的上述格式不是上述左右混合格式的情况下，将用于平面显示的上述图像解码。由此，有关本发明的图像解码方法能够将用于立体显示的图像、或用于平面显示的图像解码。此外，也可以是，上述图像解码方法还包括在上述图像的上述格式是上述左右混合格式的情况下生成作为左视点的图片的左图片、以及作为右视点的图片的右图片的生成步骤；在上述生成步骤中，从是包含在由上述解码步骤解码后的上述图像中的图片、作为上述基本层的图片的基本层图片的上述左视点用图像区域中取得上述左图片的第I部分；从上述基本层图片的上述右视点用图像区域中取得上述右图片的第2部分；从是包含在由上述解码步骤解码的上述图像中的图片、作为上述扩展层的图片的扩展层图片的上述左视点用图像区域中，取得是上述左图片的部分、与上述第I部分不同的第3部分；从上述扩展层图片的上述右视点用图像区域中，取得是上述右图片的部分、与上述第2部分不同的第4部分；根据所取得的上述第I部分、和所取得的上述第3部分，生成上述左图片；根据所取得的上述第2部分、和所取得的上述第4部分，生成上述右图片；在上述输出步骤中，在上述图像的上述格式是上述左右混合格式的情况下，输出由上述生成步骤生成的上述左图片、以及由上述生成步骤生成的上述右图片作为上述图像。由此，有关本发明的图像解码方法能够通过基本层的图片与扩展层的图片的组合生成闻精细的左图片和闻精细的右图片。此外，也可以是，上述图像解码方法还包括在上述图像的上述格式是上述左右混合格式的情况下、从是包含在由上述解码步骤解码的上述图像中的图片、作为上述基本层及上述扩展层中的一个图片的解码图片的上述左视点用图像区域中生成作为左视点的图片的左图片、从上述解码图片的上述右视点用图像区域中生成作为右视点的图片的右图片的生成步骤；在上述输出步骤中，在上述图像的上述格式是上述左右混合格式的情况下，输出由上述生成步骤生成的上述左图片、以及由上述生成步骤生成的上述右图片作为上述图像。由此，有关本发明的图像解码方法能够根据基本层的图片、以及扩展层的图片的某个生成左图片及右图片。因而，有关本发明的图像解码方法能够生成具有多个精度中的某个的图像。此外，有关本发明的图像编码装置，也可以是具备将由I个以上的图片构成的图像编码而生成编码流的视频层部、和生成用来将上述编码流传送或储存的系统流的系统层部的图像编码装置，上述视频层部具备将上述图像编码而生成上述编码流的编码部；上述系统层部具备将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)在上述编码部中生成的上述编码流多路复用而生成上述系统流的多路复用部；上述编码部在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述 图像编码而生成上述编码流。由此，将有关本发明的图像编码方法作为图像编码装置安装。此外，有关本发明的图像解码装置，也可以是具备从用来将包括由I个以上的图片构成的图像的编码流传送或储存的系统流中取得上述编码流的系统层部、和将上述编码流的上述图像解码的视频层部的图像解码装置，上述系统层部具备将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)上述编码流从上述系统流分离、取得上述识别码和上述编码流的分离部；上述视频层部具备将包含在由上述分离部取得的上述编码流中的上述图像解码的解码部；上述图像解码装置还具备以按照由上述分离部取得的上述识别码确定的输出形态输出由上述解码部解码的上述图像的输出部；上述解码部在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像解码。由此，能够将有关本发明的图像解码方法作为图像解码装置安装。发明效果通过本发明，能够在系统层中判别图像是否是左右混合格式。因而，有关本发明的图像编码方法及图像解码方法能够适当地对应于由基本层及扩展层构成的3D影像格式。


图I是表示有关实施方式I的图像编码装置的一例的框图。图2是表示有关实施方式I的图像解码装置的一例的框图。图3是表示有关实施方式I的图像解码装置的另一例的框图。图4是表示有关实施方式I的图像缩小方法的一例的概念图。图5是表不有关实施方式I的图像合成方法的一例的概念图。图6是表不有关实施方式I的MVC描述符的句法的一例的图。图7是表不有关实施方式I的MVC描述符的句法的另一例的图。
图8是表示有关实施方式2的图像编码装置的一例的框图。图9是表示有关实施方式2的图像解码装置的一例的框图。图10是表示有关实施方式2的图像解码装置的另一例的框图。图11是表不有关实施方式2的SVC描述符的句法的一例的图。 图12是表示有关实施方式3的MPEG-2系统的系统流的图。图13是表示有关实施方式4的MP4的BOX的结构例的图。图14是表示有关实施方式4的MP4文件的结构例的图。图15是表示有关实施方式4的BOX的层级构造的图。图16是表示有关实施方式4的头信息的例子的图。图17是表示有关实施方式5的图像编码装置的一例的框图。图18是表示有关实施方式5的图像编码装置的动作的一例的流程图。图19是表示有关实施方式5的图像解码装置的一例的框图。图20是表示有关实施方式5的图像解码装置的动作的一例的流程图。图21是表示有关实施方式6的图像编码装置的一例的框图。图22是表示有关实施方式6的图像编码装置的动作的一例的流程图。图23是表示有关实施方式6的图像解码装置的一例的框图。图24是表示有关实施方式6的图像解码装置的动作的一例的流程图。图25是表示实现内容分发服务的内容供给系统的整体结构图。图26是表示数字广播用系统的整体结构图。图27是表示电视机的结构例的框图。图28是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。图29是表示作为光盘的记录介质的构造例的图。图30A是表示便携电话的一例的图。图30B是表示便携电话的结构例的框图。图31是表示多路复用数据的结构的图。图32是示意地表示各流怎样多路复用在多路复用数据中的图。图33是更详细地表示在PES包列中怎样保存视频流的图。图34是表示多路复用数据的TS包和源包的构造的图。图35是表示PMT的数据结构的图。图36是表示多路复用数据信息的内部结构的图。图37是表示流属性信息的内部结构的图。图38是表示识别影像数据的步骤的图。图39是表示实现各实施方式的运动图像编码方法及运动图像解码方法的集成电路的结构例的框图。图40是表示切换驱动频率的结构的图。图41是表示识别影像数据、切换驱动频率的步骤的图。图42是表示将影像数据的规格与驱动频率建立了对应的查找表的一例的图。图43A是表示将信号处理部的模组共用的结构的一例的图。
图43B是表示将信号处理部的模组共用的结构的另一例的图。
具体实施例方式以下，使用附图对本发明的实施方式详细地说明。另外，以下说明的实施方式都表示本发明的优选的一具体例。在以下的实施方式中表示的数值、形状、材料、构成单元、构成单元的配置位置及连接形态、步骤、步骤的顺序等是一例，并不限定本发明。本发明仅受请求保护范围限定。由此，关于以下的实施方式中的构成单元中的、没有在表示本发明的最上位概念的技术方案中记载的构成单元，并不一定需要达到本发明的目的，而作为构成更优选的形态的单元进行说明。此外，在以下的记载中，所谓图片，是指由I个场或I个帧构成的图像。所谓视点(视)，是指作为由多个图片构成的图像的影像。例如，左视点是左眼用的影像，右视点是右眼用的影像。通过左视点与右视点的组合而实现立体显示。此外，图像如由包含在左视点中的图片和包含在右视点中的图片构成的情况那样、有由多个图片构成的情况。
此外，在以下的记载中，系统层及视频层分别是指由多个处理构成的处理层(处理群)。视频层也称作视频编码层(VCL:Video Coding Layer) 0基本层及扩展层分别是数据。(实施方式I)图I是表示有关本实施方式的图像编码装置的一例的框图。图I所示的图像编码装置100具备4个水平1/2缩小部111 114、2个综合部121、122、4个帧缓存131 134、2个开关151、152、输入信号控制部160、MVC编码器170、以及系统编码器180。MVC编码器170具有2个编码器171、172。图像编码装置100接受左右视点图像独立3D格式(也称作左右独立格式)的3D图像作为输入。左右视点图像独立3D格式是包含左视点的图片和右视点的图片作为相互不同的图片的格式。并且，图像编码装置100的4个水平1/2缩小部111 114及2个综合部121、122将左右视点图像独立3D格式的3D图像向左右视点像素混合3D格式(也称作左右混合格式)的3D图像变换。所谓左右视点像素混合3D格式，是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的格式。更具体地讲，水平1/2缩小部111将作为左视点的图片的左图片在水平方向上缩小到1/2。水平1/2缩小部112将作为右视点的图片的右图片在水平方向上缩小到1/2。并且，综合部121通过将由水平1/2缩小部111缩小后的左图片与由水平1/2缩小部112缩小后的右图片综合，生成包括左视点用图像区域和右视点用图像区域的图片。此外，水平1/2缩小部113将左图片在水平方向上缩小到1/2。水平1/2缩小部114将右图片在水平方向上缩小到1/2。并且，综合部122通过将由水平1/2缩小部113缩小后的左图片与由水平1/2缩小部114缩小后的右图片综合，生成包括左视点用图像区域和右视点用图像区域的图片。由此，将左右视点图像独立3D格式的3D图像向左右视点像素混合3D格式的3D图像变换。将由综合部121生成的图片保存到帧缓存131中，将由综合部122生成的图片保存到帧缓存132中。
并且，MVC编码器170的编码器171将保存在帧缓存131中的图片作为基本层的图片、并且作为基本视的图片编码。此外，MVC编码器170的编码器172将保存在帧缓存132中的图片作为扩展层的图片、并且作为非基本视的图片编码。由此，MVC编码器170将3D图像向基本层及扩展层的2个编码比特流变换。或者，图像编码装置100不将3D图像向左右视点像素混合3D格式变换、而以左右视点图像独立3D格式原状向MVC编码器170输入。即，在帧缓存133中原样保存左视点的图片，在帧缓存134中原样保存右视点的图片。并且，MVC编码器170的编码器171将保存在帧缓存133中的图片作为基本视编码。此夕卜，MVC编码器170的编码器172将保存在帧缓存134中的图片作为非基本视编码。由此，MVC编码器170将3D图像向左视点及右视点的2个编码比特流变换。输入信号控制部160通过按照用户指示切换2个开关151、152，切换输入到MVC编 码器170中的图片。例如，在用户对图像编码装置100指示以使其用左右视点像素混合3D格式将图像编码的情况下，将保存在2个帧缓存131、132中的各图片输入到MVC编码器170中。在用户对图像编码装置100指示以使其用左右视点图像独立3D格式将图像编码的情况下，将保存在2个帧缓存133、134中的各图片输入到MVC编码器170中。系统编码器180对由MVC编码器170得到的2个编码比特流、及3D格式类型执行系统编码。并且，系统编码器180将包括2个编码比特流及3D格式类型的系统流输出。3D格式类型表示3D图像的格式是左右视点像素混合3D格式及左右视点图像独立3D格式的哪种。另外，在本实施方式中，输入信号控制部160基于用户指示切换3D图像的格式。但是，编码的3D图像的格式也可以固定为左右视点像素混合3D格式及左右视点图像独立3D格式的某种。图2是表示有关本实施方式的图像解码装置的一例的框图。图2所示的图像解码装置200具备系统解码器210、MVC解码器220、2个帧缓存231、232、输出部260、以及显示部290。MVC解码器220具备2个解码器221、222。输出部260具备4个开关261 264、输出控制部265、图像合成部266、像素再配置部267、以及2个帧缓存271、272。系统解码器210通过对系统流执行系统解码，从系统流中分离3D格式类型和2个编码比特流。例如，系统解码器210从系统流分离3D格式类型和基本层及扩展层的2个编码比特流。并且，MVC解码器220的解码器221将包含在基本层中的图片解码，将解码后的图片保存到帧缓存231中。MVC解码器220的解码器222将包含在扩展层中的图片解码，将解码后的图片保存到帧缓存232中。或者，系统解码器210从系统流分离3D格式类型、和左视点及右视点的2个编码比特流。并且，MVC解码器220的解码器221将包含在左视点中的图片解码，将解码后的图片保存到帧缓存231中。MVC解码器220的解码器222将包含在右视点中的图片解码，将解码后的图片保存到帧缓存232中。输出部260的输出控制部265通过根据3D格式类型切换3个开关261 263，控制输出形态。
具体而言，在3D格式类型是左右视点像素混合3D格式的情况下，图像合成部266将基本层的图片与扩展层的图片合成，生成高分辨率的SBS图像。在SBS图像中，在左侧配置左视点用的区域，在右侧配置右视点用的区域。图像合成部266将所生成的SBS图像保存到帧缓存271中。并且，像素再配置部267对保存在帧缓存271中的SBS图像执行再配置。即，像素再配置部267从SBS图像分离左视点的图像和右视点的图像，将左视点的图像和右视点的 图像作为左右的帧交替地排列。在3D格式类型是左右视点图像独立3D格式的情况下，由开关264将左右的帧交替地排列。如上述那样，输出部260将由MVC解码器220解码后的图像用由3D格式类型确定的输出形态输出。输出部260由于将图像以适当的定时输出，所以也可以将图像保存到帧缓存272中。显示部290显示由输出部260输出的图像。在本实施方式中，将3D格式类型在系统层中从编码侧向解码侧通知。由此，在视频层的解码前，图像解码装置200能够识别因3D格式的差异带来的输出形态的差异。图像解码装置200例如可以预先确保用来保持高分辨率的SBS图像的存储器区域等、执行输出部260的资源的确保及初始化。由此，减少图像显示时的延迟。此外，不需要从作为视频解码器的MVC解码器220向输出部260通知3D格式类型。因此，使图像解码装置200的结构简单化。图3是表示有关本实施方式的图像解码装置的另一例的框图。图3所示的图像解码装置300具备系统解码器310、AVC解码器320、帧缓存331及显示部390。图像解码装置300是AVC对应再现装置。图像解码装置300对于由有关本实施方式的图像编码装置100生成的系统流，不能将基本视以外的视(非基本视)解码。因此，扩展层或右视点不被解码。因而，AVC解码器320的解码器321仅将基本层或左视点解码。并且，显示部390仅显示基本层或左视点。这样，由有关本实施方式的图像编码装置100生成的系统流具有与AVC对应再现装置的后方互换性。图4是表示有关本实施方式的图像缩小方法的一例的概念图。图I所示的图像编码装置100将输入的图像缩小，生成SBS图像。在图4中，表示此时执行的图像缩小方法。例如，图4的水平1/2缩小部411对应于图I的水平1/2缩小部111，图4的水平1/2缩小部413对应于图I的水平1/2缩小部113。或者也可以是，图4的水平1/2缩小部411对应于图I的水平1/2缩小部112，图4的水平1/2缩小部413对应于图I的水平1/2缩小部114。图像编码装置100将各视点的图片分为奇数列和偶数列。S卩，水平1/2缩小部411仅将图片的奇数列的像素采样。水平1/2缩小部413仅将图片的偶数列的像素采样。由此，能够得到奇数列图像和偶数列图像。图像编码装置100通过将从一方的视点得到的奇数列图像与从另一方的视点得到的奇数列图像综合而生成SBS图像，将所生成的SBS图像作为基本层编码。此外，图像编码装置100通过将从一方的视点得到的偶数列图像与从另一方的视点得到的偶数列图像综合而生成SBS图像，将所生成的SBS图像作为扩展层编码。
图5是表示有关本实施方式的图像合成方法的一例的概念图。图5所示的图像合成部566对应于图2所示的图像合成部266。图像解码装置200将基本层解码，取得基本层的解码图片。并且，图像解码装置200从基本层的解码图片的左视点用图像区域取得左视点的奇数列图像。此外，图像解码装置200将扩展层解码而取得扩展层的解码图片。并且，图像解码装置200从扩展层的解码图片的左视点用图像区域取得左视点的偶数列图像。图像合成部566将奇数列图像与偶数列图像按照像素列交替地合成。由此，图像解码装置200生成左视点的原来的分辨率的图片。在上述中，图像解码装置200生成左视点的图片，但右视点的图片也能够同样生成。即，图像解码装置200从基本层的右视点用图像区域及扩展层的右视点用图像区域中取得右视点的奇数列图像及右视点的偶数列图像。并且，图像合成部566将奇数列图像与偶数列图像按照像素列交替地合成。由此，图像解码装置200生成右视点的原来的分辨率 的图片。能够仅将基本层解码的AVC对应再现装置通过仅将奇数列图像解码，能够将低分辨率的3D图像解码。因而，能够保持后方互换性。此外，能够将基本层及扩展层的两者解码的MVC对应再现装置能够将奇数列图像和偶数列图像解码。因此，MVC对应再现装置能够再构成高分辨率的3D图像。另外，在本实施方式中，表示了作为左右视点像素混合3D格式而利用SBS的例子。但是，作为左右视点像素混合3D格式也可以使用上下(TAB:Top and Bottom)等。通过根据左视点用图像区域和右视点用图像区域的配置的差异适当选择扩大或缩小的方向(水平或垂直等)、以及像素的采样方法(行、列的跳跃扫描、或栅格状间隔剔除等)来实现缩小及合成。此外，图像编码装置100及图像解码装置200也可以在高分辨率的3D图像的再结构后实施低通滤波器等的噪声降低处理。由此，能够实现进一步的高画质化。图6表示有关本实施方式的MVC描述符的一例。描述符是在MPEG-2系统等中使用的数据。在描述符中，包含有帧速率等的编码比特流的属性信息。有关本实施方式的系统流包含MVC描述符。MVC描述符是描述符的一种，是关于多视点影像编码方式的描述符。S卩，在MVC描述符中，包含通过用多视点影像编码方式将图像编码而得到的编码比特流的属性信息。MVC描述符也称作MVC扩展描述符(MVCextension descriptor)。MVC 描述符的句法(Syntax)在上述非专利文献 2 (IS0/IEC13818-1 2007/Amd4 2009)、或非专利文献 3 (Recommendation H. 222. 0 (2006) Amendment4 (12/09) “Transportof multiview video over ITU-T Rec. H. 222. 0 | IS0/IEC13818-1”)中记载。在图6中，在记载在这些文献中的句法中，作为3D格式类型而追加了 frame_packing_info_present_flag。此外，为了使MVC描述符的尺寸成为字节长的整数倍,追加了 7位的保留位。例如，在frame_packing_info_present_flag是I的情况下，图像的格式是左右视点像素混合3D格式。在frame_packing_info_present_flag是0的情况下，图像的格式是左右视点图像独立3D格式(通常的MVC流)。
另外，frame_packing_info_present_flag表示为3D格式类型的例子，但句法的名称、值的范围(0/1)、及值的意义并不限定于该例。只要能够通知是左右视点像素混合3D格式，也可以使用其他的表现形式。此外，在本实施方式中，表示了在MVC描述符的最后插入3D格式类型的例子。但是，插入位置并不限定于此。3D格式类型也可以向MVC描述符的其他的位位置、或者MVC描述符以外的描述符插入。图7表不有关本实施方式的MVC描述符的另一例。在图7中，包含在记载于上述文献中的句法中的4位的保留位(reserved)被替换为I位的frame_packing_info_present_flag、和3位的保留位。由此，维持了 MVC描述符的整体的位数，并且将frame_packing_info_present_flag放入到MVC描述符中。如以上那样，图像编码装置100用系统层向图像解码装置200通知图像的格式是否是左右视点像素混合3D格式。由此，图像解码装置200能够平滑地切换输出形态。因而， 图像编码装置100及图像解码装置200能够适当地对应由基本层及扩展层构成的3D影像格式。(实施方式2)图8是表示有关本实施方式的图像编码装置的一例的框图。图8所示的图像编码装置800具备2个水平1/2缩小部811、812、水平垂直缩小部815、2个综合部821、822、4个帧缓存831 834、2个开关851、852、输入信号控制部860、SVC编码器870、以及系统编码器880。SVC编码器870具备2个编码器871、872。图像编码装置800接受左右视点图像独立3D格式的3D图像、或2D图像作为输入。图像编码装置800在将3D图像编码的情况下，将左右视点图像独立3D格式的3D图像向左右视点像素混合3D格式的3D图像变换。然后，图像编码装置800再将左右视点像素混合3D格式的3D图像变换为对应于2个分辨率的2个图片。例如，水平1/2缩小部811将左视点的图片在水平方向上缩小到1/2。水平1/2缩小部812将右视点的图片在水平方向上缩小到1/2。综合部821将由水平1/2缩小部811缩小后的图片、与由水平1/2缩小部812缩小后的图片综合。由此，将SBS图像作为低分辨率层(基本层)的图片生成。综合部821将低分辨率层的图片保存到帧缓存831中。2个水平1/2缩小部811、812、以及综合部821也可以执行与有关实施方式I的2个水平1/2缩小部111、112、以及综合部121同样的处理。或者，2个水平1/2缩小部811、812、以及综合部821也可以执行与有关实施方式I的2个水平1/2缩小部113、114、以及综合部122同样的处理。综合部822将左视点的图片和右视点的图片不缩小而原样综合。由此，将SBS图像作为高分辨率层(扩展层)的图片生成。综合部822将高分辨率层的图片保存到帧缓存832 中。图像编码装置800通过上述的次序，将左右视点像素混合3D格式的3D图像变换为对应于2个分辨率的2个图片。此外，图像编码装置800在将2D图像编码的情况下，将2D图像变换为对应于2个分辨率的2个图片。例如，水平垂直缩小部815将2D图像在水平方向及垂直方向上缩小。由此，生成低分辨率层的图片。在帧缓存833中保存低分辨率层的图片。在帧缓存834中将2D图像原样作为高分辨率层的图片保存。图像编码装置800通过上述次序将2D图像变换为对应于2个分辨率的2个图片。SVC编码器870将低分辨率层及高分辨率层的2个图片向低分辨率层及高分辨率层的2个编码比特流变换。例如，SVC编码器870的编码器871将保存在帧缓存831中的图片编码。并且，SVC 编码器870的编码器872将保存在帧缓存832中的图片编码。或者，SVC编码器870的编码器871将保存在帧缓存833中的图片编码。此外，SVC编码器870的编码器872将保存在帧缓存834中的图片编码。由此，SVC编码器870将低分辨率层及高分辨率层的2个图片向低分辨率层及高分辨率层的2个编码比特流变换。输入信号控制部860通过按照用户指示切换2个开关851、852，切换输入到SVC编码器870中的图片。例如，在用户对图像编码装置800指示以使其将3D图像编码的情况下，将保存在2个帧缓存831、832中的各图片输入到SVC编码器870中。在用户对图像编码装置800指示以使其将2D图像编码的情况下，将保存在2个帧缓存833、834中的各图片输入到SVC编码器870中。系统编码器880对2个编码比特流、以及3D通知信号执行系统编码，输出系统流。3D通知信号表示图像的格式是左右视点像素混合3D格式及2D格式的哪个。另外，在本实施方式中，输入信号控制部860基于用户指示切换图像的格式。但是，编码的图像的格式也可以固定为左右视点像素混合3D格式及2D格式的某个。图9是表示有关本实施方式的图像解码装置的一例的框图。图9所示的图像解码装置900具备系统解码器910、SVC解码器920、帧缓存931、输出部960、以及显示部990。SVC解码器920具备2个解码器921、922。输出部960具备2个开关961、963、输出控制部965、像素再配置部967、以及2个帧缓存971、972。系统解码器910通过对系统流执行系统解码，从系统流分离3D通知信号、和低分辨率层及高分辨率层的2个编码比特流。SVC解码器920的解码器921将包含在低分辨率层中的图片解码，SVC解码器920的解码器922将包含在高分辨率层中的图片解码。此时，解码器922也可以使用低分辨率层的图片将高分辨率层的图片解码。解码器922将解码后的图片保存到帧缓存931中。即，将高分辨率层的图片保存到帧缓存931中。输出部960的输出控制部965通过根据3D通知信号切换、2个开关961、963，控制
输出形态。具体而言，在3D通知信号表示左右视点像素混合3D格式的情况下，像素再配置部967执行再配置。例如，像素再配置部967从高分辨率层的SBS图像分离左视点图像和右视点图像，将左视点图像和右视点图像作为左右的帧交替地排列。输出部960将通过再配置得到的图像输出。在3D通知信号是2D格式的情况下，输出部960将高分辨率层的2D图像原样输出。输出部960以上述的次序将由SVC解码器920解码后的图像以由3D通知信号确定的输出形态输出。输出部960为了将图像以适当的定时输出，也可以将图像保存到2个帧缓存971、972的某个中。3D图像具有左视点的图片和右视点的图片。S卩，3D图像具有2D图像的2倍的图片。因而，输出部960在3D图像的情况下，高速地执行输出处理。显示部990将由输出部960输出的图像显示。在本实施方式中，将3D通知信号在系统层中从编码侧向解码侧通知。由此，在视频层中的解码前，图像解码装置900能够识别因图像的格式的差异带来的输出形态的差异。图像解码装置900例如可以预先确保用来保持高分辨率的SBS图像或高分辨率的2D图像的存储器等、执行输出部960的资源的确保、以及初始化。此外，不需要从作为视频解码器的SVC解码器920向输出部960通知3D通知信号。因此，使图像解码装置900的结构简单化。图10是表示有关本实施方式的图像解码装置的另一例的框图。图10所示的图像解码装置1000具备系统解码器1010、AVC解码器1020、帧缓存1031及显示部1090。图像 解码装置1000是AVC对应再现装置。图像解码装置1000对于由有关本实施方式的图像编码装置800生成的系统流不能将低分辨率层以外的层解码。因此，不将高分辨率层解码。因而，AVC解码器1020的解码器1021仅将低分辨率层解码。并且，显示部1090仅显示低分辨率层。这样，由有关本实施方式的图像编码装置800生成的系统流具有与AVC对应再现装置的后方互换性。另外，在本实施方式中，表示了作为左右视点像素混合3D格式而使用SBS的例子。但是，作为左右视点像素混合3D格式也可以使用上下(TAB:Top and Bottom)等。通过根据左视点用图像区域与右视点用图像区域的配置的差异适当选择扩大或缩小的方向(水平或垂直等)、以及像素采样方法(行、列的跳跃扫描、或者栅格状间隔剔除等)来实施缩小及合成。此外，图像编码装置800、以及图像解码装置900也可以在高分辨率的3D图像的再构成后实施低通滤波器等的降噪处理。由此，能够实现进一步的高画质化。图11表示有关本实施方式的SVC描述符的一例。描述符是在MPEG-2系统等中使用的数据。在描述符中包含帧速率等的编码比特流的属性信息。有关本实施方式的系统流包含SVC描述符。SVC描述符是描述符的一种，是关于可伸缩影像编码方式的描述符。S卩，在SVC描述符中，包含通过用可伸缩影像编码方式将图像编码而得到的编码比特流的属性信息。SVC描述符也称作SVC扩展描述符(SVCextension descriptor)。SVC描述符的句法(Syntax)记载在上述非专利文献4 (ISO/IEC13818-1 :2007/Amd3 :2009)、或非专利文献 5 (Recommendation H. 222. 0(2006)Amendment3(03/09) “Transport of scalable video over ITU-T Rec. H. 222. 0|ISO/IEC13818-1”)中。在图11中，在这些文献所记载的句法中，作为3D通知信号，代替保留位(reserved)而插入有 frame_packing_info_present_flag0例如，在frame_packing_info_present_flag是I的情况下，图像的格式是左右视点像素混合3D格式。在frame_packing_info_present_flag是0的情况下，图像的格式是2D格式(通常的SVC流)。
另外，表示了 frame_packing_info_present_flag作为3D通知信号的例子，但句法的名称、值的范围(0/1)、以及值的意义并不限定于该例。只要能够通知是左右视点像素混合3D格式，也可以使用其他的表现形式。此外，在本实施方式中，表示了在SVC描述符的最后插入3D通知信号的例子。但是，插入位置并不限定于此。3D通知信号也可以向SVC描述符的其他的位位置、或、SVC描述符以外的描述符插入。例如，在SVC描述符中，除了最后的I位的保留位的以外，还作为第9个项目而包 含有5位的保留位。该5位的保留位也可以替换为I位的frame_packing_info_present_flag和4位的保留位。如以上这样，图像编码装置800以系统层向图像解码装置900通知图像的格式是否是左右视点像素混合3D格式。由此，图像解码装置900能够平滑地切换输出形态。因而，图像编码装置800及图像解码装置900能够适当地对应于由基本层及扩展层构成的3D影像格式。(实施方式3)本实施方式表示能够在由实施方式I及实施方式2表示的图像编码装置及图像解码装置中采用的、依据MPEG-2系统的系统层。图12是表示有关本实施方式的MPEG-2系统的系统流的图。图12所示的系统流由TS(Transport Stream)包构成。由实施方式I表示的系统编码器180、以及由实施方式2表示的系统编码器880也可以生成由图12所示的TS包构成的系统流。以下，具体地表示系统流的结构。由实施方式I表示的MVC编码器170、以及由实施方式2表示的SVC编码器870在视频层中生成影像编码数据(视频编码数据)。在视频层中生成的影像编码数据保存在PES (Packetized Elementary Stream/ 包基本流)包中。既可以将对应于I个图片的影像编码数据保存在I个PES包中，也可以将对应于I个图片的影像编码数据保存在多个PES包中。此外，也可以将对应于多个图片的影像编码数据保存到I个PES包中。进而，也可以在PES包中保存声音编码数据(音频编码数据)。并且，将PES包划分为固定长的多个TS包而保存。另一方面，描述符保存在段中。段是在MPEG-2系统中使用的数据结构之一。段也与PES包同样，划分为固定长的多个TS包而保存。并且，将对应于PES包的TS包和对应于段的TS包多路复用为系统流。具体而言，将对应于段的TS包周期性地插入到对应于PES包的TS包中。另外，周期性地插入的间隔并不限定于一定间隔。此外，有在系统流中保存多个描述符的情况。并且，在这些描述符中，有表示声音及影像的属性的描述符、和表示包含声音及影像的节目的属性的描述符的两种。MVC描述符及SVC描述符相当于表不声音及影像的属性的描述符。实施方式I及实施方式2所不的格式信息也可以保存在表示节目的属性的描述符中。实施方式I及实施方式2的系统层也可以依据MPEG-2系统。S卩，由系统层生成的系统流也可以由描述符和编码流构成。(实施方式4)
本实施方式表示能够在实施方式I及实施方式2所示的图像编码装置及图像解码装置中使用的、依据MP4的系统层。图13是表示有关本实施方式的MP4的BOX的结构例的图。MP4文件由BOX构成。例如，BOX如图13那样，由尺寸(size)、类型(type)及数据构成。尺寸表示BOX整体的尺寸。类型是BOX的识别码，用4个拉丁字母字符表现。也可以在BOX中还包含版本信息及标志信息。在MP4文件中，层级地保存BOX。
图14是表示有关本实施方式的MP4文件的结构例的图。在图14的例子中，MP4文件由类型是ftyp的BOX、类型是moov的BOX、以及类型是mdat的BOX构成(以下,分别单称作ftyp、moov及mdat)。ftyp、moov及mdat在MP4文件的层级性的多个BOX的结构中是最上位的BOX。在moov中，除了帧的再现时刻、以及MP4文件内的地址信息以外，还保存MP4文件内的影像或声音的属性信息。即，在moov中，保存在AV编码数据(声音编码数据及影像编码数据)的再现中需要的头信息。并且，在mdat中保存AV编码数据。在实施方式I中表示的系统编码器180、以及在实施方式2中表示的系统编码器880也可以生成这样的MP4文件。在实施方式I及实施方式2中表不的关于格式的信息也可以在moov内作为影像编码数据的属性保存。更详细地讲，关于格式的信息也可以保存在包含于moov中的BOX中。图15是表示有关本实施方式的BOX的层级构造的图。在图15中表示moov。在moov内的数据区域中还保存有多个BOX。这样，在MP4文件中，多个BOX层级性地构成。由此，将多种信息保存到MP4文件中。图16是表示有关本实施方式的头信息的例子的图。在图16中表示包含在moov中的多个BOX。例如,在moov中，包括类型是tkhd (Track HeaderBox)的BOX (以下,单称作tkhd)、以及类型是 vmhd (Video Media HeaderBox)的 BOX (以下单称作 vmhd)。在tkhd中，保存有对应于轨道的最上位的头信息。轨道对应于I个影像或声音的AV编码数据。vmhd在轨道是影像编码数据的情况下保存有影像编码数据的头信息。在实施方式I及实施方式2中表示的格式信息也可以保存在tkhd或vmhd的保留区域(reserved区域)中。或者，格式信息也可以保存到作为包含在vmhd中的场的graphicsmode中。在graphicsmode中，定义表示影像的结构的值的列表。在该定义的列表中，也可以追加表示左右视点像素混合3D格式的值。在MP4文件中，能够进行新的BOX的追加。因而，用来保存在实施方式I及实施方式2中表示的格式信息的新的BOX也可以追加在MP4文件中。实施方式I及实施方式2的系统层也可以依据MP4。即，在系统层中生成的系统流也可以由包含格式信息的BOX、和包含编码流的BOX构成。另外，在此情况下，在实施方式I及实施方式2中表示的图像编码装置及图像解码装置也可以不使用MVC描述符及SVC描述符。(实施方式5)有关本实施方式的图像编码装置及图像解码装置具备在上述多个实施方式中表示的图像编码装置及图像解码装置的主要的构成单元。图17是表示有关本实施方式的图像编码装置的一例的框图。图17所示的图像编码装置1700具备视频层部1710及系统层部1720。视频层部1710将由I个以上的图片构成的图像编码而生成编码流。系统层部1720生成用来将编码流传送或储存的系统流。此外，视频层部1710具备编码部1701。系统层部1720具备多路复用部1702。图18是表示图17所示的图像编码装置1700的动作的一例的流程图。首先，编码部1701将图像编码而生成编码流(S1801)。这里，在图像的格式是左右 混合格式的情况下，编码部1701将包括基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的图像编码。接着，多路复用部1702将识别码与编码流多路复用，生成系统流(S1802)。这里，识别码表示图像的格式是否是左右混合格式。左右混合格式包括用来对应于多个精度的基本层和扩展层，是在I个图片中包括左视点用图像区域和右视点用图像区域的格式。此外，编码流是由编码部1701生成的编码流。由此，图像编码装置1700能够生成能够在解码侧的系统层判别图像是否是左右混合格式的系统流。因而，图像编码装置1700能够适当地对应由基本层及扩展层构成的3D影像格式。另外，视频层部1710及编码部1701对应于有关实施方式I的MVC编码器170、以及2个编码器171、172，对应于有关实施方式2的SVC编码器870、以及2个编码器871、872。因而，视频层部1710及编码部1701也可以执行与有关实施方式I的MVC编码器170、以及2个编码器171、172同样的处理。此外，视频层部1710及编码部1701也可以执行与有关实施方式2的SVC编码器870、以及2个编码器871、872同样的处理。此外，系统层部1720及多路复用部1702对应于有关实施方式I的系统编码器180、以及有关实施方式2的系统编码器880。因而，系统层部1720及多路复用部1702也可以执行与有关实施方式I的系统编码器180、以及有关实施方式2的系统编码器880同样的处理。此外，系统层部1720(系统层)也可以依据MPEG-2系统。即，系统层部1720的多路复用部1702也可以生成由描述符和编码流构成的系统流。此外，视频层部1710(视频层)也可以依据多视点影像编码方式。即，视频层部1710的编码部1701也可以按照多视点影像编码方式将图像编码而生成编码流。更具体地讲，编码部1701也可以将基本层作为基本视编码、将扩展层作为非基本视编码。并且，编码部1701在将扩展层作为非基本视编码时，也可以将基本层作为基本视参照。并且，在系统层部1720依据MPEG-2系统、视频层部1710依据多视点影像编码方式的情况下，多路复用部1702也可以对关于多视点影像编码方式的描述符插入识别码。并且，多路复用部1702也可以将包括识别码的描述符与编码流多路复用而生成系统流。由此，用多视点影像编码方式将图像编码。并且，在关于多视点影像编码方式的描述符中插入识别码。因而，图像编码装置1700能够使用描述符生成适当的系统流。此外，视频层部1710(视频层)也可以依据作为多视点影像编码方式的规格的H. 264MVC。SP，视频层部1710的编码部1701也可以按照H. 264MVC将图像编码而生成编码流。并且，在系统层部1720依据MPEG-2系统、视频层部1710依据H. 264MVC的情况下，多路复用部1702也可以在关于H. 264MVC的MVC描述符中插入识别码。并且，多路复用部1702也可以将包含识别码的MVC描述符与编码流多路复用而生成系统流。由此，用H. 264MVC将图像编码。并且，在关于H. 264MVC的MVC描述符中插入识别码。因而，图像编码装置1700能够使用MVC描述符生成适当的系统流。H. 264MVC是多视点影像编码方式的典型的例子，但视频层部1710(视频层)也可以依据其他规格。例如，视频层部1710也可以依据H. 264MVC的后继的规格。有可能通过作为H. 264的后继的HEVC(High EfficiencyVideo Coding)决定多视点影像编码方式。视频层部1710也可以依据HEVC的多视点影像编码方式。此外，编码部1701也可以在图像的格式是左右混合格式的情况下将左右混合格式的图像编码、在图像的格式不是左右混合格式的情况下将左右独立格式的图像编码。左右混合格式是包含左视点的图片和右视点的图片作为相互不同的图片的格式。由此，图像编码装置1700能够将左右混合格式的图像、或左右独立格式的图像编 码。此外，视频层部1710(视频层)也可以依据可伸缩影像编码方式。即，视频层部1710的编码部1701也可以按照可伸缩影像编码方式将图像编码而生成编码流。更具体地讲，编码部1701也可以将由基本层及扩展层构成的图像编码。并且，在系统层部1720依据MPEG-2系统、视频层部1710依据可伸缩影像编码方式的情况下，多路复用部1702也可以在关于可伸缩影像编码方式的描述符中插入识别码。并且，多路复用部1702也可以将包含识别码的描述符与编码流多路复用而生成系统流。由此，用可伸缩影像编码方式将图像编码。并且，在关于可伸缩影像编码方式的描述符中插入识别码。因而，图像编码装置1700能够使用描述符生成适当的系统流。此外，视频层部1710(视频层)也可以依据作为可伸缩影像编码方式的规格的H. 264SVC。SP，视频层部1710的编码部1701也可以按照H. 264SVC将图像编码而生成编码流。并且，在系统层部1720依据MPEG-2系统、视频层部1710依据H. 264SVC的情况下，多路复用部1702也可以在关于H. 264SVC的SVC描述符中插入识别码。并且，多路复用部1702也可以将包含识别码的SVC描述符与编码流多路复用而生成系统流。由此，用H. 264SVC将图像编码。并且，在关于H. 264SVC的SVC描述符上插入识别码。因而，图像编码装置1700能够使用SVC描述符生成适当的系统流。H. 264SVC是可伸缩影像编码方式的典型的例子，但视频层部1710(视频层)也可以依据其他规格。例如，视频层部1710也可以依据H. 264SVC的后继的规格。有可能由作为H. 264的后继的HEVC决定可伸缩影像编码方式。视频层部1710也可以依据HEVC的可伸缩影像编码方式。此外，编码部1701也可以在图像的格式是左右混合格式的情况下将用于立体显示的图像编码、在图像的格式不是左右混合格式的情况下将用于平面显示的图像编码。由此，有关本发明的图像编码方法能够将用于立体显示的图像、或用于平面显示的图像编码。此外，左右混合格式的图像等、输入到图像编码装置1700中的图像也可以由单独的独立的图像生成装置生成。即，图像编码装置1700也可以不具有这样的图像的生成功倉泛。
图19是表示有关本实施方式的图像解码装置的一例的框图。图19所示的图像解码装置1900具备系统层部1910、视频层部1920及输出部1903。系统层部1910从用来将编码流传送或储存的系统流中取得编码流。编码流包括由I个以上的图片构成的图像。视频层部1920将编码流的图像解码。此外，系统层部1910具备分离部1901。视频层部1920具备解码部1902。 图20是表示图19所示的图像解码装置1900的动作的一例的流程图。首先，分离部1901从系统流中分离识别码和编码流，取得识别码和编码流(S2001)。识别码表示图像的格式是否是左右混合格式。左右混合格式是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的格式。接着，解码部1902将包含在由分离部1901取得的编码流中的图像解码(S2002)。这里，解码部1902在图像的格式是左右混合格式的情况下，将包括基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的图像解码。接着，输出部1903以按照由分离部1901取得的识别码确定的输出形态，将由解码部1902解码后的图像输出(S2003)。输出形态并不仅限于输出图像的格式的形态，包括形成输出图像的方法及处理的形态。由此，图像解码装置1900能够根据表示图像是否是左右混合格式的识别码切换图像的输出形态。因而，图像解码装置1900能够适当地对应于由基本层及扩展层构成的3D影像格式。另外，系统层部1910及分离部1901对应于有关实施方式I的系统解码器210、以及有关实施方式2的系统解码器910。因而，系统层部1910及分离部1901也可以执行与有关实施方式I的系统解码器210、以及有关实施方式2的系统解码器910同样的处理。此外，视频层部1920及解码部1902对应于有关实施方式I的MVC解码器220、以及2个解码器221、222，对应于有关实施方式2的SVC解码器920、以及2个解码器921、922。因而，视频层部1920及解码部1902也可以执行与有关实施方式I的MVC解码器220、以及2个解码器221、222同样的处理。此外，视频层部1920及解码部1902也可以执行与有关实施方式2的SVC解码器920、以及2个解码器921、922同样的处理。此外，输出部1903对应于有关实施方式I的输出部260、以及有关实施方式2的输出部960。因而，输出部1903也可以执行与有关实施方式I的输出部260、以及有关实施方式2的输出部960同样的处理。此外，系统层部1910(系统层)也可以依据MPEG-2系统。即，系统层部1910的分离部1901也可以从系统流中分离描述符和编码流。此外，视频层部1920(视频层)也可以依据多视点影像编码方式。即，视频层部1920的解码部1902也可以将按照多视点影像编码方式编码的图像解码。更具体地讲，解码部1902也可以将基本层作为基本视而解码、将扩展层作为非基本视而解码。并且，解码部1902在将扩展层作为非基本视解码时，也可以将基本层作为基本视参照。并且，在系统层部1910依据MPEG-2系统、视频层部1920依据多视点影像编码方式的情况下，分离部1901也可以将关于多视点影像编码方式的描述符和编码流从系统流中分离。并且，分离部1901也可以取得包含在描述符中的识别码和编码流。
由此，图像解码装置1900能够将用多视点影像编码方式编码的图像解码。并且，图像解码装置1900能够从关于多视点影像编码方式的描述符中取得识别码。因而，图像解码装置1900能够适当地对应于左右混合格式。此外，视频层部1920(视频层)也可以依据H. 264MVC。S卩，视频层部1920的解码部1902也可以将按照H. 264MVC编码的图像解码。并且，在系统层部1910依据MPEG-2系统、视频层部1920依据H. 264MVC的情况下，分离部1901也可以将关于H. 264MVC的MVC描述符和编码流从系统流中分离。并且，分离部1901也可以取得包含在MVC描述符中的识别码和编码流。由此，图像解码装置1900能够将用H. 264MVC编码的图像解码。并且，图像解码装置1900能够从关于H. 264MVC的MVC描述符中取得识别码。因而，图像解码装置1900能够适当地对应于左右混合格式。
此外，解码部1902也可以在图像的格式是左右混合格式的情况下将左右混合格式的图像解码、在图像的格式不是左右混合格式的情况下将左右独立格式的图像解码。左右独立格式是包括左视点的图片和右视点的图片作为相互不同的图片的格式。由此，图像解码装置1900能够将左右混合格式的图像、或左右独立格式的图像解码。此外，视频层部1920(视频层)也可以依据可伸缩影像编码方式。即，视频层部1920的解码部1902也可以将按照可伸缩影像编码方式编码的图像解码。更具体地讲，解码部1902也可以将由基本层及扩展层构成的图像解码。并且，在系统层部1910依据MPEG-2系统、视频层部1920依据可伸缩影像编码方式的情况下，分离部1901也可以将关于可伸缩影像编码方式的描述符和编码流从系统流中分离。并且，分离部1901也可以取得包含在描述符中的识别码和编码流。由此，图像解码装置1900能够将用可伸缩影像编码方式编码的图像解码。并且，图像解码装置1900能够从关于可伸缩影像编码方式的描述符中取得识别码。因而，图像解码装置1900能够适当地对应于左右混合格式。此外，视频层部1920(视频层)也可以依据H. 264SVC。SP，视频层部1920的解码部1902也可以将按照H. 264SVC编码的图像解码。并且，在系统层部1910依据MPEG-2系统、视频层部1920依据H. 264SVC的情况下，分离部1901也可以将关于H. 264SVC的SVC描述符和编码流从系统流中分离。并且，分离部1901也可以取得包含在SVC描述符中的识别码和编码流。由此，图像解码装置1900能够将用H. 264SVC编码的图像解码。并且，图像解码装置1900能够从关于H. 264SVC的SVC描述符取得识别码。因而，图像解码装置1900能够适当地对应于左右混合格式。此外，解码部1902也可以在图像的格式是左右混合格式的情况下将用于立体显示的图像解码、在图像的格式不是左右混合格式的情况下将用于平面显示的图像解码。由此，图像解码装置1900能够将用于立体显示的图像、或者用于平面显示的图像解码。(实施方式6)有关本实施方式的图像编码装置及图像解码装置在有关实施方式5的图像编码装置及图像解码装置中具备追加的构成单元。图21是表示有关本实施方式的图像编码装置的一例的框图。图21所示的图像编码装置2100具备生成部2104、视频层部2110及系统层部2120。视频层部2110具备编码部2101，系统层部2120具备多路复用部2102。视频层部2110、系统层部2120、编码部2101及多路复用部2102分别对应于有关 实施方式5的视频层部1710、系统层部1720、编码部1701及多路复用部1702，执行同样的动作。生成部2104从左图片及右图片生成左右混合格式的图像。这里，左图片是左视点的图片。此外，右图片是右视点的图片。编码部2101在将左右混合格式的图像编码时，将由生成部2104生成的图像编码而生成编码流。图22是表示图21所示的图像编码装置2100的动作的一例的流程图。首先，生成部2104从左图片及右图片生成左右混合格式的图像(S2201)。此时，生成部2104生成将左图片的第I部分包含在左视点用图像区域中、将右图片的第2部分包含在右视点用图像区域中的图片作为基本层的图片。此外，生成部2104生成将左图片的第3部分包含在左视点用图像区域中、将右图片的第4部分包含在右视点用图像区域中的图片作为扩展层的图片。这里，第I部分与第3部分不同。此外，第2部分与第4部分不同。或者，生成部2104生成将左图片的第I部分包含在左视点用图像区域中、将右图片的第2部分包含在右视点用图像区域中的图片作为基本层的图片。此外，生成部2104生成将左图片的全部或第3部分包含在左视点用图像区域中、将右图片的全部或第4部分包含在右视点用图像区域中的图片作为扩展层的图片。这里，第3部分包括第I部分。此外，第4部分包括第2部分。生成部2104通过上述次序、根据左图片及右图片生成左右混合格式的图像。接着，编码部2101将图像编码而生成编码流(S2202)。编码部2101在将左右混合格式的图像编码时，将由生成部2104生成的图像编码而生成编码流。接着，多路复用部2102将识别码与编码流多路复用，生成系统流(S2203)。识别码表示图像的格式是否是左右混合格式。由此，图像编码装置2100能够生成左右混合格式的图像。并且，能够生成能够在解码侧的系统层中判别图像是否是左右混合格式的系统流。此外，扩展层的图片从包括与对应于基本层的图片的部分不同的部分、或者对应于基本层的图片的部分的部分生成。因而，通过基本层的图片和扩展层的图片实现分等级的精度。另外，生成部2104对应于有关实施方式I的4个水平1/2缩小部111 114、以及2个综合部121、122，对应于有关实施方式2的2个水平1/2缩小部811、812、以及2个综合部821、822。因而，生成部2104也可以执行与有关实施方式I的4个水平1/2缩小部111 114、以及2个综合部121、122同样的处理。此外，生成部2104也可以执行与有关实施方式2的2个水平1/2缩小部811、812、以及2个综合部821、822同样的处理。图23是表示有关本实施方式的图像解码装置的一例的框图。图23所示的图像解码装置2300具备系统层部2310、视频层部2320、生成部2304及输出部2303。系统层部2310具备分离部2301，视频层部2320具备解码部2302。系统层部2310、视频层部2320、分离部2301及解码部2302分别对应于有关实施方式5的系统层部1910、视频层部1920、分离部1901及解码部1902，执行同样的动作。生成部2304在图像的格式是左右混合格式的情况下，生成左图片及右图片。这里，左图片是左视点的图片。此外，右图片是右视点的图片。输出部2303在图像的格式是左右混合格式的情况下，输出由生成部2304生成的左图片及右图片作为图像。图24是表示图23所示的图像解码装置2300的动作的一例的流程图。首先，分离部2301从系统流分离识别码和编码流，取得识别码和编码流(S2401)。识别码表示图像的格式是否是左右混合格式。接着，解码部2302将包含在由分离部2301取得的编码流中的图像解码(S2402)。 接着，生成部2304在图像的格式是左右混合格式的情况下，生成左图片及右图片(S2403)。在此情况下，生成部2304从基本层图片的左视点用图像区域中取得左图片的第I部分。此外，生成部2304从基本层图片的右视点用图像区域中取得右图片的第2部分。这里，基本层图片是包含在由解码部2302解码后的图像中的图片，是基本层的图片。此外，生成部2304从扩展层图片的左视点用图像区域取得左图片的第3部分。此夕卜，生成部2304从扩展层图片的右视点用图像区域中取得右图片的第4部分。这里，扩展层图片是包含在由解码部2302解码的图像中的图片，是扩展层的图片。此外，第I部分与第3部分不同，第2部分与第4部分不同。并且，生成部2304根据所取得的第I部分和所取得的第3部分生成左图片，根据所取得的第2部分和所取得的第4部分生成右图片。接着，输出部2303以按照由分离部2301取得的识别码确定的输出形态，将由解码部2302解码后的图像输出(S2404)。输出部2303在图像的格式是左右混合格式的情况下，将由生成部2304生成的左图片及右图片作为图像输出。由此，图像解码装置2300能够根据表示图像是否是左右混合格式的识别码切换图像的输出形态。此外，图像解码装置2300能够通过基本层的图片与扩展层的图片的组合而生成闻精细的左图片、和闻精细的右图片。另外，生成部2304对应于有关实施方式I的图像合成部266及像素再配置部267。因而，生成部2304也可以执行与有关实施方式I的图像合成部266及像素再配置部267同样的处理。此外，生成部2304在图像的格式是左右混合格式的情况下，也可以从解码图片的左视点用图像区域生成左图片、从解码图片的右视点用图像区域生成右图片。这里，解码图片是包含在由解码部2302解码后的图像中的图片，是基本层及扩展层中的一方的图片。由此，图像解码装置2300能够根据基本层的图片、以及扩展层的图片的某个生成左图片及右图片。因而，图像解码装置2300能够生成具有多个精度中的某个的图像。并且，在此情况下，生成部2304对应于有关实施方式2的像素再配置部967。因而，生成部2304也可以执行与有关实施方式2的像素再配置部967同样的处理。以上，基于多个实施方式对有关本发明的图像编码装置及图像解码装置进行了说明，但本发明并不限定于这些实施方式。对于实施方式实施本领域的技术人员想到的变形而得到的形态、以及将实施方式中的构成单元任意组合而实现的别的形态也包含在本发明中。例如，也可以将特定的处理部执行的处理由别的处理部执行。此外，也可以变更执行处理的次序，也可以并行执行多个处理。此外，在上述左右混合格式中，扩展层由图片构成，但扩展层也可以不由图片构 成。扩展层只要是用来使基本层的图片的精度提高的数据就可以。精度并不限定于分辨率，也可以是帧速率、像素数、像素深度、以及信噪比等。此外，本发明不仅能够作为图像编码装置及图像解码装置实现，也可以作为以构成图像编码装置及图像解码装置的处理机构为步骤的方法实现。例这些步骤由计算机执行。并且，本发明能够作为用来使计算机执行包含在这些方法中的步骤的程序实现。进而，本发明可以作为记录有该程序的CD-ROM等的计算机可读取的记录媒体实现。此外，包含在图像编码装置及图像解码装置中的多个构成单元也可以作为集成电路即LSI (Large Scale Integration)实现。这些构成单元既可以单独I芯片化,也可以包含一部分或全部而I芯片化。例如，存储部以外的构成单元也可以I芯片化。这里设为LSI，但根据集成度的差异，也有称作IC(Integrated Circuit)、系统LSI、超级LSI或超大规模LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以使用能够编程的FPGA(Field Programmable Gate Array)、或者能够再构成LSI内部的电路单元的连接及设定的可重构处理器。进而，如果因半导体技术的进步或派生的其他技术出现代替LSI的集成电路化的技术，则当然也可以利用该技术进行包含在图像编码装置及图像解码装置中的构成单元的集成电路化。(实施方式7)通过将用来实现在上述各实施方式中表示的运动图像编码方法或运动图像解码方法的结构的程序记录到存储介质中，能够将在上述各实施方式中表示的处理在独立的计算机系统中简单地实施。存储介质只要是磁盘、光盘、光磁盘、IC卡、半导体存储器等、能够记录程序的介质就可以。进而，这里说明在上述各实施方式中表示的运动图像编码方法及运动图像解码方法的应用例和使用它的系统。图25是表示实现内容分发服务的内容供给系统exlOO的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站exl06、exl07、exl08、exl09、exllO。该内容供给系统exlOO在因特网exlOl上经由因特网服务提供商exl02及电话网 exl04、及基站 exl06 到 exllO 连接着计算机 exlll、PDA(PersonalDigital Assistant)exll2、照相机exll3、便携电话exll4、游戏机exll5等的各设备。但是，内容供给系统exlOO并不限定于图25那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站exl06到exllO将各设备直接连接在电话网exl04上。此外，也可以将各设备经由近距离无线等直接相互连接。
照相机exll3是能够进行数字摄像机等的运动图像摄影的设备，照相机exll6是能够进行数字照相机等的静止图像摄影、运动图像摄影的设备。此外，便携电话exll4是 GSM(Global System for Mobile Communications)方式、CDMA(Code DivisionMultiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS (PersonalHandyphone System)等，是哪种都可以。在内容供给系统exlOO中，通过将照相机exl 13等经由基站exl09、电话网exl04连接在流媒体服务器exl03上，能够进行现场分发等。在现场分发中，对用户使用照相机exll3摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理，向流媒体服务器exl03发送。另一方面，流媒体服务器exl03将发送来的内容数据对有要求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机exlll、PDAexll2、照相机exll3、便携电话exll4、游戏机exll5等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现。
另外，摄影的数据的编码处理既可以由照相机exll3进行，也可以由进行数据的发送处理的流媒体服务器exl03进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器exl03进行，也可以相互分担进行。此外，并不限于照相机exll3，也可以将由照相机exll6摄影的静止图像及/或运动图像数据经由计算机exlll向流媒体服务器exl03发送。此情况下的编码处理由照相机exll6、计算机exlll、流媒体服务器exl03的哪个进行都可以，也可以相互分担进行。此外，这些编码解码处理一般在计算机exlll或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到能够由计算机exlll等读取的某些记录介质(⑶-ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话exll4是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话exll4具有的LSIex500编码处理的数据。此外，也可以是，流媒体服务器exl03是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。如以上这样，在内容供给系统exlOO中，客户端能够接收编码的数据而再现。这样，在内容供给系统exlOO中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。另外，并不限定于内容供给系统exlOO的例子，如图26所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置或运动图像解码装置的某个。具体而言，在广播局ex201中，将在影像数据中多路复用了音乐数据等的多路复用数据经由电波向通信或卫星ex202传送。该影像数据是通过在上述各实施方式中说明的运动图像编码方法编码的数据。接受到它的广播卫星ex202发出广播用的电波，能够进行卫星广播的接收的家庭的天线ex204接收该电波。电视机(接收机)ex300或机顶盒(STB) ex217等的装置将接收到的多路复用数据解码并再现。此外，在将记录在DVD、BD等的记录介质ex215中的多路复用数据读取并解码、或者在记录介质ex215中将影像信号解码，还根据情况而与音乐信号多路复用并写入的读取器/记录器ex218中也能够安装在上述各实施方式中表示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上、通过记录有多路复用数据的记录介质ex215在其他装置或系统中再现影像信号。此外，也可以在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。
图27是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或电缆ex203等取得或输出在影像数据中多路复用了声音数据的多路复用数据的调谐器ex301、将接收到的多路复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的多路复用数据分离为影像数据和声音数据、或将由信号处理部ex306编码的影像数据、声音数据多路复用的多路复用/分离部ex303。此外，电视机ex300具备具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305的信号处理部ex306、和具有将解码后的声音信号输出的扬声器ex307及将解码后的影像信号显示的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有综合控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外、还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。首先，对电视机ex300将通过天线ex204等从外部取得的多路复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的数据用多路复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓存ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出多路复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用多路复用/分离部ex303多路复用，向外部输出。在多路复用时，可以暂时将这些信号储存到缓存ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓存ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用I个以上的缓存的结构。进而，在图示以外，也可以在例如调制/解调部ex302或多路复用/分离部ex303之间等也作为避免系统的溢出、下溢的缓冲部而在缓存中储存数据。
此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构、对从它们中取得的数据进行编码处理。另夕卜，这里，将电视机ex300作为能够进行上述编码处理、多路复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。此外，在由读取器/记录器ex218从记录介质将编码比特流读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图28中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光的再现 信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓存ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406 —边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓存ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。在图29中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或多路复用了这些数据的多路复用数据的读写。以上，举I层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用各种不同波长的颜色的光来记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现运动图像。另外，导航仪ex211的结构可以考虑例如在图27所示的结构中添加GPS接收部的结构，在计算机exlll及便携电话exll4等中也可以考虑同样的结构。图30A是表示使用在上述实施方式中说明的运动图像解码方法及运动图像编码方法的便携电话exl 14的图。便携电话exl 14具备用来在与基站exllO之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、将由照相机部ex365摄像的影像、由天线ex350接收到的影像等解码的数据显示的液晶显示器等的显示部ex358。便携电 话exll4还具备具有操作键部ex366的主体部、用来输出声音的作为扬声器等的声音输出部ex357、作为用来输入声音的麦克风等的声音输入部ex356、将摄影的影像、静止图像、录音的声音、或接收到的影像、静止图像、邮件等的编码的数据或解码的数据保存的存储器部ex367、或者作为与同样保存数据的记录介质的接口部的插槽部ex364。进而，使用图30B对便携电话exl 14的结构例进行说明。在便携电话exl 14中，对于综合控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、IXD(Liquid Crystal Display)控制部ex359、调制/解调部ex352、多路复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。电源电路部ex361如果由用户的操作将结束通话及电源键设为开启状态，则通过从电池组对各部供给电力，将便携电话exll4起动为能够动作的状态。便携电话exl 14基于具有CPU、ROM、RAM等的主控制部ex360的控制，声音通话模式时将由声音输入部ex356收音的声音信号用声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，用发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话exll4在声音通话模式时将经由天线ex350接收到的接收数据放大而实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，用声音信号处理部ex354变换为模拟声音信号后，将其从声音输出部ex357输出。进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，用发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站exllO发送。在接收电子邮件的情况下，对接收到的数据进行其大致相反的处理，对显示部ex358输出。在数据通信模式时发送影像、静止图像、或影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过在上述各实施方式中表示的运动图像编码方法压缩编码，将编码后的影像数据向多路复用/分离部ex353送出。此外，声音信号处理部ex354将在由照相机部ex365将影像、静止图像等摄像中由声音输入部ex356收音到的声音信号编码，将编码后的声音数据向多路复用/分离部ex353送出。多路复用/分离部ex353将从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据用规定的方式多路复用，将结果得到的多路复用数据用调制/解调电路部ex352进行波谱扩散处理，用发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。
在数据通信模式时接受到链接在主页等上的运动图像文件的数据的情况下，或者在接收到附带有影像及或声音的电子邮件的情况下，为了将经由天线ex350接收到的多路复用数据解码，多路复用/分离部ex353通过将多路复用数据分离而分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并且将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过用与在上述各实施方式中表示的运动图像编码方法对应的运动图像解码方法解码而将影像信号解码，经由IXD控制部ex359从显示部ex358显示例如在链接在主页上的运动图像文件中包含的影像、静止图像。此外，声音信号处理部ex354将声音信号解码，从声音输出部ex357输出声音。此外，上述便携电话exll4等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。进而，在数字广播用系统ex200中，假设将在影像数据中多路复用了音乐数据等的多路复用的多路复用数据接收、发送而进行了说明，但也可以是除了声音数据以外还多路复用有与影像关联的字符数据等的数据，也可以不是多路复用数据而是影像数据自 身。这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。(实施方式8)也可以通过将在上述各实施方式中表示的运动图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-I等不同的规格的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。这里，在生成分别依据不同的规格的多个影像数据的情况下，在解码时，需要选择对应于各自的规格的解码方法。但是，由于不能识别解码的影像数据是依据哪个规格的，所以发生不能选择适当的解码方法的问题。为了解决该问题，在影像数据中多路复用了声音数据等的多路复用数据做成了包含表示影像数据依据哪个规格的识别信息的结构。以下，说明包括通过在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据的多路复用数据的具体的结构。多路复用数据是MPEG-2传输流形式的数字流。图31是表示多路复用数据的结构的图。如图31所示，多路复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的I个以上多路复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置⑶I部件而制作的对话画面。视频流由在上述各实施方式中表示的运动图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的运动图像编码方法或装置编码。音频流由杜比 AC-3、DolbyDigital Plus、MLP、DTS、DTS-HD、或线性 PCM 的等的方式编码。包含在多路复用数据中的各流通过PID识别。例如，分别对在电影的影像中使用的视频流分配0x1011，对音频流分配OxllOO到OxlllF，对演示图形分配0x1200到0xl21F，对交互图形流分配0x1400到0xl41F,对在电影的副影像中使用的视频流分配OxlBOO到OxlBlF，对在与主声音混合的副声音中使用的音频流分配OxIAOO到OxlAlF。图32是示意地表示将多路复用数据怎样多路复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包列ex236及ex239，变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包列ex242及ex245，再变换为TS包ex243及ex246。多路复用数据ex247通过将这些TS包多路复用到I条流中而构成。图33更详细地表示在PES包列中怎样保存视频流。图33的第I段表示视频流的视频巾贞列。第2段表示PES包列。如图33的箭头yyl、yy2、yy3、yy4所示,视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片被按照图片分割、保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(PresentationTime-Stamp)及作为图片的解码时刻的 DTS(Decoding Time-Stamp)。 图34表示最终写入在多路复用数据中的TS包的形式。TS包是由具有识别流的PID等的信息的4Byte的TS头和保存数据的184Byte的TS有效载荷构成的188Byte固定长的包，上述PES包被分割而保存到TS有效载荷中。在BD-ROM的情况下，对于TS包赋予4Byte的TP_Extra_Header,构成192Byte的源包，写入到多路复用数据中。在TP_Extra_Header中记载有ATS (Arrival_Time_Stamp)等的信息。ATS表示该TS包的向解码器的PID过滤器的转送开始时刻。在多路复用数据中，源包如图34下段所示那样排列，从多路复用数据的开头起递增的号码称作SPN(源包号)。此外，在包含在多路复用数据中的TS包中，除了影像、声音、字幕等的各流以外，还有 PAT (Program Association Table) > PMT (Program MapTable) > PCR (Program ClockReference)等。PAT表示在多路复用数据中使用的PMT的PID是什么，PAT自身的PID用0登录。PMT具有包含在多路复用数据中的影像、声音、字幕等的各流的PID、和对应于各PID的流的属性信息，还具有关于多路复用数据的各种描述符。在描述符中，有指示许可/不许可多路复用数据的复制的复制控制信息等。PCR为了取得作为ATS的时间轴的ATC(ArrivalTime Clock)与作为PTS、DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送给解码器的ATS对应的STC时间的信息。图35是详细地说明PMT的数据结构的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于多路复用数据的描述符。上述复制控制信息等被作为描述符记载。在描述符之后，配置有多个关于包含在多路复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符以存在于多路复用数据中的流的数量存在。在记录到记录媒体等中的情况下，上述多路复用数据被与多路复用数据信息文件
一起记录。多路复用数据信息文件如图36所示，是多路复用数据的管理信息，与多路复用数据I对I地对应，由多路复用数据信息、流属性信息和入口映射表构成。多路复用数据信息如图36所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示多路复用数据的向后述的系统目标解码器的PID过滤器的最大转送速率。包含在多路复用数据中的ATS的间隔设定为系统速率以下。再现开始时刻是多路复用数据的开头的视频帧的PTS，再现结束时刻设定为对多路复用数据的末端的视频帧的PTS加上I帧的再现间隔的值。流属性信息如图37所示，按照PID登录有关于包含在多路复用数据中的各流的属性信息。属性信息具有按照视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流被用怎样的压缩编解码器压缩、构成视频流的各个图片数据的分 辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流被用怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息在播放器再现前的解码器的初始化等中使用。在本实施方式中，使用上述多路复用数据中的、包含在PMT中的流类型。此外，在记录媒体中记录有多路复用数据的情况下，使用包含在多路复用数据信息中的视频流属性信息。具体而言，在上述各实施方式所表示的运动图像编码方法或装置中，设置对于包含在PMT中的流类型、或视频流属性信息设定表示是由在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据的固有的信息的步骤或机构。通过该结构，能够识别通过在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据、和依据其他规格的影像数据。此外，在图38中表示本实施方式的运动图像解码方法的步骤。在步骤exSlOO中，从多路复用数据中取得包含在PMT中的流类型、或包含在多路复用数据信息中的视频流属性信息。接着，在步骤exSlOl中，判断流类型、或视频流属性信息是否表示是由在上述各实施方式中表示的运动图像编码方法或装置生成的多路复用数据。并且，在判断为流类型、或视频流属性信息是由在上述各实施方式中表示的运动图像编码方法或装置生成的情况下，在步骤exS102中，通过在上述各实施方式中表示的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-I等的规格的情况下，在步骤exS103中，通过依据以往的规格的运动图像解码方法进行解码。通过这样在流类型、或视频流属性信息中设定新的固有值，在解码时，能够判断是否能够用在上述各实施方式中表示的运动图像解码方法或装置解码。因而，即使是输入了依据不同的规格的多路复用数据的情况，也能够选择适当的解码方法或装置，所以能够部发生错误而进行解码。此外，将在本实施方式中表示的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述哪种设备、系统中都可以。(实施方式9)在上述各实施方式中表示的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图39中表示I芯片化的LSIex500的结构。LSIex500 具备以下说明的单元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/0ex509从麦克风exl 17及照相机exl 13等输入AV信号。将输入的AV信号暂时储存到SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，根据情况而进行将编码的声音数据和编码的影像数据多路复用等的处理，从流I/0ex506向外部输出。将该输出的多路复用数据朝向基站exl07发送、或写入到记录介质ex215中。另外，在多路复用时，可以暂时将数据储存到缓存ex508中以使其同
止/J/ o另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓存ex508也并不限定于一个，也可以具备多个缓存。此外，LSIex500既可以I芯片化，也可以多芯片化。此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器 ex504、驱动频率控制部ex512等,但控制部ex510的结构并不限定于该结构。例如,也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为另一例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。另外，这里设为LSI，但根据集成度的差异，也有称作1C、系统LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field ProgrammableGate Array)、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器。进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。(实施方式10)在将通过在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-I等的规格的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为将依据以往的规格的影像数据解码时的CPUex502的驱动频率高的驱动频率。但是，如果使驱动频率较高，则发生耗电变高的问题。为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置做成了识别影像数据是依据哪个规格的、根据规格切换驱动频率的结构。图40表示本实施方式的结构ex800o驱动频率切换部ex803在影像数据是由在上述各实施方式中表示的运动图像编码方法或装置生成的情况下，将驱动频率设定得较高。并且，对于执行在上述各实施方式中表示的运动图像解码方法的解码处理部ex801指示，以使其将影像数据解码。另一方面，在影像数据是依据以往的规格的影像数据的情况下，与影像数据是由在上述各实施方式中表示的运动图像编码方法或装置生成的情况相比、将驱动频率设定得较低。并且，对依据以往的规格的解码处理部ex802指示以使其将影像数据解码。更具体地讲，驱动频率切换部ex803由图39的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中表示的运动图像解码方法的解码处理部ex801、以及依据以往的规格的解码处理部ex802对应于图39的信号处理部ex507。CPUex502识别影像数据是依据哪个规格的。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式8中记载的识别信息。关于识别信息，并不限定于在实施方式8中记载的信息，只要是能够识别影像数据依据哪个规格的信息就可以。例如，在基于识别影像数据是用于电视机的、还是用于盘的等的外部信号、能够识别影像数据是依据哪个规格的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑图42那样的将影像数据的规格与驱动频率建立对应的查 找表进行。将查找表保存到缓存ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。图41表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从多路复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是由在上述各实施方式中表示的编码方法或装置生成的。在影像数据是由在上述各实施方式中表示的编码方法或装置生成的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得较高的信号。并且，在驱动频率控制部ex512中设定为较高的驱动频率。另一方面，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得较低的信号。并且，在驱动频率控制部ex512中，与影像数据是通过在上述各实施方式中表示的编码方法或装置生成的情况相比设定为较低的驱动频率。进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，能够进一步提高节电效果。例如，在将驱动频率设定得较低的情况下，与随之将驱动频率设定得较高的情况相比，可以考虑将对LSIex500或包括LSIex500的装置施加的电压设定得较低。此外，驱动频率的设定方法只要是在解码时的处理量较大的情况下将驱动频率设定得较高、在解码时的处理量较小的情况下将驱动频率设定得较低就可以，并不限定于上述的设定方法。例如，在将依据MPEG4-AVC规格的影像数据解码的处理量比将通过在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据解码的处理量大的情况下，可以考虑使驱动频率的设定与上述的情况相反。进而，驱动频率的设定方法并不限定于使驱动频率较低的结构。例如，也可以考虑在识别信息是由在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据的情况下将对LSIex500或包括LSIex500的装置施加的电压设定得较高、在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的影像数据的情况下将对LSIex500或包括LSIex500的装置施加的电压设定得较低。此外，作为另一例，也可以考虑在识别信息表示是由在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止、在表示是依据以往的MPEG-2、MPEG4-AVC、VC-I等的规格的影像数据的情况下因为在处理中有富余所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是由在上述各实施方式中表示的运动图像编码方法或装置生成的影像数据的情况下、也只要在处理中有富余就使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG-2、MPEG4-AVC、VC-I等的规格的影像数据的情况相比、将停止时间设定得较短。这样，通过根据影像数据依据的规格切换驱动频率，能够实现节电化。此外，在使用电池驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。(实施方式11)在电视机、便携电话等、上述的设备、系统中，有输入依据不同的规格的多个影像数据的情况。这样，为了使得在输入了依据不同的规格的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个规格。但是，如果单独使用对应于各个规格的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。为了解决该问题，做成了使用来执行在上述各实施方式中表示的运动图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-I等的规格的解码处理部一部分共用的结构。用图43A的ex900表示该结构例。例如，在上述各实施方式中表示的运动图 像解码方法和依据MPEG4-AVC规格的运动图像解码方法在熵编码、逆量化、解块过滤器、运动补偿等的处理中处理内容有一部分共通。关于共通的处理内容，可以考虑共用对应于MPEG4-AVC规格的解码处理部ex902、关于部对应于MPEG4-AVC规格的本发明特有的其他的处理内容使用专用的解码处理部ex901的结构。特别是，本发明由于在系统解码方面具有特征，所以例如可以考虑关于系统解码使用专用的解码处理部ex901、关于其以外的逆量化、熵编码、解块过滤器、运动补偿的某个或全部的处理共用解码处理部。关于解码处理部的共用，也可以是关于共通的处理内容共用用来执行在上述各实施方式中表示的运动图像解码方法的解码处理部、关于MPEG4-AVC规格所特有的处理内容使用专用的解码处理部的结构。此外,用图43B的exlOOO表不将处理一部分共用的另一例。在该例中，做成了使用与本发明所特有的处理内容对应的专用的解码处理部ex 1001、和与其他的以往规格所特有的处理内容对应的专用的解码处理部exl002、和与在本发明的运动图像解码方法和其他的以往规格的运动图像解码方法中共通的处理内容对应的共用的解码处理部exl003的结构。这里，专用的解码处理部eX1001、ex1002并不一定是为本发明、或者其他的以往规格所特有的处理内容特殊化的，也可以是能够执行其他的通用处理的。此外，也能够由LSIex500安装本实施方式的结构。这样，通过对于在本发明的运动图像解码方法和以往的规格的运动图像解码方法中共通的处理内容共用解码处理部，能够减小LSI的电路规模并且降低成本。工业实用性有关本发明的图像编码方法及图像解码方法能够在例如电视机、数字视频记录机、汽车导航仪、便携电话、数字照相机、或数字摄像机等中使用。符号说明100、800、1700、2100 图像编码装置200、300、900、1000、1900、2300 图像解码装置111、112、113、114、411、413、811、812 水平 1/2 缩小部121、122、821、822 综合部131、132、133、134、231、232、271、272、331、831、832、833、834、931、971、972、1031
帧缓存
151、152、261、262、263、264、851、852、961、963 开关160、860输入信号控制部170MVC 编码器171、172、871、872 编码器
180、880系统编码器210、310、910、1010 系统解码器220MVC 解码器221、222、321、921、922、1021 解码器260、960、1903、2303 输出部265、965输出控制部266、566图像合成部267、967像素再配置部290、390、990、1090 显示部320、1020AVC 解码器815水平垂直缩小部870SVC 编码器920SVC 解码器1701、2101 编码部1702,2102多路复用部1710、1920、2110、2320 视频层部1720、1910、2120、2310 系统层部190U2301 分离部1902、2302 解码部2104、2304 生成部
权利要求
1.一种图像编码方法，包括将由I个以上的图片构成的图像编码而生成编码流的视频层、和生成用来将上述编码流传送或储存的系统流的系统层，其特征在于， 上述视频层包括将上述图像编码而生成上述编码流的编码步骤； 上述系统层包括将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)在上述编码步骤中生成的上述编码流多路复用而生成上述系统流的多路复用步骤； 在上述编码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像编码而生成上述编码流。
2.如权利要求I所述的图像编码方法，其特征在于， 上述系统层依据MPEG-2系统； 上述视频层依据多视点影像编码方式； 在上述编码步骤中，按照上述多视点影像编码方式将上述图像编码而生成上述编码流； 在上述多路复用步骤中，在关于上述多视点影像编码方式的描述符中插入上述识别码，将包括上述识别码的上述描述符与上述编码流多路复用，生成上述系统流。
3.如权利要求2所述的图像编码方法，其特征在于， 上述视频层依据H. 264MVC ； 关于上述多视点影像编码方式的上述描述符是关于上述H. 264MVC的MVC描述符； 在上述编码步骤中，按照上述H. 264MVC将上述图像编码而生成上述编码流； 在上述多路复用步骤中，在关于上述H. 264MVC的上述MVC描述符中插入上述识别码，将包含上述识别码的上述MVC描述符与上述编码流多路复用，生成上述系统流。
4.如权利要求2或3所述的图像编码方法，其特征在于， 在上述编码步骤中， 在上述图像的上述格式是上述左右混合格式的情况下，将上述左右混合格式的上述图像编码； 在上述图像的上述格式不是上述左右混合格式的情况下，将包括左视点的图片和右视点的图片作为相互不同的图片的格式即左右独立格式的上述图像编码。
5.如权利要求I所述的图像编码方法，其特征在于， 上述系统层依据MPEG-2系统； 上述视频层依据可伸缩影像编码方式； 在上述编码步骤中，按照上述可伸缩影像编码方式将上述图像编码而生成上述编码流； 在上述多路复用步骤中，在关于上述可伸缩影像编码方式的描述符中插入上述识别码，将包含上述识别码的上述描述符和上述编码流多路复用而生成上述系统流。
6.如权利要求5所述的图像编码方法，其特征在于， 上述视频层依据H. 264SVC ； 关于上述可伸缩影像编码方式的上述描述符是关于上述H. 264SVC的SVC描述符；在上述编码步骤中，通过按照上述H. 264SVC将上述图像编码，生成上述编码流； 在上述多路复用步骤中，在关于上述H. 264SVC的上述SVC描述符中插入上述识别码，将包含上述识别码的上述SVC描述符与上述编码流多路复用，生成上述系统流。
7.如权利要求5或6所述的图像编码方法，其特征在于， 在上述编码步骤中， 在上述图像的上述格式是上述左右混合格式的情况下，将用于立体显示的上述图像编码； 在上述图像的上述格式不是上述左右混合格式的情况下，将用于平面显示的上述图像编码。
8.如权利要求I 4的任一项所述的图像编码方法，其特征在于， 上述图像编码方法还包括通过(i)生成在上述左视点用图像区域中包含作为左视点的图片的左图片的第I部分、在上述右视点用图像区域中包含作为右视点的图片的右图片的第2部分的图片作为上述基本层的图片、(ii)生成在上述左视点用图像区域中包含是上述左图片的部分、作为与上述第I部分不同的部分的第3部分、在上述右视点用图像区域中包含是上述右图片的部分、作为与上述第2部分不同的第4部分的图片作为上述扩展层的图片，将上述图像以上述左右混合格式生成的生成步骤； 在上述编码步骤中，在将上述左右混合格式的上述图像编码时，将在上述生成步骤中生成的上述图像编码而生成上述编码流。
9.如权利要求1、5 7的任一项所述的图像编码方法，其特征在于， 上述图像编码方法还包括通过(i)生成在上述左视点用图像区域中包含作为左视点的图片的左图片的第I部分、在上述右视点用图像区域中包含作为右视点的图片的右图片的第2部分的图片作为上述基本层的图片、(ii)生成在上述左视点用图像区域中包括上述左图片的全部、或上述左图片中的包括上述第I部分的第3部分、在上述右视点用图像区域中包括上述右图片的全部、或上述右图片中的包括上述第2部分的第4部分的图片作为上述扩展层的图片，将上述图像以上述左右混合格式生成的生成步骤； 在上述编码步骤中，在将上述左右混合格式的上述图像编码时，将在上述生成步骤中生成的上述图像编码而生成上述编码流。
10.一种图像解码方法，包括从用来将包括由I个以上的图片构成的图像的编码流传送或储存的系统流中取得上述编码流的系统层、和将上述编码流的上述图像解码的视频层，其特征在于， 上述系统层包括将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)上述编码流从上述系统流分离，取得上述识别码和上述编码流的分离步骤； 上述视频层包括将包含在由上述分离步骤取得的上述编码流中的上述图像解码的解码步骤； 上述图像解码方法还包括以按照由上述分离步骤取得的上述识别码确定的输出形态输出由上述解码步骤解码的上述图像的输出步骤； 在上述解码步骤中，在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像解码。
11.如权利要求10所述的图像解码方法，其特征在于， 上述系统层依据MPEG-2系统； 上述视频层依据多视点影像编码方式； 在上述分离步骤中，将关于上述多视点影像编码方式的描述符与上述编码流从上述系统流中分离，取得包含在上述描述符中的上述识别码和上述编码流； 在上述解码步骤中，将按照上述多视点影像编码方式编码的上述图像解码。
12.如权利要求11所述的图像解码方法，其特征在于， 上述视频层依据H. 264MVC ； 关于上述多视点影像编码方式的上述描述符是关于上述H. 264MVC的MVC描述符；在上述分离步骤中，将关于上述H. 264MVC的上述MVC描述符和上述编码流从上述系统流中分离，取得包含在上述MVC描述符中的上述识别码和上述编码流； 在上述解码步骤中，将按照上述H. 264MVC编码的上述图像解码。
13.如权利要求11或12所述的图像解码方法，其特征在于， 在上述解码步骤中， 在上述图像的上述格式是上述左右混合格式的情况下，将上述左右混合格式的上述图像解码； 在上述图像的上述格式不是上述左右混合格式的情况下，将包含左视点的图片和右视点的图片作为相互不同的图片的格式即左右独立格式的上述图像解码。
14.如权利要求10所述的图像解码方法，其特征在于， 上述系统层依据MPEG-2系统； 上述视频层依据可伸缩影像编码方式； 在上述分离步骤中，将关于上述可伸缩影像编码方式的描述符和上述编码流从上述系统流中分离，取得包含在上述描述符中的上述识别码和上述编码流； 在上述解码步骤中，将按照上述可伸缩影像编码方式编码的上述图像解码。
15.如权利要求14所述的图像解码方法，其特征在于， 上述视频层依据H. 264SVC ； 关于上述可伸缩影像编码方式的上述描述符是关于上述H. 264SVC的SVC描述符；在上述分离步骤中，将关于上述H. 264SVC的上述SVC描述符和上述编码流从上述系统流中分离，取得包含在上述SVC描述符中的上述识别码、和上述编码流； 在上述解码步骤中，将按照上述H. 264SVC编码的上述图像解码。
16.如权利要求14或15所述的图像解码方法，其特征在于， 在上述解码步骤中， 在上述图像的上述格式是上述左右混合格式的情况下，将用于立体显示的上述图像解码； 在上述图像的上述格式不是上述左右混合格式的情况下，将用于平面显示的上述图像解码。
17.如权利要求10 13的任一项所述的图像解码方法，其特征在于，上述图像解码方法还包括在上述图像的上述格式是上述左右混合格式的情况下生成作为左视点的图片的左图片、以及作为右视点的图片的右图片的生成步骤； 在上述生成步骤中， 从是包含在由上述解码步骤解码后的上述图像中的图片、且作为上述基本层的图片的基本层图片的上述左视点用图像区域中取得上述左图片的第I部分； 从上述基本层图片的上述右视点用图像区域中取得上述右图片的第2部分； 从是包含在由上述解码步骤解码的上述图像中的图片、且作为上述扩展层的图片的扩展层图片的上述左视点用图像区域中，取得是上述左图片的部分、且与上述第I部分不同的第3部分； 从上述扩展层图片的上述右视点用图像区域中，取得是上述右图片的部分、且与上述第2部分不同的第4部分； 根据所取得的上述第I部分、和所取得的上述第3部分，生成上述左图片； 根据所取得的上述第2部分、和所取得的上述第4部分，生成上述右图片； 在上述输出步骤中，在上述图像的上述格式是上述左右混合格式的情况下，输出由上述生成步骤生成的上述左图片、以及由上述生成步骤生成的上述右图片作为上述图像。
18.如权利要求10、14 16的任一项所述的图像解码方法，其特征在于， 上述图像解码方法还包括在上述图像的上述格式是上述左右混合格式的情况下，根据是包含在由上述解码步骤解码的上述图像中的图片、且作为上述基本层及上述扩展层中的一方的图片的解码图片的上述左视点用图像区域生成作为左视点的图片的左图片、根据上述解码图片的上述右视点用图像区域生成作为右视点的图片的右图片的生成步骤； 在上述输出步骤中，在上述图像的上述格式是上述左右混合格式的情况下，输出由上述生成步骤生成的上述左图片、以及由上述生成步骤生成的上述右图片作为上述图像。
19.一种图像编码装置，具备将由I个以上的图片构成的图像编码而生成编码流的视频层部、和生成用来将上述编码流传送或储存的系统流的系统层部，其特征在于， 上述视频层部具备将上述图像编码而生成上述编码流的编码部； 上述系统层部具备将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)在上述编码部中生成的上述编码流多路复用而生成上述系统流的多路复用部； 上述编码部在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像编码而生成上述编码流。
20.一种图像解码装置，具备从用来将包括由I个以上的图片构成的图像的编码流传送或储存的系统流中取得上述编码流的系统层部、和将上述编码流的上述图像解码的视频层部，其特征在于， 上述系统层部具备将(i)表示上述图像的格式是否是包括用来对应于多个精度的基本层和扩展层、在I个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)上述编码流从上述系统流分离、取得上述识别码和上述编码流的分离部;上述视频层部具备将包含在由上述分离部取得的上述编码流中的上述图像解码的解码部； 上述图像解码装置还具备以按照由上述分离部取得的上述识别码确定的输出形态输出由上述解码部解码的上述图像的输出部； 上述解码部在上述图像的上述格式是上述左右混合格式的情况下，将包括上述基本层和上述扩展层、在上述I个图片中包括上述左视点用图像区域和上述右视点用图像区域的上述图像解码。
全文摘要
提供一种图像编码方法，能够适当地对应由基本层及扩展层构成的3D影像格式。图像编码方法是包括视频层和系统层的图像编码方法，视频层包括将图像编码而生成编码流的编码步骤(S1801)，系统层包括将(i)表示图像的格式是否是包括基本层和扩展层、在1个图片中包括左视点用图像区域和右视点用图像区域的左右混合格式的识别码、和(ii)编码流多路复用、生成系统流的多路复用步骤(S1802)，在编码步骤(S1801)中，在图像的格式是左右混合格式的情况下，将包括基本层和扩展层、在1个图片中包括左视点用图像区域和右视点用图像区域的图像编码而生成编码流。
文档编号H04N13/00GK102668567SQ20118000356
公开日2012年9月12日 申请日期2011年8月3日 优先权日2010年8月9日
发明者佐佐木泰治, 西孝启, 远间正真 申请人:松下电器产业株式会社