用于对多视点视频进行统一可分级视频编码的方法和设备以及对多视点视频进行统一可 ...的利记博彩app
【专利摘要】本发明提供用于多视点视频的可分级视频编码和解码的方法以及用于实现所述方法的可分级视频编码和解码的设备。将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层。基于可分级预测编码的参考图像转换技术，通过使用当前图像的母图像来产生与图像序列的当前图像相关的至少一个参考图像。可通过使用所述至少一个参考图像针对当前图像执行预测编码。
【专利说明】用于对多视点视频进行统一可分级视频编码的方法和设备
以及对多视点视频进行统一可分级视频解码的方法和设备
【技术领域】
[0001]本公开涉及用于对多视点视频进行可分级(scalable)视频编码和解码的方法，以及实现相应方法的用于可分级视频编码和解码的设备。
【背景技术】
[0002]用于视频内容的应用的通信技术(诸如，端到端(P2P)、近场通信(NFC)等)，已结合使用3D视频内容的三维(3D)多媒体领域的活跃而被推广。
[0003]为了具有各种分辨率的3D多媒体装置共享3D视频内容，需要传输各种格式的3D视频内容。然而，作为3D视频传输的当前通信标准的多视点视频编码(MVC)标准目前仅支持一个立体视频流，因此，基于MVC标准的3D视频服务无法提供支持各种格式的3D视频服务的结构。
【发明内容】
[0004]技术问题
[0005]提供能够在对构成多视点视频的各种格式的视频进行分层编码的同时实现帧内层编码和帧间层编码的有效的统 一可分级编码的方法和设备，以及用于可分级解码的方法和设备。
[0006]技术方案
[0007]根据一个或多个示例性实施例的一方面，一种用于可分级视频编码的方法包括:将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层；通过应用可分级预测编码的参考图像转换技术来针对图像序列的当前图像产生至少一个参考图像，其中，可分级预测编码包括对当前图像的母图像进行帧内层预测和帧间层预测；通过使用至少一个参考图像针对当前图像执行预测编码。
[0008]有益效果
[0009]根据示例性实施例的可分级视频编码和解码可分别将多视点视频以及2D视频和3D视频编码和解码为每个视点的单独层。即使虽然视频可具有相同视点，但是根据示例性实施例的可分级视频编码和解码也可分别将不同分辨率的视频编码和解码为单独层。另外，根据示例性实施例的可分级视频编码和解码可支持不同层的帧间层预测以及相同层的帧内层预测，因此有效地减少传输比特率。
【专利附图】
【附图说明】
[0010]图1是根据示例性实施例的可分级视频编码的设备的示意性框图。
[0011]图2是根据示例性实施例的可分级视频解码的设备的示意性框图。
[0012]图3示出根据一个或多个示例性实施例的用在可分级视频编码和解码中的示例性帧间层预测结构。[0013]图4示出根据示例性实施例的视频的图像序列的示例性图像矩阵。
[0014]图5示出根据示例性实施例的根据与图像序列相关的参考关系的示例性树结构。
[0015]图6示出根据示例性实施例的用于针对图像序列执行帧间层预测的参考图像转换技术。
[0016]图7示出根据示例性实施例的参考图像列表的示例性配置。
[0017]图8示出根据示例性实施例的配置用于结合可分级视频编码的设备而使用的立体视频的层结构。
[0018]图9示出根据示例性实施例的配置用于结合可分级视频编码的设备而使用的多视点视频的层结构。
[0019]图10示出根据示例性实施例的由可分级视频编码和解码的设备的多视点视频编码(MVC)方案和MPEG帧兼容(MFC)方案的合并。
[0020]图11是示出根据示例性实施例的通过使用可分级视频编码的设备执行的处理的流程图。
[0021]图12是示出根据示例性实施例的通过使用可分级视频解码的设备执行的处理的流程图。
【具体实施方式】
[0022]最佳模式
[0023]提供能够实现帧内层编码和帧间层编码的有效的统一的可分级视频编码，同时对构成多视点视频的各种格式的视频进行分层地编码的方法和设备，以及可分级解码的方法和设备。
[0024]附加方面的一部分将在下面的描述中被阐明，并且一部分从描述中是清楚的或通过这里公开的示例性实施例的实施可被理解。
[0025]根据一个或多个示例性实施例的一方面，一种可分级视频编码的方法包括:将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层；通过对当前图像的母图像应用包括帧内层预测和帧间层预测的可分级预测编码的参考图像转换技术来产生关于图像序列的当前图像的至少一个参考图像；通过使用所述至少一个参考图像针对当前图像执行预测编码。
[0026]用于视频层编码的方法可还包括:基于根据与图像序列相关的参考关系的树结构对指示图像序列的每个图像参考的各个母图像的母图像索引信息进行编码。
[0027]根据一个或多个示例性实施例的另一方面，一种可分级视频解码的方法包括:从视频的比特流提取数据，在所述视频中，视频的图像序列的至少一个根图像和其它剩余图像的数据被分类为多个层并被编码；通过对图像序列的恢复图像之中的母图像应用包括帧内层预测和帧间层预测的可分级预测解码的参考图像转换技术，将所述母图像转换为关于当前图像的至少一个参考图像；通过使用所述至少一个参考图像针对当前图像执行预测解码。
[0028]在可分级视频解码的方法中，可从比特流提取母图像索引信息，其中，所述母图像索引信息指示图像序列的图像中的每各一个参考的相应母图像。
[0029]根据一个或多个示例性实施例的另一方面，一种可分级视频编码的设备包括:层分类单元，将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层；参考图像产生单元，通过对当前图像的母图像应用包括帧内层预测和帧间层预测的可分级预测编码的参考图像转换技术，来产生关于图像序列的当前图像的至少一个参考图像；预测编码单元，通过使用所述至少一个参考图像，针对当前图像执行预测编码；输出单元，对与编码的当前图像相关的数据执行变换、量化和熵编码，输出编码比特流和指示当前图像的母图像的母图像索引信息。
[0030]根据一个或多个示例性实施例的另一方面，一种可分级视频解码的设备包括:提取单元，从视频的比特流提取数据，在所述视频中，视频的图像序列的至少一个根图像和其它剩余图像的数据被分类为多个层并被编码；解码单元，对提取出的编码数据进行解码，并输出与图像序列相关的残差信息和参考信息；参考图像转换单元，通过对图像序列的恢复图像之中的母图像应用包括帧内层预测和帧间层预测的可分级预测解码的参考图像转换技术，将所述母图像转换为关于当前图像的至少一个参考图像；恢复单元，通过使用所述至少一个参考图像以及输出的参考信息和输出的残差信息针对当前图像执行预测解码。
[0031]一个或多个示例性实施例包括非暂时计算机可读记录介质，所述非暂时计算机可读记录介质包括用于通过计算机实现根据一个或多个示例性实施例的可分级视频编码的方法的程序。一个或多个示例性实施例可包括非暂时计算机可读记录介质，所述非暂时计算机可读记录介质包括用于通过计算机实现根据一个或多个示例性实施例的可分级视频解码的方法的程序。
[0032]发明模式
[0033]现在将详细描述示例性实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。在这方面，本示例性实施例可具有不同的形式，并不应被解释为限制本文阐述的描述。因此，下面仅通过参照附图描述示例性实施例，以描述本说明书的各个方面。
[0034]下文中，将参照图1到图12详细描述实现根据本发明构思的技术特征的可分级视频编码的方法和设备和可分级视频解码的方法和设备的各种示例性实施例。
[0035]图1是根据示例性实施例的可分级视频编码的设备(或可分级视频编码设备)的示意性框图。
[0036]根据示例性实施例的可分级视频编码设备100包括层分级单元110、参考图像产生单元120、预测编码单元130和输出单元140。二维(2D)视频、三维(3D)视频、多视点视频等的图像序列可被用作可分级视频编码设备100的输入。
[0037]根据示例性实施例的层分级单元110将视频的图像序列的图像分类为多个层。针对输入到可分级视频编码设备100的包括至少一个根图像的图像序列的图像，层分类单元110可基于至少一个图像特征按照层对至少一个根图像和其它剩余图像进行分类。例如，当输入视频是多视点视频时，层分类单元110可基于视点对图像进行分类。
[0038]另外，层分类单元110可设置用于对图像进行分级的两个或更多分类条件，即，层分类单元可基于两个或更多个图像特征对图像进行分类。因此，例如，当输入图像是多视点视频时，层分类单元110可基于视点和分辨率对输入图像进行分类。
[0039]根据示例性实施例的可分级视频编码设备100可通过使用帧内层预测和帧间层预测中的一个或两者执行可分级预测编码。根据示例性实施例的参考图像产生单元120可通过应用可伸缩预测编码的参考图像转换技术来转换图像序列的当前图像的母图像，以产生与当前图像相关的至少一个参考图像。也作为与当前图像相关的参考图像的单个母图像可结合参考图像转换技术而被用于产生多个参考图像。母图像可以是关于当前图像的不同层的图像，或可以是与当前图像相同的层的不同图像。
[0040]根据示例性实施例的参考图像转换技术可包括旁路技术、缩放技术、隔行逐行转换技术、颜色转换技术、滤波技术、扭曲技术、权重增加技术和帧间层插值技术中的至少一个。因此，参考图像产生单元120可对母图像应用一个或多个参考图像转换技术，以产生当前图像的一个或多个参考图像。
[0041]根据示例性实施例的预测编码单元130通过使用已由参考图像产生单元120产生的至少一个参考图像对当前图像执行预测编码。
[0042]当针对当前图像执行预测编码时，预测编码单元130可预先确定是否参考母图像的恢复图像和参考信息中的任意一个来预测当前图像。参考信息可包括例如根据预测的运动信息、预测模式信息、参考索引信息等中的一个或多个。因此，预测编码单元130可参考母图像的恢复图像和参考信息中的一个来针对当前图像执行预测编码。
[0043]针对当前图像，参考图像产生单元120可产生包括已通过使用参考图像转换技术产生的至少一个参考图像的参考图像列表。具体地，预测编码单元130可参考存储在参考图像列表中的至少一个图像来针对当前图像执行预测编码。因为将被包括在参考图像列表中的参考图像可基于与当前图像、相应母图像和选择的参考转换技术的当前选择有关的改变而变化，所以可分级视频编码设备100可包括更新和管理参考图像列表的参考图像列表更新单元。
[0044]根据示例性实施例的输出单元140可对预测编码单元130输出的数据执行变换、量化和熵编码以输出编码的比特流。另外，输出单元140可基于根据与图像序列相关的参考关系的树结构结合图像序列的编码的比特流，来输出指示图像序列的图像中的每一个的相应母图像的母图像索引信息。
[0045]另外，输出单元140可对指示关于当前图像的相应母图像的信息和基于根据在当前图像和母图像之间存在的参考预测关系的树结构指示是否参考母图像的恢复图像和参考图像中的任意一个的信息进行编码，并结合图像序列的编码的比特流输出编码信息。
[0046]另外，输出单元140可对指示用于预测编码的参考图像转换技术的信息进行编码，并结合图像序列的编码的比特流输出编码信息。根据示例性实施例，已用于产生当前图像的相应参考图像的与参考图像转换技术相关的信息可被编码和发送。
[0047]根据示例性实施例，与当前图像相关的母图像索引信息、指示当前图像参考母图像的恢复图像和参考图像中的哪一个的信息和指示使用的参考图像转换技术的信息可由输出单元140插入到传输比特流的报头。
[0048]图2是根据示例性实施例的可分级视频解码的设备(或可分级视频解码设备)的示意性框图。
[0049]根据示例性实施例的可分级视频解码设备200包括接收和提取单元210、解码单元220、参考图像转换单元230和恢复单元240。
[0050]根据示例性实施例的接收和提取单元210可接收视频(包括2D视频、3D视频或多视点视频)的编码比特流。接收和提取单元210接收到的比特流可包括数据，在所述数据中，包括视频的图像序列的至少一个根图像的图像已被分类为多个层并被编码。[0051]接收和提取单元210可解析接收到的比特流来提取已按照层对图像进行编码的数据。例如，接收和提取单元210可基于视点和分辨率从多视点视频的比特流提取已按照层被编码的比特流。
[0052]根据示例性实施例的解码单元220可对已由接收和提取单元210从比特流提取出的图像序列的编码数据进行解码，并输出与图像序列相关的残差信息和参考信息。解码单元220可对从比特流提取出的编码数据执行熵解码、反量化和逆变换，以恢复与图像相关的残差信息和参考信息。
[0053]根据示例性实施例的参考图像转换单元230可将图像序列的恢复图像之中的母图像转换为针对当前图像的至少一个参考图像。根据示例性实施例的恢复单元240可通过使用已由参考图像转换单元230产生的至少一个参考图像和已由解码单元220输出的与当前图像相关的预测信息和残差信息来针对当前图像执行预测解码，以产生当前图像的恢复图像。
[0054]恢复单元240可针对图像序列执行预测解码以产生视频的恢复图像。参考图像转换单元230可在已由恢复单元240恢复的先前图像的恢复图像之中搜索各个当前图像中的每一个的相应母图像，随后对所述母图像应用参考图像转换技术，以产生当前图像的参考图像。
[0055]根据示例性实施例的接收和提取单元210可从解析的比特流提取母图像索引信息。在这种情况下，参考图像转换单元230可基于提取出的母图像索引信息分析根据与图像序列相关的参考关系的树结构，并在图像序列的已经恢复的恢复图像之中搜索当前图像可参考的母图像。
[0056]根据示例性实施例的接收和提取单元210可提取指示针对当前图像的预测解码是否参考母图像的恢复图像和参考信息中的任意一个的参考主体信息。在这种情况下，根据示例性实施例的恢复单元240可基于参考主体信息确定是否参考母图像的恢复图像和参考图像中的一个，并参考确定的将参考的图像针对当前图像执行预测解码，并随后相应地产生恢复图像。
[0057]参考图像转换单元230可通过使用参考图像转换技术将一个母图像转换为与当前图像相关的至少一个参考图像，其中，所述参考图像转换技术包括旁路技术、缩放技术、隔行逐行转换技术、颜色转换技术、滤波技术、扭曲技术、权重增加技术和帧间层插值技术中的至少一个。
[0058]参考图像转换单元230可产生包括通过针对当前图像使用参考图像转换技术而产生的至少一个参考图像的参考图像列表。在这种情况下，恢复单元240可参考存储在参考图像列表中的至少一个图像针对当前图像执行预测解码，并输出恢复图像。
[0059]参考图像转换单元230可基于新当前图像的选择、针对选择的新当前图像的相应新母图像的确定、对相应新母图像的参考图像转换技术的应用来更新和管理参考图像列表。
[0060]根据示例性实施例的接收和提取单元210可从解析的比特流提取参考图像转换技术信息。在这种情况下，参考图像转换单元230可基于参考图像转换技术信息从当前图像的一个母图像产生当前图像的至少一个参考图像。
[0061]根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200可将多视点视频以及2D视频和3D视频编码和解码为每个视点中的单独层。另外，虽然视频可具有相同视点，但是根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200可分别将不同分辨率的视频编码和解码为单独层。另外，根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200可支持不同层的帧间层预测以及相同层的帧内层预测，因此有效降低传输比特率。
[0062]根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200可同时实现符合MVC标准的多视点视频编码和解码以及符合SVC通信标准的分层视频编码和解码，因此提供根据统一的视频编码和解码方案发送和接收各种格式的多视点视频的视频通信服务。
[0063]图3示出根据一个或多个示例性实施例的用在可分级视频编码和解码中的示例性帧间层预测结构。
[0064]根据可分级视频编码和解码方案，视频的画面组(GOP)被分配为单独层，并且帧间层预测可被执行，使得可参考相互不同的GOP执行预测编码和预测解码。
[0065]具体地，在包括在输入视频中的一些画面350之中，第零GOP的画面300、画面301、画面302、画面303和画面304、第一 GOP的画面310、画面311、画面312、画面313和画面314以及第二 GOP的画面320、画面321、画面322、画面323和画面324可被分别分配为层O、层I和层2。
[0066]帧内编码的画面300 (下文中称为“I画面”300)是根画面或即时解码刷新(IDR)画面，根据预测编码，所述“I画面”300成为不同层的双向预测的(下文中称为“b”或“B”)b画面301和预测的(下文中称为“P”)P画面320之间的帧间层预测的参考图像，以及相同层的B画面302、b画面301和P画面304的参考图像。另外，一般地，在前向预测中，在单个层预测中仅按照画面序列号(POC)顺序参考先前画面，而可对P画面304、P画面320和P画面324执行前向预测，其中，所述P画面304、P画面320和P画面324可用于参考按照相同层和相同顺序的POC顺序的先前画面或按照POC顺序但在不同层中的先前画面的帧间层预测。对B画面302、B画面312、B画面322和B画面314以及b画面301、b画面311、b画面321、b画面303、b画面313和b画面323执行参考按照相同层的POC顺序的先前画面或下一画面的双向预测，还可执行参考按照不同层的相同POC顺序的画面的预测编码。
[0067]根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频编码设备200可基于一个或多个具体图像特征将2D视频、3D视频或多视点视频分类为多个层，并通过采用与可分级视频编码和解码方案相关的预测结构(诸如，在图3中示出的示例性预测结构)来使用帧间层预测以及帧内层预测。
[0068]图4示出根据示例性实施例的视频的图像序列的示例性图像矩阵。
[0069]首先，根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200可被用于提供指示视频的图像序列的图像中的每一个的图像索引，以在没有限制执行可分级编码和解码基于的层分类条件的情况下对层进行分类，并管理与层无关的图像之间的自由参考关系。
[0070]根据示例性实施例的图像索引遵守2D索引方案。为了简明，参照图4描述的示例性实施例与2D索引相关，但是可能执行3D索引，并且本发明构思的原理可广泛地应用于各种类型的索引，以管理图像之间的参考关系。
[0071]在根据示例性实施例的图像索引结构中，各个2D索引被分配到图像矩阵450的图像400、图像401、图像402、…、图像415中的每一个。例如，索引(0,0)被分配到根图像400、即时解码刷新(IDR)图像，(i，j)类型索引被分配到其它剩余图像401、402、403、…、415。对于给定索引(i，j)，在图像矩阵450中，i可指定行号，j可指定列号。
[0072]包括在根据示例性实施例的图像矩阵450中的各个图像400、401、402、…、415可自由地参考当前图像矩阵450中的已解码的其它图像。另外，可预先定义包括画面的索引的参考索引列表，其中，可根据各个图像400、401、402、…、415的I/P/B(b)预测模式来参考所述画面。另外，也可定义包括画面的索引的参考索引列表，其中，可根据用户任意设置的预测模式来参考所述画面。
[0073]图5示出根据示例性实施例的根据与图像序列相关的参考关系的示例性树结构500。
[0074]可根据图像矩阵450中的帧间图像预测的参考关系配置树结构500。例如，树结构500中的深度O (最高级)可被分配到图像矩阵450中被首先编码和解码的根图像400。每个直接参考深度O的根图像400的图像410、图像405和图像404可被确定为深度I。另外，每个参考深度I的图像410、405和404中的至少一个的图像412、图像415、图像409和图像402可被确定为深度2。以这种方式，可针对图像矩阵450根据帧间图像预测的参考关系来配置深度0、1、2、…的树结构500。
[0075]根据示例性实施例的可分级视频编码设备100可对指示当前图像参考的母图像的母图像索引信息进行编码，并可与编码的图像数据一起发送编码的母图像索引信息。另外，根据示例性实施例的可分级视频解码设备200可通过使用母图像索引信息分析根据接收到的图像的参考关系的树结构500。
[0076]例如，根据示例性实施例的母图像索引信息针对每个图像被设置，从而指示当前图像的母图像的索引。例如，可如下设置关于构成树结构500的图像的母图像索引信息。
[0077]R (O, 0)400:N/A
[0078]e (2，O) 410:母图像是(O, O) 400
[0079]e (1,0)405:母图像是(0,0)400
[0080]e (0,4)404:母图像是(0,0)400
[0081]e(2，2)412:母图像是(2,0)410
[0082]e (2，4) 415:母图像是(2,0)410、(I, 0)405
[0083]e (1,4) 409:母图像是(1,0)405、(0,4)404
[0084]e (O, 2) 402:母图像是(O, 4) 404
[0085]具体地，索引(0，0)的图像400是不参考不同图像的深度O的根图像，所以不针对
图像400设置母图像索引信息。
[0086]另外，深度I的索引(2，O)的图像410、索引(1，O)的图像405和索引(0，4)的图像404中的每一个仅参考根图像400，从而，可将针对每一个的相应母图像索引信息设置为根图像400的索引(0，0)。
[0087]另外，因为索引(2，2)的图像412、索引(2，4)的图像415、索引(1，4)的图像409和索引(0，2)的图像402中的每一个参考深度I的图像，可将参考的母图像的各个索引设置为相应的母图像索引信息。具体地，因为索引(2，2)的图像412参考深度I的图像410，所以相应的母图像索引可被设置为(2，0)。因为索引(2，4)的图像415参考深度I的图像410和图像405，所以相应的母图像索引信息可被设置为(2，0)(1，0)。因为索引(1，4)的图像409参考深度I的图像405和图像404，所以相应的母图像索引信息可被设置为(1，O)(O, 4)。因为索引(0，2)的图像402参考深度I的图像404，所以相应的母图像索引信息可被设置为(O, 4) ο
[0088]对于帧间图像预测，根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200可分别使用母图像的解码图像作为参考图像，或可通过仅使用与母图像相关的参考信息分别针对当前图像执行预测编码和解码。
[0089]另外，根据示例性实施例的可分级视频编码设备100可确定当前图像是否通过使用母图像的解码的恢复图像和参考信息中的哪一个被预测编码或解码，相应地预测并对图像序列进行编码。
[0090]另外，根据示例性实施例的可分级视频编码设备100可对参考方案信息进行编码，并与编码的图像数据一起发送编码的参考方案信息，其中，所述参考方案信息指示当前图像是否通过使用母图像的解码的恢复图像和参考信息中的哪一个被预测编码或解码。
[0091]根据示例性实施例的可分级视频解码设备200可从接收到的比特流提取参考方案信息，并基于提取出的参考方案信息，通过使用母图像的解码的恢复图像和参考信息中的一个针对当前图像执行预测解码。
[0092]可根据树结构500参考原始图像、母图像的母图像和/或当前图像直接参考的母图像来执行预测编码或预测解码。
[0093]图6示出根据示例性实施例的用于针对图像序列执行帧间层预测的参考图像转换技术。
[0094]图6示出根据示例性实施例的可分级视频编码设备100的层分类单元110将图像矩阵650分类为三层的示例性实施例，其中，所述三层包括第O层的图像组640、第一层的图像组641和第二层的图像组642。因此，第O层的图像组640包括图像矩阵650的图像600、图像601、图像602、图像603和图像604，第一层的图像组641包括图像矩阵650的图像610、图像611、图像612、图像613和图像614，第二层的图像组642包括图像矩阵650的图像620、图像621、图像622、图像623和图像624。
[0095]关于根据示例性实施例的图像矩阵650的索弓丨，图像的索引(i，j)的i和j分别与图像组640、图像组641和图像组642的每一个的层号以及图像组640、图像组641和图像组642中的相应的一个的图像顺序内的各个级别(rank)相应。然而，这仅是图像索引的示例，本公开的图像索引不必须限于图6中示出的层号和图像顺序的组合。
[0096]根据示例性实施例的可分级视频编码设备100支持帧间层预测编码，使得可针对第O层的图像组640、第一层的图像组641和第二层的图像组642的图像执行帧间层预测。
[0097]另外，在针对根据示例性实施例的图像矩阵650的帧内预测编码和帧间层预测编码中，定义I/B/P画面的方向预测模式，使得B画面或P画面基于双向预测或前向预测之间的预测方向来参考不同画面。具体地，与上面关于图3中示出的可分级视频编码方案的描述相似，在不同层的画面的情况下，不限于参考相同POC的画面。因此，当执行根据示例性实施例的帧间层预测编码时，在参考不同层的图像中，可基于I/B/P画面的方向预测模式来确定母图像而不论POC如何。
[0098]根据示例性实施例的可分级视频编码设备100可对根据与可分级预测编码相关的参考关系设置的母图像索引信息进行编码，并发送编码的母图像索引信息。因此，可针对第O层的图像组640、第一层的图像组641和第二层的图像组642的图像中的每一个来设置指示索引的母图像索引信息，所述索引指示用于预测的母图像。因为帧内预测功能以及帧间预测功能在可分级视频编码设备100中可用，所以母图像索引信息可包括相同层的母图像的索引。
[0099]根据示例性实施例的可分级视频解码设备200可基于通过解析接收到的比特流提取出的母图像索引信息来分析图像矩阵650的树结构，并搜索在执行针对当前图像的预测解码中使用的母图像。
[0100]根据示例性实施例的参考图像产生单元120可将当前图像的母图像转换为参考图像，以产生在预测当前图像中使用的参考图像。通过应用根据示例性实施例的参考图像转换技术630，可从单个母图像产生多个参考图像。例如，参考图像转换技术630可包括旁路技术、缩放技术、隔行逐行转换技术、颜色转换技术、滤波技术、扭曲技术、权重增加技术和帧间层插值技术等。
[0101]具体地，通过应用参考图像转换技术630之中的旁路技术，可产生与母图像相同的参考图像，以参考母图像本身。相反地，通过应用参考图像转换技术630之中的缩放技术，可产生通过减小或放大母图像而获得的参考图像。
[0102]通过应用参考图像转换技术630之中的隔行逐行转换技术，可产生将基于隔行方案的母图像转换为基于逐行方案的母图像而获得的参考图像，或可产生并输出通过将基于逐行方案的母图像转换为基于隔行方案的母图像而获得的参考图像。
[0103]通过应用参考图像转换技术630之中的颜色转换技术，可产生通过变形母图像的颜色分量而获得的参考图像。通过应用参考图像转换技术630之中的滤波技术，通过对母图像应用预定滤波器可产生参考图像。通过应用参考图像转换技术630之中的扭曲技术，可产生并输出通过扭曲母图像而获得的参考图像。另外，通过应用参考图像转换技术630之中的权重增加技术，可产生通过将预定权重添加到母图像而获得的参考图像。
[0104]另外，通过应用参考图像转换技术630之中的帧间层插值技术，通过对不同层的母图像进行插值可产生参考图像。
[0105]根据示例性实施例的可分级视频编码设备100可对与各个图像使用的参考图像转换技术630相关的信息进行编码，并发送因此编码的信息。
[0106]根据示例性实施例的可分级视频解码设备200可解析接收到的比特流来提取与参考图像转换技术630相关的信息。参考图像转换单元230可基于提取出的参考图像转换技术信息确定针对当前图像使用的参考图像转换方案630，并通过对其应用参考图像转换技术630来转换从图像矩阵650中的首先恢复的恢复图像找到的母图像，从而产生当前图像的参考图像。恢复单元240可通过使用参考图像来针对当前图像执行帧内层预测/补偿或帧间层预测/补偿，来产生当前图像的恢复图像。
[0107]图7示出根据示例性实施例的参考图像列表的示例性配置。
[0108]根据示例性实施例的参考图像产生单元120和根据示例性实施例的参考图像转换单元230可产生并管理参考图像列表，其中，所述参考图像列表包括从当前图像的母图像产生的各种参考图像。
[0109]图7中示出的图像矩阵的图像的层按照视点被分类。具体地，第O视点的图像700、图像701、图像702、图像703、图像704、图像705、图像706和图像707构成第O层的图像组731 ;第一视点的图像710、图像711、图像712、图像713、图像714、图像715、图像716和图像717构成第一层的图像组732。当当前图像的母图像包括图像700、图像701、…、图像706、图像707、图像710、图像711、…、图像716和图像717中的至少一个时，可通过使用母图像来产生当前图像的参考图像并将其包括在参考图像列表中。
[0110]根据示例性实施例的参考图像列表可被存储在根据示例性实施例的参考图像产生单元120和根据示例性实施例的参考图像转换单元230的存储器中的至少一个中。包括在参考图像列表中的参考图像可被周期性地循环存储在存储器中。
[0111]例如，当存储器被划分为第一部分750、第二部分751和第三部分752时，第O层的图像组731的一些图像700、图像701和图像702可被存储在第一部分750中；第一层的图像组732的一些图像710、图像711和图像712可被存储在第二部分751中；不同层的图像组的一些图像720、图像721和图像722可被存储在第三部分752中。
[0112]第O层的图像组731、第一层的图像组732和不同层的图像组的图像可基于每个组中的各个图像顺序被存储在存储器中。第O层的图像组731、第一层的图像组732和不同层的图像组的下一个图像中的一些可分别被更新并基于存储器的刷新周期被存储在第一部分750、第二部分751和第三部分752中。
[0113]当第O层的图像组731、第一层的图像组732和不同层的图像组的图像被存储在存储器中时，基于应用根据示例性实施例的各种参考图像转换技术来转换而产生的参考图像可也被存储。因此，可通过使用存储在参考图像列表中的各种参考图像来执行可分级预测编码或解码。
[0114]图8示出根据示例性实施例的配置用于结合可分级视频编码的设备而使用的立体视频的层结构820。
[0115]根据示例性实施例的可分级视频编码设备100可按照基于视点对层进行分类的形式实现可分级视频编码，从而产生立体视频简档。
[0116]立体视频的第O视点的画面800、画面801、画面802、画面803和画面804可被分类为属于第O层，第一视点的画面810、画面811、画面812、画面813和画面814可被分类为
属于第一层。
[0117]根据图8的层预测结构820，可执行帧间层预测以及相同视点中的画面之间的预测，使得可参考不同视点的画面对第O视点的画面800、画面801、画面802、画面803和画面804以及第一视点的画面810、画面811、画面812、画面813和画面814执行预测编码。
[0118]可参考参考图像针对当前图像执行预测编码，其中，通过应用参考图像转换技术将不同视点的图像转换为参考主体而获得所述参考图像。
[0119]根据示例性实施例的可分级视频解码设备200可将相同视点或不同视点的母图像确定为各个当前图像的相应的母图像，设备200可还基于母图像索引信息和参考图像转换技术信息选择参考图像转换技术。
[0120]因此，可针对当前图像确定相同视点或不同视点的参考图像，可针对当前图像执行帧内层预测解码或帧间层预测解码，来产生当前图像的恢复图像。[0121]图9示出根据示例性实施例的配置用于结合可分级视频编码的设备而使用的多视点视频的层结构950。
[0122]根据示例性实施例的可分级视频编码设备100可按照基于每个视点的分辨率对层进行分类的形式实现可分级视频编码，从而产生多视角视频简档。
[0123]根据示例性实施例的可分级视频编码设备100可将多视点视频的左视点画面和右视点画面分类为属于VGA级分辨率的画面和720P分辨率的画面中的一个，并基于相应的分类构成各个层。
[0124]具体地，左视点的VGA级画面900、901、902、903和904被分类为属于第O层，左视点的720P级画面910、911、912、913和914可被分类为属于第一层。另外，右视点的VGA级画面920、921、922、923和924可被分类为属于第二层，右视点的720P级画面930、931、932、933和934可被分类为属于第三层。
[0125]根据图9的层预测结构950，因为可执行相同视点和相同分辨率的图像之间的帧间层预测以及预测编码，所以可参考不同视点的画面或不同分辨率的画面对左视点的VGA级画面900、901、902、903和904、左视点的720P级画面910、911、912、913和914、右视点的VGA级画面920、921、922、923和924以及右视点的720P级画面930、931、932、933和934进
行预测编码。
[0126]因为可通过应用参考图像转换技术将不同视点或不同分辨率的画面转换为参考图像，所以可通过使用通过转换不同视点的画面或不同分辨率的画面而获得的参考图像针对当前图像执行预测编码。
[0127]如箭头所指示，图9的层预测结构950包括画面参考不同视点的相同分辨率的图像或参考相同视点的不同分辨率的图像的参考关系，但不包括画面参考不同视点的不同分辨率的图像的任何参考关系。然而，因为可基于参考图像转换技术之中的缩放技术的选择将母图像的分辨率转换为与各个当前图像的分辨率相同，所以根据示例性实施例的多视点视频的可分级视频编码的预测结构950可包括画面参考不同分辨率的图像和不同视点的图像的参考关系。
[0128]根据示例性实施例的可分级视频解码设备200可将相同视点或不同视点的母图像确定为各个当前图像的母图像，或将相同分辨率或不同分辨率的母图像确定为各个当前图像的母图像，并还可基于相应的母图像索引信息和参考图像转换技术信息确定参考图像转换技术。
[0129]因此，可确定当前图像的相同视点或不同视点或者相同分辨率或不同分辨率的参考图像，可基于确定的参考图像针对当前图像执行帧间层或帧内层预测解码，以产生当前图像的恢复图像。
[0130]图10示出根据示例性实施例的由可分级视频编码和解码的设备的MVC方案和MPEG帧兼容(MFC)方案的合并。
[0131]通过基于视点对立体视频进行编码，根据MVC方案编码的MVC比特流1010包括左视点视频已被编码的比特流1011和右视点视频已被编码的比特流1012。
[0132]根据MFC方案编码的MFC比特流1020包括通过将左视点视频和右视点视频合成为单个视频而已被编码的基本层比特流1021和增强层比特流1022。MFC方案可基于分辨率执行分层编码。[0133]根据示例性实施例的可分级视频编码设备100的层分类单元110不限于或限制执行层分类的条件的选择，因此层分类单元110可自由地确定分类条件。因此，根据示例性实施例的可分级视频编码设备100可发送通过基于分辨率对层进行分类而已被编码的基本层的比特流1021和增强层的比特流1022，而同时发送通过基于视点对层进行分类而已被编码的编码的左视点视频的比特流1011和右视点视频的比特流1012。
[0134]因此，根据示例性实施例的可分级视频解码设备200可对从根据示例性实施例的可分级视频编码设备100接收到的各种层的比特流进行解码，来恢复各种格式的视频，并恢复具有与原始视频相同分辨率的视频。在这一方面，可基于用户请求或系统请求选择性地提供特定格式的3D广播服务，同时也提供全分辨率的3D广播服务。
[0135]因此，可由根据示例性实施例的可分级视频编码设备100和根据示例性实施例的可分级视频解码设备200统一分别与现有标准中的每一个相应的按照不同格式提供的视频服务，借此各种格式的多视点视频服务可被整合在一起并被提供，并且可按照全分辨率提供3D视频服务。另外，可自由地选择和接收具有用户期望的格式的视频服务，并且还可自由地选择和接收全分辨率的视频。
[0136]图11是示出根据示例性实施例的通过可分级视频编码的设备执行的处理的流程图。
[0137]在操作1110，输入视频的图像序列的至少一个根图像和其它剩余图像被分类为多个层。包括2D视频或3D视频的多视点视频的图像序列可被输入到根据示例性实施例的可分级视频编码的设备。基于特定参考将当前图像序列分类为多个层，并按照层对当前图像进行编码。例如，可按照视点和分辨率对包括多个视点和多个分辨率的图像的图像序列的层进行分类。
[0138]在操作1120，可通过对当前图像的母图像应用可分级预测编码的参考图像转换技术来产生关于当前图像的至少一个参考图像。根据示例性实施例的参考图像转换技术可包括一个或多个转换技术。因此，各种参考图像转换技术可被应用于当前图像的单个母图像，以产生当前图像的至少一个参考图像。多个参考图像可被存储为参考图像列表并相应地被管理。
[0139]在操作1130，可通过使用至少一个参考图像针对当前图像执行预测编码。基于根据与图像序列相关的参考关系的树结构，可针对图像序列的各个图像，对指示相应的母图像的母图像索引信息进行编码。另外，可对与应用以产生当前图像的参考图像的参考图像转换技术相关的信息进行编码。
[0140]通过针对图像序列执行的帧间层预测和帧内层预测，图像的编码比特流可与母图像索引信息和参考图像转换技术信息一起被发送。
[0141]图12是示出根据示例性实施例的通过使用可分级视频解码的设备执行的处理的流程图。
[0142]在操作1210，视频的比特流被接收并被解析来提取数据，在所述数据中，视频的图像序列的至少一个根图像和其它其余图像被分类为多个层并被编码。可从比特流连同图像的编码比特流提取母图像索引信息和参考图像转换技术信息。从视频的比特流提取出的图像序列的编码数据可被解码，以恢复与图像序列相关的残差信息和参考信息。
[0143]在操作1220，通过应用可分级预测解码的参考图像转换技术，图像序列的恢复图像之中的母图像可被转换为关于当前图像的至少一个参考图像。相同层的参考图像可被用于帧内层预测解码，不同层的参考图像可被用于帧间层预测解码。
[0144]基于在操作1210提取出的母图像索引信息识别根据图像序列的参考关系的树结构，使得可从包括在图像序列中的恢复图像搜索并确定与各个当前图像相应的母图像。另夕卜，基于在操作1210提取出的参考图像转换技术信息，可通过对母图像应用参考图像转换技术来产生当前图像的参考图像。可通过应用多个参考图像转换技术来产生多个参考图像。所述多个参考图像可被存储在参考图像列表中，并被更新和管理。
[0145]在操作1230，通过使用至少一个参考图像针对当前图像执行预测解码。例如，基于根据示例性实施例的可分级视频解码方法，按照层恢复包括2D视频或3D视频的多视点视频，并且在这种情况下，可恢复每个视点中的不同分辨率的图像序列，同时按照视点恢复各个图像序列。
[0146]因此，根据根据至少一个示例性实施例的可分级视频编码方法和根据至少一个示例性实施例的可分级视频解码方法，根据各种格式按照层对2D视频或3D视频进行编码并发送，因此实现提供按照各种格式的2D视频内容或3D视频内容的多视点视频服务。另外，因为可执行帧间层预测和帧内层预测，所以可提高压缩效率来允许2D视频内容或3D视频内容的多视点视频的有效压缩。
[0147]本领域技术人员可将上述框图解释为公开了用于实现与本发明构思相关的原理的形式概念上表示的电路。相似地，本领域技术人员将理解，特定流程图、流程图、状态转变图、伪码等可基本上被表示为一组指令，其中，所述指令被存储在计算机可读介质中以表示可由计算机或处理器执行的各种处理，不论是否具体指定所述计算机或处理器。因此，前述示例性实施例可被创建为可由计算机执行的程序，并可实现在通过使用计算机可读记录介质操作所述程序的一般数字计算机中。计算机可读记录介质可包括，例如，存储介质(诸如，磁存储介质(例如，ROM、软盘、硬盘等)、光学读取介质(例如，⑶-ROM、DVD等)。
[0148]可通过使用专用硬件以及与适当软件相关并可执行所述软件的硬件提供附图中示出的各种元件的功能。当由处理器提供时，可由单个专用处理器、单个共享处理器或多个可共享一些功能的单独处理器提供这样的功能。另外，所述术语“处理器”或“控制器”的使用不应被解释为可执行软件的专门指定的硬件，并可默认地包括例如数字信号处理器(DSP)硬件、用于存储软件的ROM、RAM和非易失性存储装置，而没有任何限制。
[0149]在权利要求中，表示为用于执行特定功能的单元的元件可包括执行特定功能的特定方法，这样的元件可包括执行特定功能的电路元件的组合，或以特定形式包括与适当电路结合来执行用于执行特定功能的软件的固件、微码等的软件。
[0150]本发明构思的原理的“示例性实施例”的指定和这样的描述的各种修改可表示与包括在本发明构思的原理的至少一个示例性实施例中的这个示例性实施例相关的特定特征、结构、特性等。因此，表达“示例性实施例”和贯穿全部本公开的任何其它修改可不必须指定相同的示例性实施例。
[0151]在本说明书中，在“A和B中至少一个”的情况下，“?之中的至少一个”的表达用于包括仅第一选项(A)的选择、仅第二选项(B)的选择或两个选项(A和B)的选择。作为另一示例,在“A、B和C中的至少一个”的情况下，“?之中的至少一个”的表达用于包括仅第一选项(A)的选择、仅第二选项(B)的选择、仅第三选项(C)的选择、仅第一选项和第二选项的选择(A和B)、仅第二选项和第三选项(B和C)的选择或所有三个选项(A、B和C)的选择。即使当列举更多的项时，本领域技术人员也将理解可能的选项的选择可被清楚广泛地解释。
[0152]应理解，这里描述的示例性实施例应被认为仅是描述性的意义，而不是为了限制的目的。每个示例性实施例中的特征或方面的描述通常应被认为可用于其它示例性实施例的其它相似特征或方面。
【权利要求】
1.一种可分级视频编码的方法，所述方法包括: 将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层； 通过对当前图像的母图像应用包括帧内层预测和帧间层预测的可分级预测编码的参考图像转换技术来产生与图像序列的当前图像相关的至少一个参考图像； 通过使用所述至少一个参考图像针对当前图像执行预测编码。
2.如权利要求1所述的方法，还包括: 基于根据与图像序列相关的参考关系的树结构对指不图像序列的每个图像参考的各个母图像的母图像索引信息进行编码。
3.如权利要求1所述的方法，其中，所述视频包括二维视频和三维视频中的至少一个，将图像序列的所述至少一个根图像和其它剩余图像分类为多个层的步骤包括基于至少一个图像特征对图像序列进行分类， 其中，所述至少一个图像特征包括多视点图像的视点和分辨率。
4.如权利要求1所述的方法，其中，针对当前图像执行预测编码的步骤包括: 确定预测编码将参考母图像的恢复图像和参考信息中的哪一个； 基于所述确定参考 母图像的恢复图像和参考信息中的一个来预测当前图像， 其中，基于根据当前图像和相应母图像之间的参考预测关系的树结构，对指示是否参考指示关于当前图像的相应母图像的信息、母图像的恢复图像和参考信息中的任意一个的信息进行编码。
5.如权利要求1所述的方法，还包括: 对指示参考图像转换技术的信息进行编码， 其中，参考图像转换技术包括:旁路技术、缩放技术、隔行逐行转换技术、颜色转换技术、滤波技术、扭曲技术、权重增加技术和帧间层插值技术中的至少一个， 产生至少一个参考图像的步骤包括:对单个母图像应用参考图像转换技术。
6.如权利要求5所述的方法，其中，产生至少一个参考图像的步骤包括:产生包括通过针对当前图像使用参考图像转换技术而产生的至少一个参考图像的参考图像列表，执行预测编码的步骤包括:参考存储在参考图像列表中的至少一个图像针对当前图像执行预测编码。
7.一种可分级视频解码的方法，所述方法包括: 从视频的比特流提取数据，在所述视频中，视频的图像序列的至少一个根图像和其它剩余图像的数据被分类为多个层并被编码； 通过对图像序列的恢复图像之中的母图像应用包括帧内层预测和帧间层预测的可分级预测解码的参考图像转换技术，将所述母图像转换为关于当前图像的至少一个参考图像； 通过使用所述至少一个参考图像针对当前图像执行预测解码。
8.如权利要求7所述的方法，其中，提取数据的步骤包括:从比特流提取母图像索引信息，其中，所述母图像索引信息指示图像序列的图像中的每各一个参考的相应母图像， 将母图像转换为所述至少一个参考图像的步骤包括:基于提取出的母图像索引信息分析根据与图像序列相关的参考关系的树结构，并使用分析的结果确定与当前图像相应的母图像。
9. 如权利要求7所述的方法，其中，视频包括二维视频和三维视频中的至少一个，图像序列的层基于至少一个图像特征被分类， 其中，所述至少一个图像特征包括多视点图像的视点和分辨率。
10.如权利要求8所述的方法，其中，提取数据的步骤包括:提取参考主体信息，所述参考主体信息指示针对当前图像的预测解码是否参考与母图像相关的恢复图像和参考信息中的任意一个， 其中，针对当前图像执行预测解码的步骤包括:提取参考主体信息，其中，所述参考主体信息指示针对当前图像的预测解码是否参考与母图像相关的恢复图像和参考信息中的任意一个。
11.如权利要求7所述的方法，其中，将母图像转换为所述至少一个参考图像的步骤包括: 提取指示参考图像转换技术的信息； 基于提取出的指示参考图像转换技术的信息，从单个母图像产生所述至少一个参考图像， 其中，参考图像转换技术包括:旁路技术、缩放技术、隔行逐行转换技术、颜色转换技术、滤波技术、扭曲技术、权重增加技术和帧间层插值技术中的至少一个， 将母图像转换为所述至少一个参考图像的步骤包括:对单个母图像应用参考图像转换技术。
12.如权利要求11所述的方法，其中，将母图像转换为所述至少一个参考图像的步骤包括:产生包括针对当前图像使用参考图像转换技术而产生的至少一个参考图像的参考图像列表， 针对当前图像执行预测解码的步骤包括:参考存储在参考图像列表中的至少一个图像针对当前图像执行预测解码。
13.一种可分级视频编码的设备，所述设备包括: 层分类单元，将视频的图像序列的至少一个根图像和其它剩余图像分类为多个层；参考图像产生单元，通过对当前图像的母图像应用包括帧内层预测和帧间层预测的可分级预测编码的参考图像转换技术，来产生关于图像序列的当前图像的至少一个参考图像； 预测编码单元，通过使用所述至少一个参考图像，针对当前图像执行预测编码； 输出单元，对与编码的当前图像相关的数据执行变换、量化和熵编码，输出编码比特流和指示当前图像的母图像的母图像索引信息。
14.一种可分级视频解码的设备，所述设备包括: 提取单元，从视频的比特流提取数据，在所述视频中，视频的图像序列的至少一个根图像和其它剩余图像的数据被分类为多个层并被编码； 解码单元，对提取出的编码数据进行解码，并输出与图像序列相关的残差信息和参考信息； 参考图像转换单元，通过对图像序列的恢复图像之中的母图像应用包括帧内层预测和帧间层预测的可分级预测解码的参考图像转换技术，将所述母图像转换为关于当前图像的至少一个参考图像；恢复单元，通过使用所述至少一个参考图像以及输出的参考信息和输出的残差信息针对当前图像执行预测解码。
15.一种非瞬时性计算机可读记录介质，包括用于实现如权利要求1和权利要求6中的一个的方法的程序。
【文档编号】H04N19/597GK103636222SQ201280030135
【公开日】2014年3月12日 申请日期:2012年4月19日 优先权日:2011年4月19日
【发明者】崔秉斗, 郑丞洙, 赵大星, 崔雄一 申请人:三星电子株式会社