用于使用预滤波的层间预测的视频编码的方法和设备，以及用于使用后滤波的层间预测 ...的利记博彩app
【专利摘要】本发明公开了一种用于对从至少一个图像合成的图像进行编码的视频编码方法和设备，以及一种用于对从至少一个图像合成的图像进行解码的视频解码方法和设备。所述视频编码方法包括：通过对所述至少一个图像的第一分量进行编码来产生基本层比特流；使用第一分量和所述至少一个图像的第二分量之间的相关性对第二分量进行预滤波；通过参考第一分量对预滤波后的第二分量进行编码来产生增强层比特流。
【专利说明】用于使用预滤波的层间预测的视频编码的方法和设备，以
及用于使用后滤波的层间预测的视频解码的方法和设备
【技术领域】
[0001]与示例性实施例一致的设备和方法涉及使用层间预测的视频编码和解码。
【背景技术】
[0002]当左视点画面和右视点画面的三维(3D)图像通过符合H.264多视点视频编码(MVC)标准的视频编码系统被编码时，在基本层对具有原始图像一半分辨率的3D图像进行编码，并且在增强层对用于补偿基本层的3D图像的分辨率的数据进行编码。
[0003]在符合H.264MVC标准的视频解码系统中，可通过对接收到的比特流中的基本层比特流进行解码，来恢复与原始左视点画面和原始右视点画面的一半分辨率相应的左视点画面分量和右视点画面分量。当符合H.264MVC标准的视频解码系统接收到增强层比特流时，可使用通过对接收到的增强层比特流进行解码所获得的数据，来补偿在基本层恢复的低分辨率的左视点画面和低分辨率的右视点画面，从而可输出高分辨率的左视点图像和高分辨率的右视点图像。
【发明内容】
[0004]技术问题
[0005]示例性实施例的多个方面提供一种用于视频编码/解码的方法和设备，在所述视频编码/解码中，当基于基本层和增强层之间的层间预测对包括至少一个图像的合成图像的视频进行编码/解码时，考虑到基本层和增强层之间的相关性，来执行预滤波操作或后滤波操作。
[0006]解决方案
[0007]根据示例性实施例的一方面，提供一种用于对从至少一个图像合成的图像进行编码的视频编码方法，所述方法包括:通过对所述至少一个图像的第一分量进行编码来产生基本层比特流；使用第一分量和所述至少一个图像中的第二分量之间的相关性来对第二分量进行预滤波；通过参考第一分量对预滤波后的第二分量进行编码来产生增强层比特流。
[0008]有益效果
[0009]根据一个或多个示例性实施例的视频编码装置和视频解码装置，当将仅由与左视点图像和右视点图像的一半分辨率相应的图像分量构成的3D图像编码/解码为基本层，并将另一半分辨率的图像分量编码/解码为增强层时，通过利用基本层和增强层之间的空间相关性的预滤波和后滤波操作，提高了增强层的层间预测效率。因此，可提高整个3D图像的编码/解码效率。
【专利附图】
【附图说明】
[0010]图1是示出根据示例性实施例的视频编码装置的框图；
[0011]图2是示出根据示例性实施例的视频解码装置的框图；[0012]图3是示出符合H.264MVC标准的视频编码/解码系统的框图；
[0013]图4示出根据示例性实施例的视频编码/解码系统中的用于三维图像的可伸缩编码方法；
[0014]图5是示出根据示例性实施例的用于发送至少一个全分辨率图像的视频编码系统的框图；
[0015]图6是示出根据示例性实施例的用于接收至少一个全分辨率图像的视频解码系统的框图；
[0016]图7示出根据示例性实施例的预滤波操作；
[0017]图8示出根据示例性实施例的后滤波操作；
[0018]图9示出根据另一示例性实施例的预滤波操作；
[0019]图10示出根据另一示例性实施例的后滤波操作；
[0020]图11是示出根据示例性实施例的视频编码方法的流程图；
[0021]图12是示出根据示例性实施例的视频解码方法的流程图。
[0022]最佳实施方式
[0023]根据示例性实施例的一方面，提供一种用于对从至少一个图像合成的图像进行编码的视频编码的方法，所述方法包括:通过对所述至少一个图像的第一分量进行编码来产生基本层比特流；使用第一分量和所述至少一个图像的第二分量之间的相关性对第二分量进行预滤波；通过参考第一分量对预滤波后的第二分量进行编码来产生增强层比特流。
[0024]所述至少一个图像可包括从至少一个不同视点捕捉的至少一个多视点图像以及由左视点图像和右视点图像构成的三维(3D)图像。
[0025]根据另一示例性实施例的一方面，提供一种用于对从至少一个图像合成的图像进行解码的视频解码的方法，所述方法包括:通过对接收到的基本层比特流进行解码来恢复所述至少一个图像的第一分量；通过对接收到的增强层比特流进行解码并参考第一分量，来恢复所述至少一个图像的第二分量；使用第一分量和第二分量之间的相关性对恢复的第二分量进行后滤波。
[0026]根据另一示例性实施例的一方面，提供一种用于对从至少一个图像合成的图像进行编码的视频编码装置，所述装置包括:层分量分类单元，被构造对至少一个图像进行采样并将采样的分量分类为第一分量和第二分量；基本层编码单元，被构造为对所述至少一个图像的第一分量进行编码并产生基本层比特流；预滤波单元，被构造为对所述至少一个图像的第二分量执行预滤波，来提高与第一分量的相关性；增强层编码单元，被构造为通过参考第一分量对预滤波的第二分量进行编码，并产生增强层比特流。
[0027]根据另一示例性实施例的一方面，提供一种用于对从至少一个图像合成的图像进行解码的视频解码装置，所述装置包括:基本层解码单元，被构造为对接收到的基本层比特流进行解码并恢复所述至少一个图像的第一分量；增强层解码单元，被构造为对接收到的增强层比特流进行解码并参考第一分量来恢复所述至少一个图像的第二分量；后滤波单元，被构造为使用第一分量和第二分量之间的相关性对恢复的第二分量执行后滤波；图像恢复单元，被构造为使用第一分量和后滤波的第二分量来恢复所述至少一个图像。
[0028]根据另一示例性实施例的一方面，提供一种记录计算机可执行程序以实现根据实施例的视频编码方法的计算机可读记录介质。[0029]根据另一示例性实施例的一方面，提供一种记录计算机可执行程序以实现根据实施例的视频解码方法的计算机可读记录介质。
[0030]根据另一示例性实施例的一方面，提供一种用于对从至少一个图像合成的图像进行解码的视频解码的方法，所述方法包括:通过对增强层比特流进行解码并参考所述至少一个图像的与所述至少一个图像的第二分量不同的第一分量来恢复第二分量；使用第一分量和第二分量之间的相关性来对恢复的第二分量进行后滤波。
【具体实施方式】
[0031]现在将参照附图更加全面地描述示例性实施例。
[0032]下文中，将参照图1至图12分别描述用于接收包括至少一个图像的复合图像并将至少一个图像恢复到全分辨率的视频编码方法和视频解码方法，以及实现所述视频编码方法和视频解码方法的视频编码装置和视频解码装置。
[0033]图1是示出根据示例性实施例的视频编码装置100的框图。
[0034]视频编码装置100包括层分量分类单元110、基本层编码单元120、预滤波单元130和增强层编码单元140。
[0035]视频编码装置100对将从多个图像提取的图像分量合成为一个图像的合成图像进行编码。可将多个图像合成为一个画面或一帧。根据示例性实施例的视频编码装置100可对将从至少一个不同视点捕获的图像合成为一个图像的多视点图像进行编码。例如，根据示例性实施例的视频编码装置100可对由从左视点图像提取的部分分量和从右视点图像提取的部分分量构成的三维(3D)图像进行编码。
[0036]因此，可使用现有技术的基于画面或基于帧的视频编码系统对包括左视点图像和右视点图像的3D图像进行编码。然而，单个3D图像包括与原始左视点图像的一半分辨率相应的图像分量和与原始右视点图像的一半分辨率相应的图像分量。
[0037]根据示例性实施例的层分量分类单元110对至少一个输入图像进行采样，并将采样到的元素分类为第一分量和第二分量。例如，当根据示例性实施例的视频编码装置100对由左视点图像的图像分量和右视点图像的图像分量构成的3D图像进行编码时，层分量分类单元110可对左视点图像和右视点图像进行采样，以提取左视点图像的奇数列作为左视点图像的第一分量并提取右视点图像的偶数列作为右视点图像的第一分量。也就是说，可对左视点图像的奇数列和右视点图像的偶数列的组合进行采样，作为左视点图像和右视点图像的第一分量。在此情况下，层分量分类单元110可对除了左视点图像和右视点图像的第一分量以外的其他分量(例如，左视点图像的偶数列和右视点图像的奇数列)进行采样，作为左视点图像和右视点图像的第二分量。
[0038]类似地，层分量分类单元110可对左视点图像的奇数行和右视点图像的偶数行进行采样，作为左视点图像和右视点图像的第一分量。可对除了左视点图像和右视点图像的第一分量以外的其他分量(例如，左视点图像的偶行和左视点图像的奇数行)进行采样，作为左视点图像和右视点图像的第二分量。
[0039]根据一个或多个示例性实施例的层分量分类单元110不仅可对上述的左视点图像的奇数列或奇数行和右视点图像的偶数列或偶数行的组合进行采样，而且可对左视点图像的奇数列或奇数行和右视点图像的奇数列或奇数行的组合、左视点图像的偶数列或偶数行和右视点图像的奇数列或奇数行的组合、以及左视点图像的偶数列或偶数行和右视点图像的偶数列或偶数行的组合进行采样，作为左视点图像和右视点图像的第一分量。类似地，左视点图像和右视点图像的第二分量可以是除了左视点图像和右视点图像的第一分量以外的图像分量的组合。
[0040]也就是说，由根据示例性实施例的层分量分类单元110分类的左视点图像和右视点图像的第一分量可仅包括与原始左视点图像的一半分辨率相应的图像分量以及与原始右视点图像的一半分辨率相应的图像分量。同样地，由根据示例性实施例的层分量分类单元110分类的左视点图像和右视点图像的第二分量可仅包括与原始左视点图像的一半分辨率相应的图像分量以及与原始右视点图像的一半分辨率相应的图像分量。
[0041]根据示例性实施例的视频编码装置100可符合将图像分量分类为将被编码的基本层和增强层的可伸缩编码方法。
[0042]由根据示例性实施例的层分量分类单元110分类的至少一个图像的第一分量可被输入到基本层编码单元120以被编码，并且图像的第二分量可被输入到预滤波单元130然后由增强层编码单元140编码。因此，基本层编码单元120和增强层编码单元140可分别仅对与原始左视点图像的一半分辨率相应的图像分量和与原始右视点图像的一半分辨率相应的图像分量进行编码。
[0043]根据示例性实施例的基本层编码单元120对至少一个图像的第一分量进行编码，来产生基本层比特流。
[0044]根据示例性实施例的预滤波单元130使用第一分量和第二分量之间的相关性对至少一个图像的第二分量执行预滤波操作。
[0045]根据示例性实施例的预滤波单元130使用一个图像的第一分量和第二分量之间的高的空间相关性对第二分量执行预滤波操作，来提高基本层和增强层之间的预测效率。因此，对于根据示例性实施例的预滤波单元130，可使用用于提高第一分量和第二分量之间的相关性的各种滤波器。
[0046]根据示例性实施例的视频编码装置100可对关于在预滤波单元130中使用的滤波器的信息进行编码，并输出被编码的信息和增强层比特流。
[0047]例如，预滤波单元130可执行相移滤波来补偿第一分量和第二分量之间的相位差。根据示例性实施例的相移滤波可包括对第二分量的相邻采样点进行插值滤波。也就是说，根据示例性实施例的相移滤波可包括对左视点图像或右视点图像中的相邻奇数列或奇数行或者相邻偶数列或偶数行进行插值滤波。
[0048]例如，通过预滤波单元130对第二分量执行滤波来提高与第一分量的相关性，第二分量可被重新配置为关于第一分量的预测值。
[0049]根据示例性实施例的增强层编码单元140通过参考第一分量来对预滤波后的第二分量进行编码，以产生增强层比特流。根据示例性实施例的增强层编码单元140可通过参考第一分量来预测预滤波后的第二分量，以对预滤波后的第二分量进行编码。
[0050]根据示例性实施例的视频编码装置100可输出由基本层编码单元120产生的基本层比特流，以及由增强层编码单元140产生的增强层比特流。可发送通过对与至少一个原始图像的一半分辨率相应的图像分量进行编码而获得的基本层比特流，以及通过对与至少一个原始图像的另一半分辨率相应的图像分量进行编码而获得的增强层比特流。[0051]此外，因为对与第一分量的相关性通过预滤波可被提高的第二分量执行参考第一分量的预测编码操作，所以可提高发送率。因此，由于增强层比特流的发送效率被提高，因此符合根据示例性实施例的视频编码装置100的可伸缩编码方法的发送的整体效率可被提闻。
[0052]图2是示出根据示例性实施例的视频解码装置200的框图。
[0053]视频解码装置200包括基本层解码单元210、增强层解码单元220、后滤波单元230和图像恢复单元240。
[0054]根据示例性实施例的视频解码装置200接收比特流，在该比特流中，从多个图像提取的图像分量的合成图像被编码。根据示例性实施例的视频解码装置200可接收比特流，在该比特流中，由从至少一个视点捕捉的图像的分量所构成的多视点图像以及左视点图像和右视点图像的部分分量被布置的3D图像被编码。
[0055]根据示例性实施例的视频解码装置200可符合执行分类为基本层和增强层的操作以进行解码的可伸缩解码方法。因此，根据示例性实施例的视频解码装置200可将接收到的比特流解析为基本层比特流和增强层比特流。基本层比特流可被传送到基本层解码单元210以被解码，并且增强层比特流可被传送到增强层解码单元220以被解码。
[0056]根据示例性实施例的基本层解码单元210对接收到的基本层比特流进行解码以恢复至少一个图像的第一分量。根据示例性实施例的增强层解码单元220解码接收到的增强层比特流，并参考第一分量恢复至少一个图像的第二分量。
[0057]根据示例性实施例的增强层解码单元220可从增强层比特流恢复第一分量和第二分量的残差分量。根据示例性实施例的增强层解码单元220可通过参考由基本层解码单兀210解码的第一分量对第一分量和第二分量的残差分量执行层间补偿，来恢复第二分量。
[0058]例如，当根据示例性实施例的视频解码装置200对由左视点图像和右视点图像构成的3D图像进行解码时，根据示例性实施例的基本层解码单元210可对基本层比特流进行解码，以恢复左视点图像的奇数列或奇数行作为左视点图像的第一分量，并恢复右视点图像的偶数列或偶数行作为右视点图像的第一分量。也就是说，可恢复左视点图像的奇数列或奇数行和右视点图像的偶数列或偶数行的组合，作为左视点图像和右视点图像的第一分量。在此情况下，根据示例性实施例的增强层解码单元220可对除了左视点图像和右视点图像的第一分量以外的其他分量进行解码，作为左视点图像和右视点图像的第二分量。
[0059]根据示例性实施例的基本层解码单元210不仅可对左视点图像的奇数列或奇数行和右视点图像的偶数列或偶数行的上述组合进行解码，而且可对左视点图像的奇数列或奇数行和右视点图像的奇数列或奇数行的组合、左视点图像的偶数列或偶数行和右视点图像的奇数列或奇数行的组合、以及左视点图像的偶数列或偶数行和右视点图像的偶数列或偶数行的组合的进行解码，作为左视点图像和右视点图像的第一分量。类似地，根据示例性实施例的增强层解码单元220可对除了左视点图像和右视点图像的第一分量以外的其他图像分量进行解码，作为左视点图像和右视点图像的第二分量。
[0060]也就是说，由根据示例性实施例的基本层解码单元210解码的左视点图像和右视点图像的第一分量可仅包括与原始左视点图像的一半分辨率相应的图像分量以及与原始右视点图像的一半分辨率相应的图像分量。[0061]根据示例性实施例的后滤波单元230使用与第一分量的相关性对由增强层解码单元220恢复的第二分量执行后滤波操作。
[0062]对于根据示例性实施例的后滤波单元230，可使用用于提高第一分量和第二分量之间的相关性的各种滤波器。通过后滤波单元230的滤波操作，可凭借第一分量和第二分量之间的高的空间相关性提高基本层和增强层之间的预测效率。根据示例性实施例的视频解码装置200可从接收到的比特流提取关于在后滤波单元230中使用的滤波器的信息，并且后滤波单元230可使用所提取的滤波器信息来配置后滤波器。
[0063]对于根据示例性实施例的后滤波单元230，作为用于提高第一分量和第二分量之间的相关性的各种滤波器的示例，可使用用于补偿第一分量和第二分量之间的相位差的相移滤波器。根据示例性实施例的后滤波单元230的相移滤波可包括对由增强层解码单元220恢复的第二分量的相邻采样点进行反插值滤波。也就是说，根据示例性实施例的后滤波单元230的相移滤波可包括对左视点图像或右视点图像中的相邻奇数列或奇数行或者相邻偶数列或偶数行进行反插值滤波。
[0064]根据示例性实施例的图像恢复单元240使用由基本层解码单元210解码的第一分量和由后滤波单元230后滤波的第二分量来恢复至少一个图像。
[0065]例如，当视频解码装置200接收到左视点图像和右视点图像的3D图像被编码的比特流时，左视点图像和右视点图像的第一分量由基本层解码单元210恢复，除了左视点图像和右视点图像的第一分量以外的其他分量由后滤波单元230通过后滤波操作恢复。因此，图像恢复单元240可恢复左视点图像和右视点图像。
[0066]因此，基于根据示例性实施例的视频解码单元200，对与至少一个图像的原始图像的一半分辨率相应的图像分量被编码的基本层比特流进行解码，并且对其他图像分量被编码的增强层比特流进行解码以补充用于恢复所述至少一个图像。因此，可恢复至少一个图像的全分辨率原始图像。
[0067]因此，基于根据一个或多个示例性实施例的视频编码装置100和视频解码装置200，当仅由与左视点图像和右视点图像的一半分辨率相应的图像分量构成的3D图像被编码/解码为基本层，并且另一半分辨率的图像分量被编码/解码为增强层时，可通过使用基本层和增强层之间的空间相关性的预滤波和后滤波操作来提高增强层的层间预测效率。因此，可提高整个3D图像的编码/解码效率。
[0068]图3是示出符合H.264多视点视频编码(MVC)标准的视频编码/解码系统300的框图。
[0069]符合H.264MVC标准的视频编码/解码系统300在基本层对具有原始图像的一半分辨率的3D图像进行编码/解码，并在增强层对具有原始图像的分辨率的用于补偿基本层的3D图像的数据进行编码/解码。
[0070]例如，为了与基于帧的二维(2D)视频编码/解码系统兼容，使用并排(side-by-side)方法将3D视频的左视点画面301和右视点画面303配置为3D画面。第一 3D复用器310对左视点画面301的偶数列311和右视点图像303的奇数列313被布置的基本层3D画面315进行配置。基本层3D画面315被基本层视频编码器320编码并以比特流的形式被发送。
[0071]基本层视频解码器330对接收到的比特流进行解码以恢复基本层3D画面335。在基本层3D画面335中，左侧区域331与原始左视点画面301的一半分辨率相应，右侧区域333与原始右视点画面303的一半分辨率相应。因此，基本层视频解码器330恢复具有原始左视点画面301的一半分辨率和原始右视点画面303的一半分辨率的图像。
[0072]然而，符合H.264MVC标准的视频编码/解码系统300根据可伸缩编码方法对基本层和增强层中的每个执行编码/解码操作。第二 3D复用器350对左视点画面301的奇数列351和右视点画面303的偶数列353被排列的增强层3D画面355进行配置。增强层3D画面355被增强层视频编码器360编码，使得增强层比特流被发送。
[0073]增强层视频解码器370对接收到的增强层比特流进行解码以恢复增强层3D画面375。在增强层3D画面375的左侧区域371中，可恢复具有原始左视点画面301的一半分辨率的另一图像，并且在增强层3D画面375的右侧区域373中，可恢复具有原始右视点画面303的一半分辨率的另一图像。
[0074]第一 3D解复用器340将由基本层视频解码器330恢复的基本层3D画面335的左侧区域331布置为被恢复的左视点画面391的偶数列，并将增强层3D画面375的左侧区域371布置为被恢复的左视点画面391的奇数列。因此，输出具有与原始左视点画面301相同的全分辨率的被恢复的左视点画面391。
[0075]此外，第二 3D解复用器380将由增强层视频解码器370恢复的增强层3D画面375的右侧区域373布置为被恢复的右视点画面393的偶数列，并将基本层3D画面335的右侧区域333布置为被恢复的右视点画面393的奇数列。因此，可输出具有与原始右视点画面303相同的全分辨率的被恢复的右视点画面393。
[0076]因此，根据符合H.264MVC标准的视频编码/解码系统300，如果通过基本层和增强层发送的所有图像比特流被解码，则可恢复具有与原始左视点图像和原始右视点图像相同的全分辨率左视点图像和全分辨率右视点图像。
[0077]为了符合H.264MVC标准的视频编码/解码系统300在基本层和增强层之间执行预测，可包括3D参考处理器单元(RPU)365和375。3D RPU365不仅可参考基本层3D图像，而且可参考输入的左视点画面和右视点画面，以在编码阶段进行层间预测。3D RPU365可发送层间预测的信息在编码阶段被编码的比特流，并且解码阶段的3D RPU375可接收层间预测的比特流，使得增强层视频解码器370的层间预测和补偿可被支持。
[0078]因此，为了使3D RPU365和3D RPU375分别包括在基本层视频编码器320和增强层视频编码器360之间以及在基本层视频解码器330和增强层视频解码器370之间，可在结构上改变视频编码/解码系统300的增强层编码/解码模块390的核心。
[0079]图4示出根据示例性实施例的视频编码/解码系统400中的用于3D图像的可伸缩编码方法。
[0080]根据示例性实施例的视频编码/解码系统400包括根据示例性实施例的视频编码系统100和根据示例性实施例的视频解码系统200。根据示例性实施例的视频编码/解码系统400包括用于增强层编码的预滤波单元130，以及用于增强层解码的后滤波单元230。
[0081]符合H.264MVC标准的视频编码/解码系统400可在基本层对具有原始图像的一半分辨率的3D图像进行编码/解码，并可在增强层对具有原始图像的分辨率的用于补充基本层的3D图像的数据进行编码/解码。
[0082]为了在根据示例性实施例的视频编码/解码系统400中对根据并排方法合成左视点图像和右视点图像的3D图像进行编码/解码，由基本层编码单元120对由左视点图像的偶数列401和右视点图像的奇数列403构成的基本层输入图像405进行编码，以发送基本层比特流。
[0083]基本层解码单元210可对接收到的基本层比特流进行解码来恢复基本层输出图像425。基本层输出图像425的左侧区域421和右侧区域423分别与原始左视点图像的一半分辨率和原始右视点图像的一半分辨率相应，并因此，基本层输出图像425具有原始左视点图像和原始右视点图像的一半分辨率。
[0084]此外，根据示例性实施例的视频编码/解码系统400可在增强层根据可伸缩编码方法执行编码/解码操作。在对左视点图像的奇数列411和右视点图像的偶数列413被布置的增强层输入图像415执行增强层编码操作之前，预滤波单元130可对构成增强层输入图像415的左视点图像分量和右视点图像分量执行滤波操作，以提高层间预测性能。正变换和逆变换对于预滤波单元130的滤波操作是可能的。
[0085]增强层输入图像415可在被预滤波单元130滤波后由增强层编码单元140编码。增强层编码单元140通过参考由基本层编码单元120编码的基本层输入图像405来预测滤波后的增强层输入图像415的数据。增强层编码单元140可对预测信息(例如，滤波后的增强层输入图像415的数据与基本层输入图像405比较的残差分量)进行编码。
[0086]增强层解码单元220可对接收到的增强层比特流进行解码，以解码增强层输出图像435。根据示例性实施例的增强层解码单元220可通过参考由基本层解码单元210恢复的基本层输出图像425来执行补偿操作，使得增强层输出图像435的初始图像被恢复。
[0087]在由增强层解码单元220恢复的增强层输出图像435的初始图像通过后滤波单元230滤波之后，可恢复增强层输出图像435。因为与在预滤波单元130中使用的滤波器相t匕，在后滤波单元230中使用的滤波器执行逆变换，所以可正确地恢复构成增强层输出图像435的左视点图像分量和右视点图像分量。
[0088]因此，通过增强层解码单元220和后滤波单元230，可输出增强层输出图像435。被恢复的增强层输出图像435的左侧区域431和右侧区域433分别与原始左视点图像的一半分辨率和原始右视点图像的一半分辨率相应。因此，增强层输出图像435具有原始左视点图像和原始右视点图像的一半分辨率。因此，因为增强层输出图像435被恢复，所以不包括在基本层输出图像425中的其他图像分量可被恢复。
[0089]基于根据示例性实施例的视频编码/解码系统400，如果通过基本层和增强层而发送的所有图像比特流被解码，则可恢复全分辨率左视点图像和全分辨率右视点图像。
[0090]根据示例性实施例的预滤波单元130可通过使用基本层3D图像分量和增强层3D图像分量的高的相关性的滤波操作来提高可伸缩编码的层间预测的性能，其中，所述滤波操作预先调整增强层3D图像分量使得增强层3D图像分量变得与基本层3D图像分量相似。与预滤波单元130的滤波操作相比，根据示例性实施例的后滤波单元230可执行逆变换滤波操作，以重新配置增强层输出图像的图像分量并恢复增强层输出图像。因此，在没有对可伸缩编码/解码核450进行结构上的改变的情况下，可有效地执行层间预测。
[0091]图5是示出根据示例行实施例的用于发送至少一个全分辨率图像的视频编码装置500的框图。
[0092]在根据示例性实施例的视频编码装置500中，可在基本层对具有第一原始图像501和第二原始图像503的一半分辨率的3D图像进行编码，并可在增强层对具有第一原始图像501和第二原始图像503的其他图像分量的图像进行编码以补充具有一半分辨率的3D图像。
[0093]第一空间数据打包和采样单元510以及第二空间数据打包和采样单元520是层分量分类单元110的示例，并对第一原始图像501和第二原始图像503的空间图像分量的相隔列进行采样。
[0094]因此，第一空间数据打包和采样单元510可对第一原始图像501的偶数列进行采样并打包，来将所述偶数列布置在基本层输入图像515的左侧区域511，并且可对第二原始图像503的偶数列进行采样并打包，来将所述偶数列布置在基本层输入图像515的右侧区域 513。
[0095]第二空间数据打包和采样单元520可对未被第一空间数据打包和采样单元510采样的其他图像分量进行采样，作为基本层输入图像515的补充数据。因此，第二空间数据打包和采样单元520可对第一原始图像501的奇数列进行采样并打包，来将第一原始图像501的所述奇数列布置在增强层输入图像525的左侧区域521中，并可对第二原始图像503的奇数列进行采样并打包，来将第二原始图像502的奇数列布置在增强层输入图像525的右侧区域523中。
[0096]预滤波单元530可在增强层输入图像525由增强层编码单元140编码到比特流之前，对增强层输入图像525执行滤波操作以提高层间预测。在第一原始图像501和第二原始图像503中的一个中，偶数列的图像分量与奇数列的图像分量在空间上相邻，并因此，空间相关性高并且存在相位差。因此，由原始图像的偶数列的图像分量所构成的基本层输入图像515与由原始图像的奇数列的图像分量所构成的增强层输入图像525之间的空间相关性高。
[0097]预滤波单元530可使用基本层输入图像515和增强层输入图像525的空间特性执行相移滤波，来补偿相位差。也就是说，预滤波单元530可通过对增强层输入图像525执行相移滤波来补偿与基本层输入图像515的相位差，以输出由与基本层输入图像515相比的预测值构成的增强层滤波图像535。
[0098]详细地讲，预滤波单元530可通过对布置在增强层输入图像525的左侧区域521中的第一原始图像501的奇数列执行相移滤波，来产生布置在基本层输入图像515的左侧区域511中的第一原始图像501的奇数列与偶数列相比的预测值。
[0099]此外，预滤波单元530可通过对布置在增强层输入图像525的右侧区域523中的第二原始图像503的奇数列执行相移滤波，来产生布置在基本层输入图像515的右侧区域513中的第二原始图像503的奇数列与偶数列相比的预测值。
[0100]因此，由预滤波单元530产生的结果数据可以是构成增强层输入图像525的第一原始图像501的奇数列与偶数列相比的预测值，以及构成增强层输入图像525的第二原始图像503的奇数列与偶数列相比的预测值。来自第一原始图像501的奇数列与偶数列相比的预测值以及第二原始图像503的奇数列与偶数列相比的预测值可分别构成增强层滤波图像535的左侧区域531和右侧区域533。
[0101]因为增强层滤波图像535和基本层输入图像515之间的空间相关性通过根据示例性实施例的预滤波单元530被进一步提高，所以可减少由于层间预测产生的残差分量，并因此可提高发送率。因此，可提高层间预测性能。
[0102]基本层输入图像515由基本层编码单元120编码，并且增强层滤波图像535可由增强层编码单元140编码。增强层编码单元140可通过参考基本层输入图像515来预测增强层滤波图像535。复用器540可通过复用由基本层编码单元120产生的基本层比特流和由增强层编码单元140产生的增强层比特流，来发送输出比特流。
[0103]图6是示出根据示例性实施例的用于接收至少一个全分辨率图像的视频解码装置600的框图。
[0104]通过根据示例性实施例的视频解码装置600，可在基本层对具有第一原始图像501和第二原始图像503的一半分辨率的3D图像进行解码，并可通过对用于补充具有一半分辨率的3D图像的图像分量进行解码，在增强层恢复具有与第一原始图像501和第二原始图像503相同的分辨率的第一恢复图像645和第二恢复图像655。
[0105]解复用器610可解析接收到的比特流，来将基本层比特流传送到基本层解码单元210，并将增强层比特流传送到增强层解码单元220。
[0106]基本层解码单元210可对接收到的基本层比特流进行解码，来恢复基本层输出图像615。因为基本层输出图像615的左侧区域611和右侧区域613分别与第一原始图像501的偶数列和第二原始图像503的偶数列相应，所以基本层输出图像615具有第一原始图像501和第二原始图像503的一半分辨率。
[0107]增强层解码单元220可对接收到的增强层比特流进行解码，来恢复增强层恢复图像625。根据示例性实施例的增强层解码单元220可通过参考由基本层解码单元210恢复的基本层输出图像615来执行补偿操作，使得可恢复增强层恢复图像625。增强层恢复图像625具有第一原始图像501和第二原始图像503的一半分辨率。
[0108]在由增强层解码单元220恢复的增强层恢复图像625通过后滤波单元630滤波之后，可恢复增强层输出图像635。因为与在预滤波单元530中使用的滤波器相比，在后滤波单元630中使用的滤波器执行逆变换，所以可正确地恢复与构成增强层恢复图像625的第一原始图像501的奇数列和第二原始图像503的奇数列相应的图像分量。
[0109]也就是说，后滤波单元630可通过对增强层恢复图像625执行相移滤波来补偿与基本层输出图像615的相位差，以输出增强层输出图像635。
[0110]详细地讲，后滤波单元630可通过对布置在增强层恢复图像625的左侧区域621中的第一原始图像501的奇数列与偶数列相比的预测值执行逆变换滤波操作(即预滤波操作的相反操作)，来恢复第一原始图像501的奇数列。
[0111]此外，后滤波单元630可通过对布置在增强层恢复图像625的右侧区域623中的第二原始图像503的奇数列与偶数列相比的预测值执行逆变换滤波操作(即预滤波操作的相反操作)，来恢复第二原始图像503的奇数列。
[0112]由后滤波单元630恢复的增强层输出图像635的左侧区域631和右侧区域633可与第一原始图像501的奇数列和第二原始图像503的奇数列的图像分量相应。恢复后的增强层输出图像635也具有第一原始图像501和第二原始图像503的一半分辨率。
[0113]第一空间数据解包和上变换单元640和第二空间数据解包和上变换单元650是图像恢复单元240的示例，并且在空间上重新配置基本层输出图像615和增强层输出图像635,以输出第一恢复图像645和第二恢复图像655。[0114]详细地讲，第一空间数据解包和上变换单元640可将基本层输出图像615的左侧区域611的图像分量布置在第一恢复图像645的偶数列上，并可将基本层输出图像615的右侧区域613的图像分量布置在第二恢复图像655的偶数列上。第二空间数据解包和上变换单元650可将增强层输出图像635的左侧区域631的图像分量布置在第一恢复图像645的奇数列上，并可将增强层输出图像635的右侧区域633的图像分量布置在第二恢复图像655的奇数列上。
[0115]因此，第一空间数据解包和上变换单元640和第二空间数据解包和上变换单元650可通过重新配置具有第一原始图像501和第二原始图像503的一半分辨率的基本层输出图像615和增强层输出图像635，来分别输出具有与第一原始图像501和第二原始图像503相同的分辨率的第一恢复图像645和第二恢复图像655。
[0116]因此，基于根据示例性实施例的视频解码系统600，如果对通过基本层和增强层发送的所有比特流进行解码，则可恢复全分辨率第一恢复图像645和全分辨率第二恢复图像655。
[0117]下文中，将参照图7和图9描述预滤波单元530的详细操作，并将参照图8和图10描述后滤波单元630的详细操作。图7和图8示出增强层图像的像素与第一原始图像或第二原始图像的偶数编号像素相应，图9和图10示出增强层图像的像素与第一原始图像或第二原始图像的奇数编号像素相应。因为预滤波单元530的操作原理和后滤波单元630的操作原理适用于第一原始图像和第二原始图像，所以为了方便起见，“第一原始图像或第二原始图像”被称为“原始图像”。
[0118]图7示出根据示例性实施例的预滤波操作。
[0119]像素701到像素708是原始图像的采样点，并且像素711、713、715和717是由根据示例性实施例的预滤波单元530预滤波后的增强层输入图像的采样点。
[0120]在原始图像的像素701至708中，作为原始图像的第一分量的奇数像素702、704、706和708可构成基本层输入图像，并且作为原始图像的第二分量的偶数像素701、703、705和707可构成增强层输入图像。
[0121]预滤波单元530可执行作为相移滤波操作的插值滤波操作，来补偿构成基本层输入图像的原始图像的奇数像素和构成增强层输入图像的原始图像的偶数像素之间的相位差。例如，预滤波单元530可通过对在增强层输入图像中的原始图像的偶数像素的插值滤波操作，来输出位于原始图像中的偶数像素之间的奇数像素的预测值。也就是说，通过对增强层输入图像的连续像素的插值滤波操作，可输出基本层输入图像的像素的预测值。
[0122]详细地讲，通过对构成增强层输入图像的像素701、703、705和707中的连续像素701和703的插值滤波操作，可输出像素702的预测值，其中，像素702是位于在原始图像中的偶数像素701和703之间的奇数像素并构成基本层输入图像。类似地，通过对增强层输入图像的连续像素703和705的插值滤波操作，可输出基本层输入图像的像素704的预测值。另外，通过对增强层输入图像的连续像素705和707的插值滤波操作，可输出基本层输入图像的像素706的预测值。
[0123]例如，根据示例性实施例的预滤波单元530可执行将相同权值添加到增强层输入图像的连续像素的插值滤波操作。当n是正整数时，构成增强层输入图像的原始图像的偶数像素701、703、705和707中的每个像素值为Xe[n]，构成基本层输入图像的原始图像的奇数像素702、704、706和708中的每个像素值为Xo [n]，并且通过对增强层输入图像进行预滤波而获得的每个像素值为Y[n]，根据示例性实施例的预滤波单元530的滤波操作可符合以下等式1:
[0124][等式I]
[0125]Y[0]=Xe[0]
[0126]Y[I] = (Xe[0]+Xe[I]+1)/2 N Xo[0]
[0127]Y[2] = (Xe[l]+Xe[2]+l)/2 N Xo[l]
[0128]Y [3] = (Xe [2] +Xe [3] +1) /2 N Xo [2]
[0129]… [0130]根据等式1，根据示例性实施例的预滤波单元530可执行将1/2的权值添加到增强层输入图像的连续像素中的每个像素的加权求和滤波操作，以输出基本层输入图像的预测值。因此，当通过基本层输入图像和增强层输入图像之间的层间预测执行编码操作时，执行通过增强层输入图像的预滤波操作所产生的基本层输入图像的预测值和基本层输入图像之间的预测编码。因此，可提高预测性能，并且也可提高发送率。
[0131]图8示出根据示例性实施例的后滤波操作。
[0132]像素811、813、815和817是由增强层解码单元220恢复的增强层恢复图像的像素。根据示例性实施例的后滤波单元630可通过对增强层恢复图像的像素811、813、815和817执行相移滤波操作来输出构成增强层输出图像的像素821、823、825和827。
[0133]像素821至828是构成第一恢复图像或第二恢复图像的采样点。因为后滤波操作的原理对于第一恢复图像和第二恢复图像是相同的，所以为了方便起见，“第一恢复图像或第二恢复图像”被称为“恢复图像”。
[0134]后滤波单元630可执行逆插值滤波操作(即预滤波单元530的逆变换)，其中，预滤波单元530执行相移滤波操作以补偿构成基本层输入图像的原始图像的奇数像素和构成增强层输入图像的原始图像的偶数像素之间的相位差。例如，后滤波单元630可使用增强层恢复图像的像素811、813、815和817来恢复增强层输出图像的像素821、823、825和827，其中，增强层恢复图像的像素811、813、815和817是基本层输入图像的像素的预测值。
[0135]例如，当根据示例性实施例的预滤波单元530执行将相同权值添加到增强层输入图像的连续像素的插值滤波操作时，后滤波单元630的逆插值滤波操作可符合以下的等式
2。构成从增强层比特流编码的增强层恢复图像的像素811、813、815和817中的每个像素值被表示为“Unl”，并且通过对增强层恢复图像的后滤波操作而输出的增强层输出图像的像素821、823、825和827中的每个像素倌被表示为“Xe「nl ”,其中,n为正整数。
[0136][等式2]
[0137]Xerol=Yrnl
[0138]Xe「11=2*Y「11_Xe「0l
[0139]Xe「2l=2*Y「2l_Xe「11
[0140]Xe「3l=2*Y「3l_Xe「2l
[0141]...[0142]当从基本层比特流解码的基本层输出图像的像素822、824、826和828中的每个像素值被表示为“Xo[n] ”时，所述像素值可具有与增强层恢复图像的像素值Y[n]相似的值。[0143]因此，通过后滤波单元630，可正确地恢复与恢复图像的偶数像素相应的增强层输出图像的像素821、823、825和827。
[0144]基本层解码单元210可恢复像素822、824、826和828，其中，像素822、824、826和828是与恢复图像的奇数像素相应的基本层输出图像的采样点。
[0145]因此，增强层输出图像的像素821、823、825和827构成第一恢复图像和第二恢复图像中的一个的偶数像素，并且基本层输出图像的像素822、824、826和828构成恢复图像的奇数像素，来输出恢复图像。
[0146]图9示出根据另一示例性实施例的预滤波操作。
[0147]像素901至908是原始图像的采样点，并且像素911、913、915和917是由根据另一示例性实施例的预滤波单元530预滤波后的增强层输入图像的采样点。
[0148]作为原始图像的第一分量的原始图像的偶数像素902、904、906和908可构成基本层输入图像，并且作为原始图像的第二分量的奇数像素901、903、905和907可构成增强层输入图像。
[0149]根据示例性实施例的预滤波单元530可执行作为相移滤波操作的插值滤波操作，来补偿构成基本层输入图像的原始图像的偶数像素和构成增强层输入图像的原始图像的奇数像素之间的相位差。例如，预滤波单元530可通过对增强层输入图像的连续像素执行的插值滤波操作，输出位于原始图像中的奇数像素之间的偶数像素的预测值，即，基本层输入图像的像素的预测值。
[0150]例如，根据示例性实施例的预滤波单元530可执行将相同权值添加到增强层输入图像的连续像素的插值滤波操作。当n为0或者小于或等于L的正整数，构成增强层输入图像的原始图像的奇数像素901、903、905和907中的每个像素值为Xo [n]，构成基本层输入图像的原始图像的偶数像素902、904、906和908中的每个像素值为Xe [n]，并且通过对增强层输入图像进行预滤波而获得的像素值为Y[n]时，根据示例性实施例的预滤波单元530的滤波操作可符合以下的等式3:
[0151][等式3]
[0152]Y[L-l]=Xo[L-l]
[0153]Y[L-2] = (Xo [L-l] +Xo [L-2] +1) /2 N Xe [L-1]
[0154]Y [L-3] = (Xo [L-2] +Xo [L_l] +1) /2 N Xe [L-2]
[0155]Y [L-4] = (Xo [L-3] +Xo [L-2] +1) /2 N Xe [L-3]
[0156]…
[0157]根据等式3，根据示例性实施例的预滤波单元530可执行将1/2的权值添加到增强层输入图像的连续像素中的每个的加权求和滤波操作，来输出关于基本层输入图像的预测值。因此，由于在通过对增强层输入图像的预滤波操作而产生的基本层输入图像的预测值和基本层输入图像之间的预测编码被执行，所以可提高基本层和增强层之间的预测的性倉泛。
[0158]图10示出根据另一示例性实施例的后滤波操作。
[0159]像素1011、1013、1015和1017是由增强层解码单元220恢复的增强层恢复图像的采样点。 根据示例性实施例的后滤波单元630可通过对增强层恢复图像的像素1011、1013、1015和1017执行相移滤波操作来输出构成增强层输出图像的像素1021、1023、1025和1027。像素1021至1028是构成恢复图像的采样点。
[0160]后滤波单元630可执行逆插值滤波操作(即预滤波单元530的逆变换)，其中，预滤波单元530对构成增强层输入图像的奇数像素执行相移滤波操作。例如，后滤波单元630可使用增强层恢复图像的像素1011、1013、1015和1017来恢复增强层输出图像的像素1021、1023、1025和1027，其中，增强层恢复图像的像素1011、1013、1015和1017是基本层输入图像的像素的预测值。
[0161]例如，当根据示例性实施例的预滤波单元530执行将相同权值添加到增强层输入图像的连续像素的插值滤波操作时，后滤波单元630的逆插值滤波操作可符合以下的等式
4。构成从增强层比特流编码的增强层恢复图像的像素1011、1013、1015和1017中的每个像素值被表示为“IM”，通过对增强层恢复图像的后滤波操作而输出的增强层输出图像的像素1021、1023、1025和1027中的每个像素值被表示为“Xo「nl ”，其中，n是0或者小于或等于L的正整数。[0162][等式4]
[0163]Xo「L-11=Y「L_11
[0164]Xo「L-21 =2*Y「L~2l-Xo「L-ll
[0165]XorL-31 =2*Y「L~3l-Xo「L~2l
[0166]XorL-41 =2*Y「L~4l-Xo「L~3l
[0167]…
[0168]当从基本层比特流解码的基本层输出图像的像素1022、1024、1026和1028中的每个像素值被表示为“Mnl”时，所述像素值可具有与增强层恢复图像的像素值IM相似的值。
[0169]因此，通过后滤波单元630，可正确地恢复与恢复图像的奇数像素相应的增强层输出图像的像素1021、1023、1025和1027。
[0170]基本层解码单元210可恢复像素1022、1024、1026和1028，其中，像素1022、1024、1026和1028是与恢复图像的偶数像素相应的基本层输出图像的采样点。因此，增强层输出图像的像素1021、1023、1025和1027构成第一恢复图像和第二恢复图像中的一个的奇数像素，并且基本层输出图像的像素1022、1024、1026和1028构成恢复图像的偶数像素，以输出恢复的图像。
[0171]虽然已参照图7至图10描述了根据各种示例性实施例的预滤波单元530和后滤波单元630采用了使用基本层和增强层的相邻列之间的高的空间相关性的特性的相移滤波操作和插值滤波操作，但是预滤波和后滤波不限于此。也就是说，预滤波单元530和后滤波单元630可采用各种滤波方法，而不限于使用基本层的图像和增强层的图像之间的相关性来提高层间预测的性能。
[0172]图11是示出根据示例性实施例的视频编码方法的流程图。
[0173]在操作1110，输入至少一个图像，并针对所述至少一个图像中的每个图像来分类第一分量和第二分量。可逐画面和逐帧地输入图像以进行编码。例如，至少一个图像可包括时间顺序的图像、从至少一个不同视点捕捉的至少一个多视点图像、以及由左视点图像和右视点图像构成的3D图像。另外，可针对将被分类为奇数列或奇数行以及偶数列或偶数行的每个图像来对空间数据进行采样。[0174]在操作1120，将从所述至少一个图像分类的第一分量编码为基本层以产生比特流。可对由从两个或更多个图像所提取的第一分量构成的基本层输入图像进行编码来产生基本层比特流。
[0175]在操作1130，使用与第一分量的相关性对从所述至少一个图像分类的第二分量执行预滤波操作。例如，当第一分量和第二分量分别是奇数列或奇数行以及偶数列或偶数行时，可使用第一分量和第二分量之间的高的空间相关性和相位差来执行相移滤波操作。因此，通过对由输入图像的第一分量和第二分量构成的增强层输入图像的相移滤波操作，可输出由被补偿了与基本层输入图像的相位差的基本层输入图像的预测值构成的增强层滤波图像。
[0176]在操作1140，通过参考第一分量对预滤波后的第二分量进行预测编码，来产生增强层比特流。因为在增强层滤波图像和基本层输入图像之间执行了层间预测，所以可提高预测性能，其中，在增强层滤波图像中，与基本层输入图像的空间相关性通过预滤波操作得到了提闻。
[0177]图12是示出根据示例性实施例的视频解码方法的流程图。
[0178]在操作1210，通过解析接收到的比特流来对基本层比特流进行解码以恢复至少一个图像的第一分量，并在操作1220，对增强层比特流进行解码，并通过参考第一分量从解码的增强层比特流恢复至少一个图像的第二分量。
[0179]例如，可通过对时间顺序的图像、从至少一个不同视点捕捉的至少一个多视点图像、以及由左视点图像和右视点图像构成的3D图像进行编码而获得所述接收到的比特流。从基本层比特流恢复的数据和从增强层比特流恢复的数据可分别是构成恢复图像的第一分量和第二分量。
[0180]例如，从基本层比特流和增强层比特流恢复的数据可分别与恢复图像的奇数列或奇数行和偶数列或偶数行的像素分量相应。此外，从基本层比特流和增强层比特流的第一区域恢复的数据可分别与第一恢复图像的奇数列或奇数行和偶数列或偶数行的像素分量相应，并且从基本层比特流和增强层比特流的第二区域恢复的数据可分别与第二恢复图像的奇数列或奇数行和偶数列或偶数行的像素分量相应。
[0181]在操作1230，使用与第一分量的相关性对从增强层比特流恢复的第二分量执行后滤波操作。通过对滤波后的第二分量进行逆滤波(即编码阶段的预滤波操作的逆处理)，可恢复与第一分量互补的第二分量，其中，所述预滤波操作用于提高与第一分量的相关性。
[0182]例如，在编码阶段将相移滤波操作执行为预滤波操作来补偿第一分量和第二分量之间的相位差的情况下，通过针对从增强层比特流解码的数据恢复第一分量和第二分量之间的相位差，可恢复第二分量。
[0183]在操作1240，使用从基本层比特流恢复的第一分量以及在从增强层比特流解码之后通过后滤波操作而恢复的第二分量，来恢复至少一个图像。可逐画面和逐帧地输入图像以进行解码。
[0184]因此，基于根据示例性实施例的视频编码方法，因为多个图像(诸如3D图像)的数据被合成为单个图像并被编码，所以所述方法与对视频逐帧或逐画面地进行编码/解码的现有技术视频编码/解码系统兼容。此外，因为多个图像的数据在基本层被合成为单个图像并被编码，使得被省略的图像数据可通过单独层被发送，所以如果所有层的编码的比特流在解码操作期间被接收到，则多个图像可被恢复为具有与原始图像相同的分辨率。
[0185]上述示例性实施例可被编程为由计算机执行，并且可实现在使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质包括磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，⑶-ROM或DVD)。另外，视频编码装置100和视频解码装置200中的一个或多个单元可包括执行存储在计算机可读介质中的计算机程序的处理器或微型处理器。
[0186]虽然以上已经具体示出并描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在所述示例性实施例中做出形式和细节上的各种改变。
【权利要求】
1.一种用于对从至少一个图像合成的图像进行编码的视频编码的方法，所述方法包括: 通过对所述至少一个图像的第一分量进行编码来产生基本层比特流； 使用第一分量和所述至少一个图像的与第一分量不同的第二分量之间的相关性对第二分量进行预滤波； 通过参考第一分量对预滤波后的第二分量进行编码来产生增强层比特流。
2.如权利要求1所述的方法，其中，所述至少一个图像包括从至少一个与相应图像相比不同的视点所捕捉的至少一个多视点图像， 其中，所述至少一个图像的第一分量包括第一图像的奇数列和与第一图像相应的第二图像的偶数列的组合，或者第一图像的奇数行和第二图像的偶数行的组合； 其中，所述至少一个图像的第二分量包括第一图像的偶数列和第二图像的奇数列的组合，或者第一图像的偶数行和第二图像的奇数行的组合。
3.如权利要求1所述的方法，其中，对第二分量进行预滤波的步骤包括进行相移滤波以用于补偿相同图像的第一分量和第二分量之间的相位差， 其中，相移滤波的步骤包括对第二分量中的相邻采样点进行插值滤波。
4.如权利要求1所述的方法，其中，对第二分量进行预滤波的步骤包括:通过对第二分量进行预滤波，基于第一分量和第二分量之间的相关性从第二分量产生第一分量的预测值，并且，其中，产生增强层比特流的步骤包括:通过参考第一分量对预滤波后的第二分量执行层间预测来对残差数据进行编码。
5.一种用于对从至少一个图像合成的图像进行解码的视频解码的方法，所述方法包括: 通过对接收到的基本层比特流进行解码来恢复所述至少一个图像的第一分量； 通过对接收到的增强层比特流进行解码并参考恢复的第一分量，来恢复所述至少一个图像的与第一分量不同的第二分量。 使用第一分量和第二分量之间的相关性对恢复的第二分量进行后滤波。
6.如权利要求5所述的方法，还包括:使用恢复的第一分量和后滤波的第二分量来恢复所述至少一个图像。
7.如权利要求5所述的方法，其中，所述至少一个图像包括从至少一个与相应图像相比不同的视点所捕捉的至少一个多视点图像， 其中，所述至少一个图像的第一分量包括第一图像的奇数列和与第一图像相应的第二图像的偶数列的组合，或者第一图像的奇数行和第二图像的偶数行的组合； 其中，所述至少一个图像的第二分量包括第一图像的偶数列和第二图像的奇数列的组合，或者第一图像的偶数行和第二图像的奇数行的组合。
8.如权利要求5所述的方法，其中，对恢复的第二分量进行后滤波的步骤包括进行相移滤波以用于补偿相同图像的第一分量和第二分量之间的相位差， 其中，相移滤波的步骤包括对恢复的第二分量中的相邻采样点进行逆插值滤波。
9.如权利要求5所述的方法，其中， 对恢复的第二分量进行后滤波的步骤包括:当恢复的第二分量是基于第一分量和第二分量之间的相关性的第一分量的预测值时，通过对恢复的第二分量进行后滤波来产生增强层输出图像的像素，其中，对增强层比特流进行解码的步骤包括:通过参考第一分量对第一分量和从增强层比特流提取的第二分量之间的残差数据执行层间预测，来重新配置第二分量。
10.一种用于对从至少一个图像合成的图像进行编码的视频编码装置，所述装置包括: 层分量分类单元，被构造为将所述至少一个图像的分量分类为第一分量和与第一分量不同的第二分量； 基本层编码单元，被构造为通过对所述至少一个图像的第一分量进行编码来产生基本层比特流； 预滤波单元，被构造为使用第一分量和第二分量之间的相关性对所述至少一个图像的第二分量执行预滤波； 增强层编码单元，被构造为通过参考第一分量对预滤波的第二分量进行编码来产生增强层比特流。
11.如权利要求10所述的装置，其中，层分量分类单元被构造为对所述至少一个图像进行采样并将采样的至少一个图像的分量分类为第一分量和第二分量，其中，所述至少一个图像的第一分量包括第一图像的奇数列和与第一图像相应的第二图像的偶数列的组合，或者第一图像的奇数行和第二图像的偶数行的组合； 其中，所述至少一个图像的第二分量包括第一图像的偶数列和第二图像的奇数列的组合，或者第一图像的偶数行和第二图像的奇数行的组合。
12.一种用于对从至少一个图像合成的图像进行解码的视频解码装置，所述装置包括: 基本层解码单元，被构造为对接收到的基本层比特流进行解码并恢复所述至少一个图像的第一分量； 增强层解码单元，被构造为对接收到的增强层比特流进行解码并通过参考恢复的第一分量来恢复所述至少一个图像的与第一分量不同的第二分量； 后滤波单元，被构造为使用第一分量和第二分量之间的相关性对恢复的第二分量执行后滤波； 图像恢复单元，被构造为使用恢复的第一分量和后滤波的第二分量来恢复所述至少一个图像。
13.如权利要求12所述的装置，其中: 所述至少一个图像的第一分量包括第一图像的奇数列和与第一图像相应的第二图像的偶数列的组合，或者第一图像的奇数行和第二图像的偶数行的组合； 所述至少一个图像的第二分量包括第一图像的偶数列和第二图像的奇数列的组合，或者第一图像的偶数行和第二图像的奇数行的组合。
14.一种记录计算机可执行程序以实现如权利要求1所述的视频编码方法的计算机可读记录介质。
15.一种记录计算机可执行程序以实现如权利要求5所述的视频解码方法的计算机可读记录介质。
【文档编号】H04N19/30GK103609111SQ201280030268
【公开日】2014年2月26日 申请日期:2012年4月19日 优先权日:2011年4月19日
【发明者】崔秉斗, 赵大星, 郑丞洙 申请人:三星电子株式会社