用于使用自适应滤波对图像进行编码和解码的方法和设备的利记博彩app
【专利摘要】本发明提供了一种用于使用自适应滤波对图像进行编码和解码的方法和设备。所述通过使用自适应滤波来对图像进行编码的方法包括：通过自适应地改变滤波器的尺寸和滤波器系数，来确定将被应用到用于对将被编码的当前块进行预测编码的参考帧的滤波器；通过使用被确定的滤波器来对参考帧进行滤波；通过使用滤波后的参考帧来对当前块进行预测编码；输出被预测编码的当前块的数据以及关于滤波器的信息。
【专利说明】用于使用自适应滤波对图像进行编码和解码的方法和设备
【技术领域】
[0001]与示例性实施例一致的设备和方法涉及对用于预测编码的参考帧进行滤波的视频编码和解码。
【背景技术】
[0002]在图像压缩方法(诸如运动图像专家组(MPEG)-1、MPEG-2、MEPG-4H.264和MPEG-4先进视频编码(AVC))中，画面被划分为图像处理单元(B卩，宏块)，以对图像进行编码。然后，通过使用帧间预测或帧内预测来对每个宏块进行编码。
[0003]多视点视频编码(MVC)被用于处理从多个相机获得的具有不同视点的多个图像。这里，通过使用在相机之间的视点间(inter-view)的时间相关性和空间相关性来对多视点图像进行压缩和编码。
[0004]在使用时间相关性的时间预测以及使用空间相关性的视点间预测中，通过使用至少一个参考画面以块单元来对当前画面的运动进行预测和补偿，以对图像进行编码。在时间预测和视点间预测中，在参考块的预定搜索范围内搜索与当前块最相似的块，并且当找到相似块时，仅发送当前块和所述相似块之间的残差数据，从而提高数据的压缩率。
【发明内容】
[0005]解决方案
[0006]示例性实施例的各方面提供用于对图像进行编码和解码的方法和设备，所述方法和设备在使用参考帧的帧间预测期间对参考帧执行自适应滤波。
[0007]有益效果
[0008]根据示例性实施例，通过根据图像特性应用适当的滤波器来对参考帧进行滤波，并通过使用滤波后的参考帧来执行预测编码，同时仅发送关于所述滤波器的部分信息，从而提闻图像的压缩效率。
【专利附图】
【附图说明】
[0009]图1是根据示例性实施例的图像编码设备的框图；
[0010]图2是根据另一示例性实施例的图像编码设备的框图；
[0011]图3是根据示例性实施例的图像编码设备的详细框图；
[0012]图4是根据另一示例性实施例的图像编码设备的详细框图；
[0013]图5和图6是用于示出根据示例性实施例的滤波器特性的曲线图；
[0014]图7A和图7B是用于示出根据示例性实施例的5X5滤波器的参考图；
[0015]图8A和图8B是用于示出根据示例性实施例的3X3滤波器的参考图；
[0016]图9是用于示出根据示例性实施例的自适应滤波器的参考图；
[0017]图10是用于示出根据中心滤波器系数的值的图9的自适应滤波器的特性的曲线图；[0018]图11是用于示出根据示例性实施例的编码单元的概念的示图；
[0019]图12是示出根据示例性实施例的根据深度的更深编码单元以及分区的示图；
[0020]图13是示出根据示例性实施例的使用自适应滤波的图像编码方法的流程图；
[0021]图14是根据示例性实施例的使用自适应滤波的图像解码设备的框图；
[0022]图15是根据另一示例性实施例的使用自适应滤波的图像解码设备的框图；
[0023]图16是根据示例性实施例的图像解码设备的详细框图；
[0024]图17是根据另一示例性实施例的图像解码设备的详细框图；
[0025]图18是示出根据示例性实施例的使用自适应滤波的图像解码方法的流程图。
[0026]最佳实施方式
[0027]根据示例性实施例的一方面，提供一种通过使用自适应滤波来对图像进行编码的方法，所述方法包括:通过自适应地改变滤波器的尺寸和滤波器系数来确定将被应用到用于对将被编码的当前块进行预测编码的参考帧的滤波器；通过使用被确定的滤波器来对参考帧进行滤波；通过使用滤波后的参考帧来对当前块进行预测编码；输出被预测编码的当前块的数据和关于滤波器的信息。
[0028]根据另一示例性实施例的一方面，提供一种通过使用自适应滤波来对图像进行解码的方法，所述方法包括:通过解析接收到的比特流，提取将被解码的当前块和参考帧的相应块之间的差信号的数据，以及关于被应用到参考帧的滤波器的信息；通过基于提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数，以确定将被应用到参考帧的滤波器；通过使用被确定的滤波器来对参考帧进行滤波；通过使用滤波后的参考帧来产生当前块的预测信号；通过使所述差信号和当前块的预测信号相加来恢复当前块。
[0029]根据另一示例性实施例的一方面，提供一种用于通过使用自适应滤波来对图像进行编码的设备，所述设备包括:滤波单元，用于通过自适应地改变滤波器的尺寸和滤波器系数来确定将被应用到用于对将被编码的当前块进行预测编码的参考帧的滤波器，并用于通过使用被确定的滤波器来对参考帧进行滤波；预测编码器，用于通过使用滤波后的参考帧来对当前块进行预测编码；输出单元，用于输出被预测编码的当前块的数据以及关于滤波器的信息。
[0030]根据另一示例性实施例的一方面，提供一种用于通过使用自适应滤波对图像进行解码的设备，所述设备包括:数据提取器，用于通过解析接收到的比特流，提取将被解码的当前块和参考帧的相应块之间的差信号的数据，以及关于被应用到参考帧的滤波器的信息；滤波单元，用于通过基于提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数，以确定将被应用到参考帧的滤波器，用于通过使用被确定的滤波器来对参考帧进行滤波；预测器，用于通过使用滤波后的参考帧来产生当前块的预测信号；恢复单元，用于通过使所述差信号和当前块的预测信号相加来恢复当前块。
【具体实施方式】
[0031 ] 下文中，将参照附图更全面地描述示例性实施例。
[0032]图1是根据示例性实施例的图像编码设备100的框图。图像编码设备100是用于对单视点图像进行编码的设备，并且图像编码设备100对被预编码的参考帧进行滤波并将滤波后的参考帧用于预测编码，将在下面对此进行描述。[0033]参照图1，图像编码设备100包括预测编码器110、滤波单元120和输出单元130。
[0034]预测编码器110是对当前块执行帧内预测编码和对当前块执行帧间预测编码的一般的图像编码器，其中，通过使用在当前帧之前被预编码并被恢复的相邻块来对当前块进行帧内预测，并且通过使用被预编码、被恢复然后被滤波单元120滤波的参考帧来对当前块进行帧间预测。
[0035]滤波单元120通过自适应地改变滤波器的尺寸和滤波系数来确定将被应用到用于对当前块进行预测编码的参考帧的滤波器，并通过使用被确定的滤波器来对所述参考帧进行滤波。以下将详细描述由滤波单元120确定滤波器的处理。
[0036]输出单元130输出预测编码的当前块的数据以及关于滤波器的信息。
[0037]图2是根据另一示例性实施例的图像编码设备200的框图。
[0038]参照图2，图像编码设备200包括第一预测编码器210、第二预测编码器220、滤波单元230和输出单元240。图像编码设备200可以是用于将输入图像可伸缩地编码为基本层和增强层的设备，或者是用于对具有不同视点的图像(诸如多视点图像)进行编码的设备。
[0039]如果输入图像被可伸缩地编码，则第一预测编码器210将输入图像编码为具有预定分辨率和质量的基本层比特流，并且第二预测编码器220通过使用输入图像和由第一预测编码器210预编码的基本层的图像来产生更高质量的增强层比特流。换句话说，第二预测编码器220可以是用于通过将第一预测编码器210的预编码并恢复的输出图像用作参考帧来产生增强层比特流的图像编码装置。滤波单元230通过自适应地改变将被应用到用于产生增强层比特流的基本层图像的滤波器的尺寸和滤波器系数来确定滤波器，并通过使用被确定的滤波器来对基本层的图像进行滤波。输出单元240输出被可伸缩地编码的基本层和增强层比特流，以及关于被应用到基本层的参考帧的滤波器的信息。
[0040]如果多视点图像被编码，则第一预测编码器210首先预测编码第一视点图像，诸如多视点图像的锚(anchor)图像，所述锚图像被用作具有其他视点的图像的参考图像。将由第一预测编码器210首先编码并恢复的第一视点图像用作具有其他视点的图像的参考图像。第二预测编码器220可以是用于通过将被预编码并被恢复的第一视点图像用作参考帧来对第二视点图像进行编码的图像编码装置。滤波单元230通过自适应改变将被应用到用于对第二视点图像进行编码的第一视点图像的滤波器的尺寸和滤波器系数来确定滤波器，并通过使用被确定的滤波器来对第一视点图像进行滤波。输出单元240输出被编码的第一视点图像和第二视点图像的比特流，以及关于被应用到第一视点图像的滤波器的信肩、O
[0041]如上所述，根据一个或多个示例性实施例，通过改变将被应用到以下参考帧或图像的滤波器的尺寸和滤波器系数来变化地产生滤波器:在单视点中的用于对另一图像进行帧间预测的被预编码并被恢复的参考帧、用于对可伸缩编码中的增强层进行编码的基本层的图像、或者用于对多视点图像中的具有另一视点的图像进行预测的具有预定视点的被预编码并被恢复的图像；通过使用产生的滤波器来对参考帧图像进行滤波，并且通过使用滤波后的参考帧图像来执行预测编码。在相关技术中，具有固定滤波器系数的固定滤波器被用来对参考帧图像进行滤波，或者滤波器(诸如维纳滤波器)的所有优化后的滤波器系数被发送。然而，当固定滤波器被使用时，不能根据图像特性选择另一高效滤波器，并且当所有优化后的滤波器系数被发送时，由于发送滤波器系数所需的比特量的增加导致难以有效地对图像进行压缩。因此，一个或多个示例性实施例的滤波单元120和230使用尺寸和滤波器系数根据图像特性而变化的可变滤波器而不是固定滤波器，同时发送关于滤波器的预定信息以重建滤波器，从而提高图像质量和压缩效率。
[0042]图3是根据示例性实施例的图形编码设备300的详细框图。
[0043]参照图3，图像编码设备300包括帧内预测器310、运动预测器320、运动补偿器330、变换和量化单元34、熵编码器350、逆变换和反量化单元360、滤波单元370和帧存储器380。帧内预测器310通过使用包括在与当前块相邻的被预编码的区域中的像素来预测当前块。运动预测器320和运动补偿器330基于存储在帧存储器380中的至少一个参考帧来对当前块进行预测。当运动预测器320通过在参考帧中搜索与当前块最相似的块来产生运动矢量时，运动补偿器330基于产生的运动矢量来对当前块进行运动补偿。这里，由运动预测器320和运动补偿器330使用的参考帧可通过滤波单元370滤波。
[0044]变换和量化单元340对残差块执行正交变换，并根据预定量化参数对被产生为正交变换的结果的系数进行量化。正交变换可以是离散余弦变换或哈达玛变换。通过从当前块减去由帧内预测器310或运动补偿器330产生的预测块来产生残差块。
[0045]熵编码器350从变换和量化单元340接收量化后的系数，并对量化后的系数进行熵编码。根据基于上下文的自适应可变长度编码(CAVLC)或基于上下文的自适应二进制算术编码(CABAC)对量化后的系数进行熵编码。此外，熵编码器350可通过添加关于由滤波单元370确定的滤波器的信息来产生比特流。
[0046]逆变换和反量化单元360接收量化后的系数，并通过对接收到的系数进行反量化和逆正交变换来恢复残差块。将恢复后的残差块加上预测块来恢复当前块。
[0047]滤波单元370通过自适应地改变滤波器的尺寸和滤波器系数来确定将被应用到用于对当前块进行预测编码的被预编码并被恢复的参考帧的滤波器，并通过使用被确定的滤波器对参考帧进行滤波。这里，滤波单元370可通过使用与当前块相应的参考帧的相应区域的图像特性(诸如方差)来确定滤波器的尺寸和滤波器系数，或者可通过应用多个预定滤波器来对参考帧进行滤波，根据通过使用滤波后的参考帧的预测编码的结果来比较率失真(RD)损耗，并将具有最小损耗的滤波器确定为将被应用到参考帧的最终滤波器。
[0048]图4是根据另一示例性实施例的图像编码设备400的详细框图。如上所述，图像编码设备400包括第一预测编码器41、第二预测编码器42、滤波单元43和与图2的输出单元240相应的熵编码器44。包括在第一预测编码器41中的第一帧内预测器413、第一运动预测器411、第一运动补偿器412、第一变换和量化单元414以及第一逆变换和反量化单元415对可伸缩图像的基本层或多视点图像的具有预定视点的图像进行编码。此外，包括在第二预测编码器42中的第二帧内预测器423、第二运动预测器421、第二运动补偿器422、第二变换和量化单元424以及第二逆变换和反量化单元425可对在增强层的可伸缩图像或多视点图像中的具有与由第一预测编码器41预编码的图像不同的视点的图像进行编码。
[0049]滤波单元43通过自适应地改变滤波器的尺寸和滤波器系数来确定将被应用到用于对将由第二预测编码器42编码的当前块进行预测编码的参考帧的滤波器，并通过使用被确定的滤波器对参考帧进行滤波。如上所述，滤波器单元43可通过使用与当前块相应的参考帧的相应区域的图像特性(诸如方差)来确定滤波器的尺寸和滤波器系数，或可通过应用多个预定滤波器对参考帧进行滤波，根据通过使用滤波后的参考帧的预测编码的结果来比较RD损耗，并将具有最小损耗的滤波器确定为将被应用到参考帧的最终滤波器。
[0050]熵编码器44对由第一预测编码器41和第二预测编码器42编码的数据进行熵编码，同时通过添加关于由滤波单元43确定的滤波器的信息来产生比率流。
[0051]现在将详细描述通过使用滤波单元自适应地确定滤波器的处理。
[0052]图5和图6是示出根据示例性实施例的滤波器的特性的曲线图。
[0053]参照图5，根据示例性实施例的被应用到参考帧的滤波器基于高斯滤波器，其中，高斯滤波器的滤波器系数在中心处具有最大值并向边缘减小。在图5中，在X轴上的O表示滤波器的中心，O的右方向和左方向表示滤波器的边缘。因此，所述滤波器基于在中心处具有最大滤波器系数并且滤波器系数向边缘减小的高斯滤波器。参照图6，当根据示例性实施例的滤波器具有5 X 5尺寸时，滤波器向着基于如图所示的中心滤波器系数f33的边缘具有更小的滤波器系数。 [0054]图7A和图7B是用于示出根据示例性实施例的5X5滤波器的参考图。参照图7A，5X5滤波器的中心滤波器系数为值1/2，并且5X5滤波器的滤波器系数可向边缘减少到1/4、1/16、1/32和O。当图7A的滤波器系数被量化成整数时，5 X 5滤波器的中心滤波器系数为值16，并且5 X 5滤波器的滤波器系数向边缘减小到8、4、2、I和0，如图7B所示。然而，滤波器系数不限于图7A和图7B中示出的数字，并且可在满足上面参照图5和图6所描述的中心滤波器系数具有最大值并且滤波器系数向边缘减小的高斯滤波器的条件的范围内变化。
[0055]图8A和图8B是用于示出根据示例性实施例的3X3滤波器的参考图。参照图8A，3X3滤波器的中心滤波器系数为值2，与中心滤波器系数相邻的滤波器系数为值1，并且在拐角处的滤波器系数为值O。参照图8B，3X3滤波器的中心滤波器系数为值4，与中心滤波器系数相邻的滤波器系数为值2，并且在拐角处的滤波器系数为值I。图8A和图SB的两个3X3滤波器是高斯滤波器。
[0056]图9是用于示出根据示例性实施例的自适应滤波器的参考图。参照图9，如果中心滤波器系数f_cneter具有最大值，则自适应滤波器为高斯滤波器。换句话说，如果中心滤波器系数^center具有比8高的值，则自适应滤波器为高斯滤波器。根据示例性实施例的滤波单元可通过改变来自图9的自适应滤波器的中心滤波器系数f_cneter来改变应用到参考帧的滤波器。当参考帧的相应区域的方差值增加时，中心滤波器系数f_center具有高的值，并且当所述方差值减小时，中心滤波器系数^center具有低的值。换句话说，中心滤波器系数^center可通过考虑参考帧的相应区域的像素之间的相关性来与所述方差值成比例，以便防止参考帧的像素之间的差由于滤波而变得模糊的模糊现象。
[0057]如图9所示，当具有固定尺寸并且中心滤波器系数被改变而其他滤波器系数被固定的各种滤波器被应用到参考帧时，根据参考帧的图像特性，同时仅发送关于中心滤波器系数的信息，高效滤波是可能的。因此，能够高效地对图像进行压缩。
[0058]图10是用于示出根据中心滤波器系数的值的图9的自适应滤波器的特性的曲线图。
[0059]可根据等式f_center=WXfO+offset来定义中心滤波器系数f_encter,其中，f0表示基本滤波器系数，offset表示偏移，W表示权值。如果--是预定值，则W和offset可与参考帧的方差值成比例。例如，当VAR表示用于预测当前块的参考帧的相应区域的方差值，Thl和Th2表示预定阈值，并且Thl < Th2时，中心滤波器系数f_center被设置为当VAR < Thl时具有由参考标号102示出的值WlXfO+offset，当Thl < VAR < Th2时具有由参考标号101示出的值W2 X fO+offset,并且当VAR > Th2时具有由参考标号103示出的值W3Xf0+offseto
[0060]根据示例性实施例的滤波单元基于具有各种尺寸和滤波器系数的高斯滤波器对参考帧进行自适应地滤波。由滤波单元执行的自适应滤波模式可以是隐式模式或显式模式。
[0061]在隐式模式中，根据用于对当前块进行预测编码的参考帧的相应区域的图像特性来选择多个滤波器中的一个，并且仅发送表不参考巾贞以隐式模式被滤波的模式信息，而不单独发送关于被选择的滤波器的信息。例如，当通过使用具有第一视点的参考帧的相应区域来对具有第二视点的当前块进行预测编码时，滤波单元可计算具有第一视点的参考帧的所述相应区域的方差值，并根据方差值的大小从多个滤波器中选择将被应用的滤波器。如上所述，由于高的方差值表示参考帧的相应区域的像素之间的低的相关性，因此可从多个滤波器中确定将具有大尺寸的滤波器应用到当前块。可选地，当使用如图9所示的仅中心滤波器系数被改变的滤波器时，滤波单元可通过选择与参考帧的相应区域的方差值成比例的中心滤波器系数来确定将应用的滤波器。解码器仅接收表示当前块的参考帧以隐式模式被确定的模式信息，像编码器一样计算参考帧的相应区域的图像特性，并基于计算出的图像特性来确定滤波器。
[0062]在显式模式中，在不考虑用于对当前块进行预测编码的参考帧的相应区域的图像特性的情况下，通过应用多个预先准备的滤波器中的每一个来对参考帧进行滤波，通过使用根据每个滤波器滤波后的参考帧来比较根据预测编码的结果的损耗，将具有最小损耗的用于产生预测图像的滤波器确定为将被应用到参考帧的滤波器，并将关于被确定的滤波器的索引信息单独添加到将被发送的比特流中。解码器可通过使用包括在比特流中的索引信息来选择多个预先准备的滤波器中的一个，以对参考帧进行滤波。
[0063]图11是用于示出根据示例性实施例的编码单元的概念的示图。
[0064]图像编码设备可基于考虑当前画面的特性而确定的最大深度和最大编码单元的尺寸，通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。此外，由于可通过使用多种预测模式和变换中的任意一种来对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。
[0065]编码单元的尺寸可表示为宽度X高度，并且可以是64X64、32X32、16X16和8X8。64X64的编码单元可被分割为64X64的分区、64X32的分区、32X64的分区或32X32的分区，并且32X32的编码单元可被分割为32X32的分区、32 X 16的分区、16X 32的分区或16X16的分区，16X16的编码单元可被分割为16X16的分区、16X8的分区、8X16的分区或8X8的分区，并且8X8的编码单元可被分割为8X8的分区、8X4的分区、4X8的分区或4X4的分区。
[0066]在本示例性实施例的视频数据1110中，分辨率为1920 X 1080，编码单元的最大尺寸为64、并且最大深度为2。在本示例性实施例的视频数据1120中，分辨率为1920X 1080，编码单元的最大尺寸为64，并且最大深度为3。在本示例性实施例的视频数据1130中，分辨率为352X288，编码单元的最大尺寸为16，最大深度为I。图11中示出的最大深度表示从最大编码单元到最小解码单元的分割的总次数。
[0067]如果分辨率高或者数据量大，则编码单元的最大尺寸可以是大，以便不仅提高编码效率而且准确地反映图像的特性。因此，具有比视频数据1130高的分辨率的视频数据1110和1120的编码单元的最大尺寸可以是64。
[0068]由于视频数据1110的最大深度为2，所以视频数据1110的编码单元315可包括具有最长轴为64的最大编码单元，以及由于通过将最大编码单元分割两次来使深度被加深两层而具有最长轴为32和16的编码单元。同时，由于视频数据1130的最大深度为1，因此视频数据1130的编码单元335可包括具有最长轴为16的最大编码单元，以及由于通过将最大编码单元分割一次来使深度被加深一层而具有最长轴为8的编码单元。
[0069]由于视频数据1120的最大深度为3，因此视频数据1120的编码单元325可包括具有最长轴尺寸为64的最大编码单元，以及由于通过将最大编码单元分割三次来使深度被加深3层而具有最长轴为32、16和8的编码单元。随着深度加深，可精确地表示详细信息。
[0070]图12是示出根据示例性实施例的根据深度的更深编码单元以及分区的示图。
[0071]根据示例性实施例的图像编码和解码设备使用分层编码单元，以便考虑图像的特性。编码单元的最大高度、最大宽度以及最大深度可根据图像的特性被自适应地确定，或可由用户来不同地设置。可根据编码单元的预定最大尺寸来确定根据深度的更深编码单元的尺寸。
[0072]在编码单元的分层结构600中，根据示例性实施例，编码单元的最大高度和最大宽度均为64，最大深度为4。这里，最大深度表示从最大编码单元到最小编码单元的分割的总次数。由于深度沿着分层结构600的垂直轴加深，因此更深层编码单元的高度和宽度均被分割。此外，沿着分层结构600的水平轴示出了作为每个更深编码单元的预测编码的基础的预测单元和分区。
[0073]换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度为O并且尺寸(即，高度X宽度)为64X64。深度沿着垂直轴加深，并存在尺寸为32X32和深度为I的编码单元620、尺寸为16X 16和深度为2的编码单元630、尺寸为8X8和深度为3的编码单元640、以及尺寸为4X4和深度为4的编码单元650。尺寸为4X4和深度为4的编码单元650为最小编码单元。
[0074]编码单元的预测单元和分区根据每个深度沿着水平轴布置。换句话说，如果尺寸为64X64和深度为O的编码单元610是预测单元，则预测单元可被分割为包括在编码单元610中的分区，即，尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为32X64的分区614或者尺寸为32X32的分区616。
[0075]类似地，尺寸为32X32和深度为I的编码单元620的预测单元可被分割为包括在编码单元620中的分区，即，尺寸为32X32的分区620、尺寸为32 X 16的分区622、尺寸为16X32的分区624以及尺寸为16X16的分区626。
[0076]类似地，尺寸为16X16和深度为2的编码单元630的预测单元可被分割为包括在编码单元630中的分区，即，包括在编码单元630中的尺寸为16X16的分区630、尺寸为16X8的分区632、尺寸为8X16的分区634以及尺寸为8X8的分区636。
[0077]类似地，尺寸为8X8和深度为3的编码单元640的预测单元可被分割为包括在编码单元640中的分区，S卩，包括在编码单元640中尺寸为8X8的分区640、尺寸为8X4的分区642、尺寸为4X8的分区644以及尺寸为4X4的分区646。
[0078]最后,尺寸为4X4并且深度为4的编码单元650是最小编码单元和最低深度的编码单元。编码单元650的预测单元可仅指定为尺寸为4X4的分区。此外，编码单元650的预测单元可包括尺寸为4X2的分区652、尺寸为2X4的分区654或者尺寸为2X2的分区656。
[0079]关于由滤波单元确定的滤波器的信息可设置在编码单元、最大编码单元、条带、帧、画面或图像序列单元中。此外，在隐式模式中，还可将指示参考帧的相应区域以隐式模式被滤波的滤波模式信息包括在关于滤波器的信息中，并且在显式模式中，除了指示相应区域以显示模式被滤波的滤波模式信息之外，还可包括关于中心滤波器系数的信息。这里，关于中心滤波器系数的信息可包括被乘到基本滤波器系数的权值和偏移信息。可选地，滤波单元可将当前块分割为预定子块，并比较作为选择性地使用根据每个子块而滤波的参考帧的结果的比特流的RD损耗，来选择性地使用根据每个子块而滤波的参考帧。这里，还可将指示是否使用根据树结构中的每个子块而滤波的参考帧的索引信息包括在关于滤波器的信息中。
[0080]图13是示出根据示例性实施例的使用自适应滤波的图像编码方法的流程图。
[0081]参照图13，在操作1310，通过自适应改变滤波器的尺寸和滤波器系数，来确定将被应用到用于对将被编码的当前块进行预测编码的参考帧的滤波器。
[0082]在操作1320，滤波单元通过使用被确定的滤波器来对参考帧进行滤波。
[0083]在操作1330，预测编码器通过使用滤波后的参考帧来对当前块进行预测编码。
[0084]在操作1340，输出单元输出被预测编码的当前块的数据和关于所述滤波器的信肩、O
[0085]图14是根据示例性实施例的使用自适应滤波的图像解码设备1400的框图。
[0086]图像解码设备1400可与图1的图像编码设备100相应，并包括数据提取器1410、滤波单元1420、预测器1430和恢复单元1440。
[0087]数据提取器1410通过解析接收到的比特流来提取将被解码的当前块和参考帧的相应块之间的差信号的数据，以及关于被应用到参考帧的滤波器的信息。
[0088]滤波单元1420通过基于提取的信息自适应地改变滤波器的尺寸和滤波器系数来确定将被应用到参考帧的滤波器，并通过使用被确定的滤波器来对参考帧进行滤波。预测器1430通过使用滤波后的参考帧来产生当前块的预测信号。恢复单元1440通过使提取到的差信号和当前块的预测信号相加来恢复当前块。
[0089]图15是根据另一示例性实施例的使用自适应滤波的图像解码设备1500的框图。
[0090]图像解码设备1500可与图2的图像编码设备200相应，并且可包括数据提取器1510、第一解码器1520、第二解码器1530和滤波单元1540。图像解码设备1500可以是用于在基本层和增强层上对编码比特流进行可伸缩地解码的设备，或者可以是用于对多视点图像比特流进行解码的设备。
[0091]如果对被可伸缩地编码的比特流进行解码，则第一解码器1520对包括在编码比特流中的基本层的图像进行解码。由于第一解码器1520的操作类似于图14的预测器1430和恢复单元1440，因此在此将不重复所述操作的细节。由第一解码器1520解码的基本层的图像用于对增强层的图像进行解码。滤波单元1540通过基于由数据提取器1510所提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数，以确定将被应用到基本层的参考帧的滤波器，并通过使用被确定的滤波器来对参考帧进行滤波。第二解码器1530通过使用滤波后的基本层的图像来对增强层的图像进行解码。类似地，当多视点图像比特流被解码时，第一解码器1520对第一视点图像进行解码，并且滤波单元1540通过基于由数据提取器1510所提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数，以确定将被应用到构成基本层的图像的参考帧的滤波器，并通过使用被确定的滤波器来对解码后的第一视点图像进行滤波。第二解码器1530基于解码后的第一视点图像来对第二视点图像进行解码。
[0092]图16是根据示例性实施例的图像解码设备1600的详细框图。
[0093]参照图16，图像解码设备1600包括熵解码器1610、逆变换和反量化单元1620、运动补偿器1630、帧内预测器1640和滤波单元1660。
[0094]熵解码器1610接收比特流，并通过对接收到的比特流进行熵解码来提取将被解码的当前块和参考帧的相应块之间的差信号的数据以及关于被应用到参考帧的滤波器的信息。逆变换和反量化单元1620通过对由熵解码器1610所提取的数据执行逆正交变换和反量化来恢复当前块的残差块。运动补偿器1630基于当前块的运动矢量通过使用由滤波单元1660滤波后的参考帧，来对当前块进行帧间预测。帧内预测器1640通过使用包括在与当前块相邻的预先解码的区域中的像素来对当前块进行帧内预测。通过使由运动补偿器1630或帧内预测器1640产生的预测块和由逆变换和反量化单元1620恢复的残差块相加来恢复当前块。
[0095]滤波单元1660基于所提取的关于滤波器的信息来确定将被应用到参考帧的滤波器，并通过使用被确定的滤波器来对参考帧进行滤波。如上所述，滤波单元1660可通过使用参考帧的相应区域的图像特性(诸如方差)来确定滤波器的尺寸和滤波器系数，或根据通过使用经由应用多个预定滤波器被滤波的参考帧而进行的预测编码的结果来比较RD损耗，并将具有最小损耗的滤波器确定为将被应用到参考帧的滤波器。
[0096]图17是根据另一示例性实施例的图像解码设备1700的详细框图。图像解码设备1700包括熵解码器1710、第一解码器1720、第二解码器1730和滤波单元1740。包括在第一解码器1720中的第一运动补偿器1722、第一逆变换和反量化单元1721以及第一帧内预测器1723对可伸缩图像的基本层或多视点图像的预定视点图像进行解码。包括在第二解码器1730中的第二帧内预测器1733、第二运动补偿器1732以及第二逆变换和反量化单元1731对可伸缩图像的增强层的图像或在多视点图像中具有与由第一解码器1720预先解码的图像不同的视点的图像进行解码。
[0097]滤波单元1740通过基于由熵解码器1710所提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数，以确定将被应用到用于被第二解码器1730解码的当前块的预测的参考帧的滤波器，并通过使用被确定的滤波器来对参考帧进行滤波。
[0098]图18是示出根据示例性实施例的使用自适应滤波的图像解码方法的流程图。
[0099]参照图18，在操作1810，数据提取器通过解析接收到的比特流，来提取将被解码的当前块和参考帧的相应块之间的差信号的数据，以及关于被应用到参考帧的滤波器的信肩、O
[0100]在操作1820，滤波单元通过基于所提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数以确定将被应用到参考帧的滤波器。
[0101]在操作1830，滤波单元通过使用被确定的滤波器来对参考帧进行滤波。
[0102]在操作1840，预测器通过使用滤波后的参考帧来产生当前块的预测信号。
[0103]在操作1850，恢复单元通过使差信号和当前块的预测信号相加来恢复当前块。
[0104]示例性实施例可编写为计算机程序，并可被实现在使用计算机可读记录介质执行所述程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，⑶-ROM或DVD)。另外，上述单元中的一个或多个可包括执行存储在计算机可读介质中的计算机程序的处理器或微型处理器。
[0105]虽然以上已经具体示出并描述了示例性实施例，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在所述示例性实施例中做出形式上和细节上的各种改变。示例性实施例应仅被考虑为描述意义，而不是用于为了限制目的。因此，本发明的范围不由示例性实施例的详细描述来限定，而是由权利要求来限定，并且范围内的所有差异将被解释为包括在本发明中。
【权利要求】
1.一种通过使用自适应滤波来对图像进行编码的方法，所述方法包括: 通过自适应地改变滤波器的尺寸和滤波器系数来确定将被应用到用于对将被编码的当前块进行预测编码的参考帧的滤波器； 通过使用被确定的滤波器来对参考帧进行滤波； 通过使用滤波后的参考帧来对当前块进行预测编码； 输出被预测编码的当前块和关于滤波器的信息。
2.如权利要求1所述的方法，其中，确定滤波器的步骤包括:根据用于对当前块进行预测编码的参考帧的相应区域的图像特性来确定滤波器。
3.如权利要求2所述的方法，其中，参考帧的相应区域的图像特性为方差。
4.如权利要求3所述的方法，其中，根据所述图像特性确定滤波器的步骤包括:当方差值增加时，从预定滤波器中选择具有最小尺寸的滤波器，并且当方差值减小时，从预定滤波器中选择具有最大尺寸的滤波器。
5.如权利要求3所述的方法，其中，根据所述图像特性确定滤波器的步骤包括:当方差值增加时，将滤波器的系数中的中心滤波器系数设置为具有大的值，并且当方差值减小时，将所述中心滤波器系数设置为具有小的值。
6.如权利要求5所述的方法,其中，根据f_center=WXfO+offset来定义中心滤波器系数f_center,其中，--表示基本滤波器系数，offset表示偏移，W表示权值,并且--和offset与所述方差值成比例。
7.—种通过使用自适应滤波对图像进行解码的方法，所述方法包括: 通过解析接收到的比特流，提取将被解码的当前块和参考帧的相应块之间的差信号的数据，以及关于被应用到参考帧的滤波器的信息； 通过基于提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数，以确定将被应用到参考帧的滤波器； 通过使用被确定的滤波器来对参考帧进行滤波； 通过使用滤波后的参考帧来产生当前块的预测信号； 通过使所述差信号和当前块的预测信号相加来恢复当前块。
8.如权利要求7所述的方法，其中，确定滤波器的步骤包括:根据用于对当前块进行预测编码的参考帧的相应区域的图像特性来确定滤波器。
9.如权利要求8所述的方法，其中，参考帧的相应区域的图像特性为方差。
10.如权利要求9所述的方法，其中，根据所述图像特性确定滤波器的步骤包括:当方差值增加时，在预定滤波器中选择具有最小尺寸的滤波器，并且当方差值减小时，在预定滤波器中选择具有最大尺寸的滤波器。
11.如权利要求10所述的方法,其中，根据f_center=WXfO+offset来定义中心滤波器系数f_center,其中，f0表示基本滤波器系数，offset表示偏移,W表示权值，并且f0和offset与所述方差值成比例。
12.如权利要求11所述的方法，其中: 关于滤波器的信息包括:关于被应用到参考帧的滤波器的尺寸的信息、W和offset ；根据图像特性确定滤波器的步骤包括:基于提取的关于滤波器的信息来确定中心滤波器系数f_center。
13.如权利要求7所述的方法，其中: 确定滤波器的步骤包括:确定是否对参考帧的预定数据单元执行滤波； 所述预定数据单元包括:编码单元、最大编码单元、条带、帧、画面和图像序列中的至少一个，并且关于滤波器的信息包括关于是否对预定数据单元执行滤波的信息。
14.一种用于通过使用自适应滤波来对图像进行编码的设备，所述设备包括: 滤波单元，通过自适应地改变滤波器的尺寸和滤波器系数并通过使用被确定的滤波器来对参考帧进行滤波来确定将被应用到参考帧的滤波器，所述参考帧用于对将被编码的当前块进行预测编码； 预测编码器，通过使用滤波后的参考帧来对当前块进行预测编码； 输出单元，输出被预测编码的当前块的数据以及关于滤波器的信息。
15.一种用于通过使用自适应滤波来对图像进行解码的设备，所述设备包括: 数据提取器，通过解析接收到的比特流，提取将被解码的当前块和参考帧的相应块之间的差信号的数据，以及关于被应用到参考帧的滤波器的信息； 滤波单元，通过基于提取的关于滤波器的信息来自适应地改变滤波器的尺寸和滤波器系数并通过使用被确定的滤波器来对参考帧进行滤波，以确定将被应用到参考帧的滤波器； 预测器，通过使用滤波后的参考帧来产生当前块的预测信号； 恢复单元，通过使所述差信号和当前块的预测信号相加来恢复当前块。
【文档编号】H04N19/615GK103621096SQ201280030243
【公开日】2014年3月5日 申请日期:2012年4月19日 优先权日:2011年4月19日
【发明者】崔秉斗, 赵大星, 郑丞洙 申请人:三星电子株式会社