专利名称：用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和系统的利记博彩app
技术领域：
本发明的各实施例包括用于图像块边界滤波控制的方法和系统。本发明的某些实施例包括用于表征用于控制去块滤波器(deblocking filter)操作的空间可缩放性增强层内的相邻块之间的块边界的方法和系统。
背景技术：
通过援引结合于此的H. 264/MPEG-4AVC( ITU-T VCEG和IS0/IEC MPEG联合视频组的“Advanced Video Coding (AVC) _4thEdition(高级视频编码第四版)”，ITU-T Rec. H. 264 和IS0/IEC 14496-10 (MPEG-Part 10)，2005年1月〕是一种为了压缩效率而使用宏块预测及其后的残余编码以降低视频序列中的时间和空间冗余性的视频编解码器规范。空间可缩放性是指可在以任何所支持的空间分辨率保持速率-失真性能的同时去除比特率的诸部分的功能。单层H. 264/MPEG-4 AVC不支持空间可缩放性。空间可缩放由H. 264/MPEG-4 AVC的可缩放视频编码(SVC)扩展支持。通过援引结合于此的H. 264/MPEG-4 AVC的SVC扩展〔联合可缩放视频模型(JSVM) 的工作文档1. 0(WD-1. 0) (MPEG Doc. N6901)〕是其中空间层之间的冗余性被层间预测机制所充分利用的分层视频编解码器。H. 264/MPEG-4 AVC的SVC扩展的设计中包括了 3项层间预测技术层间运动预测、层间残留预测、以及层间帧内纹理预测。基于块的运动补偿视频编码被使用在诸如H. 261, H. 263, H. 264, MPEG-1、MPEG-2、 以及MPEG-4等许多视频压缩标准中。有损压缩过程会在已解码图像中造成被称为图像伪像的视觉伪像。块伪像(blocking artifacts)沿着图像中的块边界出现并且是由变换系数的粗略量化所引起的。图像滤波技术可被用于减少重建的图像中的伪像。重建的图像是在逆变换和解码之后生成的图像。这些技术中的经验法则是应保存图像边缘同时平滑图像的其余部分。基于围绕图像边缘的一个或一组特定像素的特性来谨慎选择低通滤波器。跨图像块边界延伸的非相关图像像素被特别地滤波以减少块伪像。然而，该滤波会在图像中引入模糊伪像。如果相邻块之间仅有极少或没有块伪像，则低通滤波器不必要地在图像中并入了模糊而同时又浪费了处理资源。以前，SVC仅着眼于二进空间可缩放性。二进空间可缩放性是指其中两个接连的空间层之间的图片尺寸的比率是2的幂的配置。已提出了管理其中接连的空间层之间的图片尺寸的比率不是2的幂并且较高层图片可以包含在对应的较低层图片中不存在的区域的配置的新工具，这被称为具有修剪窗口的非二进缩放。所有的层间预测方法都包括图片上采样。图片上采样是从较低分辨率图像生成较高分辨率图像的过程。一些图片上采样过程包括样本内插。SVC设计中使用的现有上采样过程基于H. 264中指定的用于帧间预测的四分之一亮度样本内插过程。在被应用于空间可缩放编码时，该现有方法具有以下两个缺点该内插分辨率被限于四分之一样本，因此不支持非二进缩放；以及需要半样本内插来获得四分之一样本定位，从而使得该方法在计算上较为繁琐。克服这些局限的图片上采样过程是合乎需要的。
发明内容
本发明的各实施例包括用于图像编码和解码的方法和系统。本发明的某些实施例包括用于表征空间可缩放性增强层内的相邻块之间的块边界的方法和系统。在某些实施例中，相邻块中的至少一个使用层间纹理预测来编码。在所述相邻块中的一个满足指定准则时，块边界可以用边界强度指示符来表征。一种用于表征空间可缩放增强层内的相邻块之间的块边界的方法，其中所述相邻块中的至少一个块是使用层间纹理预测来编码的，所述方法包括
a)当来自所述相邻块中的一个块的亮度样本使用不同于所述层间纹理预测模式的帧内预测模式来编码时，用第一边界强度指示符来表征所述块边界；b)在下列情形下用第二边界强度指示符来表征所述块边界，i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述层间纹理预测模式的帧内预测模式来编码的；以及ii)所述相邻块当中的任意一个块具有非零变换系数；c)在下列情形下用第三边界强度指示符来表征所述块边界，i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述层间纹理预测模式的帧内预测模式来编码的；以及ii)所述相邻块全部都没有非零变换系数。在结合附图考虑本发明的以下具体说明的基础上，本发明的以上和其它目的、特征和优点将更加容易理解。
图1是示出了如何根据相邻图像块之间的相似性选择性地跳过去块滤波的示图。图2是示出了具有相似运动矢量的两个相邻图像块的示图。图3是示出了如何为图像块之一标识变换系数的示图。图4是示出了如何在两个相邻图像块之间比较残余变换系数的示图。图5是示出了如何对图像进行编码和解码的框图。图6是示出了如何在编解码器中选择性地跳过去块滤波的框图。图7是基于现有块的图像滤波技术的表示。图8是示出了用于确定要滤波的边界和要使用的相应滤波器的强度的技术的框图。图9是用以解释本发明的其它实施例的附图。图10是用以解释本发明的其它实施例的附图。图11是用以解释本发明的其它实施例的附图。图12是用以解释本发明的其它实施例的附图。图13是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于相邻块中的编码参数的相似性。图14是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有相似运动矢量的相邻块。图15是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有指向同一参考帧的相似运动矢量的相邻块。图16是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有指向单个参考帧中的相邻参考块的相似运动矢量的相邻块。图17是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有包括相似的D. C变换系数的参数的相邻块。图18是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于具有包括相似的A. C变换系数的参数的相邻块。
图19是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量以及参考帧中的相似运动矢量目标的参数的相邻块。图20是描述本发明的一个实施例的步骤的流程图，其中相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量、参考帧中的相似运动矢量目标以及相似变换系数的参数的相邻块。图21是描述本发明的一个实施例的步骤的流程图，其中图像被分裂为分离的亮度和色度通道并且每个亮度或色度图像中的相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量的参数的相邻块。图22是描述本发明的一个实施例的步骤的流程图，其中图像被分裂为分离的亮度和色度通道并且每个亮度或色度图像中的相邻块之间的去块滤波取决于亮度图像中具有包括相似运动矢量、参考帧中的相似运动矢量目标以及相似变换系数的参数的相邻块。图23是示出了本发明的某些实施例中基础空间层与增强空间层之间的几何关系的示图。图M是示出了本发明的某些实施例中经上采样的基础层图片与增强层图片之间的几何关系的示图。图25是示出了 4X4的块的像素的示图。图沈是示出了 8 X 8的块内的4 X 4的块的示图。图27是示出了预测宏块的8X8个块的示图。图观是示出了基于相邻块属性来表征块边界的一个示例性方法的流程图。图四是示出了基于相邻块属性来表征块边界的一个替换性示例性方法的流程图。图30是示出了基于相邻块属性来表征块边界的另一替换性示例性方法的流程图。
具体实施例方式参照附图，本发明的实施例将得到最好的理解，在全部附图中，相同部分用相同的附图标记来表示。以上所列附图作为该详细描述的一部分而被明确地包括在内。容易理解的是，如此处在附图中一般性地描述和示出的本发明的各组件也可以用各种不同的配置来安排和设计。因此，以下本发明的方法和系统的实施例的更详细描述并无意限制本发明的范围，而仅表示本发明当前的优选实施例。本发明的各实施例中的元素可以用硬件、固件和/或软件来体现。虽然在此披露的示例性实施例可能仅描述了这些形式中的一种，然而应该理解的是，本领域的技术人员将能够以这些形式中的任意一种来实现这些元素而仍落于本发明的范围之内。常规的滤波过程每次考虑单个重建的图像帧。基于块的视频编码技术可使用运动矢量来估计像素块的运动。在编码器和解码器两者处都可得到运动矢量信息，然而常规滤波过程并没有使用它。例如，如果两个相邻块关于同一参考图像帧共享相同的运动矢量 (对于多参考帧系统)每个块的图像残余之间可能没有显著差异，因此不需要被滤波。实际上，图像的相邻部分关于同一参考帧具有相同运动，因此将可以预期图像残余之间没有显著差异。在许多情形中，这种两个相邻块的块边界可能已经在参考帧中被滤波，因此不应该针对当前帧被再次滤波。如果使用去块滤波器而不考虑这种运动矢量信息，那么常规滤波过程可能在诸帧间一次又一次地对相同的边界进行滤波。这种不必要的滤波不仅导致不必要的模糊而且还导致了额外的滤波器计算。图1示出了根据图像块之间的相似性来选择性地对块伪像滤波的图像12。应该理解的是该图像同样可以使用非方形块或任何其它像素集。某些块14之间的边界包括块伪像18。一般而言，块伪像是可能由编码和/或解码过程所引起的位于块14之间的任何图像不连续性。可使用低通滤波器或其它滤波器来减少相邻图像块的边界处存在的块伪像。例如，块伪像对存在于块20与22之间。可在块20与22之间的边界沈处使用低通滤波器来去除或减少块伪像24。低通滤波器例如从该边界沈的两侧选择一组像素28。 从像素组观导出平均像素值或任何其它统计度量。然后将每个单独像素与该平均像素值相比较。然后，组观中落于该平均像素值的预定范围之外的任何像素都将用该平均像素值来代替。如上所述，如果相邻像素之间仅有少许或没有块伪像24，则像素组观可能会被不必要地滤波而导致图像中的模糊。跳过模式滤波方案可将相邻图像块的运动估计和/或补偿信息用作选择性地滤波的基础。如果运动估计和补偿信息足够相似，则可以跳过滤波。这避免了不必要的图像模糊并且显著减少了所需的滤波操作次数或任何其它适当值。作为一个示例，可在编码过程中确定相邻图像块30和32具有相似的编码参数。因此，可以跳过对跨过相邻块30与32之间的边界31延伸的像素组34的去块滤波。跳过模式滤波可被用于图像12中相邻块之间的任何水平、垂直、或其它任何边界。图2示出了参考帧42、参考帧48、以及当前正被编码或解码的当前帧40。将块44 和46的编码参数相比较以确定在两个相邻块44与46之间是否应该跳过去块滤波。可以比较的编码参数之一是块44和46的运动矢量(MV)。运动矢量MVl从当前图像帧40中的块44指向参考图像42中相关联的块44，。运动矢量MV2从当前图像帧40中的块46指向参考帧42中相关联的块46，。跳过模式滤波检查运动矢量MVl和MV2是否指向同一参考帧42中的相邻块。如果运动矢量指向同一参考帧中的相邻块(MVl =MV2)，则可以跳过去块滤波。该运动矢量信息可以与其它编码信息一起使用以决定是否在两个图像块44和46之间跳过去块滤波。在编码和解码过程中可使用一个以上的参考帧。例如，可以有另一参考帧48。相邻块44和46可以具有指向不同参考帧的运动矢量。在一个示例中，跳过去块滤波的决策取决于这两个相邻块的运动矢量是否指向同一参考帧。例如，图像块44可具有指向参考帧 48的运动矢量49，而图像块46可具有指向参考帧42的运动矢量MV2。在该示例中，由于运动矢量49和MV2指向不同参考帧，所以不跳过去块滤波。图3示出了可被用来决定是否选择性地跳过去块滤波的编码参数的另一示例。将来自图像帧40的图像块44与先前如图2中所示地为运动矢量MV所指向的来自参考帧42 的参考块44相比较。根据图像块44和参考块44’之间的比较输出残余块44”。对残余块 44”执行变换50以创建变换系数的变换块44”。在一个示例中，变换50是离散余弦变换。 变换块44”包括D. C.分量52和A. C.分量53。D. C分量52是指图像块44中最低频率的变换系数。例如，表示图像块44中的平均能量的系数。A. C分量53是指表示图像块44中最高频率分量的变换系数。例如，表示图像块44中像素之间的较大能量差异的变换系数。图4示出了经变换的残余块44”和46”。在处理器M中将来自两个经变换的块 44”和46”的D.C.分量52相比较。如果D. C.分量相同或在彼此的某一范围内，则处理器 M通知去块滤波器操作56跳过两个相邻块44和46的边界之间的去块滤波。如果D.C.分量52不相似，则不发起跳过通知，且块44和46之间的边界被去块滤波。在一个示例中，可将跳过模式滤波结合在国际电信联盟电信部门(ITU-T)提出的 H.26L编码方案中。H. 26L方案使用4X4的整数离散余弦变换(DCT)块。在需要的情况下，可以仅检查两个相邻块的D.C分量。然而，也可同样地检查某些有限的低频A. C.系数， 特别是当图像块为诸如9X9或16X16块等较大的大小时。例如，可以将块44”的上部的 D. C.分量52和三个较低频率的A. C.变换系数53与块46”的上部的D. C.分量52和三个较低频率的A. C.变换系数53相比较。可使用D.C.和/或任意A. C变换系数的不同组合来标识两个相邻块44和46之间的相对相似性。处理器M还可接收在编码过程中生成的其它编码参数55。这些编码参数包括如前所述的相邻块44和46的运动矢量和参考帧信息。处理器M可使用这些编码参数中的部分或全部来确定是否在相邻块44和46之间跳过去块滤波。对该图像执行的其它编码和变换功能可在相同的处理器M或不同的处理单元中执行。在所有或大部分编码都在同一处理器中实现的情形中，跳过模式通过设置滤波例程中的跳过参数来简单地启用。图5示出了在基于块的运动补偿编码器解-码器(编解码器)60中如何使用跳过模式滤波。编解码器60被用于帧间编码。来自当前帧的输入视频块从框62被送进比较器 64。帧缓冲框80的输出根据所估计的运动矢量(以及可能的参考帧编号)生成参考块81。 输入视频块与参考块81之间的差异在框66中被变换并且随后在框68中被量化。被量化的变换块在框70中被可变长度编码器(VLC)编码并随后被发送、存储等。编解码器60的编码部分通过在框72中首先逆量化(IQ)经变换的图像来重建经变换和量化的图像。经逆量化的图像然后在框74中被逆变换以生成重建的残余图像。该重建的残余图像然后在框76中被添加到参考块81以生成重建的图像块。一般而言，重建的图像块在框78中被环路滤波以减少由量化和变换处理引起的块伪像。该经滤波的图像然后在框80中被缓冲以形成参考帧。框80中的帧缓冲将重建的参考帧用于运动估计和补偿。参考块81在比较器64中被与输入视频块相比较。经编码的图像在节点71处从编码部分输出并且然后被存储或发送。在编解码器60的解码器部分中，可变长度解码器(VLD)在框82中对已编码图像进行解码。已解码图像在框84中被逆量化并在框86中被逆变换。来自框86的重建的残余图像在在求和框88中被添加到参考块91，然后在框90中被环路滤波以减少块伪像，并在框92中被缓冲作为参考帧。参考块91根据接收到的运动矢量信息从框92生成。来自框 90的环路滤波输出可以任选地在框94中被后置滤波以进一步减少图像伪像，然后在框96 中被显示为视频图像。可在框78、90和94中的滤波功能的任意组合中执行跳过模式滤波方案。视频编码过程中可得到的运动估计和补偿信息被用于确定何时跳过框78、90和/ 或94中的去块滤波。由于这些编码参数已经在编码和解码过程中生成，所以没有必须专门为跳过模式滤波生成或传输的附加编码参数。图6示出了在图5的编码器和解码器中的滤波器78、90、和/或94中如何使用跳过模式滤波的进一步细节。首先在框100中标识任意两个相邻块“i”和“k”之间的块间边界。这两个块可以在图像帧中水平或垂直地相邻。决策框102将块j的运动矢量mv(j)与块k的运动矢量mv(k)相比较。首先确定这两个相邻块j和k是否具有指向同一参考帧的相同运动矢量。换言之，相邻块的运动矢量指向同一参考帧(ref(j) =ref(k))中的相邻块(mv(j) = mv(k))。然后确定这两个相邻块的残余系数是否相似。如果相邻块的图像残余之间没有显著差异，例如这两个块j和k具有相同或相似的D. C.分量(dc(j)dc(k))，则跳过框104中的去块滤波。跳过模式滤波然后移到框106中的下一块间边界并在决策框102中进行下一比较。可对水平相邻块或垂直相邻块两者执行跳过模式滤波。在一个实施例中，仅使用相邻图像块的参考帧和运动矢量信息来确定块跳过。在其它实施例中，仅使用D. C.和/或A.C.残余系数来确定块跳过。在其它实施例中，运动矢量、参考帧和残余系数全部被用来确定块跳过。可将跳过模式滤波方案应用于经空间子采样的色度通道。例如在具有4:2:0色彩格式序列的情形中，块边界的跳过模式滤波可仅依赖于该图像的亮度分量的运动矢量和 D.C.分量的相等。如果运动矢量和D. C.分量相同，则对相邻图像块的亮度和色度分量两者都跳过去块滤波。在另一实施例中，对相邻块的每个亮度和色度分量分开地考虑运动矢量和D.C.分量。在该情形中，相邻块的一个亮度或色度分量可以被去块滤波而同一相邻块的其它亮度或色度分量不被去块滤波。参照图7，一些已知技术定义“块强度”参数以供环路滤波器控制环路滤波过程。 图像的每个块具有与该块相关联并且控制在其全部4个块边界上执行的滤波的强度值。块强度值是基于比特流中可得到的运动矢量和变换系数导出的。然而，在考虑对块的所有四个边缘使用块强度值之后，本发明人意识到这导致去除一些边缘处的某些块伪像但又沿其它边缘不必要地引起模糊。与逐块方式的滤波形成对比，本发明人意识到应该结合其它信息以逐边缘的方式作出滤波判定。其它信息可包括例如块的块内编码、具有残余信息的块的运动估计、没有残余信息的块的运动估计、以及没有具有足够差异的残余的块的运动估计。这些信息特性中的一个、两个、三个或四个可被用来以逐边缘的方式提高滤波能力。基于不同的特性集，可根据需要修改滤波。对于每个块边界优选地定义一个控制参数，即边界强度Bs。参照图8，共享一公共边界的一对块被表示为j和k。第一框110检查这两个块中的任意一个是否为帧内编码的。 如果任意一个为帧内编码的，则边界强度在框112被设为3。框110确定是否这两个块都没有进行运动预测。如果没有使用运动预测，则该块源自帧本身并且相应地应在边界上执行滤波。由于帧内编码块边界通常包括块伪像，所以这通常是恰当的。如果块j和k两者都至少部分地是从先前或将来的帧预测的，则在框114检查块 j和k以确定是否有任何系数被编码。这些系数可以是例如离散余弦变换系数。如果块j 和k中的任意一个包括非零系数，则块中的至少一个使用一般被称为残余的该系数表示根据先前或将来的帧的预测以及对块的修改。如果块j和k中的任意一个包括非零系数(并且是经运动预测的)，则边界强度在框116被设为2。这表示图像被预测但该预测使用残余来纠正的事件。因此，图像可能包括块伪像。如果块j和k两者都是经运动预测的并且不包括一般被称为残余的非零系数，则在框118作出判定以检查边界的任何一侧的像素是否与另一侧足够不同。这也可同样被用来确定残余是否足够小。如果存在足够的差异，则可能存在块伪像。首先作出判定以确定这两个块是否使用不同参考帧，即R(j)兴R(k)。如果块j和k来自两个不同参考帧，则边界强度在框120被分配值1。或者，检查两个图像块的运动矢量的绝对差以确定在垂直或水平方向中的任一方向上是否大于或等于1个像素，即，IV (j，χ) -V (k，χ) I彡1像素或IV (j， y)-V(k,y)彡1像素。根据需要也可同样使用其它阈值，包括根据使用的测试的小于或大于。如果运动矢量的绝对差大于或等于1，则边界强度被分配值1。如果两个块j和k都是经运动预测的、没有残余、基于同一帧、并且具有轻微的差异，则边界强度值被分配0值。如果边界强度值被分配0值，则该边界不被滤波或者根据边界强度的值自适应地滤波。应该理解的是，根据需要在边界强度为0时系统也可轻微地滤波。边界强度值，即1、2、和3被用于控制环路滤波器中的像素值自适应范围。根据需要，每个不同边界强度可以是一不同滤波的基础。例如，在某些实施例中，可使用三种滤波器，其中在Bs = 1时使用第一滤波器，在Bs = 2时使用第二滤波器而在Bs = 3时使用第三滤波器。应该理解的是，相比于产生较显著差异的其它滤波，未滤波可通过最小滤波来执行。在图8所示的示例中，Bs的值越大，滤波越大。滤波可通过任何合适的技术来执行，诸如IS0/IEC MPEG的联合视频组(JVT)的联合委员会草案(CD)中描述的方法以及用于滤除图像伪像的其它已知方法。跳过模式滤波可与编码或解码多个图像帧的任何系统一起使用。例如，DVD播放器、录像机、或通过诸如电视频道或因特网等通信信道发送图像数据的任何系统。应该理解的是，系统可使用量化参数作为编码参数，或者单用或者与其它编码参数一起使用。另外， 应该理解的是，系统也可不单独使用量化参数或为了滤波而根本不使用量化参数。以上描述的跳过模式滤波可用执行部分或所有操作的专用处理器系统、微控制器、可编程逻辑器件或微处理器来实现。以上所述操作的一部分可以用软件来实现，而其它操作可以用硬件来实现。为方便起见，各操作被描述为各种互联的功能块或不同的软件模块。然而这并不是必需的，在许多情形中这些功能块或模块被等效地集合到没有清晰边界的单个逻辑器件、程序或操作中。总之，这些功能块和软件模块或所述特征可以单独或结合硬件或软件中的其它操作来实现。在如图9所示的本发明的某些实施例中，图像数据902可被输入到包括如以上针对本发明的某些实施例所述的自适应滤波部分的图像数据编码装置904中。图像数据编码装置904的输出是已编码图像数据，并且随后可被存储在任何计算机可读存储介质906上。 存储介质可包括，但并不限于，盘介质、存储卡介质、或数字磁带介质。存储介质906可用作短期存储设备。已编码图像数据可以从存储介质906中读出并由包括如以上针对本发明的某些实施例所述的自适应滤波部分的图像数据解码装置908解码。可为发送到显示器或其它设备的输出已解码图像数据910提供已解码图像数据。
在如图10所示的本发明的某些实施例中，图像数据1002可被编码并且已编码图像可随后被存储在存储介质1006上，并且图像数据解码装置1008与图9中所示的相同。在图10中，Bs数据编码部分1012接收每个块边界的边界强度值Bs并通过包括DPCM、多值游程长度编码、具有无损特征的变换编码等在内的任何数据编码方法来编码。边界强度Bs可如图8中所示地生成。已编码边界强度可随后被存储在存储介质1006上。在一个示例中， 已编码边界强度可与已编码图像数据分开存储。在其它示例中，已编码边界强度和已编码图像数据可于存储在存储介质1006上之前被多路复用。已编码边界强度可由Bs数据解码部分1014从存储介质1006读取并解码以将已解码边界强度输入到图像数据解码装置1008中。当在图像数据解码装置1008中利用已解码边界强度来执行本发明的自适应滤波时，不需要重复图8中所示的过程来生成边界强度，而这可节省自适应滤波的处理能力。在如图11所示的本发明的某些实施例中，图像数据1102可被输入到包括如上针对本发明的某些实施例所述的自适应滤波部分的图像数据编码装置1104中。图像数据编码装置1104的输出是已编码图像并且可随后通过诸如LAN、WAN或因特网1106等网络来发送。已编码图像数据可由同样与网络1106通信的图像解码装置1108接收和解码。图像数据解码装置1108包括如上针对本发明的某些实施例所述的自适应滤波部分。可为发送到显示器或其它设备的输出已解码图像数据1110提供已解码图像数据。在如图12所示的本发明的某些实施例中，图像数据1202可被编码且已编码数据可随后通过诸如LAN、WAN或因特网1206等网络来发送。图像数据编码装置1204和图像数据解码装置1208的基本过程与图11中相同。在图12中，Bs数据编码部分1212接收每个块的边界强度值Bs，并通过包括DPCM、多值游程长度编码、具有无损特征的变换编码等在内的任何数据编码方法来编码。边界强度Bs可如图11中所示地生成。已编码边界强度可随后通过网络1206发送。在一个示例中，已编码边界强度可与已编码图像数据分开发送。 在其它示例中，已编码边界强度和已编码图像数据可于通过网络1206发送前被多路复用。已编码边界强度可由Bs数据解码部分1114从网络1206读取并解码以将已解码边界强度输入到图像数据解码装置1208来执行本发明的自适应滤波，不需要重复图11中所示的生成边界强度的过程从而节省了自适应滤波的处理能力。本发明的某些实施例可参照图13来说明。在这些系统和方法中，标识视频帧中的相邻块150并标识这些相邻块的编码参数。然后比较这些相邻块的编码参数以确定它们的相似性154。在编码参数不相似时，沿相邻块之间的边界应用去块滤波器156。当编码参数相似时，跳过去块滤波且该过程进入下一步骤158。同样地，当执行去块滤波时，该过程在滤波后进入下一步骤158。在如图14所示的本发明的某些实施例中，编码参数是运动矢量。在这些实施例中，标识视频帧中的相邻块160并且标识包括运动矢量的编码参数162。比较这些运动矢量以确定它们的相似性164。在运动矢量不相似时，可在相邻块之间执行去块滤波166且该过程可进入下一步骤168。当运动矢量相似时，跳过去块滤波并且直接实现下一步骤168。如图15所示的本发明的其它实施例可使用多个编码参数来确定是否跳过滤波。 在这些实施例中，标识相邻块170并且确定这些相邻块的编码参数172。这些编码参数可包括运动矢量属性，该属性包括运动矢量的目标帧。当相邻块的运动矢量不相似时174，可在相邻块之间执行去块滤波176。当运动矢量相似时174，可使用其它参数来进一步限定滤波过程。在该示例中，可比较运动矢量来确定它们是否指向同一参考帧178。如果矢量不是指向同一参考帧，则可在块之间执行去块滤波176。如果矢量指向同一参考帧，则可跳过滤波并且该过程可进入下一步骤179。可使用其它运动矢量参数来确定滤波。在如图16所示的实施例中，矢量所指向的块的位置是可被用来确定滤波选项的参数。在这些实施例中，标识相邻块200并且标识相邻块的编码参数202。然后比较运动矢量以确定它们的相似性204。如果矢量不相似，则可继续进行去块滤波208。如果运动矢量相似，则作另一比较以确定相邻块的运动矢量是否指向同一参考帧。如果矢量不是指向同一参考帧，则可继续进行去块滤波208。如果矢量指向同一参考帧，则可比较矢量所指向的块210。当运动矢量不是指向同一参考帧中的相邻块时，则可继续进行去块滤波208。当运动矢量指向同一参考帧中的相邻块时，可跳过去块滤波并且可执行下一步骤212。以这种方式，参考一个参考帧中的相邻块并且之间可能没有显著伪像的相邻块不被去块滤波。这种去块滤波跳过避免了由滤波过程引起的任何模糊和图像退化。同时还节省了处理时间，因为避免了不必要的滤波。由此改善了图像质量并且该过程中仅需要较少计算。应该注意，可使用这些运动矢量参数的各种组合来确定滤波跳过。 这些众多组合并没有被具体说明，然而应被认为在本领域的技术人员所能领会的范围内且旨在落入所附权利要求的范围内。本发明的其它实施例可使用变换系数来确定是否应进行去块滤波。参照图17，标识一帧中的相邻块180并且标识相邻块的编码参数182。这些编码参数可包括运动矢量参数以及变换系数。然后比较运动矢量184以确定相似性。如果运动矢量不相似，则可执行去块滤波 186。如果运动矢量相似，则分析运动矢量数据以确定运动矢量是否指向同一参考帧。如果运动矢量不是指向同一参考帧185，则可继续进行滤波186。如果运动矢量指向同一参考帧185，则可比较变换系数以进一步限定滤波过程。在该示例中，可针对相邻块比较通过离散余弦变换(DCT)方法或其它方法得到的DC变换系数。如果DC变换系数不相似187，则可执行去块滤波186。如果DC变换系数相似，则可跳过滤波并且该方法和系统可进入下一步骤188。本发明的其它实施例可利用AC变换系数来确定滤波选项。参照图18，与关于图 17所述的相似的实施例被示为具有评价AC变换系数的额外步骤。在这些实施例中，标识块 190及其编码参数191。还比较运动矢量中的相似性192、运动矢量目标帧193以及DC变换系数194。当这些参数中存在相似性时，比较AC变换系数196，并且如果它们相似，则跳过去块滤波并且执行该过程中的下一步骤197。如果AC系数不相似，则在相邻块之间执行滤波并且该过程进入下一步骤197。AC变换系数在较大块中更可能有重要性，但是也可在利用诸如4X4块等较小块的方法中使用。在本发明的某些实施例中，图像可根据图像的格式和所利用的色彩空间而被分为各种亮度和色度通道。在以下示例中，描述了 YUV色彩空间，然而，在这些实施例中也可使用许多其它格式和色彩空间。可使用CieLAB、YcfCb以及其它空间。在替换实施例中，可使用诸如RGB等色彩空间。
本发明的某些实施例可参照图19进行说明。在这些实施例中，从图像提取亮度数据并且创建亮度图像220。然后标识亮度图像中的相邻块222并且还标识相邻块的编码参数224。如在其它实施例中一样，比较相邻块的运动矢量以确定相似性226。当运动矢量不相似时，执行去块滤波230，当矢量相似时执行进一步分析以确定矢量是否指向同一参考帧 228。当矢量指向不同参考帧时，在原始图像当中对应于亮度图像中的相邻块的相邻块之间执行去块滤波230。当矢量指向同一参考帧时，跳过去块滤波并在没有先前滤波的情况下执行下一步骤232。在执行滤波时，在滤波过程之后执行下一步骤232。因此，使用对亮度通道中的数据的分析来确定包含亮度和色度数据两者的原始图像中的滤波处理。在图20所示的其它相关实施例中，创建亮度图像240并且标识亮度和原始图像中的对应的相邻块对2。还标识亮度图像块的编码参数对4。随后，比较运动矢量以确定相似性对6。如果不存在显著相似性，则在原始图像的相邻块之间执行滤波252。如果运动矢量相似，则比较运动矢量的目标帧以确定矢量是否指向同一参考帧。如果矢量不是指向同一参考帧，则执行滤波。如果矢量指向同一参考帧，则比较亮度⑴图像的变换系数。如果Y 变换系数不相似，则执行滤波。如果变换系数相似，则跳过滤波并且执行下一步骤254。同样地在任何滤波操作之后执行下一步骤254。图像还可被进一步分为通常对应于亮度和色度通道的分量通道。在本发明的某些实施例中，可根据对该通道唯一的参数来对每个通道进行滤波。作为一个示例，可参照图21说明各实施例，其中图像被分为单独的亮度⑴和多个色度(U，V)通道沈0。在这些实施例中，标识图像中对应于每个通道的相邻块沈2、272、 2820还标识每个通道中的这些块的诸如运动矢量数据等编码参数沈4、274、洲4。然后如其它实施例中一样可比较这些编码参数以确定相似性。在这些示例性实施例中，可使用信道特有运动矢量的运动矢量相似性来确定每个通道中的滤波选项。当一个通道图像的运动矢量不相似时沈6、276、观6，在该特定通道中的相邻块之间执行滤波270J80J90。如果运动矢量相似，则比较目标参考帧268、278、观8。当通道中相邻块的矢量指向同一参考帧时，跳过滤波。当矢量指向不同参考帧时，执行滤波270 J80J90。如在其它实施例中一样，这些被通道化的实施例可利用变换系数数据来限定滤波选项。如图22中所示，关于图21所述的方法和系统可进一步比较通道变换系数310、322、 334。当系数不相似时，执行滤波312、324、336。当系数相似时，跳过滤波。应该注意，可采用参数的各种组合来限定每个通道中的滤波操作。DC和AC变换系数可被用于这些实施例。此外，可使用各种通道和通道组合来确定滤波选项和执行滤波。 例如，在某些实施例中，两个色度通道可被组合在一起并一同分析。来自一个通道的数据和参数也可用于确定另一通道中的滤波选项。例如，可比较从U色度通道取得的参数以确定 V色度通道中的滤波选项，反之亦然。本发明的某些实施例涉及H. 264/AVC的可缩放视频编码扩展。某些实施例涉及用于解决空间可缩放视频编码的图片上采样问题的滤波。更具体地，本发明的某些实施例提供了为H. 264/MPEG-4 AVC的可缩放视频编码、特别是为JVT(MPEG和VCEG的联合视频组) 在2005年4月采用的扩展空间可缩放(ESQ视频编码特征所设计的上采样过程。当前，通过援引结合于此的JSVM WD-1.0[MPEG Doc. N6901]仅解决了二进空间可缩放性，即其中两个接连的空间层的图片宽度和高度(按照像素数目计算)之比等于2的配置。这在诸如用于广播的SD到HD可缩放性等更为一般性的应用中将明显是一个局限性。通过援引结合于此的[MPEG Doc.mll669]提出了一种工具，其提供了扩展空间可缩放性，即其中两个接连的空间层的图片宽度和高度之比不必等于2的幂，并且较高层的图片可包含相应的较低层图片中不存在的区域(通常在图片边界周围)的管理配置。该提案[MPEG Doc.mll669]将WD_1.0[MPEG Doc. N6901]的层间预测扩展到用于较高层与较低层图片尺寸之比不是2的幂的更为一般的情形。本发明的实施例提供了将扩展空间可缩放性，即具有修剪窗口的非二进缩放应用于图片层从而更好地满足了更为普遍的应用的需求的方法。为了支持空间可缩放性的图片级自适应，本发明的实施例提供了对先前提出的层间预测方法的进一步改进。另外，现有提案未解决的若干问题也在这些实施例中得到了解决。为了说明书和权利要求书起见，术语“图片”可包括像素阵列、数字图像、数字图像的细分、数字图像的数据通道或图像数据的其它表示。图23示出了对应于图像图片的两张图片。本发明的实施例涉及两个或多个接连的空间层，较低层(被认为是基层)253和较高层(被认为是增强层)251。这些层可通过以下几何关系(图1中所示)来联系。增强层图片的宽度250和高度252可分别被定义为Wenh和henh。以这种方式，基层图片的尺寸可被定义为wbase2M和hbasJ56。基层253可以是增强层图片Wl当中位于增强层图片坐标系统中的坐标262(x ig，yorig)处、尺寸为wextra。t258和hextea。t260的子区域的经二次采样洸4的版本。参数(x ig，y ig，wextM。t，hextra。t，Wbase，hbaJ定义较高层图片251与较低层图片253之间的几何关系。本发明的实施例解决的一个问题是知道已解码基层时增强层的宏块的编码/解码。如图M中所示，增强层的宏块可能没有对应于块(在增强层图片的边界上)的基层， 或者有对应于宏块的一个到多个基层。因此，与WD-1. 0 [MPEG Doc.N6901]中不同的层间预测管理是必要的。图2示出了重叠于经上采样的基层图片272——其中宏块边界由虚线274 标记——与增强层图片——其中宏块边界由实线276标记——之间的宏块。[MPEG Doc.mll669]已经提出Wexteaet和hextea。t被限于16的倍数。该约束限制了图片级自适应。相反，本发明的实施例将Wraiteart和hratra。t限于2的倍数。本发明的实施例还要求x。Hg和y。Hg为2的倍数以避免对色度上/下采样中可能的相移进行调整时的复杂度。 先前还没有解决色度相移问题。图23中示出的尺寸和其它参数可由以下符号或变量名来表示。scaled—base—left—offset = Xorigscaled—base_top_off set = yorigscaled—base—right—offset = wenh-xorig-wextractscaled—base—bottom—offset = henh-yorig-hextractscaled—base—width = Wextractscaled—base—height = hextract层间运动预测给定的较高层宏块可使用“BASE_LAYER_M0DE” 或 “QPEL_REFINEMENT_M0DE” 来利用使用经缩放的基层运动数据的层间预测。如在WD-1.0[MPEG Doc.N6901]中一样，这些宏块模式指示包括宏块分割在内的运动/预测信息是直接从基层导出的。通过继承来自基层的运动数据可以构造预测宏块MB_pred。当使用“BASE_LAYER_MODE”时，宏块分割以及参考索引和运动矢量都是预测宏块MB_pred中的那一些。“QPEL_REFINEMENT_MODE”相类似，但具有四分之一样本运动矢量改进。已经提出在以下四个步骤中导出MB_pred -对MB_pred的每个4X4块，继承来自基层运动数据的运动数据，-对MB_pred的每个8X 8块，进行分割选择，-对MB_pred，进行模式选择，以及-运动矢量缩放。然而，本发明的实施例提供了支持图片级自适应的若干等效方案的修改。4X4块继承图25示出了具有4个角观1、观2、观3、观4的4父4块13观0。该过程包括检查块的4个角观1、观2、观3、观4中的每一个。令(X，y)为角像素c在高层坐标系统中的位置。 令( ., Ybase)为基层坐标系统中的相应位置，定义如下像素(x，y)处相同位置的宏块就是包含像素Ub_，ybaJ的基层宏块。同样地，像素(X，y)处相同位置的8X8块是包含像素Ub_，yb_)的基层8X8块，而像素(x，y)处相同位置的4X4块是包含像素Ubase，ybaJ的基层4X4块。b的运动数据继承过程可描述如下-对每个角c，每个列表listx(listx= IistO或listl)的参考索引r (c，listx) 和运动矢量mv(c，listx)被设置为相同位置的基层4X4块的参考索引和运动矢量。-对每个角，如果相同位置的宏块不存在或处于帧内模式，则b被设为帧内块。-否则，对每个列表listx〇如果没有一个角使用该列表，则该列表没有参考索引和运动矢量被设置为b。〇否则■为b设置的参考索引rb (listx)为这4个角的现有参考索引的最小值rb (listx) = min(r(c, listx))(2)
C■为b设置的运动矢量Hivb(Iistx)为这4个角的现有运动矢量的平均值，且具有参考索引rb(listx)8X8分割选择一旦设置了每个4X4块运动数据，就需要一合并过程以确定其所属的8X8块的实际分割并避免被禁止的配置。以下，8X8块的4X4块如图沈中所指示地被标识。对于每个8X8块B，可应用以下过程-如果这4个4X4块已被分类为帧内块，则B被认为是帧内块。-否则，实现B分割选择〇应用用于为每个4X4块分配相同的参考索引的以下过程
对于每个列表Iistx■如果没有4X4块使用该列表，则该列表没有参考索引和运动矢量被设为B■否则 将B的参考索引rB(Iistx)计算为这4个4X4块的现有参考索引的最小值rB (listx) = min(rb (Iistx))(3)
b 计算具有相同参考索引rB(listx)的4X4块的平均运动矢量Hivmean(Iistx)· (1)被分类为帧内块或者(2)没有使用该列表或者(3)具有与I^(Iistx)不同的参考索引rb(listx)的4X4块被强制将rB(listX)和mV_(listX)作为参考索引和运动矢量。〇然后实现B的分割模式的选择。如果两个4X4块的运动矢量相同，则认为这两个块相同。合并过程被应用如下■如果Id1与、相同并且133与、相同，则 如果bl与b3相同，则选择BLK_8X8 否则选择 BLK_8X4■否则如果Id1与b3相同并且ID2与b4相同，则选择BLK_4 X 8■否则选择 BLK_4 X 4预测宏块模式选择在以下实施例中，可实现用以确定MB_pred模式的过程。以下，宏块300的8X8 块301-304如图27中所指示地被标识。在以下情形中认为两个8X8块相同-两个8X8块中的一个或两个都被分类为帧内块或者-两个块的分割模式都是BLK_8X8并且如果每个8X8块的IistO和Iistl的参考索引和运动矢量都存在则彼此相同。使用以下过程完成模式选择-如果所有8X8块都被分类为帧内块，则MB_pred被分类为INTRA宏块-否则，MB_pred是INTER宏块。其模式选择如下实现〇被分类为帧内的8X8块被强制进行BLK_8X8分割。它们的参考索引和运动矢量被如下计算。令为这样一个8X8块。对于每个列表Iistx■如果没有8X8块使用该列表，则不向Bintka分配该列表的参考索引和运动矢量■否则，应用以下步骤 将参考索引rmin(listx)计算为8X8块的现有参考索引中的最小值Irajn (listx) = min(rB (listx))(4)
B 计算具有相同参考索引rmin(listx)的4X4块的平均运动矢量Hivmean(Iistx) 将rmin(listx)分配给Bintea并且Bintea的每个4X4块被强制将rmin(listx)和 HlVmean(IiStx)作为参考索引和运动矢量。〇然后实现B的分割模式的选择。如果两个8X8块的分割模式为BLK_8X8并且如果每个8X8块的IistO和Iistl的参考索引和运动矢量如果存在就相同，则认为这两个块相同。合并过程被应用如下■如果B1与化相同并且 与氏相同，则 如果Bl与B3相同，则选择M0DE_16X16 否则选择 M0DE_16X8■否则如果B1与 相同并且化与B4相同，则选择M0DE_8X 16■否则选择 M0DE_8 X 8运动矢量缩放运动矢量重新缩放可被应用于如上导出的预测宏块MB_pred的每个现有运动矢量。运动矢量mv = (dx，d￥)可使用下式被缩放为矢量mvs = (dsx，dS￥)。
权利要求
1.一种用于表征空间可缩放增强层内的相邻块之间的块边界的方法，其中所述相邻块中的至少一个块是使用层间纹理预测来编码的，所述方法包括a)当来自所述相邻块中的一个块的亮度样本使用不同于所述层间纹理预测模式的帧内预测模式来编码时，用第一边界强度指示符来表征所述块边界；b)在下列情形下用第二边界强度指示符来表征所述块边界，i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述层间纹理预测模式的帧内预测模式来编码的；以及 )所述相邻块当中的任意一个块具有非零变换系数；c)在下列情形下用第三边界强度指示符来表征所述块边界，i)来自所述相邻块中的每一个块的亮度样本中没有一个是采用不同于所述层间纹理预测模式的帧内预测模式来编码的；以及 )所述相邻块全部都没有非零变换系数。
2.如权利要求1所述的方法，其特征在于，在对所述块边界应用去块滤波时，所述第一边界强度指示符触发比所述第二边界强度指示符更剧烈的去块滤波，所述第二边界强度指示符触发比所述第三边界强度指示符更剧烈的去块滤波。
全文摘要
公开了用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和系统。本发明的实施例包括用于在空间可缩放视频编码中对用于滤波操作的块边界进行表征的系统和方法。本发明的某些实施例包括被设计成用于H.264/MPEG-4AVC的可缩放视频编码扩展的方法和系统。
文档编号H04N7/46GK102387366SQ20111033779
公开日2012年3月21日 申请日期2006年2月28日 优先权日2005年3月18日
发明者孙式军 申请人:夏普株式会社