用于从隔行编码帧产生逐行帧的设备的利记博彩app

专利名称：用于从隔行编码帧产生逐行帧的设备的利记博彩app
技术领域：
本发明涉及用于译码具有第一分辨率的一组编码帧以便产生具有较低分辨率的一组输出帧的方法和设备，一个编码帧包括与一个编码的第二场相交织的一个编码的第一场。
本发明可被使用于视频译码应用，更具体地，可被使用于其中具有隔行格式(interlaced format)的压缩视频比特流必须在逐行(progressive)显示器上以较低分辨率来显示的应用。一个典型的应用是在诸如电话或PDA(个人数字助理)那样的移动设备上接收DVB-T(数字视频广播-陆地)节目。
背景技术：
低功耗是移动设备的一项关键特性。移动设备现在提供的视频编码和译码能力，被认为消耗大量的能量。因此需要所谓的低功率视频算法。
事实上，访问诸如SDRAM那样的外部存储器对视频设备而言是一个瓶颈。这既是由于功耗问题，因为存储器被认为是系统中功耗最大的部件，又是由于中央处理单元CPU与存储器之间交换的带宽所导致的速度限制。
在传统的视频译码器中，运动补偿模块需要许多这样的访问，因为它经常地指向在所谓的参考帧中的像素块。为了解决这个问题，国际专利申请No.WO 03/010974公开了视频译码设备，其中嵌入的重新定尺寸结合外部缩放一起被使用来减少译码的计算复杂性。
这样的视频译码设备显示于

图1，且其包括由可变长度译码块VLD、逆扫描和逆量化块ISIQ、8×8反离散余弦变换块IDCT和分样(decimation)块DECI组成的第一路径。在工作期间，VLD块译码以标准分辨率SD进入的视频比特流，而产生运动向量MV和量化的变换系数。ISIQ块然后逆扫描和逆量化从VLD块接收的经量化的变换系数。而且，IDCT块还执行滤波，以消除来自变换系数的高频。在执行IDCT后，分样块然后以预定的速率采样8×8 IDCT块的输出，以降低被译码的视频输出帧OF的分辨率。
正如进一步看到的，译码器还包括由VLD块、缩减(downscale)块DS、运动补偿单元MC和帧存储器MEM组成的第二路径。在工作期间，缩减块DS与第一路径中的减小成比例地去减小由VLD块提供的运动向量MV的幅度。这使能减少存储器访问，因为运动补偿是以减小的分辨率被执行，以便匹配在第一路径中产生的帧的。另外，存储器尺寸也被减小，因为所存储的存储器帧具有减小的尺寸。
然而，输出帧的序列仍旧是隔行的，导致当在逐行显示器上呈现时的不能接受的人工产物。当然，可以把去隔行(de-interlacing)单元插入在修改的译码器与RGB转换器之间，但这是以复杂性和存储器传送为代价的。
发明概述本发明的一个目的是提出用于译码隔行视频序列以产生减小尺寸的逐行视频序列的、具有合理的复杂性的方法和设备。
为此，按照本发明的译码设备包括-部分译码单元，用于根据编码帧产生具有低于第一分辨率的第二分辨率的第一剩余误差场和具有低于第一分辨率的第三分辨率的第二剩余误差场；-第一预测单元，用于根据该第一剩余误差场、一个第一参考场和一个第二参考场而产生第一运动补偿场；-第一加法器，用于组合该第一剩余误差场与该第一运动补偿场，以便得到下一个第一参考场；-第二预测单元，用于根据该第二剩余误差场、该第一参考场和该第二参考场而产生第二运动补偿场；-第二加法器，用于组合该第二剩余误差场与该第二运动补偿场，以便得到下一个第二参考场，该下一个第二参考场相应于一个输出帧。
同样地，按照本发明的译码方法包括以下步骤-根据编码帧产生具有低于第一分辨率的第二分辨率的第一剩余误差场；-根据编码帧产生具有低于第一分辨率的第三分辨率的第二剩余误差场；
-根据该第一剩余误差场、一个第一参考场和一个第二参考场而产生第一运动补偿场；-组合该第一剩余误差场与该第一运动补偿场，以便得到下一个第一参考场；-根据该第二剩余误差场、该第一参考场和该第二参考场而产生第二运动补偿场；-组合该第二剩余误差场与第二运动补偿场，以便得到下一个第二参考场，该下一个第二参考场相应于一个输出帧。
正如下文中更详细地说明的，按照本发明的译码解决方案包括嵌入的重新定尺寸，它适于直接输出逐行序列，这样，通过译码环隐含地执行去隔行。这个解决方案的在计算、存储器尺寸和存取方面的费用高于现有技术的、不带有去隔行的视频译码器的费用，但它提供好得多的视觉质量。按照本发明的译码解决方案也是成本经济的，以及比起现有技术的、与去隔行相组合的视频译码便宜得多，并且在视觉质量方面实现得几乎与这种组合一样好。
有利地，部分译码单元串联地包括熵译码单元，用于从具有第一分辨率的编码数据块产生具有第二或第三分辨率的变换系数的块；逆量化译码单元，用于从量化的变换系数的块产生具有第二或第三分辨率的变换系数的块；和反变换单元，用于从变换系数块产生具有第二或第三分辨率的译码的系数的块。结果，反变换较小，这导致译码解决方案的较低的复杂性。
按照本发明的实施例，第二分辨率等同于第三分辨率。由于这样的特性，译码解决方案提供良好的视觉质量。
按照本发明的另一个实施例，取决于在译码设备处可得到的资源，第二分辨率是可变的。结果，当可得到全部资源，诸如电池电平或CPU时，译码是充分有效的，以及当可得到低的资源时，译码仍旧是可能的。
本发明还涉及包括译码设备和用来显示该组输出帧的屏幕的便携式设备。
所述发明最后涉及计算机程序产品，其包括用于实现按照本发明的译码方法的程序指令。
参照下文中描述的实施例将明白和将阐述本发明的这些和其它方面。
附图简述现在参照附图借助于例子来更详细地描述本发明，其中图1显示按照现有技术的译码设备的框图；图2显示按照本发明的译码设备的实施例的框图；图3举例说明按照本发明的实施例的场预测；图4举例说明按照本发明的另一个实施例的场预测；图5阐述从8×8 DCT矩阵的DCT系数提取；图6举例说明按照本发明的实施例的、在像素域中的图像重建；以及图7举例说明按照本发明的另一个实施例的、在像素域中的图像重建。
发明详述本发明涉及用于从隔行编码帧产生逐行帧的方法和设备。所述方法可被应用到其中帧序列必须被存储到存储器中的任何视频译码设备。这对于减小参考帧存储器的尺寸而同时保持译码的输出帧的足够总体视觉质量是特别令人感兴趣的。
按照本发明的译码设备的实施例的原理显示于图2。
这样的译码设备包括部分译码单元DECp，用于产生具有低于第一分辨率的第二分辨率的第一剩余误差场和具有低于第一分辨率的第三分辨率的第二剩余误差场，这两个剩余误差场是根据编码帧产生的。更精确地，编码帧被划分成多个编码数据值块。这些编码数据值例如是相应于像素的亮度或色度的离散余弦变换的DCT系数。按照本发明的实施例，部分译码单元DECp串联地包括-熵译码单元VLDp，例如根据可变长度译码，用于从具有第一分辨率的编码数据块产生具有该第二或第三分辨率的变换系数的块；-逆量化译码单元IQp，用于从量化的变换系数的块产生具有该第二或第三分辨率的变换系数的块；和-反变换单元ITp，例如根据反离散余弦变换IDCT，用于从变换系数块产生具有第二或第三分辨率的译码的系数的块。
本领域技术人员将会看到，对于部分译码单元可能有其它实施例，诸如在现有技术中公开的部分译码单元。这个DECp单元被称为部分译码单元，因为它执行编码帧的译码和缩减。
按照本发明的译码设备还包括两个预测单元PRED1和PRED2。如图3所示，第一预测单元PRED1适配于根据参考帧Ix的第一剩余误差场、第一参考场Fix1和/或第二参考场Fix2而产生预测帧Py的第一运动补偿场。第一加法器然后适配于组合第一剩余误差场与第一运动补偿场，以便得到下一个第一参考场Fiy1。
同样地，第二预测单元PRED2适配于根据第二剩余误差场、第一参考场Fix1或Fiy1和/或第二参考场Fix2而产生第二运动补偿场。第二加法器然后适配于组合第二剩余误差场与第二运动补偿场，以便得到下一个第二参考场Fiy2，所述下一个第二参考场相应于一个输出帧。
在本说明中，第一场是上部场(top field)和第二场是下部场(bottom field)，但是本领域技术人员将明白第一场可以是下部场而第二场是上部场。另外，编码帧在这里是被预测的P帧，但也可以是双向预测的B帧。
基本上，当前编码帧的两个场以减小的分辨率被译码，以及其中仅仅一个场被显示。由于在一个给定的时间显示一个场，所以没有隔行的人工产物。视觉质量因此被最佳地适配于最后的显示。而且，第一场是一个非显示的场，因为它可被用作为用于重建被显示场的参考，所以它也被译码。在MPEG2标准中，当应用“场运动补偿”时情况尤其如此。
当然，作为被显示场的第二场以显示分辨率(例如QCIF)被译码。关于其它场，最自然的解决方案是也以相同的分辨率译码它。这导致在尺寸和传送方面的存储器要求，与不带有去隔行的现有技术的嵌入重新定尺寸解决方案相比较，这些要求被加倍。由于这个场根本不显示而只是在这里去预测另一个场，所以这个场可以被译码为任何分辨率。更多的细节在下面的说明中给出。
为了清晰起见，下面的说明是基于MPEG2编码的比特流，因为它是在广播领域中最通用的压缩标准，但本领域技术人员将明白编码技术可以是任何基于块的编码技术(例如，MPEG-2、MPEG-4、H.264，等等)。
按照图3所示的第一例，译码方法适配于通过译码两个QCIF场而把隔行标准清晰度SD序列转换成逐行QCIF序列。
典型的输入空间分辨率是标准清晰度SD，它是指以隔行格式的在25Hz的720×576(PAL)或在30Hz的720×480(NTSC)。当前，大多数移动设备配备有近QCIF(逐行180×144或120像素)屏幕。它是指在水平和垂直方向上比率为4的空间缩减。我们现在更详细地描述导致重新定尺寸和去隔行的部分IDCT以及运动补偿。
如前所述，VLD译码的8×8 DCT矩阵的低频内容被使用来仿真抗混淆低通滤波。按照第三种方法，跳过上部AC系数，以及执行减小的IDCT，导致一个M×N像素输出数据块，而不是8×8像素数据块。
在我们的情形下，取决于在宏块标题中的dct_type的值(场DCT或帧DCT)，而使用DCT矩阵的下部2×2或4×2系数，如图5所示。更精确地，如果来自隔行帧图像的16×16像素的隔行宏决被进行帧DCT编码，则它的四个块的每个块具有来自两个场的像素。如果来自隔行帧图像的隔行宏块被进行场DCT编码，则每个块由来自两个场中的仅一个场的像素组成。在后一情形下，每个16×16宏块通过取像素的间隔行而被分割成16像素宽×8像素高的场，然后每个场被分割成左面和右面部分，从一个场做成两个8×8块和从另一个场做成两个8×8块。
在我们的译码方案中，显示的帧相应于原始场之一，它与原始的帧相比较已被垂直地缩减2倍。这个场然后必须在垂直方向上再被缩减2倍和在水平方向上再被缩减4倍，以便得到QCIF格式的输出逐行帧。如果dct_type被设置为1，则在编码器处应用场DCT，所以执行4×2IDCT。相反，如果dct_type被设置为0，则在编码器处应用帧DCT，所以以不同的相位执行两次2×2 IDCT，每个场一次。
更精确地，从16×16宏块的四个输入8×8 DCT矩阵，我们得出两个输出4×4像素块(对于每个重新缩放的场一个)。为此，使用修改的反变换函数，下文称为IDCT_N×M()。它的变元(argument)是8×8 DCT矩阵F、输出像素块f的预期维度N×M(N垂直地，M水平地)以及必须被应用以保持适当的像素对准的垂直和水平相移ver和hor。
IDCT_N×M的定义如下(对于y＝0到N-1和x＝0到M-1) 其中f(x，y)表示在位置(x，y)处的输出像素，F(u，v)表示在位置(u，v)处的输入DCT系数，以及C(u)被定义为
在本发明的实施例中，以及在SD到QCIF重新缩放的情形下，选择以下的值
关于相位，它们的值已被确定以对于给定的场保持帧IDCT与场IDCT模式之间的一致性，以便保持适当的像素对准。在两个场之间的相移是不太关键的，因为在所建议的本发明中所述场从不一起显示。无论如何，确保子采样的像素的中心位置处在原始网格上的相位是优选的，因为它防止了边界效应。实际上，截短DCT系数等价于仅仅在当前块内的理想的低通滤波。通过前面的表的值，相应于第一场Fi1的输出像素P1和相应于第二场Fi2的P2被空间地定位，如图6所示。
因此得出运动补偿MC。具体地，运动向量被调节，以便考虑两个场之间的相差。而且，取决于运动类型(帧或场MC)和运动向量值，可以考虑不同的方法。
在场运动补偿的情形下，策略是直截了当的，因为布尔值明显地给出用于预测的参考场。
对于帧运动补偿，取决于原始运动向量的垂直分量的值MV.y(在MPEG-2中以半个像素表示)，设想三种情形-情形1MV.y模4＝0在帧运动补偿过程中，场保持对准，即在原始的补偿帧块中相应于上部(分别地，下部)场的行用原始参考帧中的上部(分别地，下部)场的行来预测。所以在重新缩放的运动补偿中，每个场的预测仅仅通过使用相应的重新定尺寸的参考场而完成。为了达到子像素精度，可以使用内插。
-情形2MV.y模4＝2
在帧运动补偿过程中，相应于上部(分别地，下部)场的行用在原始的参考帧中的下部(分别地，上部)场的行被预测。所以，在重新缩放的运动补偿中，每个场的预测仅仅通过使用相应的重新定尺寸的参考场而完成。所以，在重新缩放的运动补偿中，每个场的预测仅仅通过使用相应的重新定尺寸的参考场而完成。为了达到子像素精度，可以使用内插。
-情形3其它预测是通过在原始的参考帧中两个场之间的半像素内插而完成的。这被转化成在两个重新定尺寸的参考场的适当行之间的适当子像素内插。
按照图4所示的另一个例子，该译码方法适配于通过译码QCIF格式的第一场与1/2 QCIF格式的第二场而把隔行标准清晰度SD序列变换成逐行QCIF序列。在本发明的这个实施例中，非显示的场还被垂直地缩减。对于IDCT_N×M的参数值然后是(如果显示下部场)
相应于第一场Fi1的输出像素P1和相应于第二场Fi2的P2因此被空间地定位，如图7所示。
按照新的相位，和按照非显示场的新维度，得出运动补偿。
这个实施例在其中CPU和存储器资源与第一例中描述的解决方案相比较需要进一步减小的应用中被证明是有效的。视觉质量稍微变坏，因为非显示的参考场比起显示的具有更小的分辨率，导致模糊的预测，但译码复杂性被减小。
本领域技术人员将会明白，非显示场的分辨率可以取不同于显示场的分辨率一半的其它值。而且，非显示场的分辨率可以取决于在译码设备上可得到的资源(电池电平，CPU...)而做成可变的。作为例子，如果对于显示场，N＝4且M＝2以及是在帧DCT的情形下，对于非显示场，N×M可以取决于可得到的资源而取以下的数值4×2，3×2，2×2，1×2，4×1，3×1，2×1，或1×1。
在广播条件下，编码视频序列的空间分辨率不一定是SD。原始SD序列在被编码之前常常被水平地减小尺寸。这用作为预处理级，以进一步减小最后的压缩的比特速率。在正常应用中，诸如被连接到电视机的机顶盒，译码的序列被水平地加大尺寸，以便在显示之前恢复正确的宽高比。
典型的空间分辨率是(对于PAL 576行；对于NTSC 480行)-SD 720像素/行-3/4 SD 540像素/行-2/3 SD 480像素/行-1/2 SD 360像素/行在作为目标的应用中，所建议的本发明可被应用于到所有那些格式。同样地，作为目标的逐行显示可以是与QCIF不同的(CIF或QVGA格式已存在于市场上)。IDCT_N×M的尺寸必须被适配以及相位必须被相应地设置，以便尽可能接近地适合在输入和输出空间分辨率之间的缩放比率。如果这个比率不能用(8×8 DCT矩阵的n/8形式的)整数值表示，则优选的解决方案要用最接近的整数值来近似它且如果维度大于(分别地小于)显示分辨率，则在呈现时修剪(crop)(分别地衬填(pad))它。
超越以前描述的实施例的改进在于使用DCT矩阵的最高的垂直分量，以便在帧DCT的情形下更好地区分两个场。
例如，在SD(隔行)到QCIF(逐行)的情形下，2×2低频AC系数被使用来生成两个2×2像素块(每个场一个，具有不同的相位)。它引起两个场之间的干扰，因为通过DCT截短，奇数行被偶数行污染，以及反之亦然。克服这个问题的一种方法是使用DCT矩阵中最后的系数行。实际上，这些频率代表在原始块的奇数行与偶数行之间的差别。
施加这种更好的场分离在非常特定的场合中，当两个场互相相差很大时(例如，在两个场之间的情景切换，闪光仅仅在两个场中的一个场期间出现等等)，会带来重大的视觉改进。如果可得到的资源足够大，则这可以被实施为附加的质量改进工具。
建议的本发明可被应用于具有视频能力的任何设备，其需要译码一被压缩的隔行视频序列和在逐行显示器上以减小的分辨率呈现它。本发明与完全顺序的过程相比较，允许大大地减小CPU使用、存储器要求、存储器带宽、等待时间和功率消耗，而同时与现有的简化方案相比较，去除了隔行的视觉人工产物。因此，它特别适用于在移动设备上的DVB-T接收，对于该移动设备，资源(存储器尺寸、处理速度和能量)有限，而同时延长的电池寿命和良好的视觉质量是关键的特性和相区分的因素。
本发明的几个实施例在以上仅仅借助于例子被描述，本领域技术人员将会明白，可以对所描述的实施例作出修改和变化，而不背离如由所附权利要求规定的本发明的范围。而且，在权利要求中，被放置在括号之间的任何参考标号不应当解释为限制权利要求。术语“包括”不排除除了权利要求所列出的那些以外的单元或步骤的存在。术语“一个”不排除多个。本发明可以藉助于包括几个不同单元的硬件以及藉助于适当地编程的计算机而被实施。在枚举几个装置的设备权利要求中，这些装置中的几个装置可以由同一项硬件体现。仅仅是在互相不同的独立权利要求中阐述措施的事实不表示这些措施的组合不能被使用来获益。
权利要求
1.一种用于译码具有第一分辨率(SD)的一组编码帧以产生具有较低分辨率(QCIF)的一组输出帧的设备，一个编码帧包括与一个编码的第二场相交织的一个编码的第一场，所述设备包括-部分译码单元(DECp)，用于根据该编码帧产生具有低于第一分辨率的第二分辨率的第一剩余误差场和具有低于第一分辨率的第三分辨率的第二剩余误差场；-第一预测单元(PRED1)，用于根据该第一剩余误差场、一个第一参考场(Fix1)和一个第二参考场(Fix2)而产生第一运动补偿场；-第一加法器，用于组合该第一剩余误差场与该第一运动补偿场，以便得到下一个第一参考场(Fiy1)；-第二预测单元(PRED2)，用于根据该第二剩余误差场、该第一参考场和该第二参考场而产生第二运动补偿场；-第二加法器，用于组合该第二剩余误差场与该第二运动补偿场，以便得到下一个第二参考场(Fiy2)，该下一个第二参考场相应于一个输出帧。
2.权利要求1的设备，其中编码帧被划分成多个编码数据块以及其中部分译码单元(DECp)串联地包括-熵译码单元(VLDp)，用于从具有第一分辨率的一个编码数据块产生具有第二或第三分辨率的变换系数的块；-逆量化译码单元(IQp)，用于从量化的变换系数的块产生具有第二或第三分辨率的变换系数的块；和-反变换单元(ITp)，用于从该变换系数的块产生具有第二或第三分辨率的译码的系数的块。
3.权利要求1的设备，其中第二分辨率等于第三分辨率。
4.权利要求1的设备，其中取决于在所述设备上可得到的资源，第二分辨率是可变的。
5.一种包括如权利要求1中要求的设备和用来显示该组输出帧的屏幕的便携式设备。
6.一种用于译码具有第一分辨率(SD)的一组编码帧以产生具有较低分辨率(QCIF)的一组输出帧的方法，一个编码帧包括与一个编码的第二场相交织的一个编码的第一场，所述方法包括以下步骤-根据该编码帧产生具有低于第一分辨率的第二分辨率的第一剩余误差场；-根据该编码帧产生具有低于第一分辨率的第三分辨率的第二剩余误差场；-根据该第一剩余误差场、一个第一参考场(Fix1)和一个第二参考场(Fix2)而产生第一运动补偿场；-组合该第一剩余误差场与该第一运动补偿场，以便得到下一个第一参考场(Fiy1)；-根据该第二剩余误差场、该第一参考场和该第二参考场而产生第二运动补偿场；-组合该第二剩余误差场与该第二运动补偿场，以便得到下一个第二参考场(Fiy2)，该下一个第二参考场相应于一个输出帧。
7.一种计算机程序产品，包括用于当由处理器执行所述程序时实现如在权利要求6中要求的方法的程序指令。
全文摘要
本发明涉及用于译码具有第一分辨率(SD)的一组编码帧以产生具有较低分辨率(QCIF)的一组输出帧的方法和设备。所述设备包括部分译码单元(DECp)，用于根据该编码帧产生具有低于第一分辨率的第二分辨率的第一剩余误差场和具有低于第一分辨率的第三分辨率的第二剩余误差场；第一预测单元(PRED1)，用于根据该第一剩余误差场、一个第一参考场(Fix1)和一个第二参考场(Fix2)来产生第一运动补偿场；第一加法器，用于组合该第一剩余误差场与该第一运动补偿场，以便得到下一个第一参考场(Fiy1)；第二预测单元(PRED2)，用于根据该第二剩余误差场、该第一参考场和该第二参考场来产生第二运动补偿场；第二加法器，用于组合该第二剩余误差场与该第二运动补偿场，以便得到下一个第二参考场(Fiy2)，该下一个第二参考场相应于一个输出帧。
文档编号H04N5/44GK1954613SQ200580015148
公开日2007年4月25日 申请日期2005年5月11日 优先权日2004年5月14日
发明者A·布尔热, F·格罗利耶, Y·勒马盖 申请人:皇家飞利浦电子股份有限公司