专利名称：用于评估压缩视频数据的客观质量的方法和系统的利记博彩app
技术领域：
本发明涉及用于评估压缩的视频和图像数据的质量的方法和系统，具体地，涉及在不参考源视频或图像数据的条件下评估画面的客观质量(即，峰值信号噪声比(PSNR))的方法和系统。
视频专家的最终目标是提供感性上最有吸引力的视频图像给观众。确定最终得到的图像质量是否良好的一个方法是请一组观众观看特定的视频序列以提供他们的意见。分析视频图像的另一个方法是提供评估视频质量的优劣的自动机制。这种类型的程序被称为“客观视频质量评估”。
测量压缩处理过程的画面质量的通用的方法是在经处理的图像与未经处理的源图像之间进行比较(此后称为“双端(double-ended)测量”)。使用各种度量(即，块状伪像度量(BAM)、PSNR、感性加权PSNR等等)来评估客观画面质量测量。具体地，PSNR是用于测量任何画面质量的最通常使用的参数，特别是在评估MPEG-2视频比特流的情形下。然而，双端测量具有某些缺点如果源数据或在源画面与经处理的画面之间的对准是不可提供的，则对经处理的画面和源画面的同时访问是不可行的。为了克服这个问题，当源既不能提供也不能控制时，已经提出“单端测量”来监视视频质量。不像双端测量，当评估视频质量时，单端测量技术只对在压缩的画面操作，而不用访问源画面。
许多用户端应用需要对编码的视频或图像(此后称为画面)质量的估计。例如，用户端需要增强或后处理画面。在这种情形下，质量的测量在控制环中是很重要的。因此，本发明提出使用PSNR度量的改进的客观质量评估，来评估压缩画面的客观质量，而不用利用源数据。
本发明针对通过利用从未压缩的画面直接估计得出的统计性质而在不访问源数据的条件下评估编码的视频数据的质量的设备和方法。
在优选实施例中，从译码的数据估计得出用于原始数据的统计模型的精确的参数，以及所述参数被结合对编码参数的知识(即，量化)而使用来估计量化误差，以便估计质量。
按照本发明的一个方面，提供了在不访问源数据的情况下评估编码的视频数据的质量的方法。至少编码的视频数据的一个重要部分被译码，以产生解压缩的、包括多个块的视频数据。如果内部编码的数据被检测到，则对于解压缩的视频数据执行离散余弦变换(DCT)，以产生包括至少一个DC(直流)频带和至少一个AC(交流)频带的DCT系数组。内部编码的画面是通过从解压缩的视频数据中提取内部DC精度(intra_dc_precision)水平和然后确定该内部DC精度水平是否小于预定的阈值而被检测。如果是的话，则确定译码的视频数据是内部编码的画面。此后，得出对于解压缩的视频数据的每个块的DCT系数参数(λ2)和量化步长(Δi，j)，然后根据DCT系数参数和量化步长估计每组DCT系数的平均量化误差(D)，最后根据平均量化误差(D)确定峰值信号对噪声比(PSNR)。量化步长(Δi，j)基本上相应于在以前对于编码的视频数据执行的编码操作时所使用的编码参数。平均量化误差(D)的估计包括估计AC频带的平均量化误差(Di，j)的步骤和估计DC频带的平均量化误差(D0，0)的步骤，以及AC频带的DCT系数参数(λ2i，j)是通过使得所计算的二阶矩(moment)等于DCT系数的估计的二阶矩而被确定的。
按照本发明的另一个方面，提供了用于评估编码的视频数据的质量的设备，它包括译码器，用于译码至少编码的视频数据的一个重要部分以产生解压缩的视频数据以及用于对于译码的视频数据的每个块提取量化尺度步幅；离散余弦变换器(DCT)，被配置成把解压缩的视频数据变换成包括DC频带和AC频带的一组DCT系数；量化提取器，用于对于解压缩的视频数据的每个块提取DCT系数参数(λ2)和量化步长(Δi，j)；统计量估计器，用于根据量化器步长和DCT系数参数估计每组DCT系数的平均量化误差(D)；以及计算器，用于根据平均量化误差(D)确定峰值信号对噪声比(PSNR)。统计量估计器用来估计AC频带和DC频带的平均量化误差(D)。AC频带的DCT系数参数(λ2i，j)是通过使得所计算的二阶矩等于DCT系数的估计的二阶矩而被确定的。该设备还包括画面检测器，用于检测在解压缩的视频数据的每个块中的内部编码的画面。
从以下结合附图给出的优选实施例的更详细的说明，本发明的以上和其它特性与优点将显而易见，其中标注字符在各个图中是指相同的部件。附图不一定是按比例的；相反地重点在于说明本发明的原理。
图1是由MPEG-2、MPEG-4、H.263、H.261和JPEG标准推荐的量化方案的图形说明；图2是显示按照本发明的一个实施例的画面质量检测器的简化方框图；图3是显示按照本发明的一个示例性实施例的设备的简化方框图；以及图4是显示按照本发明的估计画面质量的操作步骤的流程图。
在以下的说明中，为了解释(而不是限制)阐述具体的细节，诸如特定的体系结构、接口、技术等等，以便提供对本发明的透彻的了解。为了简单和清晰起见，熟知的装置、电路和方法的详细说明被省略，以免用不必要的细节模糊本发明的说明。
为了便于了解本发明，先解释有关MPEG-2和H.263编码的背景信息。通常，对于图像的MPEG-2和H.263编码是通过把图像划分成16×16像素的宏块而执行的，每个宏块具有一个与其相关的量化器尺度值。宏块还被划分成8×8像素的单独的块。每个8×8像素的块受到离散余弦变换(DCT)，以对于其中的64个频带中的每个频带生成DCT系数。8×8像素块中的DCT系数然后被除以相应的编码参数，即，量化权重。对于给定的8×8像素块的量化权重用8×8量化矩阵表示。此后，对于DCT系数施加附加计算以尤其考虑到量化器尺度值，由此完成MPEG-2和H.263编码。
参照图1，图上图形地显示由MPEG-2和H.263标准推荐的量化方案。通常，参数Δi，j代表在量化的系数之间的步长，它可以与平均帧量化步幅Q和MPEG量化矩阵Wi，j有如下的关系Δi,j=Wi,jQ16.]]>然而，如图1所示，由MPEG-2和H.263标准推荐的量化方案涉及到移位重建窗αi，j。这个参数αi，j与步长Δi，j有如下的关系αi,j=38Δi,j.]]>正如本领域普通技术人员将会看到的，在量化阶段期间发生所有的损耗。因此，平均量化步长和量化矩阵估量压缩的画面的质量的某些方面，因此有时直接被用作为质量度量。因此，本发明用PSNR度量的形式估计量化误差。
图2是其中应用本发明的实施例的简化电路图。本发明的系统10包括视频源12、编码器14、译码器16和质量检测器18。源12可以是任何类型的视频生成设备，诸如电视摄像机或能够根据特定的图像生成视频数据的其他视频设备。编码器14和译码器16可以分别是用于编码/译码MPEG2或H.263视频数据的本领域已知的任何传统的编码器和译码器。检测器18处理译码的视频数据，以便根据统计分析评估压缩的画面的客观质量而不用访问源视频数据。
图3显示按照本发明的实施例的、图1所示的译码器16和估计器18的代表性硬件。具体地，该实施例提供用于在编码的视频数据经由译码器16被解压缩后估计视频质量的机制。如图3所示，检测器18包括画面确定器20、8×8 DCT 22、量化参数提取器24、统计量估计器26和PSNR计算器28。应当指出，图3所示的检测器18可以代表微处理器、中央处理单元、计算机、电路卡、专用集成电路(ASIC)和存储器(未示出)。本发明的关键原理依赖于这样的事实P和B画面以及从而总的视频的质量通常是与MPEG-2和H.263编码的视频的内部画面的质量一致的。所以，如果可以仅仅对于内部编码的画面估计PSNR，则它用作为总的视频的质量度量，因为量化矩阵和平均量化步长往往反映画面质量的某些方面。
在操作时，在由译码器16译码后，译码的视频数据被转送到估计器18的画面确定器20。画面确定器20然后确定译码的视频数据是否为内部编码的。转让给相同的受让人的、题目为“System forExtracting Coding Parameters from Video Data(用于从视频数据提取编码参数的系统)”的美国专利No.6,101,278说明如何检测内部编码的视频数据，该专利在此引用以供参考。在MPEG-2和H.263视频中，内部DC精度控制内部编码的宏块或内部编码的画面中的DC DCT系数的量化粗糙度，并且其范围从8到11比特，11比特是当在内部DC系数中没有出现量化误差时达到的最高值。在大多数广播质量数字视频中，内部DC精度典型地被设置为8。因此，如果所估计的内部DC精度小于11，则当前的画面在本发明中被确定为内部编码的。
如果正被分析的当前的画面是内部编码的画面，则DCT块22使得译码的视频数据受到DCT处理，以便生成用于AC频带的DCT系数。此后，量化参数提取器24用来提取对于相应于在整个画面的以前的编码操作中所使用的每个宏块的量化矩阵(Wi，j)和量化器步长(Qm)。正如本领域普通技术人员将会看到的，量化矩阵包含64项，每项被指定一个权重。所述64项(每项是范围从1到255的8比特整数)相应于在一个块中的8×8DCT系数。权重和量化器尺度值确定DCT系数块的量化步长。转让给相同的受让人的、题目为“System for ExtractingCoding Parameters from Video Data(用于从视频数据提取编码参数的系统)”的美国专利No.6,101,278说明如何提取对于每个宏块的量化矩阵(Wi，j)和量化器步长Qm，该专利在此引用，以供参考。
一旦得出DCT系数的量化矩阵，就可由统计量估计器26执行DCT系数的统计分析。这里，假设原始画面DCT系数属于具有对于每个AC位置(i，j)的DCT系数参数λi，j的拉普拉斯分布。进行对编码的画面的第(i，j)个系数的二阶矩Si，j的估计，然后把所估计的二阶矩与DCT系数参数λi，j相联系，以便更精确地估计二阶矩。正如本领域技术人员将会看到的，编码的数据的二阶矩被计算为如下Si,j=Σb=1N(Ci,jb)2N---(1).]]>其中Cbi，j是块b中的第(i，j)个AC系数以及N是画面中块的总数。
申请人已确定，Si，j与λi，j按以下的数学关系式相联系Si,j=Δi,j2e-αi,jλi,je-3Δi,j2λi,j[1+e-2Δi,j/λi,j(1-e-Δi,j/λi,j)2]---(2).]]>因此，通过比较公式(1)和(2)，即使不访问原始DCT系数也可以确定DCT系数参数λi，j。
由于对于更高频率的系数所使用的非常粗糙的量化，有时使用公式(2)有可能导致对DCT系数参数λi，j的过估计。在这样的情形下，尤其是对于高频系数，我们使用下面所示的替换的关系式。
Si,j=2λi,j2---(3)]]>DCT系数参数λi，j然后通过比较公式(1)和(3)而被估计。这个替换的关系式只被使用于某些高频AC系数，它的粗糙的量化导致对参数λi，j的不精确的的估计。
典型地，对于低频AC系数，通过比较公式(1)和(2)进行对λi，j的估计，以及对于某些高频AC系数，通过比较公式(1)和(3)进行对λi，j的估计。通过仿真，实验地确定通过对于头24个AC系数使用公式(1)和(2)以及对于其余的AC系数使用公式(1)和(3)，得到最精确的结果。
在得到原始数据的量化参数和分布参数之后，统计量估计器26计算在帧上招致的平均量化误差。这里，对于DC系数和AC系数必须计算平均量化误差。
A.对于AC系数的量化误差Di，j的计算。
对于第(i，j)个AC系数，应当指出，在区间[kΔi，j+αi，j-Δi，j/2，kΔi，j+αi，j+Δi，j/2，]中的所有的值通过量化处理被舍入为kΔi，j，如图1所示。这导致量化误差；因此，这个数据的均方误差可以通过对所有这些区间上的误差进行求和而得到，即，找出每个区间的误差以及在全部区间上进行求和。这可以在数学上写为Di,j=12λi,jΣk=1∞∫-kΔi,j-Δi,j2-αi,j-kΔi,j+Δi,j2-αi,j(x+kΔi,j)2exλi,jdx+]]>12λi,jΣk=1∞∫kΔi,j-Δi,j2+αi,jkΔi,j+Δi,j2+αi,j(x-kΔi,j)2e-xλi,jdx+12λi,j∫-Δi,j2-αi,jΔi,j2+αi,jx2e|x|λi,jdx---(4).]]>公式(4)包含三个部分，在所有小于零的区间上的误差的求和值，在所有大于零的区间上的误差的求和值，和在以零为中心的区间上的误差。公式(4)可以通过如下地求解积分被简化Di,j=2λi,j2-2λi,jΔi,je-αi,jλi,je-Δi,j2λi,j(1-e-Δi,j/λi,j)[αi,jλi,j+1]---(5)]]>因此，简化的公式(5)可被使用来根据对λi，j和量化步长Δi，j的精确估计来估计AC系数误差。
B.对于DC系数的量化误差D0，0的计算。
在美国专利No.6,101,278中说明对于DC系数的量化误差D0，0的计算，该专利在此引用以供简单参考。D0，0直接从对于内部DC精度的知识而被估计。
表1.DC量化误差估计在得到DCT域中的DC和AC系数的量化误差后，统计量估计器26最后确定AC和DC系数MSE的平均值，它可以在数学上被表示为如下MSE=D=Σi=0,j=0i=7,j=7Di,j64---(6).]]>此后，PSNR计算器28通过使用由统计量估计器26得到的平均量化误差确定PSNR。PSNR的数值被使用来评估视频质量的任何恶化，以及可以通过使用下式来计算PSNR=10log10255×255D---(7).]]>图4是说明按照本发明的实施例的评估视频质量的操作步骤的流程图。应当指出，处理与判决块可以代表由功能上等效的电路(诸如数字信号处理电路或专用集成电路(ASIC))所执行的步骤。该流程图没有说明任何特定的编程语言的句法。相反地，该流程图显示本领域普通技术人员需要的、用来制作电路或生成计算机软件来执行特定的设备所需要的处理的功能性信息。
在接收来自译码器14的译码的视频输出后，在步骤100，由画面类型确定器20执行8×8块DC精度计算，以对于每个宏块确定译码的视频是否为内部编码的。应当指出，内部编码的画面具有与非压缩的画面(或P和B编码的画面)不同的的独特的统计性质。在步骤120，在确定被分析当前的画面是内部编码的画面后，所检测的内部编码的画面然后由DCT块22进行DCT变换，以生成视频数据中AC频带的DCT系数。在步骤140，量化参数提取器24用来对于每个帧提取相应于在以前的编码操作中使用的量化矩阵。提取量化矩阵(Wi，j)的处理过程是在如前所述的美国专利No.6,101,278中说明的。量化参数提取器24还用来对于每个宏块提取量化器步长/尺度。
此后，在步骤160，按照公式(1)和(2)，对于AC参数估计DCT系数统计量λ2i，j。在步骤160中确定DCT统计量λ2i，j后，在步骤180，通过使用公式(5)估计平均AC量化误差。平均DC量化误差是直接从如表1所示的内部DC精度估计的。对AC和DC量化误差进行平均，以得到总的量化误差，如公式(6)所示。最后，在步骤200，通过使用公式(7)计算PSNR。
在如此描述用于计算峰值信号对噪声比(PSNR)的系统和方法的优选实施例后，本领域技术人员应当看到，已得到所述系统的某些优点。按照本发明，不用参考原始视频，压缩的视频的PSNR可被使用来评估画面的质量。虽然已显示和描述本发明的优选实施例，但本领域技术人员将会看到，可以在不背离本发明的真正的范围的条件下作出各种改变和修改，以及可用等效物替代其中的元件。另外，可以在不背离中心范围的条件下，作出许多修改以适配于具体的情形和本发明的教导。所以，本发明不打算被限于作为预期用于实行本发明的最佳模式所公开的具体的实施例，反之本发明打算包括属于所附权利要求书的范围内的所有的实施例。
权利要求
1.用于评估编码的视频数据的质量的方法，该方法包括以下步骤译码所述编码的视频数据的至少一个重要部分，以产生解压缩的、包括多个块的视频数据；对于所述解压缩的视频数据执行离散余弦变换(DCT)，以产生包括至少一个DC频带和至少一个AC频带的一组DCT系数；对于所述解压缩的视频数据的每个块得出DCT系数参数(λ2)和量化步长(Δi，j)；根据所述DCT系数参数和所述量化器步长，对于每组所述DCT系数估计平均量化误差(D)；以及根据所述平均量化误差(D)计算峰值信号对噪声比(PSNR)。
2.权利要求1的方法，其中估计所述平均量化误差(D)的步骤包括估计AC频带的平均量化误差(Di，j)的步骤和估计DC频带的平均量化误差(D0，0)的步骤。
3.权利要求1的方法，其中所述PSNR如下地计算PSNR=10log10255×255D]]>其中D代表所述平均量化误差。
4.权利要求1的方法，其中所述平均量化误差如下地计算MSE=D=Σi=0,j=0i=7,j=7Di,j64]]>其中Di，j代表在每个块中对于第(i，j)个AC和DC频带的量化误差。
5.权利要求5的方法，其中对于AC频带的所述平均量化误差按以下公式被确定Di,j=2λi,j2-2λi,jΔi,je-αi,jλi,je-Δi,j2λi,j(1-e-Δi,j/λi,j)[αi,jλi,j+1]]]>其中λ2i，j代表对于所述AC频带的所述DCT系数参数以及Δi，j代表所述量化器步长。
6.权利要求5的方法，其中对于所述AC频带的所述DCT系数参数(λ2i，j)是通过使得所计算的二阶矩等于所述DCT系数的估计的二阶矩而被确定的。
7.权利要求6的方法，其中所述所计算的二阶矩由以下公式表示Si,j=Σb=1N(Ci,jb)2N,]]>其中Cbi，j代表在块b中的第(i，j)个AC系数以及N是总的块数。
8.权利要求6的方法，其中所述估计的二阶矩由以下公式表示Si,j=Δi,j2e-αi,jλi,je-3Δi,j2λi,j[1+e-2Δi,j/λi,j(1-e-Δi,j/λi,j)2].]]>用于低AC频带；以及Si,j=2λi,j2]]>用于高AC频带。
9.权利要求1的方法，其中所述量化步长(Δi，j)基本上相应于在以前对于所述编码的视频数据执行的编码操作中所使用的编码参数。
10.权利要求1的方法，其中对于所述解压缩的视频数据执行所述DCT的步骤是在检测到所述解压缩的视频数据的每个块中的内部编码的画面时被执行的。
11.权利要求10的方法，其中内部编码的画面按以下步骤被检测从所述解压缩的视频数据中提取内部DC精度水平；以及如果所述内部DC精度水平小于预定的阈值，则将所述译码的视频数据确定为内部编码的画面。
12.用于评估编码的视频数据的质量的设备，包括一个译码器(16)，用于译码所述编码视频数据的至少一个重要部分以从中产生解压缩的视频数据以及用于对于所述译码的视频数据的每个块提取量化尺度步幅；一个离散余弦变换器(DCT)(22)，被配置成把所述解压缩的视频数据变换成包括DC频带和AC频带的一组DCT系数；一个量化提取器(24)，用于对于所述解压缩的视频数据的每个块提取DCT系数参数(λ2)和量化步长(Δi，j)；一个统计量估计器(26)，用于根据所述量化器步长和所述DCT系数参数对于每组所述DCT系数估计平均量化误差(D)；以及一个计算器(28)，用于根据所述平均量化误差(D)确定峰值信号对噪声比(PSNR)。
13.权利要求12的设备，其中所述量化步长(Δi，j)基本上相应于在以前对于所述编码的视频数据执行的编码操作中所使用的编码参数。
14.用于评估编码的视频数据的质量的系统，包括用于存储计算机可读代码的存储器；以及适于耦合到所述存储器的处理器，所述处理器被配置成-译码所述编码的视频数据的至少一个重要部分，以产生解压缩的、包括多个块的视频数据；-对于所述解压缩的视频数据执行离散余弦变换(DCT)，以产生包括至少一个DC频带和至少一个AC频带的一组DCT系数；-对于所述解压缩的视频数据的每个块得出DCT系数参数(λ2)和量化步长(Δi，j)；-根据所述DCT系数参数和所述量化器步长，对于每组所述DCT系数组估计平均量化误差(D)；以及-根据所述平均量化误差(D)计算峰值信号对噪声比(PSNR)。
15.权利要求14的系统，其中如果所述解压缩的视频数据被确定为内部编码的画面，则所述处理器对于所述解压缩的视频数据执行所述DCT。
全文摘要
本发明涉及用于在不访问源数据的条件下估计编码的视频数据的质量的方法和系统。该系统被配置成通过使用MPEG/H.263译码器来译码压缩的视频数据，以产生解压缩的视频数据。被译码(16)的数据受到离散余弦变换(DCT)，以产生被确定为内部编码的解压缩的视频数据的一组DCT系数。同时，提取(24)包括用于每个解压缩的视频数据块的量化步长的量化矩阵。接着，从译码的视频估计(26)DCT系数的统计性质。然后，通过使用关于量化和统计性质的信息确定(28)AC和DC系数的平均量化误差。最后，这个所估计的量化误差被使用来计算(28)峰值信号对噪声比(PSNR)。
文档编号H04N7/26GK1656823SQ03811765
公开日2005年8月17日 申请日期2003年5月13日 优先权日2002年5月24日
发明者D·S·图拉加, Y·陈, J·E·卡维德斯 申请人:皇家飞利浦电子股份有限公司