专利名称：评估感知质量的方法
技术领域：
本发明涉及一种评估感知质量的全参考(FR)客观方法，具体涉及一种有分组丢 失和编码伪像的情况下评估已解码视频帧的感知质量的全参考(FR)客观方法。
背景技术：
可以将典型的视频通信系统分成三个主要组件，如图1所示，这三个主要组件分 别为输入YUV序列的编码310、传输320、以及解码330以获得输出YUV序列340。由于前 两个组件中不理想传输通道中的有损编码和分组丢失，因此在处理的视频帧中发生感知质 量劣化。尽管已经发现帧峰值信噪比(PSNR)的平均、均方差(MSE)或平均绝对误差(MAE) 与没有传输损坏情况下的已解码视频的感知质量非常相关，但是根本不清楚，这种度量与 在传输损坏情况下的感知质量有多少相似之处。由于移动电信设备(例如，蜂窝电话和PDA)变得更加普遍，随之出现的问题是如 何保证通过这些设备的视频传输具有令人满意的感知质量。然而，解决该问题看起来富有 挑战性。首先，该无线通信信道的带宽相对低，这典型地迫使已编码的视频序列的比特率也 较低，典型地导致视频质量在一定程度上被折衷或降低。无线信道的不可靠性还能够引起 已接收视频的显著质量劣化。例如，信道衰落效应可以引起传输的视频中几个片甚至多达 若干帧的丢失。同样关注以低比特率和低帧分辨率、以及以例如第三代电信网络(3G)的 信道特性编码的视频的质量评估，其中，突发丢失会引起已编码比特流的每个画面组(GOP) 中两个连续P模式帧410的丢失。在图2中示出了具有分组丢失的已编码视频序列(一个 G0P)的图示，其中，块400表示正确解码的帧，块410表示丢失帧，以及块420表示错误传播 帧。由于解码器不会接收到所有视频数据，因此该解码器必须隐藏丢失的数据，使得 剩余的视频序列可以被完全解码。然而，隐藏的数据能够向GOP中的后续帧传播错误，并且 实际传播效果取决于不同的错误隐藏。在JM10. OH. 264/AVC解码器中，存在三种错误隐藏 方法帧拷贝、运动拷贝、以及帧冻结。帧冻结方法通过以下操作来隐藏丢失丢弃丢失后接收到的GOP中的所有数据， 并且保持最后正确解码的帧，直到GOP的结尾为止，从而在视觉上，每次丢失引起视频在若 干帧的时间内具有一个冻结的帧。由于通过这种方法进行隐藏之后在视频帧中不存在空间 混沌，因此时间因素对感知质量的影响是主要的。一般地，运动拷贝和帧拷贝方法在对错误传播的帧的感知效果方面是类似的，并 且沿着运动对象的边缘存在明显的局部图像混沌，这极大地劣化了视频帧的感知质量。然 而，对于被隐藏的丢失帧，帧拷贝方法仅拷贝最后正确解码的帧，而运动拷贝基于最后正确
3解码的帧的运动信息来估计丢失帧。度量是在定量或定性方面表述的可验证测量。度量是获取如何相对于标准进行某 事方面的性能的可验证度量。质量度量数据可以用于发现性能的趋势、比较备选的性能、或 者甚至预测性能。通常，识别有效的度量是困难的。可以根据对原始参考图像的可访问性，来对客观的图像或视频质量度量进行分 类，并且这种分类可以包括三个类别全参考(FR)方法、部分参考(RR)方法、以及无参考 (NR)方法。许多现有的质量度量是全参考(FR)方法，意味着可以访问完全参考图像。然而， 在许多实际应用中，参考图像是不可用的，并且无参考(NR)方法或“盲”质量评估方法是令 人期望的。部分参考(RR)方法在以上两个极端之间，这是由于参考图像的一部分可用于帮 助评价失真图像的质量。在典型的视频通信系统中，如图1所示，由于有损编码和不完善信道而引起的编 码伪像和传输错误均能够引入失真。传统错误敏感性方案包括诸如PSNR、MSE、或MAE等度量，假定图像或视频质量劣 化是失真的强度平方差与参考图像像素的平均。然而，特别是在有分组丢失的情况下，这 些传统方案未必与实际感知质量等级非常匹配。在其他子类别中，度量假定人类视觉系 统(HVS)非常适合于提取结构信息而不是每个单独像素。(见，Z. Wang、Bovik、H. Sheikh、 禾口 Ε· Simoncel1, "Image Quality Assessment :From Error Visibility to Structural Similarity", IEEE Transactions on Image Processing vol. 13，no4，2004 年 4 月)具体地，这些度量基于所有图像上运行的滑动矩形窗内参考与失真图像的第一和 第二运动统计，来比较参考与失真图像的亮度、对比度、以及结构信息。尽管这些度量能够 相当好地评价参考与失真图像之间的相似性，但是在存在以及不存在一些常见噪声地情况 下，计算复杂性显著增加。此外，对受到分组丢失破坏的视频帧的实验证明不能保持良好性 能。为了提高错误敏感性方法的性能，在利用HVS的已知特性的质量评估方法的开发 方面做了很大努力。大部分提出的感知质量评估模型根据对感知质量的影响采用了合并原始与失真 图像之间的差异的策略，但这些模型受到了惩罚。尽管这些模型提高了针对具有编码伪 像的已编码视频的客观模型得分与主观质量等级之间的相关性，但是在有分组丢失的情 况下这些模型都失效。(见，W. Lin、L. Dong、和 P. Xue 等人，"Visual Distortion Gauge Based on Discrimination of Noticeable Contrast Changes", IEEE Transactions on Circuits and System for Video Technology, vol.15, No. 7, 2003 年 7 月；Ζ. ffang> Α. C. Bovik,"A human visual system based objective video distortion measurement system", Proceedings of the International Conference on Multimedia Processing and Systems，2001年8月)由于分组丢失的视觉影响问题变得迫切，因此已经开始了在该 领域的一些研究工作。^"The Effects of Jitter on the Perceptural Quality of Video，，巾， Μ. Claypool和J. Tanner发现，抖动对感知质量的劣化与分组丢失对感知质量的劣化几 乎一样，并且与完美视频的感知质量相比，低等级抖动或分组丢失情况下的感知质量劣化
4更剧烈。(见，M. Claypool 禾口 J. Tannner，"The Effects of Jitter on the Perceptual Quality of Video”，ACM Multimedia, Volume2, Orlando, FL，1999 年 11 月)。提出了一 种由R. R. Pastrana-Vidal和J. C. Gicquel开发的评估由图像劣化而引起的流畅性破坏对 用户质量感知的景i响。(见，R. R. Pastrana-Vidal 禾口 J. C. Gicquel,“Automatic quality assessment of video fluidity impairments using a no-reference metric，，，in Proc. of 2nd Iht. Workshop on Video Processing and Quality Metrics for Consumer Electronics，2006年1月)这种无参考度量能够计算若干不同图像劣化条件下对质量 的影响。此外，K. Yang、C. Guest、K. El-MalehjP P. Das公开了一种新颖的客观时间质量 度量PTQM，包括帧丢失量、对象运动、以及局部时间质量对比度。(见，K.Yang、C. Guest、 K.El-Maleh、 禾口 P.Das,"Perceptural temporal quality metric for compressed video"Multimedia, IEEE Transactions on,2007 年 11 月)尽管提出的度量已经具有令人感兴趣的结果，但他们的结论是分组丢失仅引起时 间劣化，而不会引起后续帧的空间错误传播，并且没有讨论由分组丢失所引起的错误传播。在"Evaluation of perceptual video quality using saliency map，，中，X. Feng 和Τ. Liu使用自动产生的显著图来合并错误传播的帧的MSE，并且合并后的错误与那些帧 的感知质量非常匹配。(见，X.Feng和T.Liu，2008年提交的“Evaluation of perceptual video quality using saliency map”，ICIP)然而，显著图的复杂计算是不期望的。在 "No-reference metrics for video streaming applications，，中，提出两禾中 NR 度量用 于度量已解码视频中的块边界损坏伪像。(见，R. Venkatesh, A. Bopardikar, A. perkis 禾口 0. Hillestad, "No-reference metrics for video streaming applications，，，in Proceedings of PV 2004年 12 月 13-14，Irvine, CA，USA, 2004)在“No-reference metrics for video streaming applications”中公开的块度量是基于对块边缘周围的活跃性的度 量，以及基于对可能有助于视频帧中块的总感知的块的数目进行计数。尽管上述参考文献中检验到的分组丢失引起了空间劣化，但是该丢失仅针对几个 片并不是针对整个帧。在这种情况下，失真被定形为矩形，并且严重的不连续可以用作丢失 的线索。然而，其优点是在丢失的分组是整个帧的情况下度量活跃性，这使得很难区分传播 的错误。不使用传统方法，在“Visibilityof individual packet losses in MPEG-2 video” 中，A. Reibman、S. Kanumuri> V. Vaishampayan> 禾口 P. Cosman 开发统计模型来预 测分组丢失的可见性。(见，A. Reibman、S. Kanumuri> V. Vaishampayan> 禾口 P. Cosman, "Visibility of individual packet losses in MPEG-2 video，，，ICIP 2004.)使用分类和 回归树(CART)以及通用线性模型(GLM)来预测分组丢失的可见性，而没有明确讨论分组丢 失对感知质量的景多口向。在"An Artificial Neural Network for Quality Assessment in Wireless Imaging Based on Extraction of Structural Information，，中，U. Engelke 禾口 !1.2印吐1^吐公开了人工神经网络(ANN)如何用于感知图像质量评估。(见，U. Engelke和 H.Zepernick, "An Artificial Neural Network for Quality Assessment in Wireless Imaging Based on Extraction of Structural Information", ICASSP 2007.)质量预 贝Ij 基于结构图像特征，例如，块效应、模糊、图像行为、以及强度掩蔽。ANN方法的优点可以实时 实现极高性能，而其缺点在于实现这种方法的显著复杂性。
发明内容
鉴于上述技术问题做出了本发明，并且本发明的目的是提供一种全参考(FR)客 观方法，用于在有分组丢失和编码伪像的情况下评估已解码视频帧的感知质量。本发明的另一目的是提供一种方法，通过以下操作来评估感知质量首先访问对 相应部分中的失真量加以指示的值，然后将所述值分类为分组丢失失真或编码伪像失真。 接着，基于分类对分类的值进行修改，以说明人类视觉系统的可见度差异，然后对多个部分 的修改后的值进行组合，以形成对多个部分的总失真量加以指示的值。
参照附图，以下参照实施例更详细描述本发明，在附图中图1是典型的视频传输系统的图示；图2是具有分组丢失的已编码视频序列(一个G0P)的图示；图3是由于背景亮度变化而引起的可见度阈值的图示；图4是用于视频质量评估的基于块的JND算法的流程图。
具体实施例方式现在更详细地描述本发明。现在更详细参照附图和方程中所示的本发明的实现方 式。至少一个实现方式提供了一种在有分组丢失的情况下评估已解码视频帧的感知 质量的全参考(FR)客观方法。基于参考帧的边缘信息，计算错误传播的帧的每个图像块的 可见度，并且相应地合并每个图像块的失真，并然后对整个帧的质量进行评估。这样的一种方案解决了在通过H. 264/AVC编解码器对视频帧进行编码、并且整个 帧由于传输错误而丢失情况下发生的状况。然后，利用高级错误隐藏方法对视频进行解码。 这样的一种实现方式提供一种正确设计的错误计算和合并方法，该方法利用由编码失真和 分组丢失而引起的失真的空间掩蔽效应。利用相当低的复杂性，至少一个这种所提出的评 估感知质量的方法提供了与实际主观质量评价极其相关的劣化帧质量等级。在另一实现方式中，评估受到分组丢失破坏的已编码视频帧的感知质量的全参考 方法(FR)目的在于通过无线网络传输的、以低比特率和低分辨率由H. 264/AVC编解码器编 码的视频序列。在这种情况下，视频质量受到编码伪像(例如，模糊)和分组丢失的共同影响，这 些影响引起空间和时间上传播的错误。在这样的实现方式中，JM10.0H.264解码器用于对 已编码序列进行解码，在该解码器中采用帧拷贝错误隐藏。已编码视频的GOP长度较短，从 而假定一个突发分组丢失，该突发分组丢失引起在一个GOP内丢失两个帧。因此，由一个分 组丢失所引起的错误可以传播至没有受到另一分组丢失干扰的GOP的结尾。度量的各种实 现方式对视频序列中所有帧、正确接收到的帧、错误隐藏的帧、错误传播的帧的质量进行评 估，并且可以直接或间接应用这些帧质量，以产生整个视频序列的单个数值质量评估。该方法的一个方面是首先定位编码伪像以及由分组丢失而引起的传播错误。本发 明分别评估它们的感知影响，然后利用两种失真的加权和来评估整个帧的质量。这种对于上述两种失真的区别处理的合理性是基于以下观察两种不同的失真以明显不同的方式和 程度劣化了视频质量，并且不能通过这两种失真在MSE或MAE方面的差异对这些差异进行 建模。分组丢失的感知影响通常针对图像的局部区域，而H. 264的编码伪像的视觉效应，特 别是模糊，典型地劣化了整体图像质量。评估错误传播的视觉影响的另一方面是区分错误的位置。例如，确定错误是在边 缘区域、纹理区域还是在单色区域。由于HVS对于不同位置的错误做出不同响应，因此上述 是有用的。在单色区域或对象的边缘上发生的错误看起来比那些在纹理区域中发生的错误 更恼人。因此，在评估视频帧质量时，针对所提出的方法的至少一个实现方式考虑两种空间 掩蔽现象。可以将用于实现感知视频质量评估方法的整个过程分成四个部分(i)参考画面 的边缘检测，(ii)对编码伪像失真以及由分组丢失失真引起的传播错误进行定位，(iii) 分别为分组丢失影响以及源编码影响的块计算感知失真，以及(iv)将来自于帧中所有块 的失真合并在一起，将在本文的下个部分中讨论其中的每个部分。在图4中概述了本发明的优选实施例，以在方框100中提供的参考帧(即，原始 帧)开始。根据参考帧，在方框110中执行边缘检测，随后计算每个8X8块的边缘密度，然 后将特定边缘密度值馈送到方框141中。(在优选实施例中，首先将帧划分成8X8个块，这 些部分中的每一个被称作8 X 8块)此外，根据参考帧，在方框125中计算每个8 X 8块的平 均亮度值(mean_luma(i，j))，同样将平均亮度值馈送到方框141中。方框140表示也被馈 送到方框141中的附加计算。方框140计算原始失真，在优选实施例中，计算的原始失真作 为如方程1所定义的针对每个8X8块的如方框110中所示的参考帧和处理后的帧之间的 平均绝对误差(MAE)。(在后续段落中描述方程1和在图4的描述中提及的其他方程)接 着，判定框150采用来自于方框141的数据，并确定有关的8 X 8块的原始失真是否超过特 定阈值，在优选实施例中，MAE失真的优选阈值为10。如果阈值超过块MAE，则将该块识别 为源编码影响的块，通过方程6在方框155中计算源编码引起的感知(视觉)失真D。@(i， j)。否则，将该块识别为分组丢失影响的块，并且结合对纹理和对比度掩蔽的考虑，通过方 程4在方框130中计算JND(i，j)，然后使用方程5在方框135中计算分组丢失引入的感知 (可见)失真0广<1(1，」)。在方框130中，为了计算COnt_thresh(i，j)，应当参照图3，并使 用针对背景亮度的mean_lUma(i，j)。将来自于判定框150的结果馈送到方框156中，使用 方程7在方框160中计算针对整个帧的感知合并，在方框165中获得帧的感知失真。I.边缘检测在研究图像/视频理解和质量评估时边缘信息非常重要。首先，HVS对于对比度比 对于绝对信号强度更敏感，并且在有分组丢失情况下的图像不连续可以是人类辨别错误的 暗示。因此，边缘和轮廓信息是用于在分组丢失的情况下评估图像质量的最重要信息。此 外，较强的边缘的密度可以被视为图像和视频的纹理丰富度或活跃程度的指示，该密度与 另一非常重要的HVS属性(空间掩蔽效应)紧密相关。可以使用边缘检测方法来执行边缘信息的提取。在一个实现方式中，通常的高斯 拉普拉斯算子(LoG)方法可以与被设置为2. 5的阈值一同使用，该方法在参考帧中呈现相 对强烈的边缘。
7
II.失真的定位一些最广泛接受的用于计算参考与测试视频帧之间的失真的方法是MAE、MSE或 PSNR，在数学上计算如下 变量o(x，y，tn)和d(x，y，tn)表示在帧、中的位置(x，y)处的原始图像(即，方 框100中的参考帧)像素和处理后的视频图像(即，方框105中处理后的帧)像素，变量A 表示图像的最大灰度级(例如，针对8比特表现)，以及X和Y变量表示帧维度。如果仅考虑图像小区域，则一般可以将MAE和MSE修改为对测试图像的局部失真 加以评价的局部MAE和MSE。例如，为了提高效率，可以仅使用亮度分量来执行评估，这是由 于亮度典型地相比于色度而言在视觉质量感知中起到更重要的作用。典型地，诸如H. 264编码等有损编码的伪像由视频帧之间的运动估计的预测错误 的统一量化引起的。由于解码器中非常高效的去块滤波器，主要的视觉失真典型地是模糊， 在对象的边缘上或者图像的相对平滑区域会感知到这种模糊。此外，典型地，感知到这样的 伪像劣化了全部帧的质量。当帧中一个或多个分组的丢失会劣化视频质量时，主要的问题是向所属的帧传播 错误。典型地，在这些帧中的主要质量劣化是局部图像混沌或位于错误位置的某些小图像 段，具体地，在运动对象的边缘周围。很难使用单个统一算法来处理两种类型的失真。在各 个实现方式中，本发明通过以不同方式处理两种类型的失真，解决了这种情况。根据局部MAE的计算，一般传播的错误在失真区域中产生比编码伪像更高的失 真。因此，本发明确定针对局部MAE的正确阈值选择可以用于区分两种失真。在本发明的至少一个实现方式中，首先将整个参考帧和测试帧划分成8X8个块， 针对块来计算在方程5和6以及图4中表示为D。(i，j)的原始失真，在优选实施例中，计算 该原始失真作为方程(1)中定义的MAE。对于优选MAE失真，在判定框150中将阈值设置为 10，将使得失真大于或等于10的块视为传播的错误区域，并且将失真小于10的那些块 为 具有编码伪像的区域，例如，模糊区域。由于编码伪像典型地取决于编码器的量化参数(QP)，在本发明的各个实现方式 中，可以自适应地改变阈值。因此，可以为此开发一些自适应方法。在各个实现方式中，QP从30变化到38，并且由于传播的错误的局部MAE通常比 编码伪像的局部MAE更高，因此，可以执行阈值选择。选择该阈值的另一原因在于，在各个 实现方式的后续处理(以下进一步描述)中使用的对比度(或亮度)掩蔽的最小阈值也为 10，并且可以通过对比度和纹理掩蔽的组合效应来掩蔽掉10个像素值以下的局部失真。可以在该步骤中使用用于度量图像之间相似性的其他方法，例如，SSIM。对于质量 度量的一些实现方式，可以避免阈值选择。III.感知失真计算
为何MAE典型地不是用于评估感知视频质量的好方法的至少一个原因在于，该方 法平等地处理每个图像像素，而不考虑任何HVS特性。因此，至少一个实现方式利用纹理和 对比度掩蔽来提高其性能。对比度掩蔽或亮度掩蔽的效应在于，对于数字图像而言，HVS很难辨别出非常暗或 白区域中测试及其邻域之间的亮度差异，这意味着那些区域中的可见度阈值较高。因此，对 于上述事实，确定分段线性近似作为如图3所示由于背景亮度改变而引起的可见度阈值。 图3示出了实验数据，其中，垂直轴10是可见度阈值(方程6的contjhreshold)，水平轴 20是背景亮度，实线30是作为背景亮度函数的可见度阈值。纹理掩蔽的效应在于，一些图像信息由于其高度纹理化的邻域而对于HVS不可见 或不可察觉的。具体地，一些失真如果位于该纹理区域中，则可以掩蔽掉这些失真，使得感 知质量不会劣化更多。可以基于图像统计信息(例如，标准偏差和2D自相关矩阵)来量化 纹理程度。然而，在各个实现方式中，所提出的方法使用边缘密度来指示局部图像区域中纹 理的丰富度，并且这在性能与计算复杂性之间具有良好折衷。III. 1传播的错误的感知失真传播的错误通常是位于错误位置的一些失真图像区域或小图像片。由于这种错误 的局部视觉效应，这种错误会受到对比度和纹理掩蔽效应的共同影响。换言之，能够注意到 由传播的错误所引起的局部失真。例如，如果错误是在组合的掩蔽效应的可见度阈值之上。 否则不能看到失真。最小可察觉失真(JND)意味着只有HVS能够看到失真的量。为了计算参考帧中每个块的JND曲线，本发明提出了图4所示的基于块的JND算 法，针对每个8X8块位置，将块的总掩蔽(JND)效应的可见度阈值建模为Thresh_visibility = JND = max(b*den_edge, cont_thresh) (4)变量den_edge是参考帧的边缘图中8个邻近块的平均密度，变量c0nt_threSh是 图3所示仅由对比度掩蔽效应产生的可见度阈值。数值参数b是标度参数，使得b*den_edge 仅是纹理掩蔽效应的可见度阈值。在一个实施例中，将b设置为500。然而，例如，可以选择 b，以将主观测试结果与客观数值得分相关。例如，通过适当选择b的值，可以增加失真值与 主观测试结果之间的相关性。注意，所提出的JND曲线是基于块的，并且通过将该基于块的JND与传统基于像素 的JND进行比较，显著降低了计算复杂性。此外，基于块的方法特别适合于以下情况局部 地群集传播的错误，而不是分散这些错误，典型地，这是由于针对基于像素的JND的邻域太 小，并且会因传播的错误而完全失真。根据该JND曲线，可以对块的失真进行归一化，并将其转换成JND单位。因此，由 传播的错误所引起的总感知失真如下Difd(Ij) = max(-^4r-1,0)(5)这里将8X8块(i，j)识别为分组丢失影响的块。Dji，j)表示该块在原始参考 帧与处理后的帧之间的原始失真。在优选实施例中，计算该原始失真作为如方程1所定义 的MAE。Dind(i，j)是JND转换后的块感知失真。通过方程⑷计算JND (i，j)。计算由传播的错误所引起的感知失真的过程的概要如下1.基于原始参考帧进行边缘检测。基于所获得的每像素二值边缘图，来如上方程
94所描述针对每个8X8块计算边缘密度。2.计算参考帧与处理后的帧之间的差值，并且选择差值比方框150中的阈值(在 实现方式中为10)大的8X8块，作为分组丢失影响的块。否则将该块识别为源编码影响的 块。3.对于分组丢失影响的块，计算对比度掩蔽和纹理掩蔽的可见度阈值，然后计算 如方程4中定义的总JND阈值。4.对于分组丢失影响的块，计算其如方程5中定义的感知失真。III. 2编码伪像的感知失真尽管感知视频质量劣化主要是由于传播的错误引起的，传播的错误是由在以较低 QP对视频进行编码时的分组丢失所引起的，但是随着QP的增大，编码伪像的视觉影响也增 大。因此，本发明将那些失真计算在整个帧的总失真内。然而，由于编码伪像的全局性，使用 邻域来掩蔽中心失真的方法会出现问题，这是由于邻域典型地也会因类似的伪像而失真。通过大量的主观实验，已经确定由编码伪像所引起的这种失真倾向于在平滑区域 上“扩散”，并且引起更多感知失真，但是这种倾向看起来在较强边缘区域被“阻止”或“减 轻”。因此，本发明提出了另一纹理掩蔽方法，基于边缘信息来计算编码伪像的感知失真。该 方案基于以下发现具有更多边缘的块很少受到失真的影响，对于具有较少边缘的块而言， 失真较大。将边缘密度与感知编码失真之间的关系建模如下DcJnd(i，j) = D。(i，j) · (l_den_edge)(6)这里，将8X8块(i，j)识别为源编码影响的块。Dji，j)表示该块在原始参考帧 与处理后的帧之间的原始失真。在优选实施例中，计算该原始失真作为如方程1中所定义 的MAE。Df(i，j)是块的感知失真。注意，方程(6)中的失真标度因子(l-den_edge)是标度因子的简化版本，其也在 许多实现方式中适用。为了获得所计算的感知失真与实际感知失真之间的较高相关性，其 他实现方式根据HVS特性以不同方式来处理不同的图像区域，例如，单色、边缘或纹理区 域。IV.失真合并如上所述，视频质量劣化会由编码伪像和传播的错误的联合效应而引起。此外，如 上所述，本发明可以分别确定这些不同失真的感知质量劣化。各种实现方式使用失真合并 或加权，来产生针对整个视频帧的最终单个质量指示符。这样的一种合并/加权如下DcJnd(i，j) = D。(i，j) · (l_den_edge) (6)这里，A和B表示被分别识别为分组丢失影响的或源编码影响的块的所有8X8块 的集合。PD是整个处理后的帧的总感知失真，参数w是两种失真之间的加权因子。实际上， w还可以是编码器的量化参数(QP)的函数。具有足够QP样本的实现方式可以预测w以QP 之间的关系。其他实现方式分别为两个QP简单设置诸如0.125和0.25的值。方程(9)的 其他形式对于本领域普通技术人员而言是显而易见的。基于以上计算的总感知失真，客观估计的质量得分与主观视频质量等级极其相 关，其中，皮尔逊相关性为-0. 9084，而传统AME与主观得分之间的相关性为0. 4395，这意味 着本公开中描述的各个实现方式中所提出的度量是成功的。本发明公开了具有特定特征和方面的一个或多个实现方式。然而，所描述的实现
10方式的特征和方面还可以适用于其他实现方式。例如，在不同实现方式中可以以许多方式 来改变所描述的方法。例如，这些方式中一些包括对丢失部分帧、GOP中丢失多于2个帧、 或者GOP中丢失连续帧的系统应用这些构思。尽管可以在具体上下文中描述这里所描述的 实现方式，但是这样的描述决不应当视为将特征和构思限制于这样的实现方式或上下文。 例如，在一个实现方式中，对由有损编码和分组丢失引起的两种失真进行合并。例如，这里所描述的实现方式可以以方法或过程、设备、或软件程序来实现。即使 仅在单个形式的实现方式的上下文中进行讨论(例如，仅作为方法进行讨论)，所讨论的实 现方式或特征也可以以其他形式(例如，设备或程序)来实现。例如，设备可以以适当的硬 件、软件和固件来实现。例如，方法可以以诸如计算机或其他处理设备等设备来实现。此外， 方法可以由被处理设备或其他设备执行的指令来实现，并且这样指令可以存储在计算机可 读介质上，例如，CD、其他计算机可读存储设备、或集成电路。此外，计算机可读介质可以存 储由实现方式所产生的数据值。如对于本领域技术人员而言显而易见的，实现方式还可以产生被格式化以承载例 如可以被存储或传输的信息的信号。信息可以包括，例如，用于执行方法的指令、或者由所 描述的实现方式之一产生的数据。此外，可以在编码器、编码器的预处理器、解码器、解码器的后处理器中的一个或 多个中使用许多实现方式。例如，所描述的方法中的一个或多个可以用于RD计算，来通知 编码判定，或者监控接收到的图像数据的质量。在一个实现方式中，一种用于评估已解码视频的感知质量的全参考方法，对由分 组丢失所引起的错误传播的帧的质量进行评估，其中利用不同的空间掩蔽方案分别评估编 码伪像和由分组丢失所引起的错误传播的失真。在另一实现方式中，本发明包括用于对基于块的最小可察觉失真进行建模的方 法，最小可察觉失真组合了针对由分组丢失所引起的失真的的纹理掩蔽效应和对比度掩蔽 效应，其中，邻近块的边缘密度用于计算针对由分组丢失所引起的失真的纹理掩蔽阈值。此 外，块的边缘密度可以用于计算针对H. 264的源编码伪像的纹理掩蔽阈值。在另一实现方式中，数字图像或数字图像序列的质量度量包括度量与分组丢失 相关联的失真，或者在归因于分组丢失的失真与归因于编码伪像的失真之间进行区分的方 法。对失真的结果应用阈值，以便对与分组丢失或编码伪像相关联的结果进行分类，或者可 以将归因于分组丢失的失真和归因于编码伪像的失真进行组合，以提供针对数字图像或数 字图像序列的总失真值。在任何以上实现方式中，一个或多个掩蔽可以用于调整失真值，具体地，可以使用 纹理掩蔽和对比度掩蔽中的一个或多个。可以使用一个或多个掩蔽中的至少一个来确定 JND，并且可以使用边缘强度的度量来确定纹理掩蔽，像素强度的分段连续函数用于确定对 比度掩蔽。在实现方式中，提供了一种用于评估数字图像或数字图像序列的感知质量的方 法，所述方法对分组丢失之后由错误隐藏引起的一个或独个错误传播以及编码伪像相关联 的失真进行度量。对于所度量的失真的结果应用阈值，以便将结果分类为与分组丢失或编 码伪像相关联。可以将归因于分组丢失的失真和归因于编码伪像的失真进行组合，以提供 针对数字图像或数字图像序列的总失真值。一个或多个掩蔽用于调整失真值，其中，一个或
11多个掩蔽包括纹理掩蔽和对比度掩蔽。基于一个或多个掩蔽中的至少一个来确定JND。此 外，使用强度的度量来确定纹理掩蔽，并且像素强度的分段连续函数用于确定对比度掩蔽。根据本公开中描述的一个或多个实现方式来产生、组装、存储、传输、接收和/或 处理失真的度量。根据本发明，已经考虑了能够根据所描述的实现方式之一进行操作或与所描述的 实现方式之一进行通信的设备(例如，编码器、解码器、预处理器、或后处理器)。此外，考虑 另一设备(例如，计算机可读介质)，该设备用于根据本公开中描述的实现方式来存储失真 的度量，或者根据本公开中描述的一个或多个实现方式来存储用于度量失真的指令集合。此外，根据本发明，考虑被格式化为使得包括与本公开中描述的失真的度量有关 的信息在内的信号。信号可以是电磁波或基带信号。前述示出了用于实践本发明的一些可能性。在本发明的范围和精神内许多其他实 现方式是可能的。因此前述意在被视为示意性的而不是限制性的，并且本发明的范围由所 附权利要求及其等同物全部范围一起给出。可以通过组合、删除、修改或补充所公开的实现 方式的各种特征来创建附加实现方式。此外，本发明包括针对视频的以上公开的方法、等同 物或计算的应用，以减少失真、校正视频序列、或另外改善视频。
权利要求
一种方法，包括步骤访问对数字图像的多个部分的相应部分中的失真量加以指示的值；将所述值分类为分组丢失失真或编码伪像失真；响应于分类步骤，对分类的值进行修改，以说明人类视觉系统的可见度差异；以及对多个部分的修改后的值进行组合，以形成对针对多个部分的失真量加以指示的值。
2.根据权利要求1所述的方法，其中，将所述值分类包括 将阈值与所述值进行比较；以及基于比较步骤的结果，确定所述值是分组丢失失真还是编码伪像失真。
3.根据权利要求1所述的方法，其中，对分类的值进行修改还包括将所述值与可见度阈值进行比较，所述可见度阈值基于部分的亮度或部分的纹理中的 一个或多个；以及基于比较结果来减小所述值。
4.根据权利要求3所述的方法，其中，可见度阈值包括以下在内的一个或多个 基于能够看到相对较高亮度区域中的失真的人类视觉系统的阈值，基于能够看到相对较低亮度区域中的失真的人类视觉系统的阈值，或者 基于能够看到相对较高纹理区域中的失真的人类视觉系统的阈值，其中，纹理由边缘 密度来表示。
5.根据权利要求3所述的方法，其中，可见度阈值基于像素强度的分段连续函数。
6.根据权利要求1所述的方法，其中，对分类的值进行修改包括 基于相应部分中的边缘密度来调整所述值。
7.根据前述权利要求中任一项所述的方法，还包括对视频应用所述方法的结果，以 减少失真或校正视频序列。
8.一种使用对失真进行度量的处理来评估数字图像或数字图像序列的感知质量的方 法，所述失真与(1)分组丢失之后由错误隐藏引起的错误传播和(2)编码伪像中的一个或 多个相关联，其中对失真度量的结果应用阈值，以便将所述结果分类为与分组丢失或编码伪像相关联； 将归因于分组丢失的失真和归因于编码伪像的失真进行组合，以提供针对数字图像或 数字图像序列的总失真值；一个或多个掩蔽用于调整失真值，所述一个或多个掩蔽包括纹理掩蔽和对比度掩蔽， 其中，基于一个或多个掩蔽中的至少一个来确定JND ； 边缘强度的度量用于确定纹理掩蔽；以及 像素强度的分段连续函数用于确定对比度掩蔽。
全文摘要
本发明涉及一种全参考(FR)客观方法，该方法用于评估有分组丢失和编码伪像情况下的已解码视频帧的感知质量。提供了一种评估感知质量的方法。首先，访问对相应部分中的失真量加以指示的值。然后将所述值分类为分组丢失失真或编码伪像失真。接着，基于分类对分类的值进行修改，以说明人类视觉系统的可见度差异，然后对多个部分的修改后的值进行组合，以形成对多个部分的总失真量加以指示的值。
文档编号H04N17/00GK101911716SQ200980102194
公开日2010年12月8日 申请日期2009年1月13日 优先权日2008年1月18日
发明者刘涛, 杨华, 艾伦·杰伊·斯坦 申请人:汤姆森许可贸易公司