专利名称：增强编码视频清晰度的方法和系统的利记博彩app
技术领域：
本发明利用题为“根据编码信息为视频增强提供有用量度的装置和方法”的UME的共同未决申请。该申请与本发明同时提交，发明人为Lilla Boroczky和Johan Janssen。本发明于2001年1月10日提交，被授予临时专利申请序列号60/260845的利益。
本发明针对用于在不增加编码人工产物的情况下增强编码/译码数字视频的清晰度的系统和方法，它在多媒体装置中使用的空间域清晰度增强算法中特殊的效用。
诸如机顶盒、高端电视、数字电视、个人电视、存储产品、PDA、无线互联网装置等高质量多媒体装置的发展，正导致各种各样的体系结构以及这些装置更加开放的新特性。另外，这些新产品以及它们以任何格式显示视频数据的能力的发展，导致了对视频处理和视频增强算法的新要求和机会。这些装置中的大部分以MPEG-2格式接收和/或存储视频，并且在将来，它们可以用MPEG-4格式进行接收/存储。这些MPEG源的画面质量可以在非常好和特别坏之间变化。
下一代存储装置，比如基于蓝色激光的数字视频记录器(DVR)将在某种程度上具有HD(高清晰度)(ATSC)能力，并且是一种适用画面增强新方法的装置类型的例示。HD节目一般以20Mb/s的速度广播并根据MPEG-2视频标准进行编码。考虑到DVR大约25GB的存储容量，这表示每张盘具有约两小时的HD视频记录时间。为了增加记录时间，可以定义几种慢放模式，比如慢放(LP)和扩展慢放(ELP)模式。
对于LP模式，假定平均存储比特率大约是10Mb/s，它提供了两倍的HD记录时间。因此，译码成为视频处理链的主要部分，它将20Mb/s的广播比特率降低为10Mb/s的存储比特率。在MPEG-2译码期间，视频的画面质量(如清晰度)很有可能被降低。但是，尤其对于LP模式，画面质量不应该被牺牲得太多。因此，对于Lp模式，后处理在改善看到的画面质量中扮演了一个重要的角色。
到目前为止，为诸如NTSC、PAL和SECAM等模拟视频传输标准发展和优化了大部分具有当今技术水平的清晰度增强算法。传统上，图像增强算法用于减少画面中某些不需要的方面(例如噪声抑制)或改善图像的某些期望特性(如清晰度增强)。对于这些新兴的存储装置，由于这些源的不同特性，可能对MPEG编码的或者译码的视频执行次最佳地传统清晰度增强算法。在存储系统的闭合视频处理链中，用于确定编码源质量的信息可以从MPEG流得到。所述信息还可能被用于提高图像增强算法的性能。
因为图像质量将保留高端视频产品的识别因数，因此特别适用于这些源的执行图像增强的新方法将是有益的。在C-J Tsai、P.Karunaratne、N.P.Galastsanos和A.K.Katsaggelos的“压缩视频增强算法”(Proc.of IEEE，ICIP’99，Kobe，Japan，Oct.25-28，1999)中，作者提议了用于增强以低比特率编码的视频序列的迭代算法。对于MPEG源，画面质量的降低大部分由量化函数引起。因此，作者采用的迭代梯度投影算法利用编码信息，比如其价值函数中的量化级大小、宏块类型和前向运动矢量。算法显示了低比特率视频的有价值的结果，但是其主要缺点在于它的高计算复杂性。
在B.Martins和S.Forchammer的“MPEG-2编码视频的改进解码”(Proc.of IBC’2000，Amsterdam，The Netherlands，Sept.7-12，2000，pp.109-115)中，作者描述了用于改进MPEG-2编码视频的解码的新概念。具体地说，提议了集成在解码过程中用于去交织和格式变换的统一方法。该技术导致了比通过普通解码而获得的高得多的画面质量。但是，到目前为止，其计算复杂性防碍了其在用户应用中的实现。
两个文件描述了利用MPEG编码信息和价值函数的视频增强算法。但是，除了不切实际之外，这两种方案还组合了增强和价值函数。价值函数确定可以应用多少增强以及增强应用在画面中的哪些位置。这种由价值和增强函数的组合所导致的问题在于只有一种算法可以与价值函数一起使用。
本发明通过提供一种系统(即方法、装置和计算机可执行的过程步骤)来解决上述需要，其中有用量度计算在不增加编码人工产物的情况下象素可以被增强多少。
本发明的一个目的是提供一种系统，其中有用量度与增强算法分开，使得各种不同的增强算法可以与量度一起使用。
本发明的另一目的是提供一种有用量度，它可以被调整到系统的极限度，从而确保性能与复杂性之间的优化折衷。
本发明还有一个目的是提供一种图像增强系统，所述系统将最佳地工作于编码和译码视频源。
已提供了简短的概述，使得可以快速地理解本发明的特性。对本发明更完整的理解可以通过参考以下本发明的优选实施例以及附图的详细描述获得。
为了更好地理解本发明，可以参考以下附图
图1是本发明的方框图；图2是只利用编码增益的本发明的流程图。
图1示意了可以在例如视频接收器56中实现本发明的系统。图1说明了如何将有用量度(UME)应用于例如自适应峰化的清晰度增强算法。(除自适应峰化外，也可以使用其他清晰度增强算法。)针对提高亮度信号2的瞬变幅度的自适应峰化算法并非一直为先验编码/译码视频源提供优化视频质量。这主要是因为以下事实没有考虑MPEG源的特性。在本发明中，产生确实考虑MPEG源的特性的UME。将例示的自适应峰化算法扩展到利用这个UME，从而较大地提高算法性能。
在先有技术中，自适应峰化算法和自适应峰化的原理是众所周知的。图1中示意了一个例示。算法包括四个控制块6、8、10、12。这些基于象素的控制块6、8、10、12并行操作，并且每块分别计算最大允许增益系数g1、g2、g3、g4，从而获得目标图像质量。这些控制块6、8、10、12考虑了视频信号的特定局部特征，比如对比度、动态范围和噪声电平，但没有编码属性。编码增益块14利用有用量度(UME)18来确定允许的峰化量g编码36。动态增益控制16选择增益g1 28、g2 30、g3 32、g4 34中的最小增益，将之与g编码相加产生最终增益g 38。乘法器22将最终增益38乘以高通信号20，后者已由2D峰化滤波器4进行了滤波。加法器24将所述乘积与象素2的原始亮度值相加。以这种方法产生增强的亮度信号26。
UME 18以一个一个象素为基础计算在不增加编码人工产物的情况下象素或区域可以被增强多少。从比特流中出现的MPEG编码信息中得到UME 18。
选择与UME 18一起使用的MPEG信息不止是烦琐。该信息必须提供视频的时间空间特性或画面质量指示。
可以在解码期间直接获得的MPEG信息的最小粒度是基于块或基于宏块的。然而对于空间(象素)域视频增强来说，必须计算画面的每个象素的UME 18，从而确保最高的画面质量。
容易从MPEG信息中析取的一个参数是量化参数，因为它出现在每个编码宏块(MB)中。量化参数越高，量化越粗，进而量化误差越大。高量化误差导致编码人工产物的出现，因此MB中具有高量化参数的象素增强必须被更多地抑制。
容易从MPEG流中提取的另一参数是编码MB或块时使用的比特数。上述编码信息的值取决于包括场景内容、比特率、画面类型和运动估计/补偿的其他因素。
量化参数和使用的比特数被广泛地用于MPEG编码的速率控制计算中，并且共同用于计算编码复杂性。编码复杂性被定义为量化参数和编码MB或块所用的比特数的乘积。因此，通过以下公式对编码复杂性进行描述complMB/块(k，l)＝mquant(k，l)*比特数MB/块(k，l)其中mquant为量化参数而比特数MB/块为用于编码MB或块(k，l)的DCT系数的比特数。下面设想就帧的平均复杂性而论，MB或块的复杂性越高，在该MB或块中越有可能具有编码人工产物。因此，应该抑制具有相对高的编码复杂性的块的象素增强。
因此，象素(i，j)的UME 18可以用以下公式定义UME(i，j)＝l-compl象素(i，j)/2*compl其中compl象素(i，j)为象素(i，j)的编码复杂性，而compl为画面的平均编码复杂性。在本发明中，用双线性内插(图2 58)从MB或块的复杂性映射(图2 48)估计complpixel(i，j)。
在本发明的一个方面中，UME(i，j)的范围可以从0到1。其中，0表示没有为某一特定象素考虑任何清晰度增强，而1表示可以随意地增强该象素，并没有增强任何编码人工产物的危险。
可以通过增加直接与量化参数相关的项来扩展UME公式，从而结合更强的比特率依赖性。这对于已经以低比特率编码的视频尤其有利。对于跳过或未编码的MB/块，从周围值估计UME，如图2 50。
因为用算得的UME18来说明编码特性，因此该UME 18仅防止了诸如阻塞(blocking)和振铃(ringing)的编码人工产物的增强。这样，由清晰度增强算法的其他部分来解决防止或降低可能由于应用太多增强而导致的非编码源的人工产物的问题。
上述ME 18可以与任何峰化算法组合，或者它可以适合于任何空间域清晰度增强算法。也可能利用编码信息(图2 46)并将自适应峰化算法与场景内容相关信息(图2 44)结合在一起。
在图2所示的本实施例中，去掉了图1所示的四个控制块6、8、10、12。诸如边缘信息44的场景内容信息经边缘检测42结合到编码增益计算中。与场景内容相关的信息44补偿了UME计算的不确定性(图1 18)，所述不确定性由应用于所述计算中的假设或内插导致(图2 58 36)。
在本实施例中，根据以下公式，象素(i，j)的编码增益36通过对嵌入在编码增益计算36中的UME和与边缘映射44相关的项求和来确定。
g编码(i，j)＝UME(i，j)+g边缘(i，j)其中，UME在上文中定义，g边缘基于与边缘相关的象素信息。
应该注意，MB/块的复杂性映射56具有遗留的块结构。为了减少复杂性映射56的这种不期望特性，由滤波器进行空间低通滤波52。可用于低通滤波的例示滤波器的核心为LPcompl_map=111111111]]>另一问题是任何给定象素的编码增益中帧到帧的突变可以导致时间上不一致的清晰度增强，这时不合需要的。这种改变也会强化诸如蚊式噪声的瞬时可见和讨厌的人工产物。
为了纠正这种效应，利用前一帧的增益对编码增益应用时间滤波54。为了减少高计算复杂性以及存储要求，并不对增益映射滤波，而是利用IIR滤波器54对MB或基于块的复杂性映射48进行时间滤波。以下公式表示所述过程
其中r、s为MB或块的空间坐标，t表示当前画面，k为IIR滤波器系数，以及scal为考虑到不同画面类型中的不同复杂性的缩放比例项。然后，编码增益36被应用于利用帧t 60的自适应峰化算法，以产生增强帧t 60。
本发明还可以应用于HD和SD(标准清晰度)序列，例如视频存储应用中出现的具有HD容量并且提供慢放模式的序列。将大部分的这种视频序列从广播MPEG-2比特流译码为更低存储比特率。对于这种应用的慢放模式，在译码期间也可以发生格式改变。根据本发明，众所周知，对SD视频序列进行编码、解码，然后用清晰度增强算法进行处理，与那些没有使用编码信息的算法相比，为先验编码或译码视频序列提供了更好的视频质量。
已经用特定说明性实施例对本发明进行了描述。应该理解，本发明并不限于上述实施例及其修改，并且本领域的普通技术人员可以进行各种改变和修改，并不背离所附权利要求书的精神和范围。
权利要求
1.一种提高图像质量的方法，它包括形成有用量度18，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码视频的清晰度增强的限度；以及将所述有用量度18应用于至少一种清晰度增强算法4，所述有用量度18与所述清晰度增强算法4是分开的，从而使所述有用量度18能够与各种算法一起利用。
2.一种用于增强编码数字视频的清晰度的方法，它包括以下步骤从编码视频比特流中选择并析取统计信息46，以便确定所述视频的编码复杂性48；根据所述编码复杂性48形成用于所述编码视频的有用量度18，所述有用量度确定在不增加编码人工产物的情况下能够应用于解码后的所述编码视频的清晰度增强的限度；以及将清晰度增强算法4应用于所述解码视频，从而在所述有用量度18规定的所述限度内提高清晰度。
3.如权利要求2所述的方法，其特性在于，所述清晰度增强算法是峰化算法4。
4.如权利要求2所述的方法，其特性在于，所述清晰度增强算法是空间域算法4。
5.如权利要求2所述的方法，其特性在于，以一个一个象素为基础计算所述有用量度18。
6.如权利要求2所述的方法，其特性在于，所述编码复杂性48被定义为量化参数和编码宏块所用的比特数的乘积。
7.如权利要求2所述的方法，其特性在于，所述编码复杂性48被定义为量化参数和编码块所用的比特数的乘积。
8.如权利要求2所述的方法，其特性在于，所述有用量度18占用某个范围，所述范围的第一终点表示没有为特定象素考虑任何清晰度增强，同时所述范围的第二终点表示所述象素能够被随意增强。
9.如权利要求2所述的方法，其特性在于，所述方法还应用于跳过的宏块，根据周围宏块的所述编码复杂性48或者前一帧的所述编码复杂性48估计所述有用量度18。
10.如权利要求2所述的方法，其特性在于，所述方法还应用于未编码块，根据周围块的所述编码复杂性48或者前一帧的所述编码复杂性48估计所述有用量度18。
11.如权利要求2所述的方法，其特性在于，除所述有用量度18外，与场景内容相关的信息42也被结合到编码增益的计算中。
12.如权利要求2所述的方法，其特性在于，从边缘42信息得到所述与场景内容相关的信息。
13.如权利要求5所述的方法，其特性在于，象素的编码增益14由以下公式确定g编码(i，j)＝UME(i，j)+g边缘(i，j)并且其中i和j为象素坐标，g编码36为所述象素编码增益，UME18为所述有用量度，以及g边缘基于从所述图像得到的与边缘相关的信息44。
14.如权利要求13所述的方法，其特性在于，空间低通滤波52被应用于从所述编码数字视频算得的复杂性映射48。
15.如权利要求13所述的方法，其特性在于，时间滤波54被应用于利用前一帧的所述编码36增益的所述编码增益36。
16.如权利要求13所述的方法，其特性在于，可以扩展所述公式14，以包括与所述量化参数直接相关的附加项。
17.如权利要求6所述的方法，其特性在于，利用IIR滤波器54对基于块的复杂性映射48进行时间滤波。
18.如权利要求6所述的方法，其特性在于，利用IIR滤波器54对基于宏块的复杂性映射48进行时间滤波。
19.如权利要求17或18所述的方法，其特性在于，所述时间滤波54是根据以下公式进行的complMB/块(r，s，t)＝k*complMB/块(r，s，t)+scal*(l，k)*complMB/块(r，s，t-l)并且其中r、s为宏块或块的所述空间坐标，t 60表示所述当前画面，k为所述IIR滤波器系数，以及scal为考虑了由所述图像的画面类型确定的画面复杂性48的缩放比例。
20.一种用于增强图像质量的装置，它包括峰化滤波器4，所述峰化滤波器对解码亮度2信号进行滤波，产生高通信号20；多个基于象素的控制块68、10、12、14，对所述解码亮度信号2并行操作，每个控制块根据所述亮度信号的特征来计算最大允许增益系数，其中最少一个控制块是实现确定所述允许峰化量的有用量度18的编码增益块14；动态增益控制32，用于根据所述计算的最大增益系数选择最小增益；乘法器22，用于将所述高通信号20乘以所述最小增益38以产生乘法信号；以及加法器24，用于组合所述解码亮度信号2和所述乘法信号以产生增强信号26。
21.如权利要求20所述的装置，其特性在于，所述控制块包括对比度控制块6；动态范围控制块8；消波防止控制块10；自适应核心控制块12；以及编码增益块14，所述的所有块并联连接。
22.一种用于增强数字视频的所述图像质量的装置，它包括有用量度18发生器，所述发生器确定在不增加编码人工产物的情况下能够应用到编码数字视频的清晰度增强的限度；控制器，所述控制器将所述有用量度应用于至少一种清晰度增强算法4，所述有用量度18和所述清晰度增强算法4是分开的，使得所述有用量度18能够与各种算法一起利用。
23.一种增强编码数字视频的清晰度的系统，它包括选择器，它从编码视频比特流选择并析取统计信息，以便确定所述视频的编码复杂性48；有用量度发生器，它根据所述编码复杂性50形成用于解码后的所述编码数字视频的有用量度18，所述有用量度确定在不增加编码人工产物的情况下能够应用到解码视频的清晰度增强的限度；以及清晰度增强器4，它将清晰度增强算法应用于所述解码视频，从而在由所述有用量度规定的所述限度内提高清晰度。
24.提高图像质量的计算机可执行过程步骤，所述计算机可执行过程步骤被存储在计算机可读媒体上，并且所述步骤包括析取步骤，从编码视频比特流析取统计信息46，以便确定视频的编码复杂性；产生步骤，根据所述编码复杂性48产生用于编码视频的有用量度18，所述有用量度确定在不增加编码人工产物的情况下能够应用到解码后的所述编码视频的清晰度增强的限度；以及增强步骤，通过将清晰度增强算法4应用于解码视频来增强所述图像的所述清晰度，从而在由所述有用量度18规定的所述限度内提高清晰度。
25.用于增强编码数字视频的所述清晰度的装置，它包括析取装置，用于从编码视频比特流析取统计信息46，以便确定所述编码数字视频的编码复杂性48；产生装置，用于根据所述编码复杂性48产生用于所述编码数字视频的有用量度18，所述有用量度确定在不增加编码人工产物的情况下能够应用到解码后的所述编码数字视频的清晰度增强的限度；以及增强装置，用于将清晰度增强算法4应用于解码视频，从而在所述有用量度规定的所述限度内提高清晰度。
26.一种信号，它嵌在载波中，表示用于增强解码数字视频清晰度的数据，它包括统计信息46，从编码视频比特流中选择所述统计信息，用于确定视频的所述复杂性48；有用量度18，它基于所述视频的所述复杂性48，所述有用量度确定在不增加编码人工产物的情况下能够应用到所述解码视频的清晰度增强的限度；以及清晰度增强算法4，用于在所述有用量度规定的所述限度内提高所述解码视频的所述清晰度。
27.一种用于增强图像质量的方法，它包括以下步骤对编码亮度信号2进行峰化滤波4，提高所述亮度信号2的幅度并产生高通信号20；根据所述亮度信号的特征至少计算所述亮度信号的一个最大增益系数928、930、932、936，其中至少一个增益系数计算14实现有用量度18，后者确定在不会强化编码人工产物的情况下的允许峰化量；从所述最大增益系数928、930、932、934、936中选择最小增益938；将所述高通信号20乘以所述最小增益938，产生乘法信号22；以及将解码亮度信号与所述乘法信号相加24，产生增强信号26。
28.一种视频接收装置56，它包括峰化滤波器4，它对解码亮度信号进行滤波，产生高通信号20；多个基于象素的控制块6、8、10、12、14，对所述解码亮度信号2并行操作，每个控制块根据所述亮度信号2的特征计算最大允许增益系数928、930、932、934、936，其中至少一个控制块是实现确定所述允许峰化量的有用量度18的编码增益块14。动态增益控制16，用于根据所述计算的最大增益系数选择最小增益938；乘法器22，用于将所述高通信号20乘以所述最小增益938，产生乘法信号22；以及加法器24，用于组合所述解码亮度信号2与所述乘法信号，产生增强信号26。
全文摘要
一种提供增强编码视频的清晰度的系统(即方法、装置和计算机可执行过程步骤)，其中有用量度计算在不增加编码人工产物的情况下象素能够被增强多少。有用量度和增强算法是分开的，从而使该量度能够与各种不同的增强算法一起利用。
文档编号H04N5/208GK1428042SQ01809037
公开日2003年7月2日 申请日期2001年12月14日 优先权日2001年1月10日
发明者L·博罗滋基, J·詹森 申请人:皇家菲利浦电子有限公司