对具有扩展动态范围的图像的分层编码中的自适应伪轮廓预防的利记博彩app
【专利摘要】编码器接收扩展或视觉动态范围(VDR)内的图像序列。针对每个图像，选择动态范围压缩函数和相关联的参数以将输入图像转换成具有较低动态范围的第二图像。使用输入图像和第二图像计算残差图像。使用分层编解码器对输入VDR图像序列进行编码，该分层编解码器将第二图像用作基本层并且将根据输入图像和第二图像获得的残差图像用作一个或更多个残差层。伪轮廓检测方法(FCD)使用残差图像估计经解码的VDR图像中的潜在地在感知上可见的伪轮廓的数量并且迭代地调节动态范围压缩参数以预防或减少伪轮廓的数量。还描述了使用均匀动态范围压缩函数的示例。
【专利说明】对具有扩展动态范围的图像的分层编码中的自适应伪轮廓预防
[0001]相关申请的交叉引用
[0002]本申请要求于2011年11月I日提交的美国临时专利申请N0.61/554，294的优先权,通过引用将其全部内容合并于此。
【技术领域】
[0003]本申请一般地涉及图像。更具体地，本发明的实施方式涉及对具有扩展动态范围的图像的分层编码中的伪轮廓伪影的自适应预防。
【背景技术】
[0004]本文所使用的术语“动态范围”(DR)可以涉及人类心理视觉系统(HVS)感知图像的强度(例如，灰度、亮度)的范围(例如从最暗的暗到最亮的亮)的能力。在这个意义上，DR涉及“场景相关”的强度。DR也可以涉及显示设备充分地或近似地渲染特定宽度的强度范围的能力。在这种意义上，DR涉及“显示相关”的强度。在本文的描述中任何一点上除非明确地指定特定的场景具有特定的意义，否则应当推断出该术语可以使用任何一种意义，例如可互换地进行使用。
[0005]本文所使用的术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14至15个量级的DR宽度。例如，基本正常(例如，在统计、生物计量或眼科意义的一项或更多项上)的适应良好的人具有跨越大约15个量级的强度范围。适应的人可以感知具有少至只有极少数光子的暗淡光源。然而，这些相同的人可以感知沙漠、大海或雪天的正午太阳的接近痛苦的闪耀强度(或者甚至看一眼太阳，然而非常短暂地以防止受到伤害)。然而这个跨度对于“适应的”人(例如其HVS具有重置和调整的时间段的人)来说是可利用的。
[0006]相比之下，相对于HDR，在其上人可以同时感知强度范围内的扩展宽度DR可能被稍微截短。本文所使用的术语“扩展动态范围”、“视觉动态范围”或“可变动态范围”(VDR)可以单独地或互换地涉及可由HVS同时可感知的DR。本文所使用的VDR可以涉及跨越5至6个量级的DR。因此，然而也许相对于真实场景相关的HDR，VDR在一定程度上较窄，但是VDR仍然表示宽的DR宽度。本文所使用的术语VDR图像或图片可以涉及其中通过多于8个的比特表示每个像素分量的图像或图片。
[0007]直到最近，显示器已经具有比HDR或VDR明显窄的DR。使用典型阴极射线管(CRT)、具有恒定荧光白色背光照明液晶显示器(LCD)或等离子屏技术的电视(TV)和计算机监视器装置可以将其DR渲染能力约束至大约3个量级。因此，相对于VDR和HDR，这样的传统显示器代表低动态范围(LDR)，其也被称为标准动态范围(SDR)。
[0008]至于可缩放视频编码和HDTV技术，扩展图像DR通常涉及一种分叉方法。例如，使用现代具有HDR能力的相机捕获的场景相关HDR内容可以用于生成内容的VDR版本或SDR版本，内容的VDR版本或SDR版本可以显示在VDR显示器或传统SDR显示器上。为了节省带宽或出于其他方面的考虑，可以使用分层或分级方法、使用SDR基本层(BL)和增强层(EL)来传输VDR信号。接收分层比特流的传统解码器可以只使用基本层来重构SDR图片；然而，VDR兼容解码器可以使用基本层和增强层二者来重构VDR流。
[0009]在这样的分层VDR编码中，可以以不同空间分辨率、比特深度和颜色空间表示图像。例如使用每个颜色分量12比特或更多比特来表示典型VDR信号，而使用每个颜色分量8比特来表示典型SDR信号。另外，基本层信号和增强层信号可以使用多种图像和视频压缩方案进行进一步地压缩，如由运动图像专家组(MPEG)的IS0/IEC建议书中定义的那些方案，如 MPEG-l、MPEG-2、MPEG-4、第 2 部分和 H.264。
[0010]分层VDR编码在编码流水线的至少两个部分引入量化:a)从第一比特深度(例如，每颜色分量12比特)的VDR信号至第二、较低比特深度(例如，每颜色分量8比特)的SDR信号的变换期间；b)在基本层和增强层的压缩处理期间。伪轮廓可以作为这样的量化的伪影出现在所重构的图像上。
[0011]本部分中所描述的方法是可以实行的方法，但并不一定是先前已经构思或实行的方法。因此，除非另有说明，否则本部分所描述的任何方法不应当仅仅由于它们包含在本部分中被认为是现有技术。相似地，除非另有说明，否则不应基于该部分而认为关于一种或更多种方法而确定的问题已经在任何现有技术中被意识到。
【专利附图】
【附图说明】
[0012]在附图中，通过示例的方式而不是通过限制性的方式例示了本发明的实施方式，其中相同的附图标记指代相同的元件，并且其中:
[0013]图1描绘了根据本发明的实施方式的分层编码系统的示例数据流；
[0014]图2描绘了根据本发明的实施方式的示例均匀动态范围压缩函数；
[0015]图3描绘了根据本发明的实施方式的用于检测伪轮廓的示例系统；
[0016]图4描绘了根据本发明的实施方式的、用于在像素级检测伪轮廓的示例处理流程;
[0017]图5描绘了根据本发明的实施方式的、用于在图片级检测伪轮廓的示例处理流程;
[0018]图6A和图6B描绘了根据本发明的实施方式的、用于在视频编码中在场景级预防伪轮廓的示例处理流程；以及
[0019]图7A、图7B和图7C描绘了根据本发明的实施方式的、用于计算伪轮廓检测度量的示例处理流程。
【具体实施方式】
[0020]本文描述了 VDR分层编码中的伪轮廓伪影的自适应预防。在下面的描述中，出于解释的目的，提出了多个具体的细节以便于提供对本发明的全面理解。然而，明显的是，在没有这些具体细节的情况下仍可以实现本发明。在其他实例中，为了避免对本发明的不必要地封闭、模糊或混淆，将不再详尽地描述公知的结构和设备。
[0021]概述
[0022]本文所描述的示例实施方式涉及用于预防分层编码中的伪轮廓伪影的对VDR视频信号的自适应量化。在实施方式中，编码器接收扩展或视觉动态范围(VDR)内的图像序列。对于每个图像，选择动态范围压缩函数和相关联的参数将输入图像转换成具有较低动态范围的第二图像。使用输入图像和第二图像计算残差图像。使用分层编解码器对输入VDR图像序列进行编码，该分层编解码器将该第二图像用作基本层并且将从输入图像和第二图像中获得的残差图像作为一个或更多个残差层。伪轮廓检测方法(FCD)使用残差图像估计经解码的VDR图像中的潜在地在感知上可见的伪轮廓的数量并且迭代地调节动态范围压缩参数以减少伪轮廓的数量。
[0023]在示例实施方式中，动态范围压缩函数包括均匀量化器。
[0024]在示例实施方式中，FCD方法包括像素级轮廓检测器和图片级轮廓检测器。
[0025]在另一种实施方式中，编码器接收VDR图像的场景(例如，一组图片)。包括帧相关参数CL[i]和CH[i]的均匀动态范围压缩函数被应用到每帧i以将每个VDR图像转换成SDR图像，其中，SDR图像具有相比VDR图像而言较低的动态范围。在设置CL[i]和CH[i]的初始值后，在迭代处理中，使用每个VDR图像及其相应的SDR图像来计算残差图像。通过使用残差图像，伪轮廓检测方法(FCD)来计算残差图像中的感知上可见的伪轮廓的数量并且迭代地调节Cl[i]或CH[i]以减少伪轮廓的出现。在处理场景中的所有帧后，基于所有CH[i]值的最大值计算场景相关的Ch值，并且基于所有CL[i]值的最小值计算场景相关的Q值。在输入场景的压缩期间，使用所计算的场景相关的C1^P Q值将均匀动态范围压缩函数应用到场景中的所有图像。
[0026]在另一种实施方式中，通过将伪轮廓的边缘对比度与基于系统参数和对比敏感度函数(CSF)的模型的可见性阈值进行比较来计算伪轮廓检测度量。
[0027]示例分层VDR系统
[0028]图1是根据实施方式实现分层或层次性VDR编码的示例图像处理系统100。系统100表示分层解码器的实施方式，其中，使用基本层135和增强或残差层185这两层对输入信号V105进行编码。残差编码器185可以是单层解码器或多层解码器。
[0029]在实施方式中，输入信号V105可以表示由高比特深度分辨率(例如，以4:4:4颜色格式如RBG4:4:4的每颜色分量的12比特或更多比特)表示的输入VDR信号。该VDR信号可以通过动态范围压缩处理(例如，色调映射操作器或量化器)110进行处理以生成信号S112。在一些实施方式中，动态范围压缩处理还可以包括其他非线性或线性图像变换过程。信号S可以具有与信号V相同或比信号V低的空间分辨率。信号S可以以比信号V低的比特深度分辨率(例如每颜色分量8比特)表示。信号S可以具有与信号V相同的颜色格式，或在其他实施方式中，信号S可以具有不同的颜色格式，例如YCbCr4:2:0。
[0030]在实施方式中，基本层(BL)信号S112可以通过BL编码器130进行处理以获得压缩信号135。在实施方式中，可以通过任何现有的视频编码器(如由运动图像专家组(MPEG)规范所指定MPEG-2视频编码器或MPEG-4视频编码器)来实现编码器130。
[0031]可以通过在BL解码器140中对信号135进行解码、生成原始VDR信号V (165)的预测值，并且从原始中减去该预测值(165)以生成残差信号175。在实施方式中，可以使用在2012年4月13日提交的国际专利申请N0.PCT/US2012/033605中所描述的多变量多回归模型来实现预测器160。残差信号175还可以通过残差编码器180进一步压缩以生成编码残差信号185。在实施方式中，可以通过任何现有的视频编码器(如由运动图像专家组(MPEG)规格所指定的MPEG-2视频编码器或MPEG-4视频编码器)或者其他图像和视频编码器(如JPEG2000、VP8、Flash视频)等来实现编码180。在编码180之前还可以有其他图
像处理操作如颜色转换和/或非线性量化。
[0032]由于在动态范围压缩器110或编码器130和180中的量化处理，在VDR解码器中，重构的VDR信号可以展示量化相关的相关伪影如伪轮廓伪影。减少这些伪影的一种方法可以结合后处理技术，如去轮廓；然而，这样的技术增加了解码器的计算复杂性，可能无法完全移除伪轮廓，并且甚至可能引入其他不期望的伪影。减少伪轮廓的第二种方法可以结合应用编码预处理方法，如抖动。然而，预抖动增加了输入信号的熵，从而降低了整体的压缩效率。实施方式提出了新的方法以通过自适应地调节VDR到SDR的动态范围压缩处理110来防止伪轮廓伪影，使得能够防止并且最小化潜在伪轮廓的数量。
[0033]在实施方式中，编码系统100还可以包括伪轮廓检测器(F⑶)120，伪轮廓检测器(FCD) 120估计解码流中的伪轮廓伪影的潜在严重性或可见性。本文稍后将描述对于给定信号V和S，FCD120调节动态范围压缩器110的参数使得潜在伪轮廓伪影的数量最小化。可以将这样的参数发送给解码器，例如使用元数据167作为编码比特流的部分，或者编码器可以使用这样的参数来获得将在预测器160中使用的预测参数。
[0034]本文所定义的术语“元数据”可以涉及作为编码比特流的部分进行传输并且帮助解码器渲染经解码的图像的任何辅助信息。这样的元数据可以包括但不限于与下列项相关的信息:那些本文所描述的颜色空间或色域转换、动态范围和/或量化参数。
[0035]示例动态范围压缩
[0036]分层VDR编码系统100包括动态范围压缩器110，该动态范围压缩器110将原始VDR信号映射至基本层(例如，SDR)信号112。在实施方式中，可以通过函数Q O和参数集合P定义动态范围压缩器的输入-输出特性。因此，给定VDR输入Vi，SDR输出Si可以表示为:
[0037]Si = Q(vi； P) (I)
[0038]图2描绘了使用均匀量化器的动态范围压缩器的示例实施方式，其中，
[0039]
【权利要求】
1.一种方法，包括: a)接收图像序列中的输入图像，其中所述输入图像具有第一动态范围； b)将所述输入图像转换成第二图像，其中所述第二图像具有低于所述第一动态范围的第二动态范围，并且其中基于包括一个或更多个参数的动态范围压缩函数进行所述转换； c)使用所述输入图像和所述第二图像计算残差图像； d)确定所述残差图像是否具有至少一个伪轮廓；以及 e)当确定所述残差图像具有至少一个伪轮廓时，调节至少一个所述参数。
2.根据权利要求1所述的方法，还包括: 重复所述步骤b)至所述步骤e)，包括所述步骤b)和所述步骤e)，直到所述至少一个伪轮廓的计数被最小化。
3.根据权利要求2所述的方法，其中，将所述至少一个伪轮廓的所述计数降低为阈值以下。
4.根据权利要求1所述的方法，其中所述输入图像包括视觉动态范围(VDR)图像。
5.根据权利要求1所述的方法，还包括: 将所述第二图像压缩成基本层信号；以及 将根据所述输入图像和所述第二图像获得的图像压缩成一个或更多个增强层信号。
6.根据权利要求1所述的方法，其中所述动态范围压缩函数包括均匀量化器并且所述参数包括低量化值(CJ和高量化值(Ch)。
7.根据权利要求1所述的方法，其中计算所述残差图像包括: 将动态范围扩展函数应用于所述第二图像以生成预测输入图像；以及 将所述残差图像计算为所述输入图像与所述预测输入图像之间的差图像。
8.根据权利要求1所述的方法，其中所述确定步骤d)包括像素级检测方法和图片级检测方法。
9.根据权利要求8所述的方法，其中所述像素级检测方法包括: 针对所述残差图像中的每个像素: 限定所述像素周围的像素的周围区域； 计算所述周围区域中所有像素的标准偏差； 基于所述标准偏差，计算所述周围区域中所有像素的归一化标准偏差； 基于所述周围区域中的所述归一化标准偏差计算中值标准偏差；以及 基于所述中值标准偏差和一个或更多个阈值计算像素级伪轮廓指标。
10.根据权利要求8所述的方法，其中所述图片级检测方法包括: 将所述残差图像划分成非交叠块； 针对每个块，基于一个或更多个像素级伪轮廓指标计算块级伪轮廓指标； 基于所述块级伪轮廓指标获得多个连接块级伪轮廓指标；以及 获得伪轮廓检测(FCD)度量作为所述多个连接块级伪轮廓指标和至少一个阈值的函数。
11.根据权利要求10所述的方法，其中根据权利要求9所述的方法计算至少一个像素级伪轮廓指标。
12.—种方法,包括:接收场景中的VDR图像的序列； 针对所述场景中的每个VDR图像1: 将第i个VDR图像转换成第i个SDR图像，其中所述第i个SDR图像具有比所述第i个VDR图像低的动态范围，并且其中基于包括图像相关参数CJi]和CH[i]的均匀动态范围压缩函数进行所述转换； 步骤a):将所述CJi]和所述CH[i]设置为初始值； 步骤b):使用所述第i个VDR图像和所述第i个SDR图像计算第i个残差图像； 步骤c):确定所述第i个残差图像是否具有至少一个伪轮廓； 步骤d):当确定所述第i个残差图像具有至少一个伪轮廓时，调节所述图像相关参数CL[i]和CH[i]至少之一； 重复步骤b)至步骤d)，包括步骤b)和步骤d)，直到所述至少一个伪轮廓的计数被最小化； 基于所有所计算的图像相关参数CH[i]中的最大值计算用于整个场景的场景相关值Ch; 基于所有所计算的图像相关参数CJi]中的最小值计算用于整个场景的场景相关值CL;以及 使用所述均匀动态范围压缩函数以及场景相关参数Ch和Cy将所述场景中的所有VDR图像转换成SDR图像。
13.根据权利要求12所述的方法，还包括: 在步骤a)之前，确定对所述场景中的所有VDR图像应用高裁剪模式还是应用低裁剪模式。
14.根据权利要求13所述的方法，其中在所述高裁剪模式下，在步骤d)中，仅增大参数cH[i];以及在所述低裁剪模式下，在步骤d)中，仅减小参数cji]。
15.根据权利要求13所述的方法，其中所述确定是否应用高裁剪模式基于计算所述场景的偏度值并且所述偏度值为正。
16.根据权利要求13所述的方法，其中所述确定是否应用低裁剪模式基于计算所述场景的偏度值并且所述偏度值为负。
17.根据权利要求12所述的方法，还包括: 使用基于所述第i个SDR图像的基本层和一个或更多个增强层对所述场景中的所述第i个VDR图像进行压缩。
18.根据权利要求1所述的方法，其中在步骤d)和步骤e)中，所述至少一个伪轮廓是在感知上可见的。
19.根据权利要求12所述的方法，其中在步骤c)中，所述至少一个伪轮廓是在感知上可见的。
20.根据权利要求8所述的方法，其中，所述图片级检测方法包括: 将所述残差图像划分成非交叠块； 针对每个块，基于一个或更多个像素级伪轮廓指标计算块级伪轮廓指标；以及 基于所述块级伪轮廓指标获得多个连接块级伪轮廓指标； 针对所述多个连接块级伪轮廓指标中的每一个，计算边缘对比度和局部对比度阈值；以及 如果所述边缘对比度高于所述局部对比度阈值，则确定所述多个连接块级伪轮廓指标中的该连接块级伪轮廓指标在感知上可见。
21.根据权利要求20所述的方法，还包括获得伪轮廓检测(FCD)度量作为在感知上可见的所述多个连接块级伪轮廓指标和至少一个阈值的函数。
22.根据权利要求20所述的方法，其中基于计算跨过所述多个连接块级伪轮廓指标之一的边缘的亮度来计算所述边缘对比度。
23.根据权利要求20所述的方法，其中基于一个或更多个系统参数和对比敏感度函数来计算所述局部对比度阈值。
24.一种装置，所述装置包括处理器并且被配置成执行权利要求1至23所述的方法中的任一方法。
25.一种其上存储有计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于执行根据权利 要求1至23中任一项所述的方法。
【文档编号】H04N19/98GK103918274SQ201280053870
【公开日】2014年7月9日 申请日期:2012年11月1日 优先权日:2011年11月1日
【发明者】苏冠铭, 曲晟, 斯科特·达利 申请人:杜比实验室特许公司