用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质的利记博彩app
【技术领域】
[0001] 本发明涉及图像处理中实现的动态范围转换的一般领域。
[0002] 动态范围的定义是对应于亮度的可改变的量的最大和最小可能值之比，其中亮度 是在给定方向传送的光的单位面积中光照强度的光度测量（亮度的单位是cd/m 2)。
[0003] 具体地，本发明可用于减小图像或图像序列的动态范围（所述图像还称为"帧"）。 换言之，本发明可用于改变所述图像的像素（或所述图像序列中的每个图像的像素）的亮 度值（该亮度值属于预定原始动态范围）以获得属于低于预定原始动态范围的动态范围的 亮度值。
[0004] 本发明尤其可用于针对摄影或视频应用的图像处理，具体地，用于复原高动态范 围图像（HDR)，HDR可以更准确地表示实际场景中存在的强度级别的范围。
【背景技术】
[0005] 2. 1 介绍
[0006] 人类对光的感应具有非常高的动态范围。人们可以在星光下（尽管在低光亮级别 下对颜色的区分减弱）或在强烈的阳光下观看物体，即使在无月光的夜晚物体接收到的光 强只有阳光明媚时的光强的十亿分之一也是如此：即，动态范围达30个光圈数。
[0007] 实际上，很难使用电子设备来实现人类所体验到的完全动态范围。即，打印、IXD显 示器或投影仪的显示能力具有有限的动态范围（或低动态范围LDR)，其不足以重现自然场 景中所呈现的光强的整个范围。
[0008] 已经发展了高动态范围（HDR)数字视频方案，以用于更准确地表示实际场景中存 在的强度级别的范围。HDR图像可以捕获的信息要多于可在具有低动态范围（LDR)的传统 屏幕上显示的信息，并且HDR图像通常借助对相同对象的多个不同曝光相片来捕获信息。
[0009] 换言之，非HDR(或LDR)相机使用有限的曝光范围来拍照，导致在亮或暗的区域中 会损失细节。HDR通过以不同的曝光级别来捕获多个相片并将这些相片加以组合来补偿该 细节损失，以产生代表更大的色调范围的相片。
[0010] 此外，近几十年以来，算法已发展到能够在阴影中以及在高光强下对图像进行不 同的映射，以更好地分布图像上的光照范围。这些技术已知为色调映射，并且允许将高动态 范围图像（HDR)或HDR视频序列转换为低动态范围（LDR)图像或LDR视频序列。
[0011] 2. 2 色调映射算子（operator)
[0012] 这种色调映射首先依赖于色调映射算子（TM0)，其用于修改使用HDR捕获模块捕 获的源图像的动态，以获得具有低动态范围的得到的图像，以使得这种得到的图像呈现出 适于在IXD显示器上显示的动态。
[0013] 在下文中，"修改图像的动态"对应于转换、适配或修改图像的亮度分量（即，亮度 分量值）。
[0014] 如果源图像（一旦其动态范围已被修改）专用于一种显示系统，则亮度分量被量 化和编码，以便与显示标准（例如BT 709等）兼容。在这种情况中，其不被称为"亮度"分 量，而是通常被称为" luma"分量。
[0015] 从而，色调映射技术对亮度分量和luma分量同样地适用。
[0016] 在已知的色调映射算子（TMO)(还称为色调再现器）中，可引证PTR色调映射算 子，其具体描述参见由E.REINHARD等发表的论文Photographic tone reproduction for digital images''，ACM transactions on Graphics，21，267-276 (July 2002)。
[0017] "不加思索地"将TMO应用于HDR视频序列的每个帧导致时间伪像。为了处理变 幻的伪像，其它色调映射算子基于对取决于动态范围将被转换的当前图像的像素的关键字 (key)的使用以及基于在图像序列中当前图像的前一个图像的预定数量的像素（参见由 KANG S. B 等发表的论文 "High dynamicrange video''，ACM transactions on Graphics， Proceeding of ACM SIGGRAPH, volume22,Issue 33, July 2003pages 319-325)〇
[0018] 还存在使用视频序列中多个之前的图像的色调映射算子，其中所述视频序列已根 据当前图像的关键字和之前图像的关键字动态地适配，参见RAMSEY S等的论文"Adaptive temporal tone mapping''，Computer Graphics and Imaging-2004 (3)，3-7 (2004) 〇
[0019] 其它色调映射算子将具有人视觉系统（HVS)的视觉响应的原始图像与亮度值属 于适于屏幕的动态范围的图像进行比较，参见MANTIUK R.的论文"Display adaptive tone mapping"，ACM Transactions on Graphics27，l (Aug. 2008)，其提供具有在屏幕上的 最少失真可能的视觉感知的图像。
[0020] 为了处理时间伪像，以上方案使用视频序列中的时间上接近的图像来对亮度的突 然改变进行平滑。然而，较长的时间范围将引入时间明暗度（brightness)非相干性，所述 明暗度在HDR视频序列的两个区域之间的相对明暗度在色调映射期间得以保持（在空域 和时域两者中）的情况下在被色调映射的内容中相干。但是，由于TM0针对每个图像（或 帧）独立地使用所有可用的显示范围，所以在整个色调映射操作期间不保持HDR明暗度相 干性。因此，在HDR序列中被认为最亮的区域不必是LDR序列中最亮的。
[0021] 2. 3色调映射后处理
[0022] 为了保持被色调映射的得到的图像之间的明暗度相干性，发明人之一提出了明 暗度相干性技术（Brightness Coherency，称为BC技术），参见BOITARD R.等的论文 "Temporal coherency for video tone mapping''，in Proc. SPIE Conference Series， volume 8499 of SPIE Conference Series，2012。
[0023] 这一技术依赖于对视频序列中的每个图像（或帧）的总体明暗度的指示。通过将 HDR视频序列中的最亮图像（即具有总体明暗度的最高指示的帧）作为锚，每个其它色调映 射图像都相对于该锚被而缩放。
[0024] 由于每个图像都相对于锚被处理，所以即使在非相邻的图像之间，时间明暗度相 干性也得以保持。
[0025] 这一技术的一个缺点在于，其只处理总体明暗度而不解决局部明暗度相干性。 为了解决这一方面，发明人提出了区域明暗度相干性（Zonal Brightness Coherency，称 为 ZBC 技术），参见 BOITARD R 等的论文 "Zonal Brightness Coherencyfor video tone mapping''，Signal Processing ：Image Communication (available online 160ctober 2013, http ：//dx ：doi. org/10. 106/i. image. 2013. 10. 001) 〇
[0026] 更确切地，根据这一技术，使用对HDR图像进行的基于柱状图的分割将每个图像 分成分段。然后，根据得到的图像分段来定义视频区域，并且将明暗度相干性（BC)技术独 立地应用到每个视频区域。
[0027] 这种区域明暗度相干性（ZBC)技术保持每个图像中的时间明暗度相干性和空间 对比度。
[0028] 2. 4现有技术的缺点
[0029] 现有技术的TMO的算子独立地应用于视频序列的每个图像上，导致包括时间明暗 度非相干性的时间伪像，而且明暗度相干性技术需要来自不同于当前图像的其它视频序列 图像的信息。
[0030] 此外，在涉及动态范围转换的一些情况中，需要视频序列的所有其它图像以获得 高效的结果。换言之，一旦捕获了属于视频序列的所有图像，则可实现后处理，以发现针对 最佳动态范围转换的更加相关的亮度信息。
[0031] 然而，当考虑实时网络广播（其中在时刻t，"未来图像"中的信息不是已知的）时， 这种需求是不可实现的。
[0032] 事实上，对时间缓冲器的使用导致与实时限制不兼容的处理周期。从而，现有技术 的方法（不管是不是使用明暗度相干性技术）不允许在实现实时广播时保持时间相干性。
【发明内容】
[0033] 本发明提出了一种新的方案，作为处理视频序列的方法，所述方法包括以下步骤： 使用第一捕获模块获得至少一个图像，所述至少一个图像采用第一捕获角表示场景，所述 至少一个图像被称为视频图像。
[0034] 根据本发明，所述方法还包括以下步骤：
[0035] -通过使用不同于所述第一捕获模块的第二捕获模块，获得对应于采用第二捕获 角表示所述场景的至少一个图像的元数据，其中所述第二捕获角严格大于所述第一捕获 角，所述至少一个图像被称为总体图像，所述总体图像包括所述视频图像；
[0036] _根据对应于所述总体图像的所述元数据确定亮度信息；
[0037] -在考虑所述亮度信息的情况下，对所述视频图像的动态范围进行转换。
[0038] 因此，根据本发明对视频序列的处理基于对根据图像确定的亮度信息的考虑，所 述图像不属于所述视频序列并且是由与用于捕获视频序列的图像的捕获模块不同的捕获 模块捕获的。
[0039] 事实上，对视频序列的这一处理允许对关于用于捕获视频序列的视频图像的捕获 模块的捕获角的亮度信息的捕获角进行放大。
[0040] 亮度信息被认为是对应于亮度或luma值（对应于亮度分量，其被定量和编码，以 便与显示标准兼容）的信息。
[0041] 例如，这种亮度信息是位于视频序列中的一些视频帧之外的场景中的点（或区 域）的亮度的最大值，比如照亮足球赛的阳光所提供的亮度的最大值，其中录像机只聚焦 于场地，而不会照向天空。
[0042] 从而，有可能在所考虑的时刻t捕获的视频图像的范围不包括场景中具有最大亮 度值的点，有利地，对最大值的这种了解是根据本发明通过具有使用不同的捕获模块以更 大的捕获角捕获的第二图像提供的。
[0043]例如，第一捕获模块是传统的数字电影相机，例如由Sony?1、JVC?、Canon⑧.