消除闪光灯图像中的赝像的利记博彩app

专利名称：消除闪光灯图像中的赝像的利记博彩app
技术领域：
本发明涉及用于消除闪光灯图像中的赝像的方法、计算机可读 介质、计算机程序和设备。
背景技术：
闪光灯图像中 一 种公知的且特别恼人的赝像是所谓的"红眼效 应"，其中人类的眼睛看上去是红色的而不是它们本来的颜色。红 色是由于闪光灯的光线在血液丰富的视网膜上发生反射而造成的。 当闪光灯布置成靠近照相机镜头的光轴时，尤其是在使用诸如紧凑 型照相机或集成在移动设备(例如移动电话)中的照相机之类的小 型照相机的情况下，此效应尤其显著。
红眼效应可以通过多种方式来防止。
一种特别简单的方式是移动闪光灯以远离照相机镜头的光轴， 使得照相机镜头不再接收闪光灯从视网膜的直接反射。然而，由于 尺寸限制，这种方法通常不适用于紧凑型照相机或集成在移动设备 中的照相机。
根据在美国专利No.4,285,588中描述的另一种方法，其使用引 起瞳孔在捕捉实际图像之前闭合的预闪。预闪和实际捕捉图像之间 的时间必须选择得足够大以便允许瞳孔闭合。在美国专利 No.4,285，588中，优选大约600 ms的时间延迟。然而，这增加了图 像捕捉的等待时间，而且不适合彻底消除红眼效应，因为预闪不会 使瞳孔完全闭合。
此外还可以通过对捕捉的图像进行算法处理以及尝试标识和^肖 除其中包含的红眼(例如，基于眼睛形状规定的几何学约束)来消 除红眼效应。然而，红眼检测的错误和遗漏比率通常非常高。美国专利申请公开文本No.2006/0008171描述了另一种消除红 眼的方法，其依赖于拍摄图像对，该图像对包括在没有闪光灯时拍 摄的图像以及随后在闪光灯下拍摄的图像。其中，这两张图像在短 时内连续拍摄，例如在l/30秒内。确定无闪光灯图像与闪光灯图像 之间的红色色度差，并基于阈值来确定哪些区域可能形成潜在的红 眼。随后，消除红眼区域。然而，这种方法的性能关键取决于阈值 的选择。而且，如果无闪光灯图像太暗，则性能还会严重降低。

发明内容
因此，本发明的目的之一是提供用于减少闪光灯图像中的赝像 的方法、计算机可读介质、计算机程序和设备。
根据本发明的第一方面，描述了一种方法，包括至少接收使 用第 一 闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第 一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数 据；以及至少基于参考图像的图像数据以及主图像的图像数据来确 定第三图像的图像数据，其中第三图像表示消除了赝像的主图像。
根据本发明的第二方面，描述了 一种其上存储有计算机程序的 计算机可读介质，该计算机程序包括可操作以使得处理器至少接收 使用第 一 闪光灯能量级别捕捉的参考图像的图像数据以及使用高于 第 一 闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数 据的指令；以及可操作以使得处理器至少基于参考图像的图像数据 以及主图像的图像数据来确定第三图像的图像数据的指令，其中第 三图像表示消除了赝像的主图像。
根据本发明的第三方面，描述了一种计算机程序，包括可操作 以使得处理器至少接收使用第 一 闪光灯能量级别捕捉的参考图像的 图像数据以及使用高于第 一 闪光灯能量级别的第二闪光灯能量级别 捕捉的主图像的图像数据的指令；以及可操作以使得处理器至少基 于参考图像的图像数据以及主图像的图像数据来确定第三图像的图 像数据的指令，其中第三图像表示消除了赝像的主图像。根据本发明的第四方面，描述了一种设备，包括处理器，其配 置用于至少接收使用第 一 闪光灯能量级别捕捉的参考图像的图像数 据以及使用高于第 一 闪光灯能量级别的第二闪光灯能量级别捕捉的 主图像的图像数据；以及用于至少基于参考图像的图像数据以及主 图像的图像数据来确定第三图像的图像数据，其中第三图像表示消 除了赝像的主图像。
根据本发明的第五方面，描述了一种设备，包括接收装置， 用于至少接收使用第 一 闪光灯能量级别捕捉的参考图像的图像数据 以及使用高于第 一 闪光灯能量级别的第二闪光灯能量级别捕捉的主 图像的图像数据；以及确定装置，用于至少基于参考图像的图像数 据以及主图像的图像数据来确定第三图像的图像数据，其中第三图 像表示消除了赝像的主图像。
根据本发明，至少接收参考图像和主图像的图像数据并且将其 用于确定第三图像的图像数据，其中第三图像表示消除了赝像的主 图像。同样地，可以接收多于两幅图像的图像数据并且将其用于确 定第三图像的图像数据。消除赝像可以理解为基本上或者完全消除 赝像。参考图像是利用比主图像低的闪光灯能量级别而捕捉的。如 果捕捉多于两幅图像，则附加的图像(也即，第三图像、第四图像、 等等)可以在有闪光灯或无闪光灯的情况下进行捕捉。
参考图像可以在主图像之前、至少部分地与主图像一起被捕捉 (例如利用两个图像传感器或利用能够同时捕捉两幅图像的图像传 感器)，或者可以在主图像之后被捕捉。在高闪光灯级别的主图像 之后捕捉低闪光灯级别的参考图像例如可以是有利的，因为图像目 标的面部表情可能会被低级别的预闪迷惑。如果包含在主图像中的 赝像包括红眼效应，则例如可以将较低的闪光灯能量级别选择得足 够低，使得在参考图像中没有或仅有可忽略的红眼效应。然而，在 捕捉参考图像时使用闪光灯确保了在示例性地基于参考图像的图 像数据与主图像的图像数据之间的差异来确定第三图像的图像数据 时能够得到适当的结果，因为避免了参考图像太暗并且因而恶化参考图像的图像数据与主图像的图像数据的比较。通过在捕捉参考图 像时也使用闪光灯，提高了对所捕捉图像中潜在的赝像区域的检测 质量，从而使得赝像消除更为鲁棒。
参考图像和主图像可以在使用不同闪光灯的条件下进行捕捉， 也即，第一类型的闪光灯用于捕捉参考图像，而第二类型的闪光灯 用于捕捉主图像。所使用的闪光灯的类型例如可以包括但不限于氙
气闪光灯、LED闪光灯或指示灯。
对第三图像的图像数据的确定由接收参考图像和主图像的图像 数据的处理器来执行。其中，用于捕捉参考图像和主图像的装置例 如可以集成在也包括该处理器的同一设备中，或者可以在独立的设 备中。在后一情况下，处理器继而例如可以配备有用于接收参考图 像和主图像的图像数据的接口并且具体化为模块，该模块可以集成 在带有照相机单元的设备中以用于捕捉参考图像和主图像。处理器 可以从计算机可读介质(诸如固定安装的或可移除的存储单元)读 取程序代码，其中程序代码包括指令，其可操作以使得处理器接收 参考图像和主图像的图像数据以及确定第三图像的图像数据。
赝^f象例如可以包括由于闪光灯光线在人类眼睛血液丰富的视网 膜上反射而导致的红眼效应。赝像例如还可以包括闪光灯光线在一 大群动物(例如包括猫和狗)的光神经纤维层上反射产生的效应， 其使得这些动物的眼睛在闪光灯图像中以不同的颜色不自然的发
改变主图像的自然外观或恶化其质量的任何效应。
确定第三图像的图像数据是基于参考图像和主图像的图像数据 的。通过这种方式，所述确定不必仅仅依赖于主图像的图像数据， 而是还可以考虑这两个图像之间的图像数据的变化。
在此，图像数据可以是模拟图像数据或数字图像数据。图像数 据例如可以是从照相机单元获得的原始图像数据，或者其可以已经 根据特定颜色空间模型(诸如YUV或RGB模型)进行了变换，或 者已经变换为特定图像格式。图像数据也可以仅表示色彩空间模型的一个或多个分量，例如YUV模型的Y、 U和V分量，或者RGB 模型的R、 G和B分量。
根据本发明的第 一示例性实施方式，在捕捉参考图像和主图像 之间的时间距离不超过100 ms。因此，或者在参考图像之后不超过 100 ms捕捉主图像，或者在主图像之后不超过100 ms捕捉参考图像。 例如，在前一情况下，由于在捕捉参考图像时使用的低级别闪光灯 的目的并不在于适应瞳孔，因此在定义此时间延迟时不必考虑瞳孔 的动态特性。然而，将时间延迟按如下方式定义可能是有利的，也 即使得目标在捕捉图像之间不可能有较大的运动。此时间延迟的适 当值例如可以是30 ms或者更短。根据此示例性实施方式，图像捕 捉的等待时间可以显著地减小，同时仍然能够消除赝像。当然，在 捕捉参考图像与捕捉主图像之间的时间距离也可以超过100 ms。例 如，如果对参考图像和主图像中的至少一个应用运动补偿，则可以 允许在捕捉参考图像与捕捉主图像之间更大的时间距离，因为图像 中补偿的运动允许正确地将图像作为基础进行比较以消除赝像。
根据本发明的第二示例性实施方式，第 一 闪光灯能量级别小于 第二闪光灯能量级别的10%。第一闪光灯能量级别例如可以定义得 足够小，使得特定赝像(诸如红眼效应)不会或者仅仅是很小程度 得出现在参考图像中，但是第 一 闪光灯能量级别又足够大以确保参 考图像不会太暗并且因而适于与主图像进行比较。用于参考图像的 闪光灯能量级别和曝光时间例如可以基于取景器图像的统计数据来 确定。第 一 闪光灯能量级别的适当值例如可以是第二闪光灯能量级 别的百分之5到10，不过也可以小很多。参考图像和主图像可以在 使用相同闪光灯的条件下进行捕捉，只不过应用不同的闪光灯能量 级别。同样地，对于捕捉参考图像和主图像，可以分别使用不同类 型的闪光灯。第 一 闪光灯能量级别和/或第二闪光灯能量级别继而例 如可以由所采用的闪光灯的类型来确定或限定。例如，对于捕冲足参 考图像，可以使用比捕捉主图像的闪光灯产生更低闪光能量级别的 闪光灯。根据本发明的第三示例性实施方式，参考图像具有以下至少一 个比主图像更低的质量、更低的采样率以及更低的分辨率。更低 的质量、更低的采样率或者更低的分辨率是有利的，因为参考图像 就需要更少的存储容量。此更低的质量、更低的采样率或者更低的 分辨率可以在捕捉参考图像期间实现，或者可以在图像捕捉之后通 过对从照相机单元获得的原始图像进行变换来实现。
根据本发明的第四示例性实施方式，确定第三图像的图像数据
包括在考虑参考图像的图像数据与主图像的图像数据之间的差异 的情况下，检测主图像的赝像；以及修正所检测到的赝像以获得第 三图像的图像数据。
根据本发明的第四示例性实施方式，检测赝像可以包括基于 主图像的图像数据来标识主图像中的潜在赝像；在考虑参考图像的 图像数据与主图像的图像数据之间的差异的情况下确定所述潜在赝 像中的误标识；以及从潜在赝像中排除误标识，其中所述修正仅对 未被排除的潜在赝像执行。在此，对潜在赝像的标识例如可以通过 模式识别算法来执行，例如通过在主图像中搜索脸形或者眼形模型。
此处，参考图像可以在检测主图像中的赝4象之前进行处理。对 参考图像的处理例如可以包括对参考图像的均tf化，从而补偿参考 图像与主图像之间的诸如运动、不同图像尺寸、不同曝光或其他差 异°
备选地，根据本发明的第四示例性实施方式，检测赝像可以包 括基于参考图像的图像数据与主图像的图像数据之间的差异来标 识主图像中的潜在赝像；在考虑参考图像或者主图像的图像数据的 情况下确定所述潜在赝像中的误标识；以及从潜在赝像中排除误标 识，其中所述修正仅对未被排除的潜在赝像执行。基于参考图像和 主图像二者来执行潜在赝像的标识可以有助于减少确定潜在赝像中 的误标识的复杂度。
在本发明的第四示例性实施方式中，修正检测到的赝像可以至 少部分地基于参考图像的图像数据。例如，主图像的图像数据可以
12由参考图像的图像数据所代替，以获得第三图像的图像数据。
根据本发明的第五示例性实施方式，确定第三图像的图像数据
包括对根据参考图像的图像数据和主图像的图像数据形成的数据 集执行因子分析；以及将根据因子分析获得的变换应用于该数据集， 以获得第四图像的图像数据，其中第三图像的图像数据至少基于第 四图像的图像数据而确定。采用因子分析允许无差别地抑制或消除 参考图像和主图像之间的整体差异，从而避免模式识别步骤。应当
注意，根据本发明的第五示例性实施方式，对第三图像的图像数据 的确定也可以应用于无闪光灯条件下捕捉参考图像的情形，也即， 接收第 一无闪光灯图像的图像数据和第二闪光灯图像的图像数据的 情形。继而可以基于第 一无闪光灯图像的图像数据和第二闪光灯图 像的图像数据来确定第三图像的图像数据。同样地，根据本发明的 第五示例性实施方式，对第三图像的图像数据的确定也可以在捕捉 超过两幅图像并且继而将其用作确定第三图像的基础时应用。此处， 所述参考图像和所述主图像可以使用闪光灯来捕捉，而其他图像可 以在有闪光灯或者无闪光灯的情况下进行捕捉。后 一 情形的例子是 使用取景器图像作为另 一图像。
因子分析例如可以是对数据集的主元分析，该主元分析针对参 考图像的图像数据和主图像的图像数据确定公共部分和差异部分。 此处，公共部分表示联合信号的最大可变性，而差异部分表示相应
的差异；P 、 、 " ？、，'、、、、 ，
或消除差异部分而确定的修改的变换矩阵来确定。通过对数据集应 用变换矩阵(转置的形式)，数据集因而被变换至新的坐标系统， 并且通过应用修改的变换矩阵，数据集从新的坐标系统变换回来， 不过是以抑制或消除差异部分(也即参考图像的图像数据与主图像 的图像数据之间的差异)的修改的方式。
在本发明的第五实施方式中，可以基于来自参考图像和主图像 的信息来确定模糊似然性图，其中模糊似然性图指示主图像的部分中是否包含赝像，并且可以在执行因子分析之前利用模糊似然性图 对参考图像的图像数据和主图像的图像数据进行加权。在模糊似然 性图中，例如可以针对每个像素，存在一个在范围[O, l]中的值，其 中该值的大小表示此像素是否有可能处于赝像区域(例如，红眼区 域)。通过利用模糊似然性图对参考图像的图像数据以及主图像的 图像数据进行加权，相对于未对应赝像的图像数据而言，对应于赝 像的图像数据被加强，从而在后续处理中给对应于赝像的图像数据 更大权重。应用模糊似然性可以不必使用阅值，并且产生空间上平 滑的结果，这不同于应用阈值的方法，这种方法导致经过处理以消 除图像赝像的区域与未经处理区域之间的可见边缘。
在本发明的第五实施方式中，在考虑模糊似然性图的条件下， 第三图像的图像数据可以至少基于参考图像的图像数据、主图像的 图像数据以及第四图像的图像数据。而且，模糊似然性图的影响可 以从第三图像的图像数据中消除。
在本发明的第五实施方式中，还可以减小部分第三图像的强度。 例如，如果赝像包括红眼效应，则根据本发明的第五实施方式的处 理，可以减小与瞳孔有关的图像数据的色彩饱和度。为了使这些瞳 孔变暗，可以减小强度。
在本发明的第五实施方式中，图像数据可以表示色彩空间模型 的分量，对第三图像的图像数据的确定可以针对色彩空间模型的至 少 一 个分量而执行，并且对第三图像的图像数据的确定可以分别针 对这些分量而执行。
在本发明的第五实施方式中，色彩空间模型例如可以是YUV模
型，并且对第三图像的图像数据的确定可以仅针对U和V分量执行。 当针对第三图像的Y分量时，例如可以使用主图像的Y分量。
在本发明的第五实施方式中，色彩空间模型例如可以是YUV模 型，并且对第三图像的图像数据的确定可以针对U、 V和Y分量执行。
从此后参考实施方式的描述中，本发明的这些和其他方面将变得明显。


在附图中示出
图la:根据本发明的设备的示例性实施方式的示意框图； 图lb:根据本发明的设备的另一示例性实施方式的示意框图； 图2:根据本发明的方法的示例性实施方式的流程图； 图3:根据本发明的示例性实施方式的闪光灯和图像捕捉时序的 示意图示；
图4:图2的流程图的步骤205的示例性实施方式的流程图；以
及
图5:图2的流程图的步骤205的另一示例性实施方式的流程图。
具体实施例方式
图la示出了根据本发明的设备la的示例性实施方式的示意框 图。设备la包括使用不同的闪光灯能量级别来捕捉图像的照相机单 元16。
为此，照相机单元16包括图像传感器，诸如电荷耦合器件(CCD) 或互补金属氧化物半导体(CMOS)图像传感器，该图像传感器配置 用于捕捉经由照相机光学系统投射在其表面上的图像。图像传感器 160捕捉的图像至少临时存储在帧緩冲器161中，该帧緩沖器可以配 置用于一次存储多幅图像。图像传感器160还可以配备有模数转换 器，用于将表示所捕捉图像的信号转换为将要存储在帧緩沖器161 中的数字信号。应当注意，帧緩沖器161同样可以形成中央处理器 10的功能块或者照相机单元16的功能块。
照相机单元16还包括闪光灯单元162,其配置用于产生具有不 同闪光灯能量级别的闪光灯光线(例如闪光脉冲)，例如以便允许 使用低闪光灯能量级别来捕捉参考图像，以及使用高闪光灯能量级 别来捕捉主图像。闪光灯单元例如可以由闪光用电容器来供电。
15而且，照相机单元16配备有快门单元163,其控制快门的开启， 而快门控制图像投射到图像传感器160的表面上。举几个例子来说， 快门例如可以是巻帘快门或者全局快门。而且，快门可以机械式或 电子式实现。
本领域技术人员可以理解，照相机单元16可以包括其他功能单 元，诸如用于控制照相机单元16的自动对焦操作的自动对焦单元， 或者类似的单元。
设备la还包括用于控制设备la的整体操作的中央处理器10。 具体地，中央处理器IO配置用于控制图像传感器160、帧緩冲器161、 闪光灯单元162以及快门单元163,从而允许利用不同的闪光灯能量 级别来捕捉连续图像，例如利用低闪光灯能量级别来捕捉参考图像， 而利用高闪光灯能量级别来捕捉主图像。
设备la还包括显示器11、用户接口 15以及用于存储所捕捉图 像和已处理图像的图像存储器13。图像存储器13可以具体化为固定 内置存储器或可移除存储器，诸如记忆棒或卡。显示器ll、用户接 口 15以及图像存储器13全部由中央处理器IO来控制。
中央处理器IO可以运行存储在处理器存储器12中的程序代码， 该处理器存储器12还可以用作中央处理器IO的数据存储器，并且 其例如可以具体化为随机存取存储器(RAM )、只读存储器(ROM )， 这只是几个示例。处理器存储器12同样可以具体化为可从设备la 移除的存储器。存储在处理器存储器12中的程序代码例如可以定义 中央处理器IO控制设备la的各个单元的方式，尤其可以定义如何 对利用不同闪光灯级别连续捕捉的图像进行处理以消除其内包含的 图像赝像。
设备la例如可以代表数字照相机，其中显示器11继而可以用作 取景器以及用作显示所捕捉图像的装置，并且用户接口 15可以包括 交互元件，诸如照相机触发器、用于缩放的控制元件以及用于操作 菜单结构的控制元件。其中，显示器11也可以至少部分地用作用户 接口，例如通过显示菜单结构。同样地，设备la可以代表附加地具有利用不同的闪光灯能量级
别来捕捉连续图像的功能的电子设备。
例如，设备la可以代表移动设备，诸如移动电话、个人数字助 理或膝上型计算机。其中，中央处理器IO继而例如可以是用于控制 移动设备的功能的标配处理器，显示器11可以是其标配显示器，并 且用户接口 15可以是其标配用户接口 ，诸如键盘或小键盘。类似地， 存储器12和13可以是已经包含在移动设备中的标配组件。为了给 移动设备装配捕捉图^象的功能，可以将照相机单元16添加到移动设 备上，并且处理器存储器12中的程序代码可以相应地改变以使得处 理器IO能够控制照相机单元16利用不同的闪光灯能量级别捕捉连 续图像，以及能够消除包含在其中的图像赝像。
而且，图la示出设备la还可以包括专用赝像消除处理器14， 不过其是可选的，因此用虛线示出。由于图像赝像消除可能是相当 复杂的计算任务，因此由专用处理器架构(例如专用集成电路(ASIC) 或现场可编程门阵列(FPGA))来执行图像赝像消除可能是有利的。 专用赝像消除处理器14继而可以从中央处理器IO接收利用不同闪 光灯能量级别捕捉的图像的图像数据，并且可以消除包含在其中的 图像赝像，从而获得没有图像赝像的图像的图像数据。
图lb示出了根据本发明的设备lb的另一示例性实施方式的示 意框图。相比于图la的设备la,在图lb的设备lb中，图像处理部 分地或者完全地从中央处理器IO，外包给图像处理器17。图像处理器 17 (其也可以表示为成像和视频引擎)例如可以通过用于图像处理 任务(尤其包括根据本发明消除图像赝像的图像处理)的硬线和/或 可编程功能块来具体化。为此，图像处理器17可以包括用于存储计 算机程序的内部或外部存储器，该计算机程序具有可操作以执行根 据本发明的赝像消除的指令。类似于图la的设备la，在图lb的设 备lb中，也有例如以模块形式的专用赝像消除处理器14，可以预见， 该专用赝像消除处理器14部分地或完全地从图像处理器17外包图 像赝像消除。而且，图像处理器17可以直接与图像存储器13对接。设备lb例如可以代表数字照相机，其中设备lb的各单元继而 如同上面已经参照图la的设备la解释的那样工作。同样地，设备 lb可以代表附加地具有利用不同的闪光灯能量级别来捕捉连续图像 的功能的电子设备；例如，设备lb可以代表移动设备，诸如移动电 话、个人数字助理或膝上型计算机。
图2绘出了根据本发明的方法的示例性实施方式的流程图200。 此流程图的步骤例如可以由设备la (参见图la)的中央处理器IO (和/或可选的专用赝像消除处理器14),或者由设备lb(参见图 lb)的中央处理器IO，和图像处理器17 (和/或可选的专用赝像消除 处理器14)来执行。其中，示例性地假设将使用闪光灯来捕捉人物 图像，由此，将要从所捕捉图像中消除的赝像是由于闪光灯光线在 人眼血液丰富的视网膜上反射而导致的红眼效应。尽管如此，本领 域技术人员应当理解，本发明同样可应用于消除闪光灯图^f象中其他 类型的赝像，诸如闪光灯光线在一大群动物(例如包括猫和狗)的 光神经纤维层上反射并使得这些动物的眼睛在闪光灯图像中以不同 的颜色不自然的发光。而且，示例性地假设在高闪光灯能量级别 的主图像之前捕捉低闪光灯能量级别的参考图像。备选地，也可以 在高闪光灯能量级别的主图像之后捕捉低闪光灯能量级别的参考图 像。
在流程图200的第一步骤201中，检查用户是否激活了照相机 触发器。如果未激活，则流程图在无穷循环中返回步骤201以接收 任何照相机触发器激活。
如果在步骤201中确定照相机触发器已经被激活，则在步骤202 中，控制照相机单元16利用低闪光灯能量级别捕捉参考图像。此参 考图像例如可以仅通过用于捕捉主图像的闪光灯能量的百分之5-10 (或甚至更少)以及短曝光时间(例如10-50 ms)来拍摄。其中， 以如下方式选择闪光灯能量级别可能是有利的，即不产生或仅产生 最低限度的红眼效应，但是图像又不会太暗，因而允许与随后将用 较高闪光灯能量级别拍摄的主图像进行适当的比较。用于参考图像的闪光灯能量级别和曝光时间例如可以基于取景器图像数据的统计 数据来确定。应当注意，在取景器图像足够亮的情况下，也可以使 用取景器图像作为参考图像，而完全不必要捕捉参考图像。类似地， 在某些情况下，利用零闪光灯强度捕捉参考图像可能是有益的。而 且，参考图像例如可以利用比主图像更低的质量、更低的采样率以 及更低的分辨率来捕捉。这样可以有助于节省帧緩沖器161中临时 存储参考图像所需的存储容量，因为除了主图像之外还要存储参考 图像。
在步骤203中，控制照相机单元16利用高闪光灯能量来捕捉主 图像，例如利用可用闪光灯电容器能量的百分之百。可以例如全分 辨率来捕捉主图像。闪光灯能量级别以及曝光时间例如可以基于取
景器图像的统计数据和/或参考图像的统计数据来确定。主图像是实 际上唯一希望的画面。然而，由于需要使用高闪光灯能量级别的闪 光灯来充分照亮待拍摄的人物，因此红眼效应的发生也是不可避免 的。然而，基于来自参考图像和主图像二者的信息，可以从主图像 中消除红眼效应，从而获得消除了红眼效应的主图像的图像。在将 捕捉参考图像与捕捉主图像之间的时间延迟保持为较短以避免较大 的运动和/或内容改变时，可以简化红眼效应的消除。因此，在捕扭_ 参考图像之后尽可能快地捕捉主图像是有利的，例如不超过100 ms, 在例外情况下也可以在捕捉参考图像之后不超过200 ms。例如，如 果对这两幅图像之一或二者应用运行补偿，则在捕捉这两幅图像之 间可以有较大的延迟。应当注意，主图像和参考图像还可以利用不 同的曝光时间进行捕捉，例如较短的曝光时间可以用于主图像。此 外，在捕捉参考图像时尽可能晚地使用闪光灯而在捕捉主图像时尽 可能早地使用闪光灯可能是有利的。图像捕捉区间内的闪光灯区间 的定位也可以是固定的或可变的。
在步骤204中，接收所捕捉的参考图像和所捕捉的主图像的图 像数据。其中，所述图像数据例如可以是色彩空间模型(例如YUV
模型或RGB模型)的一个分量(例如，原始数据或Y、 U、 V、 R、
19G、 B)或多个分量。本领域技术人员很容易理解，参考图像的图像 数据同样可以直接在步骤202的捕捉参考图像之后、在步骤203的 捕捉主图像之前进行接收。在步骤204中，继而将只接收主图像的 图像数据。继而可以无需使用能够同时存储两幅图像的图像数据的 帧緩冲器。
在步骤205中，确定消除了红眼效应的主图像的图像数据。下 文将针对图4的流程图400以及图5的流程图500详细讨论此步骤 的具体实施方式
。所述确定基于参考图像和主图像二者的图像数据。 其中，除了其他之外，据研究，利用低闪光灯能量级别捕捉的参考 图像很可能不包括红眼效应，并且其仅仅在主图像之前(或者可选 地之后)不久被拍摄，因此有可能比较两幅图像来检测其中的变化 而不会遭受太多由于运动和/或场景改变导致的赝像。
最后，在步骤206中，例如在图像存储器13 (参见图la/lb)中 存储消除了红眼效应的主图像的图像数据。可选地，所述消除了红 眼效应的主图像也可以显示在显示器11上。由于红眼效应消除过程 产生的处理等待时间，也可以在显示器11上显示未消除红眼效应的 图像。流程图继而返回到步骤201。
图3示意性示出根据本发明的示例性实施方式的闪光灯和图像 捕捉的时序。上部图30示出在图像捕捉期间闪光灯的使用，下部图 31示出图像捕捉的周期。很容易看出，在此示例性实施方式中，在 主图像之前示例性地捕捉参考图像，利用短曝光时间20ms、低能量 的闪光脉冲300来执行参考图像的捕捉310,而利用较长曝光时间 50ms、高能量的闪光脉沖301来执行主图像的捕捉311。而且，参 考图像的捕捉310与主图像的捕捉311之间的延迟仅等于5ms。如 上面已经论述的，将激活闪光灯300和301的时段置于捕捉时段310 和311之内并非强制性的。例如在参考图像的捕捉310结束时激活 低能量闪光脉冲300可能是有利的。类似地，可以利用不同的曝光 时间来执行参考图像的捕捉310和主图像的捕捉311。而且，闪光灯 300和301的振幅可以不同。图4提供了图2的流程图的步骤205的示例性实施方式的流程 图400,也即，如何确定消除了红眼效应的主图像的图像数据的示例 性方式。
在第一步骤401中，对参考图像进行均衡化，例如通过执行运 行补偿、色彩调整、曝光调整、缩放或其他技术以使得参考图像可 与主图像进行比较。不过步骤401是可选的。
在后续步骤402-404中，比较参考图像与主图像之间的变化以检 测和修正红眼。在红眼位置处，红色级别显著地变化。在参考图像 中，瞳孔几乎是黑色的，而在主图像中瞳孔是红色的。有关图像变 化的信息可以用来确定红眼位置。继而在所检测的区域中，需要降 低红色数值(例如YUV模型中红色色度通道V,或者RGB图像的 R分量)以消除红眼。
为此，在步骤402中，基于主图像的图像数据来执行红眼检测。 采用使用诸如脸形检测或眼形检测之类的技术的红眼检测算法来找 出主图像中的红眼。作为输出，此算法产生描述主图像中的候选红 眼的信息，诸如潜在红眼像素的二元图、或者潜在红眼像素的坐标 组、形状和大小。可以对算法进行参数化，从而以高々i误率(false positiverate)为代价而获得高检测率。这是可能的，因为流程图400 随后的步骤403 (即红眼检测细化)关注于消除々i误。此处允许较多 的正误识可以降低4企测的复杂性。
在步骤403中，从步骤402的红眼检测中获得的信息中排除假 误，从而执行红眼检测细化。红眼检测细化基于参考图4象和主图像 之间的变化，例如通过分析候选红眼的位置及其周围的色彩变化。 例如，只有与显著变化(例如从参考图像的黑色到主图像的红色) 相关联的候选红眼位置可以-f见为真误(true positive)。当扭^亍红眼 检测细化时，也可以利用例如脸形检测信息。如果脸形检测方法非 常鲁棒，则此信息也可以用来限制步骤402的红眼检测中候选红眼 的数量。
最后，在步骤404中，使用红眼修正算法来执行红眼修正，其中红眼修正算法利用从步骤403获得的候选红眼的信息并且修正主 图像中的候选红眼，从而获得消除了红眼效应的主图像。其中，来 自参考图像的图像数据可以用于修正候选红眼。本领域技术人员已 知的是，此处可以应用多种红眼修正方法。此类红眼修正方法的例
子在下列参考文献中描述
.Georg Petschnigg, Maneesh Agrawala, Hugues Hoppe， Richard Szelishi， Michael Cohen, Kentaro Toyama. "Digital Photography with Flash and No-Flash Image Pairs". ACM Transactions on Graphics (Proceedings of SIGGRAPH 2004), 2004.
.GAUBATZ, M., AND ULICHNEY， R., 2002. "Automatic red-eye detection and correction". IEEE International Conference on Image Processing, pp. 804-807.
.PATTI, A., KONSTANTINIDES， K,， TRETTER, D. AND LIN, Q., 1998. "Automatic digital redeye reduction". IEEE International Conference on Image Processing, pp. 55-59.
.Huitao Luo， Yen J., Tretter D.. "An efficient automatic redeye
detection and correction algorithm", ICPR 2004. Proceedings of the .17th International Conference on Pattern Recognition, Volume 2, 23-26， Aug. 2004 Page(s): 883-886. 下面将参考图5的流程图500来讨论可应用于步骤404的红眼
修正算法的另一例子。
应当注意，代替在步骤402中仅基于主图像的图像数据来执行
红眼检测，此红眼检测同样可以基于参考图像和主图像二者的图像
数据。而且，步骤403中的红眼检测细化继而可以基于单个图像(参
考图像或者主图像)的图像数据来执行。由于只需要搜索较少的位
置，因此这可以减少单图像红眼检测细化(例如，基于脸形/眼形检
测)所需要的计算时间。
图5示出了图2的流程图的步骤205的另一示例性实施方式的
流程图500,也即如何确定消除了红眼效应的主图像的图像数据的另
22一示例性方式。在此示例性实施方式中，假设参考图像和主图像的
图像数据由YUV色彩空间模型的Y、 U和V分量来表示，其中Y 是亮度分量，U和V是色度分量。当然，其他色彩空间也是可行的， 例如原始图像数据域或者RGB域。
在第一步骤501中，基于参考图像和主图像的Y、 U和V分量 来确定模糊似然性图。该图为每个像素提供了 一个
范围内的值， 其中较大的值描述该像素有可能位于红眼区域。
在步骤502中，参考图像和主图像基于像素乘以模糊似然性图， 使得潜在的红眼像素的值被加强，从而在后续处理中给予更大权重。 这使得没必要使用界限分明的阈值，这样做是有利的，因为阈值设 置通常非常困难，因此避免设置阈值使得红眼检测更加鲁棒。
至少分别针对参考图像和主图像的色度分量U和V执行随后的 步骤503-507,其中对于不同的分量，处理的程度(例如步骤505中 对PCA变换矩阵的修改的量)可以不同。
在步骤503中，根据从步骤502获得的加权参考图像和加权主 图像的色度分量(U或V)来构建数据集。该数据集例如可以包括 加权参考图像的整个v分量以及加权主图像的整个V分量。
在步骤504中，针对(分量特定的)数据集，基于数据集的协 方差矩阵(例如主图像的加权V分量和参考图像的加权V分量)来 计算主元分析(PCA)。例如，对于红色色度分量V,可以计算2x 2的PCA变换矩阵v。 PCA变换矩阵^是供将PCA变换应用于数据集 的系数，其中数据集被分为两部分 一部分表示联合信号的最大可 变性或者能量(公共部分)，另一部分表示其余部分，也即图像之 间的差异(差异部分)。可以不执行数据集的实际PCA变换。
在步骤505中，以如下方式修改步骤504中获得PCA变换矩阵， 使得抑制或者消除较小的PCA分量(差异部分)。例如，对PCA变 换矩阵的修改可以是最大特征值与最小特征值的比率的函数，或者 是固定参数。这样得到修改的PCA变换矩阵vv。
在步骤506中，基于步骤504中获得的PCA变换矩阵与步骤505中获得的修改的PCA变换矩阵的组合来确定变换。此变换例如可以
定义为修改的PCA变换矩阵vv与经转置的PCA变换矩阵v的矩阵 乘积，其中转置矩阵应用正向变换，非转置矩阵应用逆变换。在将 转置变换矩阵应用于数据集时，数据集因而变换到新的坐标系统， 并且通过应用修改的变换矩阵，数据集从新的坐标系统变换回来， 然而其方式是抑制或消除差异部分(也即参考图像的图像数据与主 图像的图像数据之间的差异)的修改方式。上述两个变换可以单独 应用，而不过作为组合矩阵。组合变换继而有效地执行正向PCA和 -修改的逆向PCA。
当利用不同的参数执行时，此实施方式不仅可以用于减少红眼 效应，而且可以用于闪光灯和环境发光的适应性融合(重新打光)。 这可以通过还将Y分量整合到PCA处理中来实现。
在步骤507中，继而将步骤506的变换应用于数据集，以获得 PCA混合图像的色度分量。其中，步骤507中获得的色度分量表示 加权参考图像的色度分量与加权主图像的色度分量的混合。
针对参考图像和主图像的U和V分量分别执行步骤503-507。 可选地，步骤503-507也可以针对亮度分量Y来执行。如果不处理 Y分量，则主图像的Y分量可以用于流程图500的剩余步骤。
在步骤508中，在考虑模糊似然性图的情况下，组合加权参考 图像、加权主图像以及PCA混合图像，以获得组合图像。 一种此类 組合可以是对PCA混合图像、利用模糊似然性图加权的参考图像以 及利用逆模糊似然性图加权的主图像的平均。继而，潜在的红眼的 像素值大部分来自PCA混合图像和参考图像，而对于红眼具有小似 然性的像素，其值大部分来自主图像。
针对主图像和参考图像的各个色彩空间分量，可以利用变化的 参数重复过程(尤其步骤503-508 )(例如，强作用于R对，较小作 用于G对和B对；或者强作用于V对，较小作用于U对并且不对Y 对作用)。
在流程图500的此阶段，例如红色瞳孔已经变得不那么红了 。在步骤509中，将也存在于步骤508的组合图像中的模糊似然 性图的影响从组合图像中去除，以获得调整过的组合图像。
在步骤510中，为了使瞳孔变暗，降低如下像素的强度，在这 些像素处，相对于流程图500的前述步骤的主图像而言，经处理图 像的色彩饱和度被降低。这些像素例如可以通过确定已调整组合图 像与主图像之间的差异来标识。这样最终得到消除了红眼效应的主 图像的表示。
如上已经论述的，应当注意，根据图5的流程图500的方法也 可以用作图4的流程图400中的细化和/或修正方法(步骤403和 404)。在这种情况下，可以仅针对在流程图400的步骤402和/或 403中检测到的区域进行分析和修正。
上述处理中的一个可选特征是重新打光，在该重新打光中还考 虑亮度分量Y。
在一种简单的实现中，代替对Y分量的因子分解，使用参考图 像的亮度分量Y的高值，其保留在参考图像中的、在主图像中不亮 的明亮区域(例如，灯)。这种实现例如可以是选择参考图像和主 图像的独立缩放Y分量的最大亮度值。在一种更高级的重新打光实 现中，将亮度分量Y包括在步骤503-507的PCA处理中。
参考图5的流程图500描述的本发明的实施方式使用通过模糊 似然性图加权的参考图像(利用低闪光灯能量级别捕捉的)和主图 像(利用较高闪光灯能量级别捕捉的)，从而借助于因子分析方法 无差别地抑制或消除两幅图像之间局部加权的全局色彩差异。这样 得到红眼消除而无需设置阈值或图形识别步骤来找出图像中的眼睛 (眼形)。这使得本实施方式在遗漏眼睛方面更加鲁棒，遗漏眼睛 是某些红眼消除方法(所谓的哈士奇狗效应)中非常讨厌的方面。
本领域技术人员很容易清楚，参考图5的流程图500描述的本 发明的实施方式在参考图像在没有闪光灯的条件下捕捉时，同样可 以应用于赝像消除。例如，通过在没有闪光灯的条件下捕捉的取景 器图像可以用作参考图像。同样地，可以确定利用闪光灯来捕捉参考图像不是必须的，因为没有闪光灯的条件下的参考图像已经足够亮了。
此外，在图5的流程图500中描绘的本发明的实施方式在计算 潜在的红眼像素时使用模糊加权，其使得结果在空间上更平滑，不 像其他方法，在那些方法中应用了红眼消除的区域与未应用红眼消 除的区域之间存在可见边缘。
根据图5的流程图500中描述的本发明的实施方式，在遗漏眼 睛和界限分明的色彩边缘方面获得健壮性的代价是可能稍微改变其 他颜色细节，而不仅仅是红眼。例如，当将主图像与消除了红眼效 应的主图像表示进行比较时，可以看出某些物体(尤其是阴影中的 红色物体)有点不同的颜色。不过，对于最终用户来说只要图像看 起来自然这就不是问题，因为用户在捕捉图像时不会看到主图像， 而仅仅是(无闪光灯的)取景器图像。颜色中的细微变化比遗漏眼 睛更容易忍受。
除了平衡色彩差异(参见步骤503-507 )之外，还可以平衡强度 (亮度)差异，从而可以在重新打光中使用图5的流程图500中描 述的本发明的实施方式。对于红眼消除和重新打光二者的优势在于， 此实施方式基于当前图像数据来计算PCA变换矩阵，并且只有该数 据驱动的矩阵的修改量可以由参数值来设置，例如由定义最小PCA 分量减小或消除多少的参数值来设置。例如，可以为R对设置强作 用，为G对和B对设置较小的作用；或者为V对设置强作用，为U 对设置较小作用，而为Y对设置中等作用。因此，参数并不定义参 考图像和主图像的色彩分量组合的量。而且，这些量即时地计算， 并且参数不指定发生红眼消除操作所需的红色差值阈值。
图5的流程图500中描绘的本发明的实施方式不限于PCA;也 可以使用其他因子分析方法，诸如独立元分析(ICA),用于分离参 考图像和主图像的公共部分和差异部分。而且，此实施方式不限于 使用YUV色彩空间。同样地，可以使用其他色彩空间。例如，此实 施方式可以在贝叶解拼(Bayer de-mosaicing )之前或之后用在RGB空间中。
尽管已经示出、描述和指出应用于本发明的优选实施方式的本 发明的重要新颖特征，但是可以理解，本领域技术人员可以在不偏 离本发明的精神的条件下，对所描述的设备和方法的形式和细节做 出各种删除、替换和改变。例如，明确的意图是，以基本上相同方 式执行基本上相同功能并获得相同结果的这些元件和/或方法步骤的 所有组合都落入本发明的范围内。而且，应该认识到，结合任何公 开形式或本发明的实施方式描述和/或示出的结构和/或元件和/或方 法步骤可以在任何其他7>开的或描述的或建i义的形式或实施方式中 合并作为设计选择的总体。
权利要求
1.一种方法，包括-至少接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于所述第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据；以及-至少基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据，其中所述第三图像表示消除了赝像的所述主图像。
2. 如权利要求l的方法，其中捕捉所述参考图像和所述主图像 之间的时间距离不超过100 ms。
3. 如前述任一权利要求的方法，其中所述第一闪光灯能量级别 小于所述第二闪光灯能量级别的10%。
4. 如前述任一权利要求的方法，其中所述参考图像具有至少以 下之一比所述主图像更低的质量、更低的采样率以及更低的分辨 率。
5. 如前述任一权利要求的方法，其中所述确定所述第三图像的 所述图像数据包括-在考虑所述参考图像的所述图像数据与所述主图像的所述图 像数据之间差异的情况下，检测所述主图像中的赝像；以及-修正所述检测到的赝像，以获得所述第三图像的所述图像数据。
6. 如权利要求5的方法，其中所述检测所述赝像包括-基于所述主图像的所述图像数据来标识所述主图像中的潜在 赝像；-在考虑所述参考图像的所述图像数据与所述主图像的所述图 像数据之间差异的情况下，确定所述潜在赝像中的误标识；以及-从所述潜在赝像中排除所述误标识，其中所述修正仅对未被排 除的潜在赝像执行。
7. 如权利要求5-6中任一的方法，还包括在所述检测所述主图 像中的所述赝像之前，处理所述参考图像。
8. 如权利要求5的方法，其中所述检测所述赝像包括-基于所述参考图像的所述图像数据与所述主图像的所述图像 数据之间的所述差异来标识所述主图像中的潜在赝像；-在考虑所述参考图像或者所述主图像的所述图像数据的情况 下，确定所述潜在赝^f象中的误标识；以及-从所述潜在赝像中排除所述误标识，其中所述修正仅对未被排 除的潜在赝像执行。
9. 如权利要求5-8中任一的方法，其中所述修正所述检测到的 赝像至少部分地基于所述参考图像的所述图像数据。
10. 如权利要求1-4中任一的方法，其中所述确定所述第三图像 的所述图像数据包括-对根据所述参考图像的所述图像数据和所述主图像的所述图 像数据形成的数据集执行因子分析；以及-将从所述因子分析获得的变换应用于所述数据集，以获得第四 图像的图像数据，其中所述第三图像的所述图像数据至少基于所述 第四图像的所述图像数据而确定。
11. 如权利要求10的方法，其中所述因子分析是对所述数据集 的主元分析，所述主元分析针对所述参考图像的所述图像数据和所 述主图像的所述图像数据来确定公共部分和差异部分。
12. 如权利要求ll的方法，其中基于从所述主元分析获得的变 换矩阵、以及为了抑制或消除所述差异部分而确定的修改的变换矩 阵，来确定所述变换。
13. 如权利要求10-12中任一的方法，其中基于来自所述参考图 像和所述主图像的信息来确定模糊似然性图，其中所述模糊似然性 图指示所述主图像的部分中是否包含赝像，并且其中在执行所述因 子分析之前，利用所述模糊似然性图对所述参考图像的所述图像数 据和所述主图像的所述图像数据进行加权。
14. 如权利要求13的方法，其中在考虑所述模糊似然性图的情 况下，基于所述参考图像的所述图像数据、所述主图像的所述图像 数据以及所述第四图像的所述图像数据来确定所述第三图像的所述 图像数据。
15. 如权利要求14的方法，还包括将所述模糊似然性图的影响 从所述第三图像的所述图像数据中消除。
16. 如权利要求14-15中任一的方法，还包括减小所述第三图像 的部分的强度。
17. 如权利要求10-16中任一的方法，其中所述图像数据表示色 彩空间模型的分量，其中所述确定所述第三图像的所述图像数据针 对所述色彩空间模型的至少 一个所述分量而执行，并且其中所述确 定所述第三图像的所述图像数据分别针对所述分量而执行。
18. 如权利要求17的方法，其中所述色彩空间模型是YUV模 型，并且其中所述确定所述第三图像的所述图像数据仅针对U和V 分量而寺丸行。
19. 如权利要求17的方法，其中所述色彩空间模型是YUV模 型，并且其中确定所述第三图像的所述图像数据针对U、 V和Y分 量而执行。
20. —种其上存储有计算机程序的计算机可读介质，该计算机 程序包括-可操作以使得 处理器至少接收使用第 一 闪光灯能量级另ij捕捉 的参考图像的图像数据以及使用高于所述第 一 闪光灯能量级别的第 二闪光灯能量级别捕捉的主图像的图像数据的指令；以及-可操作以使得处理器至少基于所述参考图像的所述图像数据 以及所述主图像的所述图像数据来确定第三图像的图像数据的指 令，其中所述第三图像表示消除了赝像的所述主图像。
21. 如权利要求20的计算机可读介质，其中捕捉所述参考图像 和所述主图像之间的时间距离不超过100 ms。
22. —种计算机程序，包括-可操作以使得处理器至少接收使用第 一 闪光灯能量级别捕捉 的参考图像的图像数据以及使用高于所述第 一 闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据的指令；以及-可操作以使得处理器至少基于所述参考图像的所述图像数据 以及所述主图像的所述图像数据来确定第三图像的图像数据的指 令，其中所述第三图像表示消除了赝像的所述主图像。
23. 如权利要求22的计算机程序，其中捕捉所述参考图像和所 述主图像之间的时间距离不超过100 ms。
24. —种设备，包括处理器，所述处理器配置用于-至少接收使用第 一 闪光灯能量级别捕捉的参考图像的图像数 据以及使用高于所述第 一 闪光灯能量级别的第二闪光灯能量级别捕 捉的主图像的图像数据；以及-用于至少基于所述参考图像的所述图像数据以及所述主图像 的所述图像数据来确定第三图像的图像数据，其中所述第三图像表 示消除了赝像的所述主图像。
25. 如权利要求24的设备，还包括照相机单元，其配置用于捕 捉所述参考图像和所述主图像。
26. 如权利要求24-25中任一的设备，其中捕捉所述参考图像和 所述主图像之间的时间距离不超过100 ms。
27. 如权利要求24-26中任一的设备，其中所述第一闪光灯能量 级别小于所述第二闪光灯能量级别的10%。
28. 如权利要求24-27中任一的设备，其中所述参考图像具有至 少以下之一比所述主图像更低的质量、更低的采样率以及更低的 分辨率。
29. 如权利要求24-28中任一的设备，其中所述处理器配置用于 在考虑所述参考图像的所述图像数据与所述主图像的所述图像数据 之间差异的情况下，检测所述主图像中的赝像；以及修正所述检测到的赝像以获得所述第三图像的所述图像数据。
30. 如权利要求29的设备，其中所述处理器还配置用于在检测到所述主图像中的所述赝像之前，处理所述参考图像。
31. 如权利要求24-28中任一的设备，其中所述处理器配置用于 对根据所述参考图像的所述图像数据和所述主图像的所述图像数据 形成的数据集执行因子分析；以及将从所述因子分析获得的变换应 用于所述数据集以获得第四图像的图像数据，其中所述第三图像的 所述图像数据至少基于所述第四图像的所述图像数据而确定。
32. 如权利要求31的设备，其中所述因子分析是对所述数据集 的主元分析，所述主元分析针对所述参考图像的所述图像数据和所 述主图像的所述图像数据来确定公共部分和差异部分。
33. 如权利要求32的设备，其中基于从所述主元分析获得的变 换矩阵、以及为了抑制或消除所述差异部分而确定的修改的变换矩 阵，来确定所述变换。
34. 如权利要求31-33中任一的设备，其中所述处理器配置用于 基于来自所述参考图像和所述主图像的信息来确定模糊似然性图， 其中所述模糊似然性图指示所述主图像的部分中是否包含赝像，并 且其中在执行所述因子分析之前，利用所述模糊似然性图来对所述 参考图像的所述图像数据和所述主图像的所述图像数据进行加权。
35. 如权利要求34的设备，其中所述处理器还配置用于在考 虑所述模糊似然性图的情况下，基于所述参考图像的所述图像数据、 所述主图像的所述图像数据以及所述第四图像的所述图像数据来确 定所述第三图像的所述图像数据。
36. 如权利要求35的设备，其中所述处理器还配置用于将所述 模糊似然性图的影响从所述第三图像的所述图像数据中消除。
37. 如权利要求35-36中任一的方法，其中所述处理器还配置用 于减小所述第三图像的部分的强度。
全文摘要
本发明涉及一种用于消除闪光灯图像中的赝像的方法、计算机可读介质、计算机程序以及设备。接收使用第一闪光灯能量级别捕捉的参考图像的图像数据以及使用高于第一闪光灯能量级别的第二闪光灯能量级别捕捉的主图像的图像数据。继而基于所述参考图像的所述图像数据以及所述主图像的所述图像数据来确定第三图像的图像数据，其中所述第三图像是消除了赝像的所述主图像的表示。
文档编号H04N1/62GK101563913SQ200680056660
公开日2009年10月21日 申请日期2006年12月22日 优先权日2006年12月22日
发明者J·萨尔基雅尔维, O·卡勒沃, S·阿朗伊雨斯 申请人:诺基亚公司