智能计算成像系统的利记博彩app
【专利摘要】在一些实施例中，电子设备包括图像捕获设备和逻辑，所述逻辑用以从图像捕获设备接收第一组输入帧，分析第一组输入帧以确定是否要实现多图像处理，以及响应于要实现多图像处理的确定来确定捕获场景的动态范围所需的图像帧的数目，捕获至少该数目的图像帧，对准该数目的图像，并且将该数目的图像合并成合并图像。可以描述其它实施例。
【专利说明】智能计算成像系统
【技术领域】
[0001] 本文所描述的主题事项大体上涉及成像和图像处理的领域，并且更特别地，涉及 用于获取高动态范围场景的图像或对低光照条件下的场景进行成像的系统和方法。
【背景技术】
[0002] 诸如移动电话、个人数字助理、便携计算机等之类的电子设备可以包括用以捕获 数字图像的摄像机。通过示例的方式，移动电话可以包括用以捕获数字图像的一个或多个 摄像机。电子设备可以装配有图像信号处理管线，其用以捕获由摄像机收集的图像、处理所 述图像、以及将所述图像存储在存储器中和/或显示所述图像。
[0003] 在一些实例中，自然场景的动态范围可能超出摄像机获取系统的动态范围，从而 导致图像的某些区域中的最终图像中的细节的损失。类似地，在低光照条件下，摄像机图像 可能遭遇影响场景捕获的保真度的显著噪声。
[0004] 用以适应数字摄影中的动态范围问题的技术包括处理图像栈以扩展动态范围或 减少噪声，而很少关注确定获取这些图像栈的最优方式。然而，文献中的许多工作假设场景 的特性是已知的，并且捕获可能绰绰有余的预定数目的图像。由于多图像方法易受所捕获 的图像之间的运动影响，所以不必要地捕获更多的帧可能导致较差的合并假象（artifact) 并且需要更贵的重构算法来处理不同图像之间的运动和对偏。因此，用以选择图像栈中的 多个图像的技术可以尤其在资源受限的系统(诸如，手持移动设备）中找出数字摄影中的利 用率。
【专利附图】
【附图说明】
[0005] 参照附图来描述【具体实施方式】。
[0006] 图1是根据一些实施例的、用于在计算成像系统中使用的电子设备的示意性图 /_J、1 〇
[0007] 图2是根据实施例的、用于在计算成像系统中使用的装置的组件的示意性图示。
[0008] 图3是根据一些实施例的、在图像信号处理器多路复用方面图示的流程图。
【具体实施方式】
[0009] 本文所描述的为用于计算成像的示例性系统和方法。在下面的描述中，阐述了许 多特定细节以提供对各种实施例的透彻理解。然而，本领域技术人员将理解的是可以在不 具有具体细节的情况下实施各种实施例。在其它实例中，未详细地说明或描述已知的方法、 过程、组件和电路，以免使特定实施例晦涩难懂。
[0010] 在一些实施例中，本文所描述的主题事项使得电子设备能够装配有一个或多个图 像捕获设备(例如，摄像机）和用于计算成像的图像处理技术。本文所描述的系统和方法使 得电子设备能够捕获并高效地处理多个图像，以生成提供对场景的改善表示的单个图像。 图像信号可以被存储在存储器中和/或显示在显示设备上。
[0011] 图1是根据一些实施例的、用于在计算成像系统中使用的电子设备的示意性图 示。参照图1，在一些实施例中，电子设备110可以被体现为移动电话、个人数字助理（PDA) 等等。电子设备110可以包括用以收发RF信号的RF收发器150和用以处理由RF收发器 150接收的信号的信号处理模块152。
[0012] RF收发器可以经由协议实现本地无线连接，所述协议诸如例如蓝牙或802. 11X. IEEE 802. 11a、b或g-兼容接口（见例如，用于IT电信和LAN/MAN系统之间的信息交换的 IEEE标准--第II部分：无线LAN介质访问控制（MAC)和物理层（PHY)规范修订4 :2. 4 GHz 带中的更高数据速率扩展，802. 11G-2003)。无线接口的另一示例将是通用分组无线业务 (GPRS)接口（见例如，对GPRS手机要求的指南、全球移动通信系统/GSM协会，版本3. 0. 1， 2002 年 12 月）。
[0013] 电子设备110还可以包括一个或多个处理器154和存储器模块156。如本文所使用 的，术语"处理器"意指任何类型的计算元件，诸如但不限于：微处理器、微控制器、复杂指令 集计算（CISC)微处理器、精简指令集计算（RISC)微处理器、超长指令字（VLIW)微处理器、 或任何类型的处理器或处理电路。在一些实施例中，处理器154可以是Intel?家族的一个 或多个处理器。同样，可以利用来自其它制造商的一个或多个处理器。此外，处理器可以具 有单核或多核设计。在一些实施例中，存储器模块156包括随机存取存储器（RAM);然而，存 储器模块156可以使用其它存储器类型来实现，诸如动态RAM (DRAM)、同步DRAM (SDRAM) 等等。电子设备110还可以包括一个或多个输入/输出接口，诸如，例如键盘158和一个或 多个显不器160。
[0014] 在一些实施例中，电子设备110包括两个或更多的摄像机162和图像信号处理模 块164。通过示例而非限制的方式，第一摄像机162可以被安置在电子设备110的前面或 后面。在一些实施例中，电子设备110可以包括第二或附加的摄像机。图像信号处理模块 164包括图像捕获模块166、图像对准模块168和色调映射（tonemap)模块170。
[0015] 参照图2-3更详细地解释了图像信号处理器164及关联的图像处理管线的各方 面。
[0016] 图2是根据实施例的、用于在计算成像系统中使用的装置210的组件的示意性图 示。参照图2，在一些实施例中，装置210可以被实现为集成电路或其组件，实现为芯片集或 实现为片上系统（S0C)内的模块。在可替代的实施例中，装置210可以被实现为编码在可 编程设备中的逻辑(例如，现场可编程门阵列（FPGA))，或实现为通用处理器上的逻辑指令、 或专用处理器(诸如，数字信号处理器（DSP)或单指令多数据（SMD)矢量处理器）上的逻辑 指令。
[0017] 在图2中所描绘的实施例中，如上所述，装置210包括图像信号处理（ISP)模块 164,其进而包括图像捕获模块166、图像对准模块168和色调映射模块170。装置210还可 以包括接收器222、直接存储器访问（DMA)引擎226和存储器管理单元（MMU)228。ISP模块 164耦合到存储器模块156。存储器模块156可以维护一个或多个寄存器230和一个或多 个帧缓冲器240。
[0018] 将参照图2-3来解释电子设备的操作。在一些实施例中，来自摄像机162所拍摄 的场景的图像被输入到接收器222中（操作310)。在一些实施例中，摄像机162可以包括 耦合到图像捕获设备(例如，电荷耦合设备（CCD))的光学器件布置，例如，一个或多个透镜。 电荷耦合设备的输出可以采用贝尔（Bayer)帧的格式。可以在时间方面对来自CCD或CMOS 设备的贝尔帧输出采样，以产生被引导至一个或多个接收器222的一系列贝尔帧。这些未 经处理的图像帧在本文中有时可以被称为原始图像帧。本领域技术人员将认识到原始图像 帧可以被体现为数据值的阵列或矩阵。原始帧可以被存储在帧缓冲器240中。在一些实施 例中，直接存储器访问引擎226从接收器222检索图像帧并且将所述图像帧存储在帧缓冲 器240中。
[0019] 在操作315处，对场景的一个或多个原始图像帧进行分析，以确定是否应该处理 场景的多个原始图像，以便捕获场景的全动态范围，而使图像中的视觉噪声最小化。通过示 例的方式，在一些实施例中，图像捕获模块166确定(操作320)图像帧的最小数目和捕获场 景所必需的用于这些图像帧中的每个的对应的捕获参数(例如，曝光时间和ISO设置)。用 来测量捕获保真度的准则可以包括图像的平均信噪比（SNR)，其继而基于摄像机噪声模型 而估计。
[0020] 在一些实施例中，对一个或多个原始图像进行分析以计算场景统计数值，包括可 能超出传感器的动态范围的场景的动态范围和直方图。连同对系统的传感器模型的分析一 起，这些统计数值可以用来自动地确定使用户所设计的总体SNR或其它目标最大化的曝光 参数。可以对参数进行实时地设置，以使得当用户按下快门按钮时，能够立即应用所有估计 的曝光参数。
[0021] 数字摄像机传感器易受不同噪声源(诸如，暗电流、光子散粒噪声、读出噪声、来自 模数转换（ADC)的噪声）的影响。在一些实施例中，噪声模型可以被应用于由此类噪声源引 入的模型误差。
[0022] 通过实例的方式，如果I」表示每单位时间在传感器上的像素位置j处生成的电子 的数目，其与入射光谱辐照度成比例，从而导致在曝光时间t内生成的L个电子。像素值 Xj可以被建模为正态随机变量：
【权利要求】
1. 一种计算机程序产品，包括存储在非临时计算机可读介质上的逻辑指令，所述逻辑 指令当被电子设备中的处理器运行时，将所述处理器配置为实现智能计算成像操作，包括， 包括： 从图像捕获设备接收第一组输入帧； 分析所述第一组输入帧以确定是否要实现多图像处理，并且响应于要实现多图像处理 的确定： 确定用以捕获场景的动态范围的图像帧的数目； 捕获至少所述数目的图像帧； 对准所述数目的图像；以及 将所述数目的图像合并成合并图像。
2. 如权利要求1所述的计算机程序产品，还包括存储在非临时计算机可读介质上的逻 辑指令，所述逻辑指令当被电子设备中的处理器运行时，将所述处理器配置为处理所述合 并图像以供在显示设备上的显示。
3. 如权利要求1所述的计算机程序产品，还包括存储在非临时计算机可读介质上的逻 辑指令，所述逻辑指令当被电子设备中的处理器运行时，将所述处理器配置为将所述合并 图像存储在存储器模块中。
4. 如权利要求1所述的计算机程序产品，其中分析所述第一组输入帧以确定是否要实 现多图像处理包括：确定是否可以使用单次曝光来捕获所述场景的整个动态范围。
5. 如权利要求1所述的计算机程序产品，其中确定捕获场景所需的图像帧的最小数目 包括： 估计所述第一组输入帧的信噪比（SNR); 估计所述场景的动态范围； 估计由成像设备所捕获的光谱辐照度的直方图；以及 递增地增加样本中的图像帧的数目以最大化所捕获的像素的SNR之和。
6. 如权利要求5所述的计算机程序产品，其中估计所述场景的动态范围包括： 通过迭代地变更曝光级别直到阈值数目的像素落在预定的直方图范围内，来确定表示 所述场景的亮区域的短曝光； 通过迭代地变更图像的曝光级别直到阈值数目的像素落在预定的直方图范围内，来确 定表示所述场景的暗区域的长曝光。
7. 如权利要求1所述的计算机程序产品，其中对准所述最小数目的图像包括： 估计图像之间的旋转矢量；以及 将所述图像扭曲到共同的参考帧。
8. 如权利要求7所述的计算机程序产品，其中将所述图像扭曲到共同的参考帧包括： 将后向内插方法应用于所述图像帧，其中红和蓝通道直接根据原始图像帧被处理，而绿通 道被内插在旋转了 45度的网格上。
9. 如权利要求1所述的计算机程序产品，其中将所述最小数目的图像合并成合并图像 利用了最大似然组合。
10. 如权利要求1所述的计算机程序产品，还包括存储在非临时计算机可读介质上的 逻辑指令，所述逻辑指令当被电子设备中的处理器运行时，将所述处理器配置为对所述合 并图像进行双线性去马赛克和色调映射.
12. -种电子设备，包括： 图像捕获设备；以及 逻辑，用以： 从图像捕获设备接收第一组输入帧； 分析所述第一组输入帧以确定是否要实现多图像处理，并且响应于要实现多图像处理 的确定： 确定捕获场景的动态范围所需的图像帧的数目； 捕获至少所述数目的图像帧； 对准所述数目的图像；以及 将所述图像合并成合并图像.
13. 如权利要求11所述的电子设备，还包括逻辑用以确定是否可以使用单次曝光来捕 获所述场景的整个动态范围.
14. 如权利要求11所述的电子设备，还包括逻辑用以： 估计用于所述图像捕获设备的信噪比（SNR); 估计所述场景的动态范围； 估计由成像设备所捕获的光谱辐照度的直方图；以及 递增地增加样本中的图像帧的数目以最大化所捕获的所有像素的SNR之和.
15. 如权利要求15所述的电子设备，还包括逻辑用以： 确定表示所述场景的亮区域的短曝光； 确定表示所述场景的暗区域的长曝光；以及 递增地增加图像的曝光级别直到阈值数目的像素落在预定的直方图范围内.
16. 如权利要求11所述的电子设备，还包括逻辑用以： 估计图像之间的旋转矢量；以及 将所述图像扭曲到共同的参考帧.
17. 如权利要求17所述的电子设备，还包括逻辑用以将后向内插方法应用于原始图像 帧，其中红和蓝通道直接根据所述原始图像帧被处理，而绿通道被内插在旋转了 45度的网 格上.
18. 如权利要求11所述的电子设备，还包括逻辑用以利用最大似然组合将所述最小数 目的图像合并成合并图像.
19. 一种方法，包括： 从图像捕获设备接收第一组输入帧； 分析所述第一组输入帧以确定是否要实现多图像处理，并且响应于要实现多图像处理 的确定： 确定用以捕获场景的动态范围的图像帧的数目； 捕获至少所述数目的图像帧； 对准所述数目的图像；以及 将所述数目的图像合并成合并图像.
20. 如权利要求18所述的方法，其中确定捕获场景所需的最小数目的图像帧包括： 估计所述第一组输入帧的信噪比（SNR); 估计所述场景的动态范围； 估计由成像设备所捕获的光谱辐照度的直方图；以及 递增地增加样本中的图像帧的数目以最大化所捕获的像素的SNR之和.
21. 如权利要求19所述的方法，其中估计所述场景的动态范围包括： 通过迭代地变更曝光级别直到阈值数目的像素落在预定的直方图范围内，来确定表示 所述场景的亮区域的短曝光； 通过迭代地变更图像的曝光级别直到阈值数目的像素落在预定的直方图范围内，来确 定表示所述场景的暗区域的长曝光.
22. -种装置，包括： 逻辑，用以： 从图像捕获设备接收第一组输入帧； 分析所述第一组输入帧以确定是否要实现多图像处理，并且响应于要实现多图像处理 的确定： 确定捕获场景的全动态范围所需的图像帧的数目； 捕获至少所述数目的图像帧； 对准所述数目的图像；以及 将所述数目的图像合并成合并图像.
23. 如权利要求21所述的装置，还包括逻辑用以处理所述合并图像以供在显示设备上 的显示.
24. 如权利要求21所述的装置，还包括逻辑用以将合并图像存储在存储器模块中.
25. 如权利要求21所述的装置，还包括逻辑用以确定是否可以使用单次曝光以最小的 视觉噪声捕获所述场景的整个动态范围.
26. 如权利要求21所述的装置，还包括逻辑用以： 估计用于所述图像捕获设备的信噪比（SNR); 估计所述场景的动态范围； 估计由成像设备所捕获的光谱辐照度的直方图；以及 递增地增加样本中的图像帧的数目以最大化所捕获的所有像素的SNR之和.
27. 如权利要求25所述的装置，还包括逻辑用以： 确定表示所述场景的亮区域的短曝光； 确定表示所述场景的暗区域的长曝光；以及 迭代地增加图像的曝光级别直到阈值数目的像素落在预定的直方图范围内.
28. 如权利要求21所述的装置，还包括逻辑用以： 估计图像之间的旋转矢量；以及 将所述图像扭曲到共同的参考帧.
29. 如权利要求27所述的装置，还包括逻辑用以： 将后向内插方法应用于原始图像帧，其中红和蓝通道直接根据所述原始图像帧被处 理，而绿通道被内插在旋转了 45度的网格上.
30. 如权利要求21所述的装置，还包括逻辑用以利用最大似然组合将所述最小数目的 图像合并成合并图像.
31.如权利要求21所述的装置，还包括逻辑用以对所述合并图像进行双线性去马赛克 和色调映射。
【文档编号】H04N5/232GK104067608SQ201280067494
【公开日】2014年9月24日 申请日期:2012年1月18日 优先权日:2012年1月18日
【发明者】K.塞沙德里纳塔恩, S.L.帕克, O.内斯塔雷斯 申请人:英特尔公司