专利名称：双模式相机方案、设备、系统及方法
技术领域：
—般而言，本发明涉及包括具有像素阵列的图像传感器的数码 相机；更具体地讲，本发明涉及具有高动态范围的相机。
背景技术：
用于消费者产品的常规CMOS图像传感器的动态范围一般限 制在大约60-70分贝。窄的动态所带来的一个问题是当在视野中混合有 高对比度的、非常亮和非常暗的物体时，难以获得好的图像品质。在消费者的使用场合下，如在汽车相机中，使用高动态范围的 互补金属氧化物半导体(CMOS)图像传感器的兴趣逐渐增加。在许多 应用场合下，期望有90-100分贝的高动态范围(HDR)。尽管高动态范 围的CMOS图像传感器在现有技术中是已知的，但是它们通常会给系统 强加上其它缺点。例如，高动态范围的实现通常伴随着图像传感器其它 性能的劣化，如灵敏度或分辨率。另外地，特别设计地具有高动态范围 的CMOS图像传感器可能比较贵。而且，在系统水平上，现有技术中的 高动态范围图像传感器的芯片 一般不准许弹性地控制动态范围。因此，在这些问题的启发下，本发明之发明人开发了双模式相 机(dual mode camera)方案。
发明内容
本发明的双模式相机方案可以提供针对动态范围的系统控制。 该系统的第一部分包括图像传感器，该系统的第二部分包括图像信号处 理器、緩冲器和动态范围模式控制器。动态范围模式控制器选择相机系
统的操作模式。其中， 一种操作模式具有常规动态范围(非HDR操作模 式)，其动态范围比高动态范围小；另一种操作模式则具有高动态范围 (HDR操作模式)。系统控制可以允许根据需要，以各种不同的方式来 选择操作模式，如可以根据环境条件，静态地选择操作模式或者动态地 选择操作模式。系统控制还允许在该系统采用不同类型的图像传感器， 包括本性上支持HDR和非HDR操作模式的图像传感器和本性上只支持 非HDR操作模式的图像传感器。
下面结合附图对本发明进行详细地描述，其中
图1是依照本发明一实施方式之双模式相机系统的框图；
图2显示了依照本发明一实施方式的具有双模式图像传感器
的双模式相机系统的实现；以及图3A和3B显示了依照本发明一实施方式的具有传统图像传
感器的双模式相机系统的实现。
在各图中，类似的附图标记标识相应的部件。
具体实施例方式图1是依照本发明一实施方式的相机系统100的框图，其中， 为了清楚起见省略了一些常规元件。可以认为相机系统100具有两部分。 第一部分102包括具有像素阵列的图像传感器105。在一实施方式中， 图像传感器105是CMOS图像传感器。图像传感器105生成图像信号， 每个图像信号对应于图像的原始(未处理的)像素数据。第二部分104是该系统的图像处理和控制部分。第二部分104 包括緩冲器110以緩冲图像信号、图像信号处理器115和动态范围模式 控制器120。可以理解，图像信号处理器115的功能可以使用能够处理 图像信号的数字信号处理器或其它的适当处理器实现。如下面更详细的
描述，动态范围模式控制器120优选地被设计成支持对动态范围进行系
统控制，其可以被编程以支持使用不同类型的图像传感器，以及可以具 有转换响应，该转换响应可针对特定应用场合而在系统水平上实现可编程。如虚线125所显示，在示例性相机方案中，两部分102和104 由分离的元件以及在分离的元件之间联接信号的信号连接(以带箭头的 线标示)形成。在一实施方式中，图像传感器105设置在第一芯片上， 且图像信号处理器115设置在第二芯片上。緩冲器IIO可以由与图像信 号处理器115分离的的存储器元件形成。从系统设计的立场来说，希望为系统设计者提供在系统水平上 从部分104控制动态范围的能力。在一实施方式中，具有两种不同的操 作模式，分别对应于在输出130的数字图像的高动态范围(HDR)模式 和常规模式(非HDR)。在一种方式中，常规(非HDR)操作模式对应 于60-70分贝传统动态范围，其显著地低于HDR, HDR操作^^莫式至少具 有大约90-100分贝动态范围。在该方式中，图像信号处理器115的输出 130是高动态范围(HDR)图像或非HDR图像。高动态范围在应用中特 别地有用，其在亮和暗图像之间具有高的对比度。然而，为了获得高动 态范围通常可能带来多种系统性能的劣化，如与常规动态范围相比，其 灵敏度或者分辨率可能降低，这取决于实现HDR操作模式的方法。因此， 当不需要HDR的时候，将其转换成常规(非HDR)操作模式，具有潜 在的优势。在一种方式中，动态范围模式控制器120是可编程的，以便准 许操作模式的静态选择或操作模式的动态范围选择。对于操作模式的静 态选择的情形，动态范围模式控制器120可被编程使用单一的操作模式 (例如HDR或非HDR)进行操作。例如，对于某些特别的应用场合， 优选将动态范围模式控制器120编程为使用单一的操作模式。对于操作 模式的动态范围选择的情形，动态范围模式控制器120使用图像品质标
准，来确定操作模式如何随着环境条件变化而转变。可以理解，确定操 作模式如何随着环境条件变化而转变的图像品质标准，可以在系统水平 上进行设定，如通过使用 一组可编程标准作为特别的最终应用场合。在操作模式的动态范围选择的 一种实施方式中，动态范围模式 控制器120主动地检测环境条件，作为响应，并动态地选择操作模式。 动态范围模式控制器120可以以各种不同的方式检测环境条件。在一实 施方式中，动态范围模式控制器120对影响图像品质的环境条件进行独 立地分析，例如，通过监控緩冲器110的内容中的图像信号。然而，更 通常地，动态范围模式控制器120还可以接收来自图像信号处理器115 的输入数据，以校正其对环境条件的监控，例如，之前处理过的图像上 的信息。例如，当对应于亮和暗区域之间的大对比度、图像传感器的入 射光线具有高度的不均匀强度变化的时候，人们通常期望HDR。例如， 系统可以检测过度曝光的或太暗的图像，例如使用曝光时间的柱状图和 各个像素区域的输出。例如，如果对于当前环境条件来说动态范围太低， 各个像素可以具有与饱和状态相应的输出。相反地，如果动态范围高于 当前环境条件所需的范围，在整个图像上各个像素的输出可以处于较低 水平。动态范围模式控制器120可以被编程为基于影响图像品质的整个 信号水平的统计属性而作出转换决定，从而可以为所期望的操作模式。
作为示例，动态范围模式控制器120可以基于图像信号中亮区和暗区之 分布的标准指示，而被编程作出转换操作模式的决定，这样的图像信号 可以如平均图像信号强度、最大图像信号强度、最小图像信号强度、 平均图像信号强度、中值图像信号强度或图像信号中亮区和暗区之模式 的其它统计指示。作为一个示例，例如，信号强度属性可以与亮的和暗 的环境条件下信号强度属性上的存档数据进行比较，以便针对所选择的 曝光参数，确定什么时候像素的统计学上的重要的数量和/或分布具有饱 和输出，该饱和输出能够表明高动态范围是所期望的。在一特定的应用场合中，对图像品质标准进行编程是期望的， 该图像品质标准可用来作出动态范围转换的决定，以侵_针对特定的应用 场合在系统水平上达到最佳化。如前所述，在许多应用场合中，获得高 动态范围是以一些其它的传感器属性的劣化为代价的，如较低的灵敏度 或较低的分辨率。作为一说明性示例，在汽车应用中，用于作出决定从 非HDR转换到HDR的图像品质标准可以针对驾驶安全进行优化。相反， 在用于拍摄数码静止图像的相机中，用于从非HDR转换到HDR的决定 阈值可以如此选择，其能提供对静止图像的最美观的令人喜爱的观察体 验。如图1所示，动态范围模式控制器120生成控制信号，以指示 其它的元件执行所选择的操作模式。控制信号的精确性质取决于其它的 元件的执行方式和单个元件将其功能适应当前操作模式的要求。例如， 如果緩冲器IIO和图像信号处理器115要求通知当前操作模式，则执行 动态范围模式控制器120,以便为它们提供当前动态范围模式的通知。 图像传感器105接收通知，其部分地取决于图像传感器105的复杂程度。 例如，如果图像传感器105包括局部模式控制器，则动态范围模式控制 器提供简单的模式通知信息。然而，更通常地，动态范围模式控制器120 可以被执行，以向图像传感器105提供一组操作输入，如曝光时间和增 益参数，这在以下将更详细地描述。众所周知，在图像传感器领域，使用单一曝光时间和恒定增 益的单个CMOS图像传感器具有如此的特征输出响应，该特征输出响应 随光线强度的增加而饱和，其限制了动态范围。然而，可以采用多种技 术有效地结合几个不同的输出特性(例如来自不同的CMOS图像传感器 或者来自在不同抽样时刻以不同方式操作的相同CMOS图像传感器)， 以获得HDR。现在将描述用于获得HDR的一组示例性的图傳3专感器方 法。 一种获得双模式图像传感器的技术采用具有两个传感器阵列的图像 传感器。对于HDR模式，每个传感器阵列使用不同的曝光时间(曝光时
间差可以是固定的或自动调整的)，然后图像信号处理器将产生的两个图 像(具有不同的曝光时间)结合在一起，以获得高动态范围的结果。对
于非HDR模式，传感器阵列可以使用相同的曝光时间。另一种技术是使 用单个传感器，该单个传感器可被操作生成如此的图傳-信号，该图像信 号能被结合而获得高动态范围的结果。在一实现方式中，单个传感器阵 列使用不同的曝光时间(其中一次的曝光时间非常短，而且不影响另外 的曝光)，然后，图像信号在图像信号处理器上被结合在一起，以获得高 动态范围的结果。 一种变化方式是单个传感器阵列被曝光且读取一次， 然后，再以不同的曝光时间被曝光且读取，然后系统将两个图像结合在 一起，以获得高动态范围的结果。另外一种变化方式是单个传感器阵列 使用相同的曝光时间和不同的读取电路，以在两个图像上获得不同的亮 度强度，然后，将这两个图像结合在一起，以获得高动态范围的结果。豪威科技有限公司，即本发明的受让人，已经率先开发了同 时支持HDR和非HDR模式的多种CMOS图像传感器。例如，HDR能 够支持向下采样模式。再如，每个单位像素可以具有短曝光光电二极管 和长曝光光电二极管。在下列本发明受让人的美国专利申请中，披露了 被设计成支持HDR和非HDR的图像传感器的例子2007年6月29日 申请的60/947,347以及2007年8月31日申请的11/849,129，其内容在 这里被引用作为参考。图2显示了相机系统200的一个示例，其中，图像传感器是双 模式图像传感器205，其本身被设计成同时支持HDR和非HDR模式。 在该示例中，动态范围模式控制器120指引双模式图像传感器205，在 图像传感器205的二个模式之一中进行操作。图3A和3B显示了相机系统300的一个示例，其中，图像传 感器是本身(natively)只支持非HDR操作模式的图像传感器305。如图 3A所示，当动态范围模式控制器120选择非HDR模式时，其指引图像 传感器进行传统的单曝光。然而，如图3B所示，当动态范围模式控制器
120选择HDR模式时，其指引图像传感器305采用不同的曝光参数生成 图像信号的序列(例如，进行双采样，以扩展动态范围)。也就是，该系 统控制图像传感器曝光时间和图像数据读取，以获得长曝光图像和短曝 光图像，并在緩冲器IIO上储存图像；然后，使用图像信号处理器115， 将图像信号结合在一起，获得高动态范围的图像信号。作为一示范性实 例，对于两个图像信号的序列，图像信号之一具有长的曝光时间，而另 一个具有短曝光时间。对于HDR操作模式，緩冲器IIO緩冲具有不同曝 光时间的图像信号的序列，图像信号处理器115将具有不同曝光时间的 图像信号结合成具有高动态范围的单个图像。提供动态范围的系统控制，在几种不同的方面都是很有益的。 提供操作模式的系统控制的一种优点是，系统的图像处理和控制部分能 被设计成支持双模式图像传感器205或传统的图像传感器305。从系统 设计的立场来说，非常想要一种通用的系统设计，其可以使用不同类型 的图像传感器。例如，商业上容易获得本身只支持常规动态范围的传统 图像传感器305。相反，双模式图像传感器205需要订制，因而很可能 更昂贵。提供操作模式的系统控制的另 一种优点是,通用的相机系统可 以根据相机系统的特别应用场合以及环境条件，使其操作模式进行适应。 操作模式的系统控制准许针对特定应用场合而根据环境条件静态地(也 就是HDR或非HDR)或动态地选择将被编程的操作模式。另外，系统 控制准许在动态模式中作出转换决定的标准为可编程的标准，其可以针 对特定的应用场合而被最佳化。可以预见到各种不同的扩展和改进。之前的示例是针对仅两个 具有不同动态范围的操作模式(也就是HDR和非HDR)。然而，可以理 解，本发明包括具有超过两种不同操作模式的实施方式(例如，最高动 态范围模式、中等动态范围模式、以及"低，，动态范围模式)。例如，最 高动态范围模式可将三个图像信号进行结合，中等动态范围模式可将两
个图像信号进行结合，而低动态范围模式可使用单个图像信号。为了说明的目的，前面的描述采用了特定的术语，以便充分 理解本发明。然而，本领域技术人员显然知道，特定的细节不是实施本 发明所必需的。因此，上述对本发明特定实施方式的描述只是为了示范 和描述目的。它们并非是穷尽式的描述，或者是将本发明限制为所述的 精确形式；显然，基于上述的启示，很多改进和变化都是可能的。选择 并描述这些实施方式是为了最好地解释本发明的原则和其实际应用，以 便使本领域的其它技术人员能够来最好地利用本发明，而具有各种改进 的各种实施方式，可以适合于特定的预期用途。下述的权利要求和其等 同物旨在定义本发明的范围。
权利要求
1、一种在系统水平上提供动态范围控制的双模式相机系统，其包括图像处理和控制系统，包括图像信号的缓冲器，该图像信号是从图像传感器接收的，该图像传感器具有像素阵列；接收来自所述缓冲器的缓冲的图像信号的图像处理器；以及在所述图像处理和控制系统内选择所述相机系统之操作模式的动态范围模式控制器，所述的操作模式包括第一操作模式和第二操作模式，所述的第一操作模式具有高动态范围(HDR)，所述的第二操作模式具有非HDR(非HDR)的常规动态范围。
2、 如权利要求1所述的相机系统，其中，所述的动态范围模式控制 器能够被编程，静态地将所述的操作模式选择为所述操作模式中的一种。
3、 如权利要求1所述的相机系统，其中，所述的动态范围模式控制 器根据环境条件动态地选择所述的操作模式。
4、 如权利要求1所述的相机系统，其中，所述的图像传感器本身不 支持HDR,所述的动态范围模式控制器通过调整至少两个连续图像信号 的曝光时间组来实现所述第一操作模式，该连续图像信号是由所述图像 传感器阵列在不同曝光时间采集的，所述的图像处理器将至少两个具有 不同曝光时间的图像信号结合成具有高动态范围的单个数字图像。
5、 如权利要求1所述的相机系统，其中，所述的图像传感器本身支 持HDR和非HDR操作模式，所述的动态范围模式控制器指引所述的图 像传感器在HDR和非HDR操作模式之间进行选择。
6、 如权利要求1所述的相机系统，其中，所述的动态范围模式控制 器支持使用不同类型的图像传感器；当所述的图像传感器本身不支持 HDR时，所述的动态范围模式控制器通过调整至少两个连续图像信号的 曝光时间组来实现所述第一操作模式，该连续图像信号是由所述图像传 感器阵列在不同曝光时间采集的，所述的图像处理器将至少两个具有不 同曝光时间的图像信号结合成具有高动态范围的单个数字图像；当所述 的图像传感器本身支持两种操作模式时，所述的动态范围模式控制器指 引所述的图像传感器在HDR和非HDR操作模式之间进行选择。
7、 如权利要求1所述的相机系统，其中，所述的动态范围模式控制 器通过检测环境条件动态地选择所述操作模式；其中，所述的动态范围 模式控制器为响应需要常规动态范围的检测而选择所述第二操作模式， 在所述第二操作模式中，所述图像传感器被操作生成具有常规动态范围 的图像；所述的动态范围模式控制器为响应需要扩展的动态范围的检测 而选择所述第一操作模式，在所述第一操作模式中，所述图像传感器被 操作生成高动态范围。
8、 一种在系统水平上提供动态范围控制的双模式相机，其包括 具有像素阵列的图像传感器阵列；以及 图像处理和控制系统，其又包括用于处理从所述图像传感器阵列接收的图像信号并生成数字图 像的图像处理器；以及在所述图像处理和控制系统中用于选择所述相机之操作模式的 动态范围模式控制器，所述的操作模式包括第 一操作模式和第二操作模 式，所述的第一操作模式具有高动态范围(HDR)，所述的第二操作模式 具有非HDR (非HDR)的常规动态范围。
9、 如权利要求8所述的相机，其中，所述的动态范围模式控制器支 持所述操作模式的静态选择和动态选择。
10、 如权利要求8所述的相机，其中，所述的操作模式是根据由环 境条件所影响的至少 一个图像品质的标准而动态地进行选择。
11、 如权利要求8所述的相机，其中，所述的图像传感器阵列形成 在第一芯片上，所述的图像处理器和动态范围模式控制器形成在至少另 一个芯片上。
12、 如权利要求8所述的相机，其中，对于所述图像传感器阵列所 生成的每个单独的图像信号，所述的图像传感器阵列具有小于所述高动 态范围的固定动态范围；在所述的第一操作模式下，所述的动态范围模 式控制器通过调整至少两个连续图像信号的曝光时间组，该连续图像信 号是由所述图像传感器阵列在不同曝光时间采集的，所述的图像处理器 将至少两个具有不同曝光时间的图像信号结合成具有高动态范围的单个 数字图像；并设置緩冲器，以緩冲具有不同曝光时间的各组图像信号。
13、 如权利要求12所述的相机，其中，在所述的第二操作模式下， 每个数字图像是从单个图像信号形成的。
14、 如权利要求8所述的相机，其中，所述的图像传感器阵列是支 持所述第一操作模式和所述第二操作模式的双模式图像传感器阵列，所 述的动态范围模式控制器选择所述图像传感器阵列的操作模式。
15、 如权利要求8所述的相机，其中，所述的操作才莫式是根据包括 对比度标准的图像品质标准而动态地进行选择，所述的动态范围模式控 制器是根据亮和暗之间的对比度是否需要扩展的动态范围而动态地选择 所述操作模式。
16、 如权利要求8所述的相机，其中，所述的动态范围模式控制器 是根据可编程的标准来选择所述操作模式。
17、 一种其动态范围适应改变的环境条件的双模式相机，其包括 具有形成在第 一 芯片上的像素阵列的图像传感器； 图像处理和控制系统，其又包括图像信号的緩冲器，该图像信号是从所述图像传感器接收的； 形成在第二芯片上的处理器，该处理器处理来自所述緩冲器的 緩冲的图像信号，以生成数字图像；以及在所述图像处理和控制系统内根据环境条件选择操作模式的动 态范围模式控制器；所述的动态范围模式控制器为响应需要扩展的动态 范围的检测而选择第一操作模式，在该第一操作模式下，所述的图像传 感器被操作生成高动态范围；而且，所述的动态范围模式控制器为响应 需要非HDR的常规动态范围的检测而选择第二操作模式，在该第二操作 模式下，所述的图像传感器被操作生成具有非HDR动态范围的图像。
18、 如权利要求17所述的相机，其中，所述的动态范围才莫式控制器 具有可编程的转换响应。
19、 如权利要求17所述的相机，其中，所述的图像传感器针对单个 图像信号具有固定的动态范围，而且通过生成控制信号以指引所述的图 像传感器调整至少两个连续图像信号的曝光时间，所述的处理器将至少 两个具有不同曝光时间的图像信号的书结合而得到高动态范围，其中， 所述连续图像信号是由所述图像传感器在不同曝光时间采集的。
20、如权利要求17所述的相机，其中，所述的图像传感器是支持所 述第一操作模式和所述第二操作模式的双模式图像传感器阵列，所述的 动态范围模式控制器选择所述图像传感器的操作模式。
全文摘要
本发明公开了一种相机方案，其包括图像传感器以及图像处理和控制系统。其至少支持两种不同的操作模式，其中，一种操作模式具有较高的动态范围。本发明在系统水平上提供动态范围控制。该系统支持静态地或动态地选择确定相机动态范围的操作模式。在一实现方式中，该系统支持使用本身不支持高动态范围的传统图像传感器或支持使用双模式图像传感器。
文档编号H04N5/235GK101365071SQ20081016642
公开日2009年2月11日 申请日期2008年9月27日 优先权日2007年9月27日
发明者亨利·宏利·杨, 李宏君, 詹姆士·新平·何 申请人:豪威科技有限公司