专利名称：通过亮度和运动选择拍摄条件的利记博彩app
技术领域：
本发明涉及ー种电子图像拍摄装置以及图像拍摄装置的控制，以在有运动时提供单幅拍摄图像中改进的图像质量。
背景技术：
电子成像系统取决于透镜系统来在图像传感器上形成图像以生成视觉图像的电子表达。这样的图像传感器范例包括电荷耦合器件(CXD)图像传感器和有源像素传感器(APS)装置(APS装置常常被称为CMOS传感器，因为能够在互补金属氧化物半导体エ艺中制造它们)。传感器包括个体图画元素传感器或像素的ニ维阵列。典型地，为每个像素提供红色、緑色或蓝色滤光器，例如在1976年7月20日授权的共同转让Bayer描述的美国专利No. 3971065所述，从而可以产生全色图像。不论采用什么类型的图像传感器，例如CXD或CMOS，像素都充当ー个容器，在电子成像系统拍摄图像期间，其中累积光产生的电荷，电荷 与入射到像素中的光量成正比。图像传感器在称为曝光时间或积分时间的时段内收集光以在拍摄图像期间进行正确的曝光。基于要成像的景物的亮度测量值，采用电子成像系统(通常具有自动曝光系统)确定适当的曝光时间，将产生具有有效亮度和有效信噪比的图像。景物越暗，电子成像系统就必须使用越大量的时间来收集光以进行正确曝光。如果在拍摄图像期间有相对于图像拍摄装置的运动，在运动速度相对于曝光时间增大时，在拍摄的图像中可能会有运动模糊。有两种运动模糊全局运动模糊和局部运动模糊。在图像拍摄装置在拍摄期间相对于景物运动时产生全局运动模糊，这样ー来，整幅图像都是模糊的。减少全局运动模糊的方法是本领域技术人员公知的。ー种方法是使用惯性测量装置(典型地为陀螺仪)在拍摄期间测量图像拍摄装置的运动，然后使用具有可以横向移动的透镜元件的特殊透镜使透镜在图像传感器上形成的图像沿补偿图像拍摄装置运动的方向运动。美国专利公开No. 2006/0274156中描述了第二种方法，基于图像的数字偏移，以补偿拍摄视频期间数字摄像机的运动，从而减小全局运动模糊并使视频中的图像稳定。不过，这些方法都未解決景物之内产生的局部运动模糊问题。減少局部运动模糊的ー种方法是缩短曝光时间。这种方法将曝光时间减少到大致少于自动曝光系统选择的曝光时间；结果，拍摄到信噪比低的更暗图像。可以向图像中的像素值应用模拟或数字増益，以使更暗的图像变亮，但本领域的技术人员将发现，这将导致噪声更大的图像。減少局部运动模糊的另ー种方法是利用更大孔径的透镜和图像传感器上更大的像素收集更多光，从而能够使曝光时间更短。这种方法能够产生局部运动模糊和可接受噪声水平减小的图像。不过，电子成像系统行业内当前的趋势是使图像拍摄装置更紧凑且价格更低。因此，能够收集更多光的高级光学元件不切实际，这种光学元件具有大孔径和有更大像素的图像传感器。減少局部运动模糊的另ー种方法是缩短曝光时间并利用照相闪光补充可用光线。照相闪光产生維持零点几秒的强光通量，曝光时间被设置为包含闪光时间。可以将曝光时间设置为比无闪光时显著更短的时段，因为照相闪光非常亮。因此，减小了曝光期间由局部运动导致的模糊。不过，在强光中闪光没有效果，强光中快速运动的对象仍然能够造成局部运动模糊。此外，通常仅在闪光和被拍照景物之间的距离小时，闪光照相才有用。闪光照相还容易造成人为噪声，例如红眼以及非常亮的区域或暗的区域，很多人会觉得这很令人讨厌。用于选择曝光时间的常规方案通常使用ー个或多个标准化设置，或响应于操作员的模式设置来获得曝光时间。图2A示出了通常在自动曝光控制系统中执行的用于数字摄像机的典型摄像机控制系统200的流程图。在步骤210中，摄像机利用景物亮度传感器或利用预览图像的分析评估景物亮度。在图2A中所示的典型摄像机控制系统中，不測量或考虑运动。在步骤220中，基于景物亮度和任何操作员设置或标准化设置确定拍摄模式。在步骤230中，根据景物亮度和拍摄模式确定ISO。然后在步骤240中根据景物亮度、拍摄模式和ISO确定隱光时间。在步骤250中，拍摄并存储最后的归档图像。不过，典型摄像 机控制系统200的方法可能拍摄到感知图像质量差的图像，因为景物中的明亮程度和运动可能变化剧烈并且由于不考虑运动，图像中可能存在令人失望的运动模糊或噪声水平。在美国专利公开2007/0237514中，在拍摄图像之前测量景物中的运动。如果检测到缓慢的运动，那么进行补充分析以帮助选择摄像机的景物模式。如果检测到快速运动，那么将ー组标准化摄像机设置用作自动曝光控制系统确定的设置，将操作员可选的摄像机设置用作图2A中给出的设置。这样ー来，2007/0237514的方法仅提供了一种拍摄具有缓慢运动的景物的改进方法。在美国专利公开2007/0237506中，描述了ー种摄像机，其中如果未检测到摄像机运动，就以更慢的快门速度拍摄图像。如果检测到摄像机运动，那么以更快的快门速度拍摄图像。尽管这种方法确实减少了图像中的运动模糊，但在选择包括曝光时间和ISO的拍摄条件时，其未解决图像中的运动模糊和噪声对图像的感知图像质量的综合影响。2007/0237506的方法还不包括基于局部运动的拍摄条件选择。图2B示出了 WO 2007017835中描述的现有技术中针对控制多图像拍摄过程的方法的流程图290。在步骤270中，如图2A中所示，利用摄像机自动曝光控制系统定义的曝光条件拍摄第一图像。在步骤275中，然后针对图像质量的各方面，例如过度曝光或曝光不足、运动模糊、动态范围或景深，分析第一图像，以判断满足那些方面，哪些仍然不足。基于这种分析，步骤280是检查图像质量的各方面中是否仍然有不足。如果图像质量的各方面中仍然有ー些不足，该过程前进到步骤282，在此针对至少一幅额外图像设置新的曝光參数。该过程然后循环回到步骤272，在此利用新的曝光參数拍摄至少一幅额外图像。然后针对图像质量的各方面在步骤275中分析额外的图像。重复这个过程，直到在已经拍摄的多幅图像中已经满足图像质量的所有方面。然后从步骤285中组合的多幅图像的部分构造最终图像，使得满足期望的图像质量的所有方面。不过，WO 2007017835的方法g在控制多图像拍摄照相术，其中将多幅图像的部分组合以产生改进的图像，不会解决单幅拍摄图像中与运动相关的问题。于是，需要一种自动化方法以选择拍摄条件，在被成像景物中存在全局运动或局部运动时，改善单幅拍摄图像中的感知图像质量。
发明内容
这里描述的发明提供了ー种利用图像拍摄装置拍摄归档图像，并基于在景物中测量的信号比形式的景物亮度和测量的运动速度自动选择图像拍摄装置的设置的方法。本发明提供了至少部分利用数据处理系统实施的方法，数据处理系统基于多维模型測量景物中的亮度和运动并选择拍摄模式和拍摄条件，以拍摄感知图像质量得到改善的图像。在第一实施例中，本发明包括利用具有可选拍摄模式、ISO和曝光时间的图像拍摄装置拍摄景物的至少两幅预览图像；分析所述预览图像以确定景物中的景物亮度和运动；基于图像中的景物亮度确定像素信号速率；基于所述景物中的运动确定像素速度；确定信号比，即像素信号速率/像素速度；根据所述信号比选择拍摄模式；根据所述拍摄模式和所述信号比选择ISO ;根据所述ISO和景物亮度选择曝光时间；以及利用选定的拍摄模式、ISO和曝光时间拍摄归档图像并向存储器中存储归档图像。其中选择拍摄模式可以包括选择图像传感器的合并率(binning ratio)或选择单图像拍摄模式或多图像拍摄模式。
在本发明的另ー实施例中，在景物中存在局部运动时，针对图像中的不同区域来确定局部像素速度。在本发明的一个实施例中，基于分析图像不同区域的局部像素速度的分布来确定信号比。在本发明的另ー实施例中，基于平均局部像素速度来确定信号比。在本发明的另ー实施例中，基于峰值或最大局部像素速度来确定信号比。在本发明的又一实施例中，在图像拍摄装置中设置惯性測量装置，使用惯性测量装置确定像素速度。在本实施例中，用于确定像素信号速率的景物亮度是通过分析一幅或多幅预览图像或从亮度传感器收集的数据确定的。使用确定的像素速度和像素信号速率来确定如前所述使用的信号比。在本发明的再一实施例中，使用惯性测量装置确定存在的全局运动，而结合从惯性測量装置确定的全局运动使用两幅或更多幅预览图像的分析以确定存在的局部运动。根据本发明的图像拍摄尤其适于在景物中有局部运动或由于图像拍摄装置相对于景物运动而存在全局运动时，拍摄静止和视频图像的图像拍摄装置。本发明对图像拍摄装置有很宽应用范围，由于基于测量的亮度和测量的运动组合选择拍摄模式、ISO和曝光时间的方法，众多类型的图像拍摄装置都能够有效利用这些图像拍摄方法来拍摄感知图像质量得到改善的图像。參考附图，阅读优选实施例的以下详细描述和所附权利要求，将更清晰地理解并认识到本发明的这些和其他方面、目的、特征和优点。
图I是图像拍摄装置的方框图；图2A是典型现有技术摄像机控制系统的流程图。图2B是用于拍摄多幅图像的现有技术方法的流程图。图3是本发明实施例的流程图；图4A是示出针对低模糊图像的ISO和感知图像质量之间关系的图。图4B是示出针对低ISO图像的图像中模糊量和感知图像质量之间关系的图。图5是示出了针对不同拍摄模式的信号比和感知质量之间的关系的图。
图6是示出了针对全分辨率拍摄模式，ISO和像素模糊对感知图像质量影响的图；图7是示出了针对用于改善的感知图像质量的全分辨率拍摄模式的信号比和ISO之间关系的图；图8是示出了针对2X合并拍摄模式，ISO和像素模糊对感知图像质量影响的图；图9是针对用于改善的感知图像质量的2X合并拍摄模式的信号比和ISO之间关系的图；图10是示出了针对多图像拍摄模式，ISO和像素模糊对感知图像质量影响的图；图11是示出了针对用于改善的感知图像质量的多图像拍摄模式的信号比和ISO之间关系的图；图12是Bayer滤色器阵列的图示； 图13是示出了本发明方法针对不同水平的景物亮度和不同水平的运动选择的ISO的图示；以及图14是示出了本发明方法针对不同水平的景物亮度和不同水平的运动选择的曝光时间的图示。
具体实施例方式參考图1，在具体实施例中，示出了数字图像拍摄装置10的部件，其中在提供结构支撑和保护的主体中布置部件。可以改变主体以符合特定用途和风格考虑的需求。安装在数字图像拍摄装置10的主体中的电子图像拍摄单元14具有拍摄镜头16和与拍摄镜头16对准的图像传感器18。来自景物的光沿着通过拍摄镜头16的光路20传播，到达图像传感器18，产生模拟电子图像。所用的图像传感器类型可以变化，但高度优选地，图像传感器是现有几种固态图像传感器之一。例如，图像传感器可以是电荷耦合器件(CXD)、CMOS传感器(CMOS)或电荷注入器件(CID)。电子图像拍摄单元14包括与图像传感器18相关联的其他部件。典型的图像传感器18带着独立的部件，充当时钟驱动器(这里也称为定时发生器)、模拟信号处理器(ASP)和模数转换器/放大器(A/D转换器)。也可以将这样的部件并入具有图像传感器18的单个单元中。例如，利用允许将其他部件集成到同一半导体管芯上的エ艺制造CMOS图像传感器。电子图像拍摄单元14利用三个或更多彩色通道拍摄图像。当前优选的是，与滤色器阵列一起使用单个图像传感器18，不过，可以使用多个图像传感器和不同类型的滤光器。适当的滤光器是本领域技术人员公知的，在一些情况下与图像传感器18合井，以提供一体的部件。来自图像传感器18每个像素的电信号与到达像素的光的強度和持续时间都相关。允许像素对来自入射光的信号进行累积或积分。这个时间被称为积分时间或曝光时间。积分时间由快门22控制，快门22可以在打开状态和关闭状态之间切換。快门22可以是机械的、机电的，或可以提供为电子图像拍摄单元14的硬件和软件的逻辑功能。例如，一些类型的图像传感器18允许通过重新设置图像传感器18，然后一定时间之后读出图像传感器18来以电子方式控制积分时间。在使用CCD时，可以通过在非光敏区域中提供的遮光寄存器下偏移累积的电荷来实现图像传感器18积分时间的电子控制。这个遮光寄存器可以用于所有像素，如在帧转换装置CCD中那样，或者可以是像素排或列之间的排或列形式，如在行间传输装置CCD中那样。适当的装置和流程是本领域技术人员公知的。于是，定时发生器24能够提供ー种方法控制针对图像传感器18上的像素何时发生积分时间以拍摄图像。在图I的图像拍摄装置10中，快门22和定时发生器24联合确定积分时间。总体光强和积分时间的组合称为曝光。曝光与图像传感器18的灵敏度和噪声特性组合决定了所拍摄图像中提供的信噪比。可以通过光强和积分时间的各种组合实现等效曝光。尽管曝光是等效的，但基于景物特性或关联的信噪比对于拍摄景物图像而言，光强和积分时间的特定曝光组合可能比其他等效曝光更优。尽管图I示出了若干曝光控制元件，但ー些 实施例可能不包括这些元件中的ー个或多个，或者可能有控制曝光的替代机制。图像拍摄装置10可以具有图示那些特征的替代特征。例如，还充当光阑的快门是本领域技术人员公知的。在图示的图像拍摄装置10中，滤光器组件26和孔径28改变图像传感器18的光強。每者都是能够调节的。孔径28利用机械光阑或可调孔径(未示出)控制到达图像传感器18的光強度，以在光程20中阻挡光。孔径的尺寸可以是连续可调的、步进的或以其他方式变化的。作为替代，可以将孔径28移入和移出光路20。滤光器组件26可以类似变化。例如，滤光器组件26可以包括ー组不同的中性密度滤光器，其可以旋转或以其他方式移入光路中。其他适当的滤光器组件和孔径是本领域技术人员公知的。图像拍摄装置10具有光学系统44，光学系统44包括拍摄镜头16，还可以包括取景器部件(未示出)，以帮助操作员构成要拍摄的图像。光学系统44可以采取很多不同形式。例如，拍摄镜头16可以完全与光学取景器独立或可以包括数字取景器，其具有内部显示器上方提供的目镜，在拍摄图像之前和之后在那里连续显示预览图像。其中，预览图像典型地是连续拍摄的较低分辨率图像。取景器透镜单元和拍摄镜头16也可以共享ー个或多个部件。这些和其他替代光学系统的细节是本领域技术人员公知的。为了方便起见，下文结合具有数字取景器显示器76或相机显示器48的实施例一般地论述光学系统44，可以使用显示器76或48观看景物的预览图像，如利用诸如数字摄像机的图像拍摄装置拍摄之前构成图像那样一般所做那样。拍摄镜头16可以是简单的，例如具有单个焦距和人工聚焦或固定焦距，但这不是优选的。在图I所示的图像拍摄装置10中，拍摄镜头16是马达驱动的可变焦距镜头，其中通过缩放控制50相对于其他透镜元件驱动透镜元件或多个透镜元件。这样允许改变透镜的有效焦距。也可以使用数字变焦(数字图像的数字放大)替代光学变焦或与光学变焦结合。拍摄镜头16还可以包括可通过宏控制驱动器52插入或移出光路的透镜元件或透镜组(未示出)，以便提供宏(紧密焦点)能力。摄像机10的拍摄镜头单元16优选也是自动聚焦的。例如，自动聚焦系统能够利用无源或有源自动聚焦或两者组合提供聚焦。參考图1，由焦点控制器54驱动拍摄镜头16的一个或多个聚焦元件(未独立示出)，以将来自景物中特定距离的光聚焦到图像传感器20上。自动聚焦系统能够利用具有不同透镜聚焦设置的预览图像工作，或者自动聚焦系统能够具有测距仪56，其具有一个或多个感测元件，向系统控制器66发送信号，该信号与从图像拍摄装置10到景物的距离相关。系统控制器66对预览图像或来自测距仪的信号进行焦点分析，然后操作聚焦驱动器54以移动拍摄镜头16的可聚焦透镜元件(未独立示出)。自动聚焦方法是本领域公知的。图像拍摄装置10包括景物亮度的度量。可以通过分析预览图像中的像素代码值或利用亮度传感器58进行亮度測量。在图I中，亮度传感器58被示为ー个或多个独立部件。也可以提供亮度传感器58作为电子图像拍摄单元14的硬件和软件的逻辑功能。可以使用亮度传感器58提供ー个或多个表示景物的景物光強度的信号，在为ー个或多个图像传感器18选择曝光时使用 。作为选择，来自亮度传感器58的信号也可以提供彩色平衡信息。在美国专利No. 4887121中公开了可用于提供景物照明和颜色值之一或两者并且与电子图像拍摄单元14独立的适当亮度传感器58的范例。可以由自动曝光控制来确定曝光。可以在系统控制器66之内实现自动曝光控制，可以从本领域已知的技术中选择，在1994年8月2日授权的美国专利No. 5335041披露了其范例。基于亮度传感器58提供的或从预览图像中的像素值测量提供的被成像景物的亮度測量值，电子成像系统通常采用自动曝光控制处理确定有效曝光时间，te，其将产生具有有效亮度和良好信噪比的图像。在本发明中，由自动曝光控制％确定的曝光时间用于拍摄预览图像，然后加以修改，用于基于景物亮度和预期运动模糊的归档图像拍摄的拍摄。其中归档图像是已经基于本发明的方法定义的拍摄条件(包括曝光时间)之后拍摄的最终图像。本领域的技术人员将认识到，在归档图像中将存在更短的曝光时间、更少运动模糊和更多噪声。图I的图像拍摄装置10包括闪光单元60，其具有电子控制的照明器，例如氙气闪光管61 (图I中标记为“FLASH”)。可以任选地提供闪光传感器62，其响应于拍摄归档图像期间从景物感测的光或通过拍摄归档图像之前预闪光来输出信号。在专用闪光控制器63或根据控制単元65控制闪光単元的输出时使用闪光传感器信号。或者，闪光输出可以是固定的或基于其他信息，例如焦点距离而变化。可以在单个部件或拍摄单元和控制单元的逻辑功能中组合闪光传感器62和亮度传感器58的功能。图像传感器18接收透镜16提供的景物图像并将图像转换成模拟电子图像。电子图像传感器18由图像传感器驱动器操作。可以在多种拍摄模式中操作图像传感器18，包括各种合并布置。合并布置判断是否使用像素单独收集以光电方式产生的电荷，由此在拍摄期间以满分辨率工作，或与相邻像素电连接在一起，由此在拍摄期间以更低分辨率工作。合并率描述拍摄期间电连接在一起的像素数量。更高的合并率表示在拍摄期间将更多像素电连接在一起，以相应地提高被合并像素的灵敏度并降低图像传感器的分辨率。例如，典型的合并率包括2X、3X、6X和9X。在合并模式中合并在一起的相邻像素分布也可以变化。图12示出了公知的Bayer滤色器阵列模式，其中R、G和B字母分别表示红、绿和蓝像素。典型地，将颜色相似的相邻像素合并在一起，以保持彩色信息如图像传感器所提供的那样相客。可以同等地将本发明应用于具有其他类型图像传感器的图像拍摄装置，所述图像传感器具有其他滤色器阵列模式和其他合并模式。控制单元65控制或调节曝光调节元件及其他摄像机部件，方便传输图像和其他信号，并执行与图像相关的处理。图I中所示的控制单元65包括系统控制器66、定时发生器24、模拟信号处理器68、A/D转换器80、数字信号处理器70和存储器72a_72d。用于控制单元65的适当部件是本领域技术人员公知的。可以如枚举的那样提供，或由单个物理装置或由大量独立部件提供这些部件。系统控制器66可以采取适当配置的微计算机形式，例如具有RAM的嵌入式微处理器，用于数据操纵和通用程序执行。控制单元65修改是切实可行的，例如这里别处所述那样。定时发生器24以定时关系为所有电子部件供应控制信号。用于个体图像拍摄装置10的校准值存储在校准存储器(未独立示出)中，例如EEPROM中，并供应给系统控制器66。用户接ロ(下文论述)的部件连接到控制单元65并利用系统控制器66上执行的软件程序的组合而工作。控制单元65还操作各种控制器和关联的驱动器和存储器，包括缩放控制50、聚焦控制54、宏控制52、显示控制器64和其他分别用于快门22、孔径28、滤光器组件26和取景器和状态显示器76、74的控制器(未示出)。图像拍摄装置10可以包括其他部件以提供补充拍摄的图像信息或预拍摄信息的信息。这种补充信息部件的范例是图I中所示的取向传感器78。其他范例包括实时时钟、惯性测量传感器、全球定位系统接收机和小键盘或用于输入用户字幕或其他信息的其他输入装置。应该理解，可以通过本领域技术人员公知的各种方式修改图示和描述的电路。还应理解，可以替代地将这里结合物理电路描述的各特征提供为固件或软件功能或两者的组合。同样地，可以方便地组合或共享这里图示为独立単元的部件。可以在分布的位置提供多个部件。由模拟信号处理器68和模拟到数字(A/D)转换器-放大器80放大来自图像传感器18的初始电子图像并从模拟到数字地转换成数字电子图像，然后利用DSP存储器72a在数字信号处理器70中处理并存储在系统存储器72b或可移除存储卡72c中。图示为数据总线81的信号线电连接图像传感器18、系统控制器66、数字信号处理器70、图像显示器48和其他电子部件；并提供用于地址和数据信号的通道。“存储器”是指半导体存储器或磁存储器等中提供的物理存储器的ー个或多个适当大小的逻辑单元。存储器72a-72d可以均是任何类型的随机存取存储器。例如，存储器可以是内存储器，例如闪速EPROM存储器，或者是可移除存储器，例如紧凑闪存卡，或两者的组合。可以为归档图像存储器提供可移除存储卡72c。可移除存储卡72c可以是任何类型，例如插入插座82中并经由存储卡接ロ 83连接到系统控制器66的紧凑闪存(CF)或安全数字(SD)型的卡。使用的其他类型存储器包括，但不限于PC卡或多媒体卡(MMC)。控制单元65、系统控制器66和数字信号处理器70可以受到存储在与用于图像存储器相同的物理存储器中存储的软件控制，但优选控制单元65、数字信号处理器70和控制器66受到专用程序存储器72d，例如，ROM或EPROM固件存储器中存储的固件控制。也可以提供独立的专用存储器单元以支持其他功能。存储拍摄的图像的存储器可以是图像拍摄装置10中固定的或可移除的或两者的组合。所用存储器的类型和信息存储的方式，例如光学或磁或电子，并不关键。例如，可移除存储器可以是软盘、CD、DVD磁带盒或闪速存储卡或存储棒。可以将可移除存储器用于以数字形式向和从摄像机传输图像记录，或者可以将那些图像记录作为电子信号传送。除了系统控制器66之外，数字信号处理器70是本实施例中的两个处理器或控制器之一。尽管在多个控制器和处理器之间这样划分摄像机功能控制是典型的，但以各种方式组合这些控制器或处理器，而不会影响摄像机的功能操作和本发明的应用。这些控制器或处理器可以包括ー个或多个数字信号处理器装置、微控制器、可编程序逻辑器件或其他、数字逻辑电路。尽管已经描述了这种控制器或处理器的组合，但应当明了的是，一个控制器或处理器能够执行全部所需功能。所有这些变化能够执行同样的功能。在图示的实施例中，控制单元65和数字信号处理器70根据程序存储器72d中永久存储并拷贝到系统存储器72b以在拍摄图像期间执行的软件程序，操作存储器72a中的数字图像数据。控制单元65和数字信号处理器70执行进行图像处理所需的软件。也可以通过与其他数字摄像机中同样的方式修改数字图像以增强图像。例如，可以由数字信号处理器70处理图像以提供内插和边缘增強。电子归档图像的数字处理可以包括与文件转移相关的修改，例如JPEG压缩和文件格式化。也可以通过本领域技术人员公知的方式为元数据提供数字图像数据。系统控制器66基于程序存储器72d中存储的软件程序控制图像拍摄装置的总体操作，程序存储器可以包括闪速EEPROM或其他非易失性存储器。该存储器也可以用于存储校准数据、用户设置选择和关闭图像拍摄装置时必须保持的其他数据。系统控制器66通过引导宏控制52、闪光控制63、聚焦控制54、缩放控制50和如前所述的拍摄单元部件的其他驱动器，引导定时发生器24操作图像传感器18和关联元件，并引导控制单元65和数字信 号处理器70处理拍摄的图像数据，来控制图像拍摄序列。在拍摄并处理图像之后，系统存储器72b或DSP存储器72a中存储的最终图像文件通过主机接ロ 84传输至主计算机，存储在可移除存储卡72c或其他存储装置上，并在图像显示器48上为用户显示。主机接ロ84提供了通往个人计算机或其他主计算机的高速连接，用于传输图像数据，以进行显示、存储、操作或打印。这个接ロ可以是IEEE 1394或USB 2. O串行接ロ或任何其他适当的数字接ロ。在该方法中，以数字形式传输图像可以是在物理介质上，或作为传送的电子信号。在图示的图像拍摄装置10中，已处理图像被拷贝到系统存储器72b中的显示缓存并通过视频编码器86连续读出以产生用于预览图像的视频信号。这个信号由显示控制器64或数字信号处理器70处理并呈现在摄像机图像显示器48上作为预览图像，或者可以直接从图像拍摄装置10输出，以在外部监视器上显示。如果使用图像拍摄装置10拍摄视频，视频图像是归档的，如果用作预览图像进行取景或在拍摄静止归档图像之前构图，则是不归档的。图像拍摄装置10具有用户接ロ，其向操作员提供输出并接收操作员输入。用户接ロ包括一个或多个用户输入控制器93 (图I中标记为“USER INPUTS”)和图像显示器48。可以通过按钮、摇臂开关、操纵杆、旋转式拨号盘、触摸屏等组合的形式提供用户输入控制器。用户输入93可以包括快门开关、控制透镜单元变焦距的“放大/縮小”控制，以及其他用户控制器。用户接ロ可以包括一个或多个显示器或指示器，以向操作员呈现摄像机信息，例如曝光水平、剰余曝光、电池状态、闪光灯状态等。也可以替代地或额外地使用图像显示器48显示非图像信息，例如摄像机设置。例如，可以提供图形用户界面(⑶I)，包括呈现选项选择和用于检查所拍摄图像的审阅模式的菜単。图像显示器48和数字取景器显示器76都能够提供相同的功能，可以取消其中一个或另ー个。图像拍摄装置10可以包括扬声器，用于呈现与视频拍摄相关联的音频信息，能够提供音频警告来替代或补充状态显示器74、图像显示器48或两者上显示的视觉警告。用户接ロ的部件连接到控制单元并利用系统控制器66上执行的软件程序的组合而工作。
最后向图像显示器48传送电子图像，图像显示器48是由显示控制器64操作的。可以使用不同类型的图像显示器48。例如，图像显示器48可以是液晶显示器(“IXD”)、阴极射线管显示器或有机电致发光显示器(“0LED”)。图像显示器48优选安装在摄像机机身上，以便容易被摄像者看到。作为在图像显示器48上显示图像的一部分，图像拍摄装置10能够修改图像，用于针对特定显示器加以校准。例如，可以提供变换，其修改每幅图像以在显示器48的灰度级、色域和白点以及图像传感器18和电子拍摄单元14的其他部件方面适应不同的能力。优选选择显示器48，以便能够显示整幅图像；不过，可以使用更有限的显示器。在后一种情况下，显示图像包括校准步骤，其切掉图像的一部分或对比度等级或图像中信息的某些其他部分。还要理解，这里所述的图像拍摄装置10不限于特定的特征组，除非如权利要求界 定的那样。例如，图像拍摄装置可以是数字摄像机，能够包括这里未详细论述的各种特征的任ー种，例如可拆卸和可更换透镜。图像拍摄装置10也可以是便携式的或固定在适当位置，能够提供一个或多个与成像相关或无关的其他功能。例如，图像拍摄装置10可以是手机摄像机或能够以其他某种方式提供通信功能。同样地，图像拍摄装置10能够包括计算机硬件和计算机化设备。图像拍摄装置10还可以包括多个拍摄単元。图3示出了本发明方法第一实施例300的流程图，这是由图I中的控制单元65或数字信号处理器70提供的。在步骤310中，收集预拍摄数据，包括2幅或更多幅预览图像、GPS位置信息、光级信息、音频信息和聚焦信息。然后分析预拍摄数据以在步骤320中确定景物亮度L和运动。其中可以从亮度传感器58 (图I所示)或从预览图像中的像素代码值，与用于拍摄预览图像的曝光时间相比来确定景物亮度し可以通过比较两幅或更多幅不同预览图像以识别预览图像中拍摄的景物中对应对象的位置差异，根据像素的移动来判断运动。美国专利公开2006/0274156中描述了通过比较视频图像确定运动的方法。全局运动和局部运动都可以通过这种方式从预览图像中识别。全局运动是指整幅图像中通常由图像拍摄装置相对于景物的运动产生的共同运动，而局部运动是指景物之内对象的运动。在步骤330中，将按照预览图像之间像素偏移确定的运动与预览图像拍摄之间的时间比较，以确定以像素/秒为单位的运动速率或像素速度入。在步骤340，使用从预览图像或预拍摄光级确定的亮度L，连同预览图像的曝光时间和信号増益，f/数值，和其他数据，如传感器量子效率和透镜透射率，针对每个像素以电子/秒为单位确定总体像素信号速率S。熟悉摄像机曝光确定的人将认识到，像素信号速率S受到诸如像素面积、传感器量子效率、透镜f/数值和透镜透射率以及景物亮度等因素的影响。在步骤345中，由控制单元65或数字信号处理器70计算像素信号速率/像素速度的信号比(S/λ )。在本发明的实施例中，信号比是信号处理器70用于选择拍摄模式和拍摄条件的參数。在图3中，步骤330被示为发生于步骤340之前。不过，将要认识到，这两个步骤的次序对于本发明而言不重要，因为两个步骤都涉及基于步骤310和320中收集的数据计算值。结果，步骤340可以发生于步骤330之前，或者可以在数字信号处理器70的能力范围之内同时完成两个步骤。在全局运动和局部运动都存在的景物中，对于图像的不同区域，所确定的像素速度将是不同的。在与这种情况相关的本发明实施例中，可以针对图像的不同区域，通过比较两幅或更多幅不同预览图像之间的对应区域，在步骤330中确定局部像素速度。可以逐块比较预览图像(如美国专利公开2006/0274156中所述)。例如，可以将预览图像分成像素块，其尺寸为32像素乘32像素，以获得预览图像上局部像素速度的稀疏采样。在本发明的另ー实施例中，对于包括诸如ー个或多个陀螺仪或ー个或多个加速度计的惯性測量装置的图像拍摄装置，在步骤310中从惯性測量装置获得与图像拍摄装置运动相关的数据。然后使用来自惯性測量装置的数据在步骤320确定与图像拍摄装置的运动相关联的全局运动，而不是分析预览图像确定运动。在这种情况下，分析一幅或多幅预览图像以确定景物亮度。或者，利用亮度传感器确定景物亮度，在这种情况下，在步骤310中不需要拍摄具有预拍摄数据的预览图像。基于透镜提供的视角范 围，在步骤330中，将惯性测量装置测量的数据从陀螺仪或加速度计分别测量的旋转速度或直线加速度转换成整幅图像上的像素速度分布。此外，由于惯性測量装置通常在IOOHz以上输出运动数据，所以可以在诸如预览图像的曝光时间的一段时间内多次对惯性測量装置的数据采样。在本发明的又一实施例中，结合来自惯性测量装置的数据，使用对两幅或更多幅预览图像的分析在存在的全局运动和局部运动之间进行区分。在这种情况下，使用在步骤310中从惯性測量装置收集的数据在步骤320中确定由于图像拍摄装置运动而存在的全局运动。然后如前面在步骤320中所述那样比较两幅或更多幅预览图像以确定存在全局和局部运动。在步骤330中，将比较预览图像确定的全局和局部运动转换成局部像素速度。在步骤330中还将从惯性测量装置确定的全局运动转换成局部像素速度分布，然后从通过比较两幅或更多幅预览图像确定的局部像素速度减去它，使得剰余的针对不同区域的局部像素速度值归因于来自运动景物的全局运动(不是由图像拍摄装置的运动产生的)和局部运动。通过这种方式，在步骤330中确定全局运动和局部运动。如前所述，出于本发明的目的，在至少与预览图像曝光时间部分交叠的一段时间内收集惯性測量数据，使得用于为归档图像选择拍摄模式和拍摄条件的运动数据是相容的。这种方法对于区分因图像拍摄装置运动导致的全局运动和因景物，例如像火车那样的大对象运动导致的全局运动是有效的。在本发明的任何实施例中，在对所确定的运动进行数据分析吋，它可以包括任何类型的统计分析，以选择要用于本发明方法中的全局运动或局部运动的代表性度量，包括平均值、平均数、最大值或最小值。在本发明的另ー实施例中，在景物中存在局部运动且确定的局部像素速度对于图像不同区域而言不同时，可以在步骤330中利用局部像素速度的分布分析完成图3的方法，以选择在确定信号比时要在步骤345中使用的像素速度λ。这种分析是由图I中的控制単元65或数字信号处理器70提供的。在本发明的第一实施例中，将局部像素速度的平均值用作步骤345中的λ。这种方法将实现运动模糊的适度总体减小，同时造成噪声适度增大。这种方法可能适用于希望产生总体感知图像质量改善且具有一些局部运动模糊的图像的情况。在本发明的替代实施例中，将针对图像所有区域的最大或峰值像素速度用作步骤345中的λ。这种方法将实现图像所有区域中运动模糊的更夸张减小，同时将噪声提高到更大范围。这种方法可能适用于希望产生在图像中具有更快运动的区域(例如体育运动图像中的运动员)运动模糊减小的图像的情况。
在信号处理器70选择图像拍摄装置的拍摄条件时，例如ISO和曝光时间，在存在运动时必须要考虑图像质量的折衷。如本领域的技术人员公知的那样，ISO是指拍摄图像时，图像传感器响应于给定量的光和施加到像素值的关联模拟或数字增益而产生的信号(就像素值而言)。典型地，还通过进一步选择图像处理参数来补充ISO的选择，图像处理参数包括增益和各种噪声减少图像处理选择，其中更高的ISO伴随着更大水平的噪声减少图像处理。长的曝光时间提高了信噪比，因此所得的图像看起来明亮且噪声低，但那时存在的运动会在图像中造成更大模糊。在这种情况下，存在的任何局部运动都导致局部模糊的区域，例如在快速移动的汽车进入景物中时，此外，全局运动导致整幅图像模糊，例如在拍摄图像期间图像拍摄装置被碰撞时。缩短曝光时间减少了运动模糊，但也降低了信噪比，使得所得图像看起来暗或有噪声。随着景物中的照明条件变暗，需要更长的曝光时间来产生适当亮度且噪声不大的具有可接受信噪比的图像。提高拍摄图像的增益增大了图像亮度，但也使得噪声更见明显，使得图像看起来有噪声。要指出的要点是，运动模糊和图像中噪声的折衷是一个感知的问题。这里公开的发明提供了一种用于摄像机控制的方法，包括对拍摄模式、ISO和曝光时间进行滑动调节，考虑到受到信号比表示的所拍摄图像中的运动模糊和噪声影响的图像质量感知。
图4-11针对利用具体数字摄像机拍摄的大量图像示出了来自图像质量研究的数据，这是由一组二十名观察者观察并以恰好可察觉差异单位(JND)为单位对感知的图像质量进行评定。在数字成像中普遍使用JND来描述感知图像质量的变化。可以在以下参考文献中找到 JND 的描述Yoichi Miyake 和 D. Rene Rasmussen 编著的 Image Quality andSystem Performance 中的 “ ISO 20462, A psychophysical image quality measurementstandard，，，Proceedings of SPIE-IS&T Electronic Imaging, Vol. 5294 (2004)，PP. 181-189。JND单位是统计上可辨别的差异水平，其中单个JND是可由观察者一致检测到的最小质量差异。在图4-11中给出的多维模型中，以JND单位表达了质量，与被感知为具有JND零水平的优秀图像质量的图像比较。图4-11的数据中示出的质量值实质是从高质量参考水平开始的图像质量下降的JND单位。可以在各种图像质量特性中，包括模糊和噪声，定义JND。图4A和图4B示出了单一观察者对同一景物的大量图像评定的感知图像质量汇集，拍摄的大量图像具有分别通过不同的ISO设置和受控全局运动产生的受控量噪声和模糊。图4A示出了一系列低模糊图像的数据，这些图像具有不等量的噪声，是通过利用数字摄像机的不同ISO设置拍摄同一景物产生的。从这个数据可以看出，随着ISO增大，感知的图像质量逐渐变差。图4B示出了一系列图像的数据，这一系列图像是利用低ISO设置拍摄的，具有通过曝光时间期间摄像机受控运动产生的各种量的模糊。足够有趣的是，该数据表明，在模糊高于特定水平之前，它对感知的图像质量没有任何影响。图5示出了针对几种不同拍摄模式按照JND得到的信号比(S/ λ )和感知图像质量之间的关系未合并(全分辨率)；2Χ合并(一半分辨率)和多次图像拍摄。在多图像拍摄模式中，利用更短曝光时间拍摄多幅图像，然后对准，以补偿拍摄之间的运动，并组合，以提高信噪比，如以下申请中所述共同未决的美国专利申请12/258389，涉及利用CMOS图像传感器多次拍摄，以及美国专利申请12/184446，涉及利用CXD图像传感器多次拍摄。重要的是意识到很多不同拍摄模式是可能的，本发明包括提供不同时间分辨率或不同空间分辨率的各种模式。通过在不同曝光时间提供的不同时间增量上拍摄或通过如多次拍摄模式中那样将期望的曝光时间分成多个更短曝光时间，实现不同的时间分辨率。通过以不同合并率拍摄来实现不同的空间分辨率。图5中的图表示出了照相空间的区域，其中与针对用于图4-11中给出的数据的具体数字摄像机的其他模式不同的拍摄模式提供的图像具有作为信号比(S/λ )函数的更高感知图像质量。尽管图5中所示的感知图像质量和拍摄模式之间的关系一般是适用的，但在不同类型的数字摄像机或其他图像拍摄装置之间关系可能变化。为了提供高的感知图像质量，本发明提供了转换点510，其中将摄像机或图像拍摄装置从一种模式改变为另一种模式，这是基于测量的信号比确定的。图5中给出数据作为按照JND相对于Log2 (S/λ )给出的图像质量的感知水平。如图5所示，在S值低或者λ高(S/λ低)时，多次拍摄模式提供了更高的感知图像质量。在S/λ的中间值中，合并拍摄模式提供了更高的感知图像质量。在S值高或λ低(S/λ高)时，未合并(完整分辨率)拍摄模式或多次拍摄模式将提供更高的感知图像质量。图6基于图4Α和4Β中给出的组合数据示出了 ISO、像素模糊和感知的总体图像质 量JND之间的关系。图6中的数据被表示为Log2 (像素模糊)+5相对于Log2 (IS0)，还示出了垂直的ISO虚线610。像素模糊是由像素速度λ和曝光时间之积表述的所拍摄图像中的模糊量。常数感知图像质量620的等值线被视为按照JND标记。在图6中可以看出，在像素模糊低时，常数JND 620的等值线倾向于垂直，在像素模糊高时，倾向于水平。这表明，在低水平的像素模糊下，像素模糊不是非常引人关注，而与增大ISO相关联的噪声非常引人注目，因此常数感知图像质量的线是垂直的。在照相空间的这一低模糊区域中，重要的是使用具有更低ISO设置的更长曝光，以减少噪声，同时允许有一些模糊(注意不能将ISO减小到图像传感器的基础ISO以下，在这种情况下基础ISO为117.2)。相反，在常数JND线水平的高水平像素模糊下，与噪声相比，像素模糊非常引人注目。在照相空间的这个高模糊区域中，重要的是使用具有更高ISO设置的更短曝光时间以减少模糊，同时允许有一些噪声。通过图6中的倾斜曲线630确定ISO和曝光时间值的选择，以在图示的真个照相空间中获得改善的感知图像质量。出于参考，图6还包括常数信号比640的有角度线。常数信号比的线表示针对给定信号比在不同ISO值拍摄图像可用的质量折衷位置。在图的左侧和顶部用其相应的信号比的值标记常数信号比640的线。这幅图的一个重要暗示是，总体的图像质量并不仅仅取决于景物亮度，也不仅仅取决于像素速度；它取决于这两个值。图6中的曲线630示出了针对给定信号比的ISO和像素模糊优选组合。为了在拍摄装置之内进行实时决策，常数质量的轮廓线所示的完整质量表面是过剩的。图中最重要的关系是曲线630。观察图6，可以看出对于指定的信号比，通过利用接近曲线630的ISO拍摄图像获得了改进的图像质量。信号比和ISO的组合决定了像素模糊，因此可以根据ISO和信号比同样呈现数据。图7是图6的简化，示出了图6中给出的数据，但仅依照曲线630的信号比和ISO。图7示出了信号比(S/λ )和ISO之间的关系，以在完整分辨率拍摄模式中利用本研究中使用的数字摄像机获得改善的感知图像质量，其中数据被呈现为Log2 (ISO)相对于Log2 (S/λ)。图7中还针对不同水平的ISO示出了水平线710。如斜线730所示，随着S增大(相对于运动速度景物更亮)，为了改善感知图像质量，ISO应当更低。为更亮的景物使用更低ISO的这种关系常用于数字摄像机的操作系统中。不过，由于图7中的X轴基于S/λ，斜线还表明，随着λ增大(更多运动)和s/λ减小，ISO应当更高。对于本研究中操作的数字摄像机，可以通过以下方程I的形式表示斜线730。Log2 (ISO) =-0. 000445 (S/ λ ) 3+0. 00526 (S/ λ ) 2-0. 6855 (S/ λ ) +14. 872 方程 I本领域的技术人员将认识到，仅可以将ISO减小到图像传感器的基础ISO (或饱和受限的ISO) (IS0T)，对于图7中所示的数据，为117. 2。结果，图7中所示的斜线730在ISO=I 17. 2处变为水平线。图8是类似于图6的图表，示出了对于本研究中使用的同一数字摄像机作为ISO和像素模糊函数的感知图像质量，但在这种情况下，工作于具有2X合并率的合并拍摄模式中。图8中所示的关系类似于图6所示，有些轻微不同。在图8中，ISO线810和信号比线840与图6中的对应线处在相同相对位置。在图8中立即可以看出合并产生的传感器更高 基础ISO的效果，常数感知图像质量线820仅下降到稍高于X轴上的ISO 200。通常，与图6中的感知质量线620相比，图8中的感知质量线820向右偏移。结果,该曲线表明，相对于图6中的对应曲线630，对于给定信号比830，ISO和像素模糊的优选组合稍微向下偏移。图9是针对图8中所示的改进图像质量曲线示出信号比(S/λ )和ISO之间的关系的图表，使用如前所述的相同数字摄像机，但现在工作于2X合并拍摄模式中。尽管关系类似于图7所示的关系，但有一些差异。常数ISO线910与图7中所示的ISO线710相同。由下面的方程2给出描述斜线930的方程以获得改善的感知图像质量，该方程是信号比和ISO之间的关系。Log2 (ISO) =-0. 0007418 (S/ λ ) 3+0. 006498 (S/ λ ) 2-0. 68008 (S/ λ ) +14. 983 方程 2图10和11中针对研究的相同数字摄像机示出了类似图表，但工作于多图像拍摄模式中。图10是对于工作于多图像拍摄模式中的同一摄像机的ISO和像素模糊之间的关系的图表。在图10中，ISO线1010和信号比线1040与图6和8中的对应线处在相同相对位置。在常数感知图像质量1020的线下降到大约ISO 100中可以看到针对这种工作模式的较低基础ISO的影响。通常，与图6和8中分别示出的感知质量线620和820相比，图10中的感知质量线1020向右偏移。结果，该曲线表明，相对于图6和8中分别示出的对应曲线630和830，对于给定信号比1030，ISO和像素模糊的优选组合进一步向下偏移。图11是针对图10中所示的多图像拍摄模式用于改善感知图像质量的信号比和ISO之间的关系图示。常数ISO线1110被示为处于和图7和9中那些相同的相对位置。在这种模式中，传感器的基础ISO为119. 8。由下面的方程3给出描述斜线1130的方程，这是为实现改进的感知图像质量的ISO。Log2(ISO) =-0. 000612 (S/λ )3+0· 00616 (S/λ ) 2-0· 7224 (S/λ )+15. 336 方程 3返回到图3，本发明提供了一种方法，利用所确定的像素信号S、确定的像素速度λ和像素信号/像素速度的信号比(S/λ )以选择拍摄模式和拍摄条件，利用图4-11所示的数据提供改善的感知图像质量。在步骤350中，将确定的信号比的值(S/λ )与图5中给出的数据一起用于选择拍摄模式。其中可以以查找表格的形式给出图5的数据，其定义转换点510，确定由信号比(S/λ )定义的照相空间的面积，其中不同的拍摄模式提供更高的感知图像质量。在步骤360中，在方程I中使用信号比(S/λ )的确定值或图7中的数据用于完整分辨率拍摄，以选择用于拍摄图像的iso。如果在步骤350中选择了 2X合并拍摄模式或多图像拍摄模式，那么在步骤360中，用于选择ISO的数据将分别是在方程2或图9，或方程3或图11中得到的数据。然后，在步骤370中，在方程4中使用选择的ISO和景物亮度L，以选择用于运动调节的曝光时间tem的值。tem=K/ (ISOXL)，方程 4其中L以Iux为单位表示，K是与透镜和图像拍摄装置其他方面相关的恒定值。再次，如果在步骤350中选择了 2X合并拍摄模式或多图像拍摄模式，那么在步骤370中，用于选择运动调节的曝光时间的ISO数据将分别是从方程2或图9，或方程3或图11中得到的数据。 最后在步骤380中，使用选定的拍摄条件，包括拍摄I旲式、ISO和曝光时间,拍摄归档图像，然后在适当的存储器，例如系统存储器72b或存储卡72c中存储，或发送到远方位置的另一存储器。于是，本发明的方法使用亮度和运动的测量结果来选择反映亮度和运动以及对感知图像质量影响之间的相对平衡的拍摄模式、ISO和曝光时间。将方程I与方程2和方程3比较表明，数字摄像机的工作模式不会剧烈影响用于改善感知图像质量的信号比和ISO之间的关系。方程1、2和3表示的关系在本质上相当类似于系数仅有小变化。在研究过的所有三个工作模式中，使用信号比选择IS0，然后选择曝光时间，与典型的现有技术自动曝光系统相比，提供了改善的感知图像质量，现有技术的自动曝光系统仅仅基于标准模式和景物亮度选择曝光时间。本领域的技术人员将认识到，图4-11中给出且特征是由方程1-3和图5表示的多维模型的具体数据集给出了工作在几种不同拍摄模式中的数字摄像机模型。预计数字摄像机的其他模型或其他类型的图像拍摄装置将具有稍微不同的数据集，连同稍微不同的多维模型，其类似于先前所述的关系。具体而言，图像传感器18和透镜16 (和光学图像稳定)或电子图像拍摄单元14和相关联图像处理技术的变化将导致ISO和感知图像质量之间关系的偏移。不过，像素模糊和感知图像质量之间的关系适用范围很宽。在任何情况下，本发明的方法都宽泛地适用于数字图像拍摄装置，在该方法中基于像素速度和信号速率(或信号t匕)选择拍摄模式、曝光时间和ISO。范例在典型的现有技术数字摄像机中，在准备拍摄单幅静止图像时，由自动曝光控制基于平均亮度和拍摄模式选择曝光时间和IS0，其中基于预览图像中亮度分布的分析或拍摄模式的操作员选择来选择拍摄模式。结合ISO选择合并率。在选择曝光时间、ISO或拍摄模式时不测量或考虑运动。不计算信号比(s/λ)。图13示出了利用本发明的方法针对不同水平的景物亮度以及不同水平的图像拍摄装置运动选择ISO。所用的三个水平的运动和它们对应的像素速度是低速运动(4像素/秒的速度)、中速运动(40像素/秒的速度)和高速运动(160像素/秒的速度)。如图13中针对不同水平运动的不同ISO曲线所示，如针对低速运动、中速运动和高速运动的相应条件的ISO曲线1310、1320和1330所示，在选择ISO时可以清楚地看出亮度和运动两者的影响。在高水平的景物亮度下，对所有运动条件都将ISO保持非常低。ISO曲线1310所示的低速运动的条件导致选择比ISO曲线1330所示的高速运动条件显著更低的ISO。应当指出，传感器的ISO仅能够减小到传感器基础IS0，结果，对于图13范例中的所有三条ISO曲线(1310，1320，1330)IS0曲线都在大约64处形成平坦区，如果传感器可以运行于更低的IS0，本发明的控制系统将利用更低的ISO设置。随着景物变暗，稳定地增大选定的IS0，最终达到高水平。如果有低速运动，如ISO曲线1310所示，在增大ISO之前，将ISO保持在低至501ux的基础ISO。相反，如果有高速运动，在ISO曲线1330所示的整个测试范围内连续增大ISO。在图14中，针对不同水平的景物亮度以及不同水平的运动，示出了利用本发明方法为图像拍摄装置选择曝光时间。在图14中针对图13中针对ISO曲线所示的低速运动、中速运动和高速运动的相同相应水平示出了曝光曲线1440、1450和1460。在高水平的景物亮度下，针对图示的所有水平的运动选择短曝光时间。随着景物亮度减小，增加曝光时间。如本发明的方法中所给出的，曝光曲线1 460所示的高水平运动与曝光曲线1450和1440相比导致更低的曝光时间。—并考虑图13和14表明，ISO和曝光时间的选择是集成的且响应于本发明方法中存在的运动。低速运动的情况表明如何随着景物亮度增大，一开始ISO和曝光时间都以本发明的方式减小，不过，在ISO到达传感器的基础ISO时，不再可能减小ISO。结果，对于低速运动和高于50勒克斯的景物亮度，ISO曲线1310和曝光曲线1440的斜率改变。与中速运动的情况类似，ISO曲线1320和曝光曲线1450的斜率在大约500勒克斯处改变。本发明的方法测量存在的运动并随后以集成方式选择ISO和曝光时间，从而在拍摄的图像中产生更高感知图像质量。图13和14表明，针对不同水平的景物亮度选择的ISO和曝光时间值对于不同水平运动而言差异很大。因为典型的现有技术摄像机控制在选择拍摄模式、ISO或曝光时间时不测量运动或考虑运动，所以现有技术摄像机与本发明方法拍摄的图像相比往往拍摄到感知图像质量更低的图像。在运动模糊不成问题的低水平运动下，本发明选择比典型现有技术摄像机控制更长的曝光时间和更低的IS0，以拍摄噪声更低的图像。相反，在运动模糊是个大问题的高水平运动下，本发明选择比典型现有技术摄像机控制更短的曝光时间和更高的IS0，以拍摄运动模糊更小的图像。本发明能够针对包括运动和景物亮度的景物特性调整拍摄条件，这是本发明的重要特征，使得要拍摄的图像能够具有改善的感知图像质量。部件列表10数字摄像机14电子图像拍摄单元16 透镜18图像传感器20 光路22 快门24定时发生器26滤光器组件28 孔径44光学系统48图像显示器
50缩放控制52宏控制54焦点控制56测距仪58亮度传感器60闪光灯系统61闪光灯62闪光传感器63闪光灯控制64显示控制器65控制单元66系统控制器68模拟信号处理器70数字信号处理器72a数字信号处理器存储器72b系统存储器72c存储卡72d程序存储器74状态显示器
76取景器显示器78取向传感器80摸拟到数字转换器(A/D)81数据总线82 插座83存储卡接口84主机接口86视频编码器93用户输入控制器200典型摄像机控制流程图210评估景物亮度步骤220确定拍摄模式步骤230确定ISO步骤240确定曝光时间步骤250拍摄归档图像步骤270拍摄图像步骤275分析图像步骤272拍摄额外图像步骤280图像质量检查步骤282设置曝光参数步骤
285构造最终图像步骤290多图像拍摄的现有技术流程图300流程图310收集预拍摄数据步骤
320确定亮度和运动步骤330确定像素速度步骤340确定像素信号速率步骤345计算信号比步骤
350选择ISO步骤360选择曝光时间步骤370选择拍摄模式步骤380拍摄归档图像步骤510拍摄模式之间的转换点610 常数 ISO 线620常数感知图像质量等值线630改进的感知图像质量的关系640常数信号比线710 常数 ISO 线730 斜线810 常数 ISO 线820常数感知图像质量等值线830改进的感知图像质量的关系840常数信号比线910 常数 ISO 线930 斜线1010 常数 ISO 线1020常数感知图像质量等值线1030改进的感知图像质量的关系1040常数信号比线1110 常数 ISO 线1130 斜线1310低速运动的ISO曲线1320中速运动的ISO曲线1330高速运动的ISO曲线1440低速运动的曝光曲线1450中速运动的曝光曲线1460高速运动的曝光曲线
权利要求
1.一种用于拍摄改善的归档图像的方法，包括利用图像拍摄装置拍摄景物的至少两幅预览图像，并利用信号处理器分析所述预览图像以确定所述景物中的景物亮度和运动速度，以提供像素信号速率/像素速度之比；以及利用计算的比值来选择拍摄模式、ISO和曝光时间，以用于拍摄所述归档图像。
2.一种利用具有可选择的拍摄模式、ISO和曝光时间的图像拍摄装置拍摄归档图像的方法，包括如下步骤 使用图像拍摄装置拍摄景物的至少两幅预览图像； 使用信号处理器 分析所述预览图像以确定所述景物中的景物亮度和运动； 基于图像中的所述景物亮度来确定像素信号速率； 基于所述景物中的所述运动来确定像素速度； 确定信号比，即像素信号速率/像素速度； 根据所述信号比来选择所述拍摄模式； 根据所述拍摄模式和所述信号比来选择所述ISO ； 根据所述ISO和景物亮度来选择所述曝光时间；以及 使用所述图像拍摄装置以选定的拍摄模式、ISO和曝光时间来拍摄归档图像，并将所述归档图像存储到存储器中。
3.根据权利要求2所述的方法，其中所述分析步骤包括在两幅或更多幅预览图像之间彼此进行比较，以确定全局运动或局部运动。
4.根据权利要求3所述的方法，其中通过所述全局运动来确定所述像素速度。
5.根据权利要求3所述的方法，其中通过分析所述局部运动来确定所述像素速度。
6.根据权利要求5所述的方法，其中通过平均局部运动来确定所述像素速度。
7.根据权利要求5所述的方法，其中通过峰值局部运动来确定所述像素速度。
8.根据权利要求2所述的方法，其中所述图像拍摄装置包括亮度传感器，并且利用所述亮度传感器来确定景物亮度。
9.根据权利要求2所述的方法，其中所述确定步骤包括使用通过两幅或更多幅预览图像确定的全局运动或局部运动以及确定的景物亮度来选择拍摄模式、ISO和曝光时间。
10.根据权利要求3所述的方法，其中所述图像拍摄装置包括惯性测量装置，并且利用所述惯性测量装置来确定全局运动。
11.根据权利要求2所述的方法，其中所述选择步骤包括使用多维模型以根据信号比和景物亮度来选择拍摄模式、ISO和曝光时间。
12.根据权利要求2所述的方法，其中选择所述拍摄模式的步骤包括选择合并率。
13.根据权利要求2所述的方法，其中选择所述拍摄模式的步骤包括选择单次拍摄模式或多次拍摄模式。
14.一种使用具有惯性测量装置、可选择的拍摄模式、ISO和曝光时间的图像拍摄装置拍摄归档图像的方法，包括如下步骤 利用所述惯性测量装置确定所述图像拍摄装置的全局运动； 使用信号处理器 将所述图像拍摄装置的所述全局运动转换成图像中的像素速度；确定景物亮度； 基于景物亮度来确定图像中的像素信号速率； 确定信号比，即像素信号速率/像素速度； 根据所述信号比来选择所述拍摄模式； 根据所述信号比来选择ISO ； 根据所述ISO和景物亮度选择曝光时间；以及 使用所述图像拍摄装置以选定的拍摄模式、ISO和曝光时间拍摄归档图像，并将所述归档图像存储在存储器中。
15.根据权利要求14所述的方法，其中确定景物亮度的步骤包括拍摄一幅或多幅预览图像并且分析所述一幅或多幅预览图像以确定景物亮度。
16.根据权利要求14所述的方法，其中所述图像拍摄装置包括亮度传感器，并且确定景物亮度的步骤包括从亮度传感器收集数据并将所述数据转换成景物亮度。
17.根据权利要求14所述的方法，其中所述选择步骤包括使用多维模型以根据所述信号比和景物亮度来选择拍摄模式、ISO和曝光时间。
18.根据权利要求14所述的方法，其中选择所述拍摄模式的步骤包括选择合并率。
19.根据权利要求14所述的方法，其中选择所述拍摄模式的步骤包括选择单次拍摄模式或多次拍摄模式。
全文摘要
一种基于模型的用于拍摄改善的归档图像的方法，包括拍摄景物的至少两幅预览图像，分析预览图像以确定景物亮度和景物的运动速度。使用分析的数据计算像素信号速率/像素速度之比，将其用于选择拍摄模式、ISO和曝光时间，用于拍摄归档图像。
文档编号H04N5/232GK102754426SQ201180008683
公开日2012年10月24日 申请日期2011年2月1日 优先权日2010年2月8日
发明者A·M·塔卡尔迪, B·H·皮尔曼, J·N·博德 申请人:伊斯曼柯达公司