专利名称：成像设备和成像方法
技术领域：
本发明涉及一种成像设备和成像方法，通过组合所捕获的图像能够减 小噪声。
背景技术：
近年来，成像设备(特别是摄像机)已经变得更加紧凑。注意力已经 集中于手抖动校正技术。由于摄像机增加的紧凑性，当照相时引起可手持性的下降。另外，与 诸如医用单手照相之类的过去的照相方式相比较，增加了通过移动电话内 置摄像机照相方法的自由度。按照这种方式，当照相时，当通过各种方法照相并且处于不稳定的状 态时，摄像机晃动并且当按下快门时图像结束模糊。例如，存在许多这样的情况当在黑暗条件长曝光时间拍摄照片时， 快门速度变慢并且图像模糊。另外，当增加曝光时间敏感度并且使曝光时间更短时，噪声加入，并 且图像停止变得粗糙。为了解决这个问题，将用于校正手抖的装置安装到单一透镜反射摄像 机中以及近来也安装到紧凑摄像机中。例如，正在制作根据模糊来倾斜透镜以校正手抖的光学手抖校正装 置。然而，如果考虑近来增加的紧凑性以及安装到移动电话摄像机中，它 们的使用变为非常困难的空间类型。另外，作为另一种方法，建议了一种通过图像处理能够从多个图像中 获得没有模糊的图像的多种成像设备(例如参见专利文献1)。专利文献l:日本专利公开(A) No.10-198079发明内容本发明要解决的问题然而，以上建议的成像设备具有以下缺点用于保持多个图像的存储 器是必需的，因此所述设备变得昂贵。另外，这种设备具有以下缺点所拍摄图片的个数越大，用于校正在 拍摄图片期间出现的图像之间的位置偏差的处理时间越长。本发明的目的是提供一种成像设备和成像方法，能够在不同的曝光条 件下获得没有模糊的图像，并且能够縮短处理时间。解决问题的方法本发明的第一方面是一种成像设备，具有将不同曝光条件下所捕捉的 多个图像进行组合的功能；具有检测装置，用于检测所述多个图像中的〈立 置偏离和模糊量，以及组合装置，用于根据与基于所述检测装置的检测结 果所提取的边缘的距离设定图像组合的比率，并且利用所述设定比率组合 图像。优选地，所述组合装置基于亮度信号Y和色差信号U和V中的至少亮度信号来组合图像。优选地，所述组合装置基于成像元件的输出数据中的至少G分量来组 合图像。优选地，用于组合的多个图像的至少一个包括具有噪声和高分辨率的 图像。优选地，用于组合的多个图像的至少一个包括具有低分辨率但是几乎 没有噪声的图像。优选地，所述检测装置从所述多个图像的差值图像中提取图像之间的 位置偏离和模糊量。优选地，所述组合装置使得当与所述边缘的距离变大时，长时间曝光 并且几乎没有噪声的图像的比率更大，并且设定所述边缘部分，使得短时 间曝光并且具有高分辨率的图像的比率更大。优选地，当与边缘的距离比预先设定的距离近时，所述组合装置在使 得短时间曝光图像的比率更大的同时组合图像。优选地，当与所述边缘的距离比预先设定的距离远时，所述组合装置在使得长时间曝光图像的比率更大的同时组合图像。本发明的第二方面是一种成像方法，对不同曝光条件下捕捉的多个图 像进行组合，具有以下步骤第一步骤，检测在不同曝光条件下的多个图 像中的位置偏离和模糊量；第二步骤，基于在所述第一步骤中的检测结果 提取边缘；第三步骤，根据与所提取边缘的距离设定组合图像时的比率； 以及第四步骤，利用在所述第三步骤中设定的比率组合图像。本发明的效果根据本发明，可以利用不同的曝光条件下的少量图像就获得没有模糊 的图像，并且可以縮短处理时间。
图1是示出了根据本发明的成像设备实施例的方框图。图2A至图2C是示出了在不同曝光条件下捕捉的多个图像的示例的图。图3A至图3C是示出了通过短时间曝光捕捉的Y信号分量的图像、 通过长时间曝光捕捉的Y信号分量的图像、以及多个图像的Y信号分量 的差值图像的图。图4A至图4C是示出了差值图像和组合比率之间关系的图。图5是用于解释本实施例操作的流程图。符号描述10成像设备ll光学系统12成像元件13信号处理部分14 CPU15存储器具体实施方式
下面将参考附图解释本发明的实施例。图1是示出了根据本发明的成像设备实施例的方框图。成像设备IO具有光学系统11、成像元件12、信号处理部分13、作为控制和运算处理单元的CPU 14以及存储器15。本实施例的成像设备10具有捕捉多个图像的功能，所述多个图像包括短曝光时间并且具有高分辨率但是具有更多噪声的图像，以及长曝光时 间但是几乎没有噪声并且具有低分辨率的图像。成像设备10具有以下功能检测所捕捉的图像中的位置偏离和模糊 量；根据与边缘的距离改变多个图像的比率；以及组合这些图像从而形成 没有模糊并且减小噪声的图像。成像元件12由CCD、 CMOS传感器等形成，接收通过所述光学系统 11的主题的光学图像，执行光电转换，并且将所述结果提供给信号处理部 分13。在以下解释中，在假设成像元件12由CCD形成的同时给出以下解释。本实施例的光学系统11和成像元件12例如可以通过在CPU 14的控 制下进行低CCD敏感度状态下的长时间曝光来捕捉图像，即几乎没有噪 声但是具有较慢的快门速度，及改变CCD敏感度拍摄具有更多噪声但是 短曝光时间的图片。信号处理部分13执行色彩插值、白平衡、YUV转换、压缩、滤波和 其他处理，并且在存储器115中执行存储等等。本实施例的信号处理部分13具有以下功能从在光学系统11和成像 元件12中所捕捉的数据中提取亮度信号部分的功能；以及滤波功能，用 于消除亮度信号Y的噪声分量。通过滤波系数来处理所述滤波，所述滤波 系数用于在不降低分辨率的同时减小噪声分量。作为一般的滤波器，可以 应用中值滤波器、边缘保存滤波器和其他滤波器。信号处理部分13在根据存储器15中每一个所捕捉数据进行滤波之后 存储图像。CPU 14控制曝光，并且同时等待未示出的操作部分等的操作输入， 根据那些输入确定整个系统的操作，控制光学系统11、成像元件12、信 号处理部分13等，并且担当系统总体的仲裁控制。另夕卜，CPU14具有以下功能基于在存储器13中存储的信号处理部分13的信号处理之后的数据，检测在所捕捉的图像中的位置偏离和模糊 量，根据与所述边缘的距离改变多个图像的比率，以及组合这些图像从而 形成没有模糊以及减小噪声的图像。更具体地，CPU 14具有以下功能检测在不同曝光条件下的多个图 像中的位置偏离和模糊量；基于所述检测功能的检测结果来提取包括位置 偏离和模糊量的图像边缘分量的组合功能；根据与所提取的边缘的距离在 组合图像时设定比率；以及利用所设定的比率组合图像。在检测功能中，CPU 14计算在信号处理部分13中处理而获得的在不 同曝光条件下捕捉亮度信号Y的差别(短时间曝光图像YS —长时间图像 曝光YL)，并且检测位置偏离和模糊量。该图像是通过从短时间曝光图亍象 中减去具有模糊的长时间曝光图像来获得的，因此将产生包括模糊的边缘 的图像。在组合功能中，CPU 14从包括来自所产生图像的位置偏离和模糊的 图像中提取边缘分量，并且根据与该边缘的距离设定组合时的比率。当设定所述比率时，CPU 14在组合功能时根据与边缘距离的增加设 定长时间曝光并且几乎没有噪声的图像的比率更大。另一方面，CPU 14 这样设定边缘部分，使得短时间曝光并且具有分辨率感觉的图像比率变《导 更高。例如，将短时间曝光图像的比率在边缘部分中设定为100%、远离边 缘时逐步地增加长时间曝光图像的比率、并且使得在所述比率在噪声部分 中最大可变为50%是足够的。另外，当与边缘的距离比预先设定的距离近时，CPU 14在使得短时 间曝光图像的比率更大的同时组合图像，并且当与边缘距离比预先设定距 离远时，CPU 14在使长时间曝光图像的比率更大的同时组合图像。按照这种方式，CPU 14在获得与边缘的距离和图像之间的比率的同 时组合图像。将这种图像对多个图像重复地执行。在全部图像的处理结束 的阶段，获得了噪声减小并且没有模糊的输出图像。CPU 14在存储器15中存储处理之后的图像数据。下面，将进一步详细地解释在不同曝光条件下捕捉的多个图像的示 例、在组合图像时使用所捕捉图像的YUV转换格式中的亮度信号Y的理由、以及所捕捉的多个图像的Y信号分量的差值图像。图2A至图2C是示出了在不同曝光条件下捕捉的两个图像以及通过 组合这两个图像获得的图像示例的图。图2A示出了没有模糊但是具有更多噪声的短曝光时间的图像，因为敏感度较高。例如，这是在快门速度较短并且敏感度较高的情况下捕捉的。 因为升高了敏感度，分辨率较高但是在整个图像中包括噪声。图2B示出了具有模糊但是几乎没有噪声的长曝光时间的图像，因为 敏感度较低。例如，这是在快门速度较长并且敏感度较低的情况下捕捉的。 分辨率较低，并且存在发生手抖的可能性，但是这是几乎没有噪声的图像。图2C是通过组合图2A和图2B的图像获得的图像。即使当连续地捕捉多个图像时，如图2A至图2C所示，在多个图像 中出现位置偏离。接下来将解释所捕捉图像的YUV形式。按照这种格式处理的信号是亮度信号Y、色差信号U和色差信号V。 在这些信号Y、U和V中，当所述元素确定分辨率时，Y信号分量施加较 大的影响。作为图像压縮的原理，例如在执行压縮的同时在JPEG等中减小色差 信号。人眼对于色彩信息相对不敏感，因此通过组合亮度信号Y可以实现噪声减小的较大效果。图3A至图3C是示出了通过短时间曝光捕捉的Y信号分量的图像、通过长时间曝光捕捉的Y信号分量的图像、以及多个图像的Y信号分量的差值图像的图。在多个图像捕捉和长时间曝光的位置偏离中，包括手抖，并且图像模糊。当连续拍摄照片时，在图像主题的边缘部分不会出现较大的位置偏 离。另外存在Y信号的差值图像，因此获得了边缘部分和模糊部分改善的图像。在本实施例中，基于具有高分辨率但是具有更多噪声图像，基于与边 缘的距离，通过比率从所述差值图像中组合多个图像。图4A至图4C是示出了差值图像和组合比率之间关系的图，其中图4A示出了在噪声减小处理之前的图像，图4B示出了通过放大主题部分而 获得的图像，以及图4C示出了输出图像。差值图像的边缘部分变得如图所示。邻接图像的像素不会很大地改 变。因此，当远离边缘预定距离或更多时，获得了具有相对较小变化的图像。据此，在边缘附近，利用图4B所示给出的一定预定倾斜的组合比率 执行图像处理。例如，利用具有噪声的主题后面的墙或均匀平面的图像，通过执行这 种处理，减小了其中噪声明显并且不均匀的图像的噪声。在本实施例中，通过在Y、 U和V中只消除Y分量的噪声，縮短了 处理时间。另外，在本实施例中，从多个图像的差值图像中提取位置偏离和模糊， 但是也可以通过构图机器等检测精确的偏离量以改变组合比率。接下来，将参考图5的流程图解释以上结构的操作。首先，在CPU 14的控制下，驱动光学系统11和成像元件12以拍摄 图片。在步骤ST1，在CCD敏感度较低的情况下通过长时间曝光拍摄图 片，即噪声较小但是快门速度较低。接下来，在步骤ST2时，通过改变CCD敏感度拍摄具有更多噪声但 是更短曝光时间的图片。然后，信号处理部分13在步骤ST3时从每一个所捕捉的图像提取亮 度信号部分，并且在步骤ST4时执行滤波，用于消除亮度信号的噪声分量。随后，CPU14执行以下处理。在步骤ST5，计算已处理的捕捉亮度信号的差别(短时间曝光图像 YS(Sl)-长时间图像曝光YL(S2))。通过从短时间曝光图像中减去具有模糊 的长时间曝光图像来获得这种图像，因此将产生包括模糊的边缘的图像。接下来在步骤ST6,从作为运动矢量的图像中找到位置偏离和当捕捉多个图像时发生的模糊导致的偏离。在步骤ST7中，根据在上述步骤ST6中产生的图像，从包括位置偏离 和模糊的图像中提取边缘分量，并且根据与所述边缘的距离设定比率。在 这种情况下，根据与边缘的距离，使得几乎没有噪声的长时间曝光图像的比率更大，并且这样设定边缘部分，使得具有分辨率感觉的短时间曝光图 像的比率变高。根据与边缘的距离，将步骤ST8之后的步骤分类为步骤ST9或步骤ST10的处理。根据所述比率组合图像。当与边缘的距离比预先设定的距离近时，在步骤ST9，在使得短时间 曝光图像的比率较大的同时组合图像。当与边缘的距离比预先设定的距离远时，在步骤STIO，在使得长时 间曝光图像的比率较大的同时组合图像。将这种处理对多个图像重复地执行。在步骤STll，在其中全部图像的处理结束的阶段，获得了减小噪声 并且几乎没有模糊的输出图像。注意，在本实施例中，解释了组合两个图像的情况，但是也可以组合 三个或三个以上的图像。例如，在组合三个图像的情况下，可以根据每一 次曝光条件，根据与边缘的距离设定组合时的比率。如上所述，在本发明中，通过根据来自不同曝光条件下捕捉的多个图 像中的差值图像边缘的距离来改变组合比率的同时执行图像处理，可以实 现噪声减小效应，并且可以获得与所捕捉的图像中的位置背离和模糊相对 应的图片。因此，获得了以下效果减小了所要求存储量、縮短了处理时间、确 保了部分安装空间、减小成本以及其他效果。通过采取以下情况作为示例解释了本发明实施例的组合处理，其中在所捕捉图像的信号处理之后使用YUV格式(Y是亮度信号，U和V是色 差信号)中的亮度信号Y来组合图像，但是这也可以应用于以下情况相 对于与成像元件(传感器)的RGB Bayer对齐(原始数据)的输出来组合 所述图像。在这种情况下，CPU M采用通过从所捕捉的多个图像中的原始图像 数据中提取Gr分量获得的差值，并且从所述差值图像中检测边缘和模糊 分量。在原始图像信号中，在模拟阶段，以将白平衡增益应用于R禾口 B 分量，因此与G分量相比R和B分量具有更多噪声。为此原因，在本实 施例中，可以提取几乎没有噪声的Gr分量。注意，还可以针对其他的R、G和Gb执行所述提取。另外，例如CPU 14计算已经校正位置偏离的图像的差值图像的绝对值(短时间曝光图像S1-长时间曝光图像S2)。通过从短时间曝光图像中减去具有模糊的长时间曝光图像来获得该 图像，因此将产生包括噪声和模糊的边缘的图像。工业应用性在本发明的成像设备和成像方法中，可以利用不同曝光条件下较少个 数的图像获得没有模糊的图像，并且可以縮短处理时间。因此，本发明可 以应用于数字照相机、安装到手机的摄像机、安装到个人数字助手的摄像
权利要求
1.一种成像设备，具有将不同曝光条件下所捕捉的多个图像进行组合的功能，包括检测装置，用于检测所述多个图像中的位置偏离和模糊量；以及组合装置，用于根据与基于所述检测装置的检测结果所提取的边缘的距离设定图像组合的比率，并且利用所述设定比率组合图像。
2. 根据权利要求1所述的成像设备，其中所述组合装置基于亮度信 号Y以及色差信号U和V中的至少亮度信号来组合图像。
3. 根据权利要求1所述的成像设备，其中所述组合装置基于成像元 件的输出数据中的至少G分量来组合图像。
4. 根据权利要求1所述的成像设备，其中用于组合的所述多个图像的至少一个包括具有噪声和高分辨率的图像。
5. 根据权利要求1所述的成像设备，其中用于组合的所述多个图像的至少一个包括具有低分辨率但是几乎没有噪声的图像。
6. 根据权利要求1所述的成像设备，其中所述检测装置从所述多个 图像的差值图像中提取图像之间的位置偏离和模糊量。
7. 根据权利要求1所述的成像设备，其中当与所述边缘的距离变大 时，所述组合装置使得长时间曝光并且几乎没有噪声的图像的比率更大， 并且这样设定边缘部分，使得短时间曝光并且具有高分辨率的图像的比率 更大。
8. 根据权利要求6所述的成像设备，其中当与所述边缘的距离比预 先设定的距离近时，所述组合装置在使得短时间曝光图像的比率更大的同 时组合图像。
9. 根据权利要求6所述的成像设备，其中当与所述边缘的距离比预 先设定的距离远时，所述组合装置在使得长时间曝光图像的比率更大的同 时组合图像。
10. —种成像方法，对不同曝光条件下捕捉的多个图像进行组合，包括第一步骤，检测多个图像中的位置偏离和模糊量；第二步骤，基于在所述第一步骤中的检测结果提取边缘； 第三步骤，根据与所提取边缘的距离设定组合图像时的比率；以及 第四步骤，利用在所述第三步骤中设定的比率组合图像。
11. 根据权利要求10所述的成像方法，其中所述第四步骤基于亮度 信号Y以及色差信号U和V中的至少亮度信号来组合图像。
12. 根据权利要求10所述的成像方法，其中所述第四步骤基于成像 元件的输出数据中的至少G分量来组合图像。
13. 根据权利要求10所述的成像方法，其中用于组合的所述多个图像的至少一个包括具有噪声和高分辨率的图像。
14. 根据权利要求10所述的成像方法，其中用于组合的所述多个图像的至少一个包括具有低分辨率但是几乎没有噪声的图像。
15. 根据权利要求10所述的成像方法，其中所述第一步骤从所述多 个图像的差值图像中提取图像之间的位置偏离和模糊量。
16. 根据权利要求10所述的成像方法，其中所述第四步骤使得当与 所述边缘的距离变大时，长时间曝光并且几乎没有噪声的图像的比率更 大，并且这样设定边缘部分，使得短时间曝光并且具有高分辨率的图像的 比率更大。
17. 根据权利要求15所述的成像方法，其中当与所述边缘的距离比 预先设定的距离近时，所述第四步骤在使得短时间曝光图像的比率更大的 同时组合图像。
18. 根据权利要求15所述的成像方法，其中当与所述边缘的距离比 预先设定的距离远时，所述第四步骤在使得长时间曝光图像的比率更大的 同时组合图像。
全文摘要
一种成像设备和成像方法，能够利用不同曝光条件下的少量图像获得没有模糊的图像，并且能够缩短处理时间，其中成像设备10通过光学系统11和成像元件12捕获多个图像，所述多个图像包括具有短曝光时间和高分辨率但是具有更多噪声的图像、以及具有长曝光时间但是几乎没有噪声并且具有低分辨率的图像。在信号处理部分13的信号处理之后，CPU 14检测所捕捉图像中的位置偏离和模糊量，根据与所述边缘的距离改变所述多个图像的比率，以及组合这些图像从而形成没有模糊并且减小噪声的图像。
文档编号H04N101/00GK101331754SQ20068004733
公开日2008年12月24日 申请日期2006年10月11日 优先权日2005年10月14日
发明者河野武司, 泽田隆一, 渡部刚, 羽鸟敏树 申请人:京瓷株式会社