专利名称：拍摄装置和拍摄方法
技术领域：
本发明涉及一种拍摄装置及拍摄方法。
背景技术：
补正数字相机手抖动的方法已知的有通过拍摄连续多幅图像、对各个图像的对应 同类像素进行加法的电子式手抖动补正。例如，在对以60帧/秒连拍的多幅图像进行加法处理的多平面(multiplane)加 法方式时，与单幅图像相比可获取几倍S/N比的更佳的图像。在这种多平面加法方式的电子式手抖动补正中，当在需要进行抖动补正的状况下 (例如，发生了某种程度上较大的手抖动的状态)拍摄时，是很有效的。但是，当在不需要进行抖动补正的状况下(例如，完全没有出现手抖动，或者手抖 动很小的状态)拍摄时，由于也进行加法处理，就导致了无用的画质下降(例如，多幅图的 其中一幅混入了噪声，在没有进行正确的位置对照的状态下执行加法处理的结果)的问 题。为了解决这个问题，有仅在检测到需要进行抖动补正的状况时执行加法处理的方 式(例如，特开2008-92005号公报)。但是，在这种方式中，数字相机在拍摄之前(半按快门按钮时等)判断例如拍摄环 境是否稍暗等等、是否位于容易手抖动的环境中，以决定是否执行多平面加法处理。因此，存在着决定时的状况与实际拍摄时的状况不必然一致、无法获取用户期待 的手抖动补正结果的情形。
发明内容
发明1所记载的发明是一种拍摄装置，其特征在于，具备拍摄单元，获取在第1曝 光时间对拍摄对象进行拍摄的时间上连续的第1图像组和在第2曝光时间对拍摄对象进行 拍摄的时间上连续的第2图像组；手抖动判断单元，判断由所述拍摄单元获取第1图像组的 过程中是否发生了手抖动；图像抖动判断单元，判断由所述拍摄单元获取第1图像组的过 程中是否发生了拍摄对象的图像抖动；以及选择单元，根据由所述手抖动判断单元的判断 结果和由所述图像抖动判断单元的判断结果，选择从所述第1图像组中获取的图像或者从 所述第2图像组获取的图像中的任何一个。发明9所记载的发明是一种拍摄方法，其特征在于，具有获取工序，获取在第1曝 光时间对拍摄对象进行摄影的时间上连续的第1图像组和在第2曝光时间对拍摄对象进行 摄影的时间上连续的第2图像组；手抖动判断工序，判断在获取第1图像组的过程中是否发 生了手抖动；图像抖动判断工序，判断在获取第1图像组的过程中是否发生了拍摄对象的 图像抖动；以及选择工序，根据所述手抖动判断工序和所述图像抖动判断工序各自的判断 结果，选择从所述第1图像组中获取的图像或者从所述第2图像组获取的图像中的任何一 个。
图1是显示本发明实施方式的拍摄装置(数字相机)的电气结构的框图。图2是显示在设定记录模式时，CPU核心的处理顺序的流程图。图3(a)是显示在基准图像中设定的窗口的图，(b)是显示用于划分窗口内的方框 的图。图4是描述各帧的投影变换矩阵和运动矢量的计算的图。图5是描述对表示平行运动分量的运动矢量的大小进行计算的图。图6是描述选择所输出图像的处理的图。图7是描述多平面加法合成的图。
具体实施例方式图1是显示作为本发明一个实施方式的拍摄装置的数字相机的电气结构的框图。该数字相机具有作为基本的动作模式的、用于进行拍摄的记录模式和用于再现所 拍摄图像的再现模式。如图1所示的本实施方式的数字相机具备拍摄镜头1 ；CMOS拍摄元件3，在经由 快门2而接受由拍摄镜头1聚集的拍摄光的同时，将在受光面上成像的拍摄对象的光学图 像通过光电变换作为图像信号来输出；A/D转换器4，将CMOS拍摄元件3的输出信号变换成 数字图像数据；以及DRAM 5，用于依次存储变换后的图像数据。此外，DRAM 5中还保存有多幅图像数据。快门2的动作根据CPU核心(CPU Core) 7a的命令由快门控制部7b来控制，CMOS 拍摄元件3及A/D转换器4的动作根据CPU核心7a的命令由受光控制部7c来控制。DRAM 5中所保存的1幅图像数据，即RAW数据，在由解拼部(Demosaic Unit)7d将 颜色信息内插到每个像素并变换为YUV数据之后经由液晶显示控制器6显示在液晶显示画 面8上。此外，被变换的YUV数据也被暂时地保存于DRAM 5中。由在记录模式下拍摄时的解拼部7d变换成YUV数据的图像数据在由CPU核心7a 以JPEG等规定压缩方式进行压缩之后，作为静态图像文件或者动画文件存储于外部存储 介质11中。在再现模式中，外部存储介质11中所记录的图像数据根据需要由CPU核心7a进 行读取并解压缩之后，经由液晶显示控制器6而被显示于液晶显示画面8上。此外，外部存储介质11可由例如可从相机本体中自由移除的存储卡、可内藏于相 机本体中的闪存等构成。另外，CPU核心7a除了连接特征量运算部7e、SRAM 7f、块匹配部7g、图像变形合 成加法部7h之外，还连接有快门按钮9、模式按钮10。此外，CPU核心7a内的存储器中存储有CPU核心7a操作所需的各种程序以及程 序执行时所使用的各种数据，但是这些程序和数据也可以保存在CPU核心7a以外的其他存 储中。CPU核心7a根据程序、响应于快门按钮9的按下操作而控制数字相机的各个部件的操作，起到本发明的拍摄单元、手抖动判断单元、图像判断单元、选择单元的作用。块匹配部7g将SRAM 7f用作作业存储器，对由CMOS拍摄元件3拍摄的多幅图像 进行同类匹配，获取表示拍摄对象部分的相对偏移量及偏移方向的运动矢量并输出给CPU 核心7a，起到本发明的计算单元的作用。图像变形合成加法部7h响应于CPU核心7a的指示、对由CMOS拍摄元件3所拍摄 的多幅图像进行位置对照及合成，起到本发明的图像处理单元的作用。然后，在由以上结构构成的数字相机中，描述设定为记录模式时的操作。图2是显示设定为记录模式时的CPU核心7a的处理顺序的流程图。首先，用户通过操作数字相机的模式按钮10设定为数字手抖动补正模式(步骤 Al).由此，数字相机实行自动的手抖动补正。然后，当用户按下一次数字相机的快门按钮9时，检测到该操作的CPU核心7a实 施由第1图像组、第2图像组及第3图像构成的9幅连拍(步骤A2)。具体地说，由CMOS拍摄元件3取得时间上连续的9幅图像。9幅图像中，作为第3图像的最初1幅图像，是在对应于拍摄对象抖动或在较暗的 地方拍摄的可能较高的拍摄灵敏度下，例如相当于IS01600的拍摄灵敏度下，采用第3曝光 时间进行拍摄对象抖动抑制拍摄而获取的。作为第1图像组的接下来的4幅图像，是用通常的曝光时间(第1曝光时间)进 行拍摄而获取的。作为第2图像组的最后4幅图像，是用与通常的曝光时间相比快门时间短2个等 级的时间(第2曝光时间)进行拍摄而获取的。此外，拍摄时，CMOS拍摄元件3同时进行换挡(shift)操作的光学手抖动补正。CPU核心7a针对用CMOS拍摄元件3得到的时间上连续的9幅图像，取得各自的 RAff数据并记录在DRAM 5中(步骤A3)。另外，由解拼部7d将各个RAW数据变换成仅由YUV数据及亮度分量构成的亮度图 像数据，并将变换后的图像数据存储在DRAM 5中(步骤A3)。在此，YUV数据是合成用图像数据，亮度图像数据是在多幅图像(YUV数据)合成 的过程中位置对照作业时完整尺寸的缩小图像数据。然后，以亮度图像数据中的第一幅图像为基准图像，在该基准图像中，将预先确定 的规定尺寸的窗口设置于帧内的中央部位。此外，将该窗口分割成以纵向16像素*横向16像素为单位的多个块，在相邻的帧 图像之间进行块匹配(步骤A4)。具体地说，如图3所示，把基准图像101中设定的窗口 102 (基准图像101的中心 的(1/2)* (1/2)的区域)分割成多个(4*4 = 16)块103。对于由此得到的块103，在块匹配部7g中，进行仅以拍摄对象部分为追踪对象的 块匹配。CPU核心7a，在通过块匹配而获取的各个块的运动矢量数据中，采用表示规定距 离以下的偏移量的特定运动矢量，生成用于表示相邻帧图像的位置关系的投影变换矩阵 (步骤A5)。
总之，去除原本不应得到的(明显是误得的)运动矢量、仅以正确的运动矢量为基 础来求得投影变换矩阵。此外，在本实施方式中，通过RANSAC法来生成投影变换矩阵。RANSAC法遵循着通过重复在所有数据中验证用于原来生成随机选择样本的假说 的模型推定算法。这种情况下，随机地选择位置的组，计算与所选位置组相对应的投影变换矩阵的 候補，根据该公式，在投影变换全部位置坐标时评价是否仅在某一位置处结果一致。重复这样计算和评价，采用获取最佳评价值时的投影变换矩阵。根据这种方法，如图4所示，可以求得用于表示以帧2作为基准图像与帧3之间的 位置关系的投影变换矩阵2。紧接着，依次变更亮度图像数据、并重复上述步骤A4及A5的处理，对直到时间上 连续的第5幅为止的图像生成投影变换阵列(步骤A6)。具体地说，求出用于表示以帧3作为基准图像与帧4之间的位置关系的投影变换 矩阵3、求出用于表示以帧4作为基准图像与帧5之间的位置关系的投影变换矩阵4、求出 用于表示以帧5作为基准图像与帧6之间的位置关系的投影变换矩阵5。对于到帧5为止的图像(亮度图像数据)来说，若生成了所述投影变换矩阵，总 之，若掌握了从第2幅到第5幅图像间的拍摄对象的位置关系(步骤A6中的YES)，则根据 步骤A5所获取的投影变换矩阵计算各个相邻帧之间的平行移动分量(步骤A7)。平行移动分量(运动矢量的大小)的计算如图5所示那样可以通过(S2+t2)"2而 求得。对步骤A7所算出的平行移动分量的大小最小的图像判断是否发生了拍摄对象的 图像抖动(步骤A8)。拍摄对象的图像抖动对于整个的块103来说，求出与相邻帧的同一位置的块之间 的差分平方和，若该值比1块的规定阈值大，则判断出发生了图像抖动。在步骤A8中，在判断出发生了拍摄对象的图像抖动时，如图6所示，选择用于抑制 拍摄对象抖动的图像(帧1)，即第1幅图像(步骤A9)，将该图像保存于外部存储介质11中。另一方面，在步骤A8中，在判断出没有发生拍摄对象的图像抖动时，对于平行移 动分量的大小最小的图像，判断平行移动分量的大小是否小于规定值(例如2个像素)，来 判断是否发生了手抖动(步骤A10)。此外，在本实施方式中，以规定值为2个像素进行了说明，但是本发明不限于此。可根据实际需要来设定以最适当的值作为规定值。在步骤AlO中平行移动分量的大小为2个像素以下的情况下，判断出手抖动十分 小，如图6所示，选择该平行移动分量的大小最小的图像(步骤All)，将该图像保存于外部 存储介质11中。另一方面，在步骤AlO中平行移动分量的大小并非2个像素以下的情况下，如图6 所示，图像变形合成加法部7h对第2曝光时间所拍摄的第6幅到第9幅图像通过多平面加 法而合成，以生成新的图像(步骤A12)，将该新图像保存在外部存储介质11中。图像变形合成加法部7h通过用Bayer排列数 对第6幅到第9幅图像进行多平面加法合成处理，可以进行提高增感效果的高灵敏度处理。具体地说，如图7所示，各个图像的Bayer排列数据中，求出常常反映亮度分量和 解像感的G (绿)图像的相关度以进行位置对照合成，另外，对Bayer排列数据上缺少的纵、 横、斜像素进行内插处理，并生成全部像素的G数据。R(红)、B(蓝)数据以G(绿)数据的位置对照结果为基准进行位置对照及颜色 内插处理，以及变换成全尺寸的RGB数据。位置对照处理中，可以进一步检测旋转方向，通过仿射(affine)变换等等进行坐 标旋转变换以进行位置对照，响应于旋转位置而进行内插处理。或者，可以提取出中央及前景的主要拍摄对象的区域图像，把拍摄对象和背景的 轮廓形状和特征量移动到重要位置，在位置对照后进行加法。如以上所述，在本实施方式中，首先，连续拍摄1幅在用于抑制拍摄对象抖动的第 3曝光时间内拍摄的图像、多幅在通常的1幅拍摄的曝光时间(第1曝光时间)内拍摄的图 像、以及多幅在缩短了快门时间的多平面加法用的第2曝光时间内拍摄的图像。然后，在所有相邻图像之间求出用于表示时间连续的图像中相邻图像间的位置关 系的投影变换矩阵，在通常的曝光时间所拍摄的第1图像组中选择手抖动动最少的图像。并且，在该图像中没有发生拍摄对象的图像抖动、且手抖动动非常小的情况下，由 于选择了该图像，所以能够响应于拍摄情况而选择抖动少的最适宜图像并输出。另外，当在通常的曝光时间所拍摄的第1图像组中选择了手抖动最少的图像，在 该所选图像中发生了拍摄对象的图像抖动时，由于选择了用于抑制拍摄对象抖动图像，所 以能够响应于拍摄情况而选择抖动少的最适宜图像并输出。此外，当上述所选图像中发生了某种程度上较大的手抖动时，由于生成了新图像， 所述新图像是对以多平面加法而拍摄的第2图像组进行多平面加法而得到的，所以能够响 应于拍摄情况而选择抖动少的最适宜图像并输出。在本实施方式中，由于对所拍摄的图像本身进行了有无图像抖动的判断，所以根 据在半按快门按钮时判断抖动的时间上的偏差，就不会存在情况误认。另外，由于在通常的曝光时间所拍摄的连拍图像之中判断是否存在抖动程度少的 较好图像，所以也能够选择抖动非常少图像并输出。另外，可以避免在不需要多平面加法的情况下进行不必要的多平面加法而使画质 下降的情形。另外，在图像连拍时通过移动CMOS拍摄元件、由回旋传感器进行光学手抖动补正 的情况等，由于图像拍摄时回旋传感器值的大小并非一定会反映出该图像的手抖动大小， 所以用回旋传感器来进行手抖动判断不正确。但是，在本实施方式中，由于利用这种光学手抖动补正后的拍摄图像来求出位置 关系，所以可以正确地探测出抖动的发生。
权利要求
一种拍摄装置，其特征在于，具备拍摄单元，获取在第1曝光时间对拍摄对象进行摄影的时间上连续的第1图像组和在第2曝光时间对拍摄对象进行摄影的时间上连续的第2图像组；手抖动判断单元，判断由所述拍摄单元获取第1图像组的过程中是否发生了手抖动；图像抖动判断单元，判断由所述拍摄单元获取第1图像组的过程中是否发生了拍摄对象的图像抖动；以及选择单元，根据由所述手抖动判断单元的判断结果和由所述图像抖动判断单元的判断结果，选择从所述第1图像组获取的图像或者从所述第2图像组获取的图像中的任何一个。
2.根据权利要求1所述的拍摄装置，其特征在于，在由所述图像抖动判断单元判断出没有发生图像抖动、并且由所述手抖动判断单元判 断出发生了手抖动的情况下，所述选择单元选择从所述第2图像组中获取的图像。
3.根据权利要求1所述的拍摄装置，其特征在于，具备图像处理单元，该图像处理单元合成所述第2图像组的图像，并生成新的图像， 从所述第2图像组获取的图像是所述新的图像。
4.根据权利要求1所述的拍摄装置，其特征在于，在由所述图像判断单元判断出未发生图像抖动、并且由所述手抖动判断单元判断出未 发生手抖动的情况下，所述选择单元选择从所述第1图像组获取的图像。
5.根据权利要求1所述的拍摄装置，其特征在于，具备计算单元，该计算单元在所述第1图像组中的时间上相邻的图像之间求出投影变 换矩阵，并根据投影变换矩阵计算运动矢量的大小，所述图像抖动判断单元针对由所述计算单元计算出的各个图像的运动矢量的大小为 最小的图像，判断其是否发生了图像抖动。
6.根据权利要求5所述的拍摄装置，其特征在于，所述手抖动判断单元针对所述运动矢量的大小为最小的图像，根据运动矢量的大小是 否超过规定的阈值，来判断是否发生了手抖动。
7.根据权利要求1所述的拍摄装置，其特征在于，所述拍摄单元获取以比拍摄第1图像组时的灵敏度和拍摄第2图像组时的灵敏度都高 的灵敏度对拍摄对象进行了摄影的第3图像，所述选择单元选择从所述第1图像组获取的图像、从所述第2图像组获取的图像、及所 述第3图像中的任何一个图像，在所述图像抖动判断单元判断出发生了图像抖动时，选择 所述第3图像。
8.根据权利要求1所述的拍摄装置，其特征在于， 所述第2曝光时间比所述第1曝光时间短。
9.一种拍摄方法，其特征在于，具有获取工序，获取在第1曝光时间对拍摄对象进行摄影的时间上连续的第1图像组和在 第2曝光时间对拍摄对象进行摄影的时间上连续的第2图像组；手抖动判断工序，判断在获取第1图像组的过程中是否发生了手抖动；图像抖动判断工序，判断在获取第1图像组的过程中拍摄对象是否发生了图像抖动；以及选择工序，根据所述手抖动判断工序和所述图像抖动判断工序各自的判断结果，选择 从所述第1图像组获取的图像或者从所述第2图像组获取的图像中的任何一个。
全文摘要
本发明提供一种拍摄装置和拍摄方法。数字相机进行以下操作，通过连续拍摄获取在高拍摄灵敏度下拍摄的用于抑制拍摄对象抖动的1幅图像，在通常的拍摄曝光时间拍摄的4幅图像，以及在比通常拍摄的曝光时间短的曝光时间拍摄的4幅多平面加法用图像。在上述通常拍摄的曝光时间下所拍摄的图像组中提取手抖动最小的图像，在该图像中没有发生拍摄对象的图像抖动且手抖动比规定值小的情况下，选择该图像。在上述提取的图像中发生了拍摄对象的图像抖动的情况下，选择上述用于抑制拍摄对象抖动的图像。在上述提取的图像中发生了比规定值大的手抖动的情况下，生成对上述多平面加法用图像组进行了多平面加法后的新图像。
文档编号H04N5/225GK101895679SQ20101017162
公开日2010年11月24日 申请日期2010年2月11日 优先权日2009年2月17日
发明者松永和久 申请人:卡西欧计算机株式会社