专利名称：摄影设备的利记博彩app
技术领域：
本发明涉及具有多帧模式的摄影设备。
背景技术：
近年来，数字照相机等带摄影功能的便携设备(摄影设备)运用图像处理，具备各种摄影功能。例如，在专利文献I中，公开了具有如下功能的摄影装置将为了捕捉整体氛围而通过广角侧拍摄的图像和为了捕捉扣人心弦的瞬间而通过望远侧拍摄的图像进行合成记录，并在I个画面上显示两个图像。
此外，在摄影设备中，大多不仅具有静态图像摄影功能，还具有动态图像摄影功能。例如，广泛公知的具有所谓的动态图像中拍照(photo in movie)功能的摄影设备，该功能在动态图像摄影中拍摄静态图像。并且，还存在具有所谓的回顾照片功能的摄影设备， 该功能通过按下快门按钮来记录静态图像和该静态图像前后的动态图像。此外，还存在具有所谓的多帧(multiframe)功能的摄影设备，该功能记录对画面整体进行尺寸调整后的动态图像和画面的一部分的动态图像这两种动态图像作为动态图像。
专利文献I日本特开2010— 268019号公报
在多帧模式中，一边追踪画面的一部分的动态图像、例如特定人物的图像一边进行记录。但是，在这种多帧模式中，存在如下问题在待追踪的图像到了摄像范围外的情况或被其他图像遮蔽的情况下，不能记录用户期望的图像作为画面的一部分的动态图像。发明内容
本发明的目的在于提供一种在多帧模式中也始终能够记录用户期望的图像的摄影设备。
本发明的摄影设备具备摄像部，其输出拍摄被摄体而得到的摄像图像；第I图像取得部，其从所述摄像图像取得第I视场角的图像；第2图像取得部，其从所述摄像图像取得比所述第I视场角窄的第2视场角的I个以上的第2图像；记录控制部，其对所述I个以上的第2图像中的I个图像进行动态图像记录；以及控制部，其在所述记录控制部中正在记录中的所述第2图像不满足第I被摄体条件的情况下，切换为所述第2图像取得部取得的 I个以上的第2图像中的满足第2被摄体条件的其他第2图像而使所述记录控制部进行动态图像记录。
根据本发明，具有在多帧模式中也始终能够记录用户期望的图像的效果。
图1是示出本发明的第I实施方式的摄影设备的电路结构的框图。
图2是示出动态图像中拍照的动作的说明图。
图3是示出回顾照片的动作的说明图。
图4是示出多帧的动作的说明图。
图5是示出输入图像和部分图像的例子的说明图。
图6是示出照相机摄影控制的流程图。
图7是用于说明优先位次的指定的说明图。
图8是用于说明多帧模式中的画面显示的说明图。
图9是示出多帧模式中的整体图像的说明图。
图10是示出多帧模式中的部分图像的说明图。
图11是示出在第2实施方式中采用的处理流程的流程图。
图12是用于说明对象被摄体的切换的说明图。
图13是具体示出图11的步骤S32的处理的一个例子的流程图。
图14是具体示出步骤S32的处理的一个例子的说明图。
图15是具体示出图11的步骤S33的处理的一个例子的流程图。
图16是具体示出图11的步骤S33的处理的一个例子的说明图。
图17是具体示出图11的步骤S33的处理的一个例子的曲线图。
标号说明
1:信号处理和控制部；la :读取部；lb、lc :图像处理部；ld :特征判定部；lel :追踪变化判定部；le2 :其他候选决定部；lf :图像选择部；lg :显示控制部；lh :S压缩部；l1、 Ij :M压缩部；lk :记录控制部；2 :摄像部；3 :分配用临时记录部；4 :记录部；5 :显示部；6 操作部；6a :动态图像摄影操作部；6b :静态图像摄影操作部。
具体实施方式
下面，参照附图详细说明本发明的实施方式。
(第I实施方式)
图1是示出本发明的第I实施方式的摄影设备的电路结构的框图。
在图1中，摄影设备10具有由C⑶或CMOS传感器等摄像元件构成的摄像部2。摄像部2构成为能够通过信号处理和控制部I控制光圈、焦点、变焦等，能够进行与各种构图、 被摄体对应的摄像。
摄像部2由信号处理和控制部I进行驱动控制，摄像部2拍摄被摄体并输出摄像图像。信号处理和控制部I向摄像部2输出摄像元件的驱动信号，并且读取来自摄像部2 的摄像图像。由读取部Ia进行该摄像图像的获取。读取部Ia将从摄像部2读取出的摄像图像提供给分配用临时记录部3。
分配用临时记录部3具有保存预定期间的来自摄像部2的摄像图像的容量，对从摄像部2读取的摄像图像(动态图像和静态图像)进行存储保持。
信号处理和控制部1具有读取记录在分配用临时记录部3中的摄像图像并进行图像处理的两个系统的图像处理部lb、lc。图像处理部lb、lc对所输入的图像进行预定的信号处理，例如颜色信号生成处理、矩阵转换处理及其他各种信号处理。并且，图像处理部lb、 Ic构成为能够进行对输入图像进行尺寸调整的尺寸调整处理、生成输入图像的一部分区域的图像(以下称作部分图像)的处理等各种图像处理。另外，以后关于输入图像的整个区域的图像，不论是否有尺寸调整处理都称作整体图像。即，相对于整体图像，部分图像是视场角窄的图像，即特写图像。
在为了生成部分图像而由用户进行了指定输入图像的一部分区域(以下称作部分指定区域)的操作(以下部分指定操作)的情况下、或通过对于摄像图像的图像分析而检测到被判定为包含人物等特定被摄体的区域(以下称作部分特定区域)的情况下，从图像处理部Ib向特征判定部Id提供部分指定区域和部分特定区域(以下将这些区域称作部分区域) 的图像信息，判定人物的面部等对象被摄体的特征量，并将判定结果作为在部分区域中检测到的对象被摄体的信息而输出到追踪变化判定部Iel和其他候选决定部le2。此外，特征判定部Id将各被摄体的特征量的信息提供给部分图像特征存储部3a进行存储。
追踪变化判定部Iel从部分图像特征存储部3a读取对象被摄体的特征量,从依次输入的输入图像追踪包含具有与对象被摄体的特征量一致的特征量的部分的区域，并将追踪结果输出到图像处理部lc。由此，图像处理部Ic能够一边始终追踪包含对象被摄体的部分区域的图像部分，一边将该图像生成为部分图像。
并且，在本实施方式中，设置有其他候选决定部le2，该其他候选决定部le2与特征判定部Id以及追踪变化判定部Iel之间收发信息，决定其他候选。其他候选决定部le2 在不能追踪部分区域的部分图像的情况下，提供其他一个以上的部分区域中的被摄体的信息，选择其中任意一个被摄体作为对象被摄体并将选择结果提供给追踪变化判定部Iel。追踪变化判定部Iel根据该选择结果，从部分图像特征存储部3a读取新的对象被摄体的特征量并进行追踪处理，并将追踪结果输出到图像处理部lc。
由此，例如即使在不能追踪基 于部分指定操作的部分图像的情况下，也能够在图像处理部Ic中生成部分特定区域的部分图像。另外，在本实施方式中，即使在完全进行了追踪变化判定部Iel的追踪处理的情况下，在部分区域中部分图像的大部分消失了时等， 也判定为不能追足示。
将来自图像处理部lb、lc的动态图像和静态图像提供给图像选择部If。图像选择部If选择所输入的动态图像和静态图像，提供给显示控制部lg，并且还提供给S压缩部 lh、M压缩部Ii和M压缩部Ij。
显示控制部Ig进行用于将所输入的动态图像和静态图像提供给显示部5来进行显示的显示处理。显示部5由IXD等构成，对从显示控制部Ig提供的动态图像和静态图像进行显示。
另一方面，S压缩部Ih对所输入的静态图像进行压缩并提供给记录控制部lk，M 压缩部l1、lj对所输入的动态图像进行压缩并提供给记录控制部lk。记录控制部Ik将压缩后的压缩动态图像和压缩静态图像提供给记录部4进行记录。记录部4由记录控制部Ik 控制，记录所输入的压缩动态图像和压缩静态图像。作为记录部4，可采用例如卡接口，记录部4能够将图像信息和声音信息等记录到存储卡等记录介质中。
此外，在摄影设备10中还设置有操作部6。操作部6具有摄影模式设定等的各种开关和按钮，产生基于用户操作的操作信号并提供给信号处理和控制部I。例如，在图1中， 示出了动态图像摄影操作部6a和静态图像摄影操作部6b作为操作部6的具体例子。动态图像摄影操作部6a用于指示动态图像摄影，通过操作动态图像摄影操作部6a，将用于开始动态图像摄影的操作信号提供给信号处理和控制部I。此外，静态图像摄影操作部6b用于指示静态图像摄影，通过操作静态图像摄影操作部6b，将用于开始静态图像摄影的操作信号提供给信号处理和控制部I。信号处理和控制部I根据操作信号来控制各部分。
并且，还能够采用触摸面板作为操作部6。例如，能够通过在显示部5的显示画面上设置作为操作部6的触摸面板，产生与用户用手指指示的显示画面上的位置对应的操作信号。由此，用户能够简单地进行指定显示在显示部5的显示画面上的图像中的预定区域作为部分指定区域的操作。
信号处理和控制部I通过控制各部分，设定基于用户操作的摄影模式，实现与各摄影模式对应的摄影功能。该情况下，信号处理和控制部I能够仅通过操作动态图像摄影操作部6a和静态图像摄影操作部6b，来变更摄影模式。
在本实施方式中，其他候选决定部le2能够通过利用操作部6的用户的部分指定操作，预先登记多个对象被摄体，并赋予优先位次。其他候选决定部le2通过将各对象被摄体的优先位次的信息提供给追踪变化判定部lel，在能够进行追踪的情况下能够使追踪变化判定部Iel追踪优先位次更高的被摄体。
接着，参照图2至图10说明这样构成的实施方式的动作。
首先，参照图2至图5，对本实施方式的摄影设备具有的摄影模式即动态图像中拍照、回顾照片和多帧进行说明。图2至图4分别是示出动态图像中拍照、回顾照片和多帧的动作的说明图。此外，图5是示出输入图像和部分图像的例子的说明图。在图2至图4中， 利用连续的四边形的框示出了读取来自摄像部2的图像的读取部Ia的动态图像输出Ila 的各帧。
在图2所示的动态图像中拍照中，示出了将分别对动态图像输出Ila的各帧进行尺寸调整而得到的动态图像Ilc提供给M压缩部l1、lj的情况。M压缩部l1、lj对所输入的动态图像Ilc进行压缩处理，得到压缩动态图像。记录该压缩动态图像作为动态图像中拍照中的动态图像。
此外，在动态图像中拍照中，在动态图 像摄影过程中由用户进行了静态图像摄影操作部6b的操作的情况下，将动态图像输出Ila的各帧中的与静态图像摄影操作对应的帧的静态图像Ilb提供给S压缩部lh。S压缩部Ih对所输入的静态图像Ilb进行压缩处理， 得到压缩静态图像。记录该压缩静态图像作为动态图像中拍照中的静态图像。
在图3所示的回顾照片中，临时记录动态图像输出Ila的各巾贞。在回顾照片中，在动态图像摄影过程中由用户进行了静态图像摄影操作部6b的操作的情况下，将动态图像输出Ila的各帧中的与静态图像摄影操作对应的帧的静态图像Ilb提供给S压缩部lh。S 压缩部Ih对所输入的静态图像Ilb进行压缩处理，得到压缩静态图像。记录该压缩静态图像作为回顾照片中的静态图像。
另一方面，在对静态图像Ilb的前后的帧进行尺寸调整后，将其作为与静态图像 I Ib关联的回顾动态图像11d提供给M压缩部I1、I j。M压缩部l1、lj对所输入的回顾动态图像Ild进行压缩处理，得到压缩动态图像。记录该压缩动态图像作为回顾照片中的回顾动态图像。
在图4所示的多帧中，示出了将分别对动态图像输出Ila的各帧进行尺寸调整而得到的整体动态图像lie提供给M压缩部l1、lj的情况。M压缩部l1、lj对所输入的整体动态图像He进行压缩处理，得到压缩动态图像。记录该压缩动态图像作为多帧中的整体动态图像。
图5 (a)示出了输入图像。在图5的例子中，在输入图像中拍摄了 A C这3个人物。在多帧中，用户如图5 (a)的虚线区域所示，进行指定包含人物A的面部的部分指定区域的部分指定操作。于是，从输入图像提取出图5 (b)所示的部分指定区域的图像(部分图像)。并且，利用特征判定部Id、追踪变化判定部Iel从输入图像中追踪到部分图像以后， 从各帧中提取出人物A的部分图像。并且，将由动态图像输出Ila的各帧的部分图像构成的部分动态图像Ilf提供给M压缩部l1、lj。M压缩部l1、lj对所输入的部分动态图像Ilf 进行压缩处理，得到压缩动态图像。记录该压缩动态图像作为多帧中的部分动态图像。
接着，参照图6的流程图说明照相机摄影控制。在通过操作部6的操作接通摄影设备10的电源后，信号处理和控制部I在步骤SI 中开始实时取景的显示和临时记录。即，信号处理和控制部I驱动摄像部2来拍摄被摄体。 读取部Ia从摄像部2读取摄像图像并依次记录到分配用临时记录部3。分配用临时记录部 3依次记录预定期间的摄像图像。
信号处理和控制部I依次读取记录在分配用临时记录部3中的摄像图像，并提供给图像处理部Ib或lc。图像处理部Ib或Ic在对摄像图像进行预定的图像信号处理后，经由图像选择部If提供给显示控制部lg。显示控制部Ig将输入图像提供给显示部5进行显示。由此，在显示部5的显示画面上显示实时取景图像。
在本实施方式中，在接下来的步骤S19中，进行优先位次的指定。图7是用于说明优先位次的指定的说明图。其他候选决定部le2在动态图像摄影时，尤其是多帧模式时，针对作为部分图像来追踪的对象被摄体决定优先位次。其他候选决定部le2例如控制显示控制部lg，使显示部5进行对象被摄体候选的显示。图7 (a)示出了该显示，在摄影设备10 的主体21的背面设置有显示部5的显示画面5a，在前表面设置有摄影镜头22，在上表面设置有快门按钮23。在显示画面5a上的下侧，显示有对象被摄体候选显示24。在图7 (a) 的例子中，从左起依次排列显示有人物B、A、C作为对象被摄体候选。
另外，对象被摄体可以通过用户对实时取景显示的摄像图像进行利用操作部6的部分指定操作来指定，也可以由特征判定部Id从摄像图像中根据预先设定的人物面部等的特征量自动检测。
用户在显示对象被摄体候选显示24的状态下，用手指25触摸对象被摄体候选的图像部分。图7 (a)示出了触摸人物B的图像部分的状态。构成触摸面板的操作部6将表示用户指定了人物B的操作信号输出到其他候选决定部le2。通过该操作，其他候选决定部 le2使表示在人物B的对象被摄体候选显示24上选择了人物B的选择显示26进行显示,并且在显示画面5a上的上侧显示优先位次显示27。在图7 (b)中示出了显示“1”、“2”、“3” 的优先位次。在该状态下，用户用手指25触摸优先位次“3”的优先位次显示27的图像部分。将该操作信号提供给其他候选决定部le2，其他候选决定部le2将人物B的优先位次设定为第3。之后，用户通过重复进行触摸对象被摄体候选显示24的各人物的图像部分的操作和触摸优先位次显示27的各优先位次的数字的图像部分的操作，针对对象被摄体候选设定优先位次。
接着，信号处理和控制部I在步骤S2中，判定是否对静态图像摄影操作部6b进行了操作。进而，信号处理和控制部I在步骤S5中，判定是否对动态图像摄影操作部6a进行了操作。
信号处理和控制部I在步骤S2中判断为操作了静态图像摄影操作部6b的情况下，设定回顾照片模式，在步骤S5中判断为操作了动态图像摄影操作部6a的情况下，设定动态图像中拍照模式。
在步骤S2中操作了静态图像摄影操作部6b时，信号处理和控制部I在步骤S3中进行回顾照片中的静态图像摄影，在步骤S4中进行回顾照片中的回顾动态图像记录。即， 信号处理和控制部I在静态图像摄影操作部6b的操作时刻从分配用临时记录部3读取从读取部Ia获取的摄像图像(静态图像)，并提供给图像处理部Ib或lc。图像处理部Ib或Ic 对所输入的静态图像进行图像处理并经由图像选择部If提供给S压缩部lh。S压缩部Ih 对所输入的静态图像进行压缩，记录控制部Ik将压缩后的静态图像提供给记录部4进行记录(步骤S3)。
此外，信号处理和控制部I读取在从分配用临时记录部3读取的静态图像的前后记录的动态图像，并提供给图像处理部Ib或lc。图像处理部Ib或Ic对所输入的动态图像进行尺寸调整，并经由图像选择部If将回顾动态图像提供给M压缩部Ii或lj。M压缩部 Ii或Ij对所输入的回顾动态图像进行压缩，记录控制部Ik将压缩后的回顾动态图像提供给记录部4进行记录(步骤S4)。
在步骤S5中操作了动态图像摄影操作部6a时，信号处理和控制部I在步骤S6中进行动态图像中拍照中的动态图像摄影。即，信号处理和控制部I读取依次记录在分配用临时记录部3中的动态图像并提供给图像处理部Ib或lc。图像处理部Ib或Ic对所输入的动态图像进行尺寸调整，并经由图像选择部If提供给M压缩部Ii或lj。M压缩部Ii或 Ij对所输入的动态图像中拍照中的动态图像进行压缩，记录控制部Ik将压缩后的动态图像提供给记录部4进行记录(步骤S6)。
在该动态图像中拍照模式中，当进行了静态图像摄影操作部6b的操作时，信号处理和控制部I从步骤S7经由步骤S16将处理转移到步骤S8，进行静态图像摄影。S卩，信号处理和控制部I在静态图像摄影操作部6b的操作时刻从分配用临时记录部3读取从读取部Ia获取的摄像图像(静态图像)，并提供给图像处理部Ib或lc。图像处理部Ib或Ic对所输入的静态图像进行图像处理并经由图像选择部If提供给S压缩部lh。S压缩部Ih对所输入的静态图像进行压缩，记录控制部Ik将压缩后的静态图像提供给记录部4进行记录 (步骤S8)。由此，进行动态图像中拍照中的静态图像记录。
此外，信号处理和控制部I如果在动态图像中拍照模式中没有检测到步骤S7的静态图像摄影操作部6b的操作，则 在步骤S9中判定是否进行了结束操作，在没有进行结束操作的情况下，将处理转移到步骤S10，判定是否存在部分指定操作。
在本实施方式中，在动态图像中拍照模式中产生了部分指定操作的情况下转移到多帧模式，在没有产生部分指定操作的情况下继续动态图像中拍照。即，信号处理和控制部 I在动态图像中拍照模式时，在步骤Sio中没有检测到部分指定操作的产生的情况下，在步骤Sll中判定为不转移到多帧模式，将处理返回到步骤S6来继续动态图像中拍照，在检测到部分指定操作的产生的情况下，将处理转移到步骤S12来设定多帧模式。
在多帧模式时，与动态图像中拍照模式时同样地对将输入图像进行尺寸调整而得到的整体图像进行动态图像记录。因此，即使转移到多帧模式，信号处理和控制部I也从分配用临时记录部3读取动态图像，在图像处理部Ib中对该动态图像进行尺寸调整来得到整体图像，经由图像选择部If提供给M压缩部Ii或Ij进行压缩，并通过记录控制部Ik在记录部4中进行记录。
此外，在多帧模式时，信号处理和控制部I将从分配用临时记录部3读取的图像提供给图像处理部lc，剪切出与部分指定操作对应的部分图像。该情况下，图像处理部Ic剪切出包含通过追踪变化判定部Iel追踪到的部分图像的部分指定区域。由此，从图像处理部Ic输出由部分图像构成的动态图像，经由图像选择部If提供给M压缩部Ii或Ij进行压缩，并通过记录控制部Ik在记录部4中进行记录(步骤S13)。
并且，在本实施方式中，在多帧模式时，通过对整体图像和部分图像进行画中画显示来提高便利性。图8是用于说明多帧模式中的画面显示的说明图，示出了输入与图5相同的输入图像的情况下的例子。
当前，设为将图5 (a)所示的输入图像输入到图像处理部lb、lc。在图5 (a)的例子中，拍摄了 A C的3个人物作为输入图像。用户如图5 (a)的虚线区域所示，进行指定包含人物A的面部的部分指定区域的部分指定操作。另外，该部分指定操作是用于确定多帧模式中的部分图像的操作，认为用户指定包含步骤S19中的优先位次为第I的对象被摄体候选的图像部分。但是，假如在进行了指定包含与在步骤S19中指定的优先位次为第I 的对象被摄体候选不同的人物的部分指定区域的部分指定操作的情况下，可以将该部分指定操作仅作为向多帧模式的转移操作并转移到下一步骤，也可以将基于该部分指定操作的对象被摄体候选设定为优先位次的第I并重新设定其他对象被摄体候选的优先位次，并且还可以再次执行步骤S19的优先位次的指定处理，重新设定优先位次。
当前，将图5(a)的人物A设为优先位次第I的对象被摄体候选。该情况下，从输入图像提取出图5 (a)的虚线部分的部分指定区域的图像(部分图像)。并且，在利用特征判定部Id、追踪变化判定部Iel从输入图像中追踪部分图像以后，图像处理部Ic指定包含人物A的 部分图像的区域作为部分指定区域。
图像处理部Ic依照追踪变化判定部Iel的指示，一边追踪部分图像一边剪切。图像处理部Ic经由图像选择部If直接将图5 (b)所示的部分图像输出到M压缩部Ii或lj， 并且在对部分图像和整体图像进行合成后，经由图像选择部If将合成图像输出到显示控制部lg。
S卩，如图8 (a)所示，图像处理部Ic以在显示部5的显示画面5a的大致整个区域的主显示区域5b中配置基于整体图像的主图像，在显示画面5a的部分区域(以下称作副显示区域)5c中配置部分图像作为副图像的方式，进行整体图像和部分图像的合成。即，该情况下，图像处理部Ic对部分图像进行副图像化(步骤S12)。
信号处理和控制部I在多帧模式时，在步骤S14中判定用户是否触摸了副显示区域5c。信号处理和控制部I在用户触摸了副显示区域5c的情况下，在步骤S15中，对当前的副图像进行主图像化，对当前的主图像进行副图像化。
图8 (b)示出了该状态，在图8 (a)的状态下触摸了副显示区域5c时，在主显示区域5b中显示在副显示区域5c中显示的作为副图像的部分图像作为主图像，在副显示区域5c中显示在主显示区域5b中显示的作为主图像的整体图像作为副图像。另外，在图8 (b)的状态下触摸了副显示区域5c时,在主显示区域5b中显示在副显示区域5c中显示的作为副图像的整体图像作为主图像，在副显示区域5c中显示在主显示区域5b中显示的作为主图像的部分图像作为副图像。即，恢复到图8 (a)的显示。
信号处理和控制部I在多帧模式时，在步骤S7中检测出用户操作了静态图像摄影操作部6b时，转移到动态图像中拍照模式。该情况下，从多帧模式转移到动态图像中拍照模式，因此处理从步骤S16转移到步骤S17，进行静态图像摄影。
紧接着步骤S17的静态图像摄影之前,如图8 (a)、(b)所示,在显示部5的显示画面5a上，对整体图像和部分图像进行合成显示。因此，在步骤S17的动态图像中拍照中的静态图像摄影时，对整体图像、部分图像以及整体图像和部分图像的合成图像的所有静态图像进行记录。即，经由图像选择部If将来自图像处理部lb、lc的整体图像提供给S压缩部Ih进行压缩，并通过记录控制部Ik在记录部4中进行记录。图像处理部Ic剪切出部分图像，经由图像选择部If将该部分图像提供给S压缩部Ih进行压缩，并通过记录控制部Ik 在记录部4中进行记录。此外，图像处理部Ic生成了整体图像和部分图像的合成图像。即， 经由图像选择部If将对部分图像进行副图像化后的合成图像和对整体图像进行副图像化后的合成图像这两个合成图像提供给S压缩部Ih进行压缩，并通过记录控制部Ik在记录部4中进行记录。由此，在通过静态图像摄影操作部6b的操作从多帧模式转移到了动态图像中拍照模式的情况下，记录由整体图像、部分图像以及整体图像和部分图像的两张合成图像构成的4张静态图像。
图9和图10分别是示出多帧模式中的整体图像或部分图像的说明图。示出了输入图像从图9 Ca)的状态经过图9 (b)的状态变化为图9 (c)的状态的情况。另外，图9 示出了拍摄了 3人的人物A C作为被摄体的情况，并示出了其中的人物A是优先位次第I 位的对象被摄体、且指定了包含人物A的面部的区域作为部分区域的情况。此外，图10示出了部分图像，图10 (a)至(C)分别示出了图9 (a)至(C)的输入图像中的虚线示出的部分区域的部分图像。
在多帧模式中，记录基于对输入图像进行尺寸调整而得到的整体图像的动态图像和基于输入图像中的部分区域的部分图像的动态图像。当前，对图9 (a)所示的输入图像 35a，设定虚线所示的部分区域36a。追踪变化判定部Iel在如输入图像35b、35c那样变化的情况下也进行追踪，检测部分指定区域36b、36c。在多帧模式中，记录基于对输入图像35a 至35c进行尺寸调整而得到的整体图像的动态图像、和与部分指定区域36a 36c对应的部分图像37a 37c (图10)。
根据这种多帧模式，不仅能够利用整体图像记录用户希望拍摄的对象被摄体即人物A的周围情形，还能够利用部分图像记录人物A的表情等。在图10 (a) (C)中，能够拍摄与各输入图像35a 35c对应的人物A的面部38a 38c，能够记录到嘴巴39a 39c 等的面部的表情。由此，用户还能够记录整体的运动、和关注的被摄体的表情，能够欣赏想观察的部分。
例如，在多个人物合唱的场景的摄影时等，各人物的运动较少，能够进行上述有效的记录。但是，在如拍摄多个人物赛跑等的场景的情况那样，多个人物的位置相对变化的情况下，认为追踪对象的对象被摄体的图像会由于其他被摄体等而观察不到。因此，在本实施方式中，能够通过切换记录被摄体作为部分图像，始终记录有效的部分图像。
即，在本实施方式中，依照优先位次切换追踪对象的对象被摄体。追踪变化判定部 Iel在不能对追踪对象的对象被摄体进行追踪时，向其他候选决定部le2询问下一优先位次的对象被摄体。其他候选决定部le2排除掉当前的追踪对象的对象被摄体，对追踪变化判定部Iel设定多个对象被摄体候选中的优先位次最高的对象被摄体。
由此，追踪变化判定部Iel将所设定的对象被摄体作为新的追踪对象，从部分图像特征存储部3a读取关于该对象被摄体的特征量进行追踪，并将追踪结果输出到图像处理部lc。此外，追踪变化判定部Iel在也不能对新设定的对象被摄体进行追踪的情况下，进一步向其他候选决定部le2询问下一优先位次的对象被摄体。由此，追踪变化判定部Iel 进行可追踪的对象被摄体中的被赋予了更高的优先位次的对象被摄体的追踪。
图像处理部Ic依照追踪变化判定部Iel的追踪结果，根据输入图像生成部分图像。该部分图像是包含可追踪的对象被摄体中的具有更高的优先位次的对象被摄体的图像，能够记录用户期望的部分图像。
由此在本实施方式中，在多帧模式中，对多个对象被摄体赋予用户设定的优先位次，记录包含可追踪的对象被摄体中的优先位次更高的对象被摄体的部分图像。由此，即使在不能追踪具有第I位的优先位次的对象被摄体的情况下，也能够追踪具有第2、第3、…的优先位次的对象被摄体来取得部分图像，能够进行用户希望的摄像。例如，在自己的孩子参加的赛跑的摄影时，不仅利用部分图像记录赋予了第I位的优先位次的自己孩子的表情， 还能够在自己孩子的图像被其他孩子的图像遮挡的情况下，在该期间利用部分图像记录用户设定的其他孩子的表情，对于用户而言是有效的记录。
(第2实施方式)
图11至图17涉及本发明的第2实施方式，图11是示出在第2实施方式中采用的处理流程的流程图。本实施方式的硬件结构与第I实施方式相同，仅信号处理和控制部I 的处理流程与第I实施方式不同。
在第I实施方式中，对如下例子进行了说明对多个对象被摄体赋予优先位次，追踪可追踪的对象被摄体 中的赋予了更高优先位次的对象被摄体来生成部分图像。与此相对，在本实施方式中，其他候选决定部le2依照预先设定的条件，根据特征判定部Id的输出从I个以上的对象被摄体的候选中选择I个对象被摄体，并在追踪变化判定部Iel中设定。 例如，其他候选决定部le2根据与追踪中的对象被摄体的位置关系、运动、选择次数、选择时间等选择I个对象被摄体，在追踪变化判定部Iel中指定该对象被摄体。
另外，其他候选决定部le2也可以与第I实施方式同样，对多个对象被摄体赋予优先位次，在赋予了优先位次的对象被摄体中不存在可追踪的对象被摄体的情况下，依照预先设定的条件，从没有赋予优先位次的对象被摄体中选择I个对象被摄体并在追踪变化判定部Iel中设定。
此外，其他候选决定部le2也可以控制显示控制部lg，使得在实时取景图像中显示表示包含各对象被摄体候选的部分区域的范围的显示，并且在实时取景图像中显示表示追踪对象的对象被摄体的显示。
图11示出了与图6的步骤S13的多帧动态图像摄影处理对应的处理。此外，图 12是用于说明对象被摄体的切换的说明图。图12 (al) (a3)示出了基于拍摄3个人物 A C的赛跑而得到的在时间上处于先后的摄像图像的实时取景图像的一个例子，示出了将整体图像作为主图像、部分图像作为副图像的合成图像。此外，图12 (bl)、(b2)示出了与图12 (al)对应的实时取景图像，图12 (b3)、(b4)示出了与图12 (a2)对应的实时取景图像，图12 (b5)、(b6)示出了与图12 (a3)对应的实时取景图像，示出了将整体图像作为副图像、部分图像作为主图像的合成图像。另外，图12示出了不赋予优先位次，而通过指定包含人物A的部分区域的部分指定操作转移到多帧模式的例子。
输入图像从图12 (al)的状态经过图12 (a2)的状态变化为图12 (a3)的状态。 在图12 (al) (a3)所示的输入图像的实时取景图像41a 41c中分别显示表示包含各对象被摄体的部分区域的框显示(虚线)，并且显示对基于当前的追踪对象的对象被摄体的部分图像进行显示的副图像42a 42c。
还认为与整体图像相比用户更想一边观察部分图像(特写图像)一边进行拍摄。 该情况下，如果触摸图12 (al) (a3)的副图像42a 42c的图像部分，则能够如图12 (bl) (b6)那样，将部分图像进行主图像化来进行重视确认表情的摄影。另外，也可以根据在多帧模式中拍摄的图像以图12所示的方式进行再现显示。
在图11的步骤S21中，信号处理和控制部I分别将整体图像和部分图像作为各个动态图像来开始动态图像记录。特征判定部Id针对输入的摄像图像中的各对象被摄体 ， 取得例如面部等的特征量和画面上的位置信息并记录到部分图像特征存储部3a中(步骤 S22)。由此，能够针对每个摄像图像记录所拍摄的人物、其面部和摄像时的位置等。
在接下来的步骤S23中，其他候选决定部le2判定当前追踪中的部分区域的图像是否满足作为待记录的部分图像所需的条件。例如，在不能追踪的情况、遮挡了追踪中的部分区域内的人物面部的一部分的情况、或超过了作为追踪对象的对象被摄体的期间的情况下等，其他候选决定部le2判定为部分区域不满足所需的条件。
在图12 (al)的实时取景图像41a中，包含人物A C的图像的部分区域基本不重叠，其他候选决定部le2接着在追踪变化判定部Iel中设定包含人物A的图像的部分区域。由此，如图12 (bl)、(b2)所示，在实时取景图像43al、43a2中，将包含人物A的部分区域的图像作为部分图像44al、44a2进行主图像化，对整体图像44进行副图像化。
S卩，在图12 (al)的实时取景图像41a的状态下，其他候选决定部le2在步骤S23 中判定为部分区域中的图像满足所需条件。该情况下，信号处理和控制部I在步骤S24中继续进行追踪中的部分区域的动态图像摄影，在步骤S25中记录动态图像。
接着，在显示图12 (a2)所示的实时取景图像41b的时刻，包含追踪中的人物A的部分区域被人物C的图像遮挡。在显示图12 (a3)所示的实时取景图像41c的时刻也同样如此。
因此，其他候选决定部le2将处理转移到步骤S31来判定是否有其他候选。在人物A的对象被摄体以外还存在赋予了优先位次的对象被摄体的情况下，将处理转移到步骤 S38，其他候选决定部le2在追踪变化判定部Iel中设定下一优先位次的对象被摄体。追踪变化判定部Iel通过读取部分图像特征存储部3a的信息，追踪所设定的对象被摄体，在图像处理部Ic中设定包含所追踪的对象被摄体的部分区域。由此，记录新的部分区域的部分图像作为动态图像(步骤S24、S25)。
在图12的例子中，由于没有设定优先位次，因此其他候选决定部le2将处理转移到接下来的步骤S32，判定是否存在遮挡追踪中的对象被摄体的部分区域的对象被摄体。在图12 (a2)的实时取景图像41b中，追踪中的人物A的部分区域被人物C的图像遮挡，因此其他候选决定部le2将人物C作为对象被摄体来进行步骤S35的处理。
在步骤S35中，判定是否没有过度选择人物C的对象被摄体。例如，认为在自己的孩子参加的赛跑的摄影时，用户仅想将自己的孩子作为部分图像来记录。但是，在赛跑中人物的运动剧烈，自己孩子的图像有时会被其他人的孩子的图像遮挡。该情况下，通过拍摄遮挡自己孩子的图像的其他人的孩子的图像作为部分图像，不仅能够记录自己的孩子，还能够记录其他人的孩子的表情变化等，能够进行丰富多彩的影像表现。由于该理由，还针对赋予了优先位次的对象被摄体、用户指定的对象被摄体以外的对象被摄体进行部分图像的记录。
但是，在整体图像中不仅记录自己的孩子还记录了其他人的孩子，而本来想作为部分图像来记录的不是其他人的孩子，而是自己的孩子。因此，在拍摄用户指定的对象被摄体以外的被摄体的情况下，受到记录次数、频度和记录时间等的限制。在步骤S35中，其他候选决定部le2针对重新选择的对象被摄体，判定是否超过了这种记录次数或记录频度的限制。
在步骤S35中没有过度选择所选择的对象被摄体的情况下，其他候选决定部le2 在接下来的步骤S36中，在预定时间(例如几秒期间)内将所选择的对象被摄体作为追踪对象的对象被摄体。其他候选决定部le2为了得到记录次数和频度的信息，将与新设定的追踪对象的对象被摄体相关的信息存储到未图示的存储部中。接着，其他候选决定部le2在追踪变化判定部Iel中设定新的对象被摄体(步骤S38)。
由此，如图12 (b3)所示，实时取景图像43bl成为将包含人物C的部分区域的图像作为部分图像44bl进行主图像化、并对整体图像44进行了副图像化的合成图像。S卩，追踪变化判定部Iel在预定期间内将人物C作为待追踪的对象被摄体进行追踪，并将追踪结果输出到图像处理部lc。由此，信号处理和控制部I在步骤S24中继续进行人物C的部分图像的动态图像摄影，在步骤S25中记录动态图像。
图12 (b4)的实时取景图像43b2与图12 (b3)同样，示出了将包含人物C的部分区域的图像作为部分图像44b2进行主图像化、并对整体图像44进行副图像化的情况。另外，在经过在步骤S36中设定的预定期间之前，若被人物C遮挡的人物A的部分区域不被遮挡了时，其他候选决定部le2可以从步骤S23经过步骤S31转移到步骤S38，将人物A设定为对象被摄体，将人物A的部分区域的图像设为部分图像。
接着，在显示图12 (a3)所示的实时取景图像41c的时刻，包含用户指定的人物A 的部分区域没有被其他的人物B、C的图像遮挡，但是根据实时取景图像41b、41c的比较可知，人物B的图像移动较大。该情况下，其他候选决定部le2在步骤S33中判定为存在运动大于预定阈值的对象被摄体。其他候选决定部le2判定是否没有过度选择运动大的人物B (步骤S35)。
由此，如图12 (b5)所示，实时取景图像43cl成为将包含人物B的部分区域的图像作为部分图像44cl进行主图像化、并对整体图像44进行了副图像化的合成图像。S卩，追踪变化判定部Iel在预定期间内将人物B作为待追踪的对象被摄体进行追踪，并将追踪结果输出到图像处理部lc。由此，信号处理和控制部I在步骤S24中继续进行人物B的部分图像的动态图像摄影，在步骤S25中记录动态图像。
在人物B的追踪期间结束时，其他候选决定部le2将处理从步骤S31转移到步骤 S32。其他候选决定部le2在步骤S32、S33中不存在对象被摄体的情况下，转移到步骤S34， 判定是否存在未选择的被摄体。其他候选决定部le2在存在未选择的被摄体的情况下，从其中选择I个对象被摄体，重复步骤S36及其之后的处理。另外，在不存在未选择的被摄体的情况下，其他候选决定部le2对图像处理部Ic发出将整体图像设定为部分图像的指示 (步骤S39)。
另外，即使在没有赋予优先位次的情况下，在用户通过部分指定操作指定了对象被摄体时，其他候选决定部le2也可以将该对象被摄体设为新的追踪对象。图12 (b6)示出了该状态，实时取景图像43c2成为将包含人物A的部分区域的图像作为部分图像44c2 进行主图像化、并对整体图像44进行了副图像化的合成图像。
由此，能够通过选择遮挡用户指定的对象被摄体的被摄体、或运动较大的被摄体等作为部分图像，在画面中产生变化，进行丰富多彩的影像表现。
图13是具体示出图11的步骤S32的处理的一个例子的流程图，图14是具体示出步骤S32的处理的一个例子的说明图。
图14 (a)至(C)示出了摄像图像的变化，设为图14 (a)所示的摄像图像51a变化为图14 (b)所不的摄像图像51b,并进一步变化为图14 (c)所不的摄像图像51c。在图 14中，示出了在摄像图像51a、51b中拍摄了人物A C，在摄像图像51c中拍摄了人物B、 C。此外，关于摄像图像51a，作为追踪对象的对象被摄体是人物A来进行说明。
其他候选决定部le2在步骤S41中，根据预先设定的面部特征，判定存在于包含追踪中的对象被摄体的部分区域的周边的人物面部。例如,在图14 (a)的摄像图像51a中， 其他候选决定部le2从人物A的部分区域52a (虚线)的周边检测出人物C的面部。另外， 在图14 (a)中用虚线示出了包含人物C的部分区域53c。
接着，其他候选决定部le2判定面部是否接近包含追踪中的对象被摄体的部分区域。在不接近的情况下，其他候选决定部le2转移到图11的步骤S32的“否”分支。
例如，在如图14 (b)的摄像图像51b那样，人物C的面部接近人物A的部分区域 52b时，其他候选决定 部le2将处理转移到步骤S43，判定追踪中的部分区域内的面部特征是否消失。在如摄像图像51b那样，人物A的面部被人物C遮挡时，不能根据从摄像图像51b 得到的人物A的面部的特征量确定人物A。该情况下，其他候选决定部le2将接近的面部、 即人物C作为对象被摄体(步骤S44)，并进入到步骤S32的“是”分支。由此，如图14 (c) 所示，在摄像图像51c中，人物C成为追踪对象，根据包含人物C的部分区域53c生成部分图像。
图15至图17具体示出图11的步骤S33的处理的一个例子，图15是流程图、图16 是说明图、图17是图表图。
图16 (a)、(b)示出了摄像图像的变化，设为图16 (a)所示的摄像图像61变化为图16 (b)所示的摄像图像62。在图16 (a)中，示出了在摄像图像61中拍摄了人物A C 的面部63a 63c,在摄像图像62中拍摄了人物A D的面部64a 64d。此外,关于摄像图像61、62，设为追踪对象的对象被摄体是人物A来进行说明。
其他候选决定部le2在步骤S51中，根据预先设定的面部特征判定在摄像图像中是否有面部图像。在图16的摄像图像61、62中拍摄有人物的面部，从而其他候选决定部 le2将处理转移到接下来的步骤S52。
在步骤S52中，其他候选决定部le2计算与各面部的之前位置的变化。图17在横轴上取时间在纵轴上取图像上的横向位置，不出了各面部63a 63c、64a 64d的横向位置。图17的时间Tl与摄像图像61的摄像时刻相当，时间T2与摄像图像62的摄像时刻相当。
图17以图像的左侧为基准示出了各面部的位置，示出了在时间Tl面部B相比面部C位于右侧。此外，在时间T2，按照面部D、C、B的顺序位于图像的更右侧的位置。其他候选决定部le2按照每个面部求出时间T1、T2的位置之差。在图16的例子中，面部B、C的位置变化存在差异，如图17所示，面部C的位置变化Λ c大于面部B的位置变化Λ b。
其他候选决定部le2在步骤S53中判定面部的位置变化是否存在差异。在不存在差异的情况下，其他候选决定部le2转移到图11的步骤S32的“否”分支。在图16的例子中，其他候选决定部le2将处理转移到步骤S54，将位置变化大的面部B作为追踪对象的对象被摄体(步骤S54)，进入到步骤S32的“是”分支。由此，在摄像图像61、62的例子中，人物B成为追踪对象，根据包含人物B的部分区域生成部分图像。
由此在本实施方式中，在多帧模式时，依照设定的条件，选择I个对象被摄体并设定为部分图像。由此，能够进行丰富多彩的影像表现，能够记录用户期望的图像。
权利要求
1.一种摄影设备，其特征在于，该摄影设备具有 摄像部，其输出拍摄被摄体而得到的摄像图像； 第I图像取得部，其从所述摄像图像取得第I视场角的图像； 第2图像取得部，其从所述摄像图像取得比所述第I视场角窄的第2视场角的I个以上的第2图像； 记录控制部，其对所述I个以上的第2图像中的I个图像进行动态图像记录；以及 控制部，其在所述记录控制部中正在记录中的所述第2图像不满足第I被摄体条件的情况下，切换为所述第2图像取得部取得的I个以上的第2图像中的满足第2被摄体条件的其他第2图像而使所述记录控制部进行动态图像记录。
2.根据权利要求1所述的摄影设备，其特征在于， 所述控制部将是否能够追踪所述记录中的第2图像、所述记录中的第2图像的一部分是否未被遮挡以及是否未超过所述记录中的第2图像的记录期间中的至少I个设为所述第I被摄体条件。
3.根据权利要求1或2所述的摄影设备，其特征在于， 所述控制部将是否是被赋予了优先位次的图像、是否是遮挡所述记录中的第2图像的图像、是否是在所述摄像图像中运动大于预定阈值的图像以及是否是未选择的图像中的至少I个设为所述第2被摄体条件。
4.根据权利要求1所述的摄影设备，其特征在于， 所述控制部对所述第2图像取得部取得的I个以上的第2图像赋予优先位次，选择满足所述第2被摄体条件的所述其他第2图像中的优先位次更高的第2图像而使所述记录控制部进行动态图像记录。
5.根据权利要求1所述的摄影设备，其特征在于， 所述控制部在所述记录中的第2图像不满足所述第I被摄体条件的情况下，依照赋予给所述第2图像的优先位次选择接下来要记录的所述其他第2图像，在不能依据所述优先位次选择接下来要记录的所述其他第2图像的情况下，将是否是遮挡所述记录中的第2图像的图像、是否是在所述摄像图像中运动大于预定阈值的图像以及是否是未选择的图像中的至少I个作为所述第2被摄体条件，来选择接下来要记录的所述其他第2图像。
全文摘要
本发明提供在多帧模式中也始终能够记录用户期望的图像的摄影设备。摄影设备具备摄像部，其输出拍摄被摄体而得到的摄像图像；第1图像取得部，其从所述摄像图像取得第1视场角的图像；第2图像取得部，其从所述摄像图像取得比所述第1视场角窄的第2视场角的1个以上的第2图像；记录控制部，其对所述1个以上的第2图像中的1个图像进行动态图像记录；以及控制部，其在所述记录控制部中正在记录中的所述第2图像不满足第1被摄体条件的情况下，切换为所述第2图像取得部取得的1个以上的第2图像中的满足第2被摄体条件的其他第2图像而使所述记录控制部进行动态图像记录。
文档编号H04N5/232GK103002207SQ20121026281
公开日2013年3月27日 申请日期2012年7月26日 优先权日2011年9月8日
发明者望月良祐, 野中修 申请人:奥林巴斯映像株式会社