信息显示装置的利记博彩app

专利名称：信息显示装置的利记博彩app
技术领域：
本发明涉及一种信息显示装置，其基于已拍摄浏览者的面部状态 控制将要显示的信息。
背景技术：
利用日本特开平专利申请No.2005-26933公开的技术，通过显示近 距摄影中的静止图像信息，可实现对浏览者而言具有良好可见度的显 示。日本特开平专利申请No.2007-264124公开了其中对应于眼睛颜色差 异和周围色温执行轻易可见的图像显示的技术。利用日本特开平专利 申请No.2007-67782中公开的技术，通过所捕获的面部图像来指定其人 并控制相应的人可使用的设备功能是可能的。

发明内容
然而，利用日本特开平专利申请No.2005-26933公开的技术，为实 现容易观看的显示，浏览者必须用种种方法进行操作；例如，当将要 以放大方式进行显示时，浏览者必须进行指定放大程度的操作。因此， 当显示屏幕和用户之间的距离转变为使得不再需要放大时，或者当他/ 她想要增加放大程度时，指定放大程度将非常耗时而且很麻烦。
利用日本特开平专利申请No. 2007-264124公开的技术，只是适当 地调整了显示亮度。因此，依靠显示装置和浏览者的位置，无法总是 获得易观看的显示。应用日本特开平专利申请No.2007-67782中公开的 技术使得可以设置显示屏幕，从而满足每个用户的喜好。然而，当显
10示装置和浏览者的位置改变时，无法确保显示总是易观看的。
鉴于以上问题，通过基于观察显示屏幕的浏览者(观察者)的面 部图像而控制显示信息的形式的自动操作，本发明用于获得浏览者易 观看的显示。
根据本发明第l方面的信息显示装置包括存储器控制单元，其将 信息存储到存储介质，并从所述存储介质输出所述信息；显示器，其 以预定显示形式将从所述存储介质输出的所述信息显示在所述显示器 的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态的观察 者的图像并输出图像信号；面部图像检测单元，其基于所述图像信号 检测所述观察者的面部图像的倾斜；以及显示形式改变单元，其改变 要显示在所述屏幕上的所述信息的显示形式，在所述信息显示装置中， 所述显示形式改变单元改变所述显示形式，从而基于由所述面部图像 检测单元检测的所述面部图像的倾斜，将要显示在所述屏幕上的所述 信息旋转预定旋转角。
根据本发明的第2方面，在根据第l方面的信息显示装置中，优选 的是该信息包括在视觉上将事件和内容传达给观察者的标识信息。
根据本发明的第3方面，在根据第2方面的信息显示装置中，该标 识信息可包括字符、标记、图形和图标的至少一个。
根据本发明的第4方面，在根据第l方面的信息显示装置中，该信 息可包括图像信息。
根据本发明的第5方面，在根据第l方面的信息显示装置中，优选 的是，所述显示形式改变单元基于所述面部图像的倾斜旋转所述信息， 以使所述信息基本上位于所述观察者的前面并且竖立，从而改变所述 显示形式。根据本发明的第6方面，优选的是根据第l方面的信息显示装置还 包括确定信息是否包括方向信息的方向信息确定单元，且在该信息 装置中，当该方向信息确定单元确定信息包括方向信息时，显示形式 改变单元可基于面部图像的倾斜和该方向信息确定旋转角。
根据本发明的第7方面，在根据第6方面的信息显示装置中，显示 形式改变单元可基于面部图像的倾斜和方向信息确定该信息的标准显 示尺寸。
根据本发明的第8方面，优选的是根据第l方面的信息显示装置还 包括确定信息是否包括方向信息的方向信息确定单元，且在该信息 显示装置中，面部图像检测单元还包括确定该信息中是否存在特定 图案的图案确定单元。在该信息显示装置中，当方向信息确定单元确 定该信息不包括方向信息且当图案确定单元确定该信息包括特定图案 时，该显示形式改变单元可基于该特定图案确定方向信息。
根据本发明的第9方面，在根据第l方面的信息显示装置中，优选 的是，所述图像检测单元还包括确定所述信息中是否存在特定图案的 图案确定单元，且所述信息显示装置还包括方向信息确定单元，确 定所述信息是否包括方向信息；以及禁止单元，当所述方向信息确定 单元确定所述信息不包括方向信息且当所述图案确定单元确定所述信 息不包括特定图案时，该禁止单元禁止所述显示形式改变单元对所述 信息进行旋转。
根据本发明的第10方面，根据第l方面的信息显示装置还可包括 模式切换单元，其在回放模式和不同于回放模式的另一模式之间切换 操作；以及识别单元，其识别存在由所述面部图像检测单元检测的多 个面部图像，以及在信息显示装置中，如果在执行不同于回放模式的 模式时，所述识别单元识别到存在多个面部图像，则所述模式切换单元可将模式从不同于回放模式的模式切换到回放模式。
根据本发明的第ll方面，在根据第l方面的信息显示装置中，显示 形式改变单元可包括尺寸改变单元，该尺寸改变单元基于由面部图像 检测单元检测的面部图像的尺寸来改变该信息的显示尺寸。
根据本发明的第12方面，在根据第ll方面的信息显示装置中，优 选的是，该尺寸改变单元进行放大或者縮小处理，从而面部图像的尺 寸越小，显示的信息就越大。
根据本发明的第13方面，在根据第ll方面的信息显示装置中，优
选的是，该尺寸改变单元包括下述中的至少一者显示尺寸选择单元， 其基于面部图像从包括在信息中的多个显示尺寸中选择预定的显示尺 寸；以及放大/缩小单元，其根据面部图像的尺寸分别以预定倍率放大/
縮小该信息。
根据本发明的第14方面，根据第13方面的信息显示装置还可包括
尺寸确定单元，其确定由面部图像检测单元检测的面部图像的尺寸， 且在该信息显示装置中，优选的是，当尺寸确定单元确定面部图像的 尺寸不小于预定的第一阈值时，该放大/縮小单元基于第一阈值以预定 倍率放大或縮小该信息，且当尺寸确定单元确定面部图像的尺寸不大 于预定的第二阈值时，该放大/縮小单元基于第二阈值以预定倍率放大 或縮小该信息。
根据本发明的第15方面，根据第l方面的信息显示装置还可包括 识别单元，其识别存在由面部图像检测单元检测到的多个面部图像， 且在该信息显示装置中，优选的是，当识别单元识别到多个面部图像 时，显示形式改变单元基于最靠近由图像俘获单元俘获的图像俘获区 域中的预定点的面部图像来改变显示形式。根据本发明的第16方面，在根据第l方面的信息显示装置中，优选的是，显示器适于以不同显示形式在多个方向上显示信息，且当面部图像检测单元在由图像俘获单元俘获的图像俘获区域内的多个预定区域中检测到多个面部图像时，显示形式改变单元基于各区域中的面部图像来改变显示形式。
根据本发明的第17方面，根据第l方面的信息显示装置还可包括断电单元，当面部图像检测单元持续不少于预定时间未检测到面部图像时，该断电单元切断至信息显示装置的除了面部图像检测单元以外的部分的电源。
根据本发明的第18方面，根据第17方面的信息显示装置还可包括通电单元，在从断电单元切断至信息显示装置的除了面部图像检测单元以外的部分的电源的时刻起的预定时间内，当检测到面部图像时，该通电单元接通电源。
根据本发明第19方面的信息显示装置包括存储器控制单元，其将信息存储到存储介质，并从所述存储介质中输出所述信息；显示器，其以预定显示形式将从所述存储介质输出的所述信息显示在所述显示器的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态的观察者的图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测所述观察者的面部图像占据所述图像俘获区域的位置；以及显示形式改变单元，其改变要显示在所述屏幕上的所述信息的显示形式，在信息显示装置中，所述显示形式改变单元改变所述显示形式，从而基于由所述面部图像检测单元检测到的所述面部图像占据所述图像俘获区域的位置，对要显示在所述屏幕上的所述信息进行变形。
根据本发明的第20方面，在根据第19方面的信息显示装置中，优选的是，该信息包括在视觉上将事件和内容传达给观察者的标识信息。根据本发明的第21方面，在根据第20方面的信息显示装置中，优选的是，该标识信息包括字符、标记、图形和图标中的至少一个。
根据本发明的第22方面，在根据第19方面的信息显示装置中，优
选的是，该信息包括图像信息。
根据本发明的第23方面，根据第19方面的信息显示装置还可包括
模式切换单元，其在回放模式和不同于回放模式的另一模式之间切换
操作；以及识别单元，其识别存在由所述面部图像检测单元检测的多个面部图像，在信息显示装置中，优选的是，如果在执行不同于回放
模式的模式时，所述识别单元识别到存在多个面部图像，则所述模式切换单元将模式从不同于回放模式的模式切换到回放模式。
根据本发明的第24方面，在根据第19方面的信息显示装置中，优选的是，显示形式改变单元包括尺寸改变单元，该尺寸改变单元基于由面部图像检测单元检测的面部图像的尺寸来改变信息的显示尺寸。
根据本发明的第25方面，在根据第24的信息显示装置中，优选的是，尺寸改变单元进行放大或者缩小处理，从而面部图像的尺寸越小，显示的信息越大。
根据本发明的第26方面，在根据第24方面的信息显示装置中，优选的是，尺寸改变单元包括下述中的至少一者显示尺寸选择单元，其基于面部图像从包括在信息中的多个显示尺寸中选择预定的显示尺寸，以及放大/縮小单元，其根据面部图像的尺寸以预定倍率分别放大/缩小该信息。
根据本发明的第27方面，根据第26方面的信息显示装置还可包括尺寸确定单元，其确定由面部图像检测单元检测的面部图像的尺寸，且在该信息显示装置中，优选的是，当确定面部图像的尺寸不小于预定的第一阈值时，该放大/縮小单元基于第一阈值以预定倍率放大或缩小该信息，且当确定面部图像的尺寸不大于预定的第二阈值时，该放大/縮小单元基于第二阈值以预定倍率放大或縮小该信息。
根据本发明的第28方面，在根据第19方面的信息显示装置中，优
选的是，如果面部图像占据图像俘获区域的位置在预定区域之外，则显示形式改变单元拉伸该信息。
根据本发明的第29方面，在根据第28方面的信息显示装置中，优选的是，显示形式改变单元以比显示在更靠近观察者的区域中的屏幕上的信息的拉伸率更高的拉伸率拉伸显示在更远离观察者的区域中的屏幕上的信息。
根据本发明的第30方面，根据第19方面的信息显示装置还可包括识别单元，其识别存在由面部图像检测单元检测到的多个面部图像，
且在该信息显示装置中，优选的是，当该识别单元已识别到多个面部图像时，显示形式改变单元基于最靠近由图像俘获单元俘获的图像俘获区域中的预定点的面部图像来改变显示形式。
根据本发明的第31方面，在根据第19方面的信息显示装置中，优选的是，显示器适于能以不同显示形式在多个方向上显示信息，且当面部图像检测单元在由图像俘获单元俘获的图像俘获区域内的多个预定区域中检测到多个面部图像时，显示形式改变单元基于各区域中的面部图像来改变显示形式。
根据本发明的第32方面，根据第19方面的信息显示装置还可包括:断电单元，当面部图像检测单元持续不少于预定时间未检测到面部图像时，该断电单元切断至信息显示装置的除了面部图像检测单元以外的部分的电源。
16根据本发明的第33方面，根据第32方面的信息显示装置还可包括 通电单元，在从断电单元切断至信息显示装置的除了面部图像检测单 元以外的部分的电源的时刻起的预定时间内，当检测到面部图像时， 该通电单元接通电源。
根据本发明的第34方面的信息显示装置包括存储器控制单元， 其将第一信息和第二信息存储到存储介质，并从所述存储介质中输出 所述第一信息和所述第二信息；显示器，其以预定显示形式将从所述 存储介质输出的所述第一信息和所述第二信息显示在所述显示器的屏 幕上；图像俘获单元，其俘获处于注视所述显示器的状态下的观察者 的图像并输出图像信号；面部图像检测单元，其基于所述图像信号检 测所述观察者的面部图像的倾斜；以及显示形式改变单元，其改变要 显示在所述屏幕上的所述第一信息和所述第二信息中的至少一个的显 示形式，在信息显示装置中，所述显示形式改变单元改变所述显示形 式，从而基于由所述面部图像检测单元检测到的所述面部图像的倾斜， 将要显示在所述屏幕上的所述第一信息和所述第二信息中的至少一个 旋转预定旋转角。
根据本发明第35方面的信息显示装置包括存储器控制单元，其 将第一信息和第二信息存储到存储介质，并从所述存储介质中输出所 述第一信息和所述第二信息；显示器，其以预定显示形式将从所述存 储介质输出的所述第一信息和所述第二信息显示在所述显示器的屏幕 上；图像俘获单元，其俘获处于注视所述显示器的状态下的观察者的 图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测 所述观察者的面部图像占据所述图像俘获区域的位置；以及显示形式 改变单元，其改变要显示在所述屏幕上的所述第一信息和所述第二信 息中的至少一个的显示形式，在信息显示装置中，所述显示形式改变 单元改变所述显示形式，从而基于由所述面部图像检测单元检测到的 所述面部图像占据所述图像俘获区域的位置，对要显示在所述屏幕上 的所述第一信息和所述第二信息中的至少一个进行变形。
1

图l是示出了根据本发明的数码相机的构造的前透视图； 图2是示出了图1所示的数码相机的构造的后透视图； 图3是示出了图1和图2所示的数码相机的内部构造的视图； 图4是示出了从上看图1和图2所示的数码相机的构造以及图像俘 获区域的简图5是示出了缓冲存储器的内部构造的简图； 图6是示出了图像信息的各侧的简图7是示出了在回放模式中执行的用于协助显示的处理的流程图； 图8是示出了在回放模式和菜单模式中执行的用于协助显示的处 理的流程图9是示出了用于识别面部的处理的流程图； 图10是示出了处理标识信息的流程图11A示出了浏览者(观察者)的面部图像的倾斜的一个示例，而图 IIB是示出了面部方向向量和参考向量之间的关系的简图12A示出了浏览者(观察者)的面部图像的倾斜的一个示例，而图 12B是示出了面部方向向量和参考向量之间的关系的简图;
图13A示出了浏览者(观察者)的面部图像的倾斜的一个示例，而图 13B是示出了面部方向向量和参考向量之间的关系的简图14A示出了浏览者(观察者)的面部图像的倾斜的一个示例，而图 14B是示出了面部方向向量和参考向量之间的关系的简图15是示出了所显示的标识信息的倾斜的示例的简图16是示出了所显示的标识信息的倾斜的示例的简图17是示出了所显示的标识信息的倾斜的示例的简图18是示出了所显示的标识信息的倾斜的示例的简图19是示出了浏览者面部图像尺寸的示例的简图20是示出了浏览者面部图像尺寸的示例的简图21是示出了浏览者面部图像尺寸的示例的简图22是示出了所显示的标识信息的尺寸的示例的简图；图23是示出了所显示的标识信息的尺寸的示例的简图； 图24是示出了所显示的标识信息的尺寸的示例的简图； 图25是示出了图像信息处理的流程图26是示出了由面部图像倾斜4)和图像方向的组合确定的旋转角 P的示例的简图27是示出了基于图像信息和图像信息中的面部图像在图像上确 定方向信息的处理的简图28是示出了显示示例的简图，其中，显示的是被旋转的图27所 示的图像信息；
图29是示出了显示示例的简图，其中，显示的是被旋转的图27所 示的图像信息；
图30是示出了显示示例的简图，其中，显示的是被旋转的图27所 示的图像信息；
图31是示出了图像信息显示尺寸的示例的简图32是示出了所显示图像信息的尺寸的示例的简图； 图33是示出了所显示图像信息的尺寸的示例的简图34是示出了其中识别到多个面部的处理的流程图35是示出了俘获到面部图像所处的位置的简图36是示出了俘获到面部图像所处的位置的简图37是示出了俘获到面部图像所处的位置的简图38是示出了标识信息显示的方式的简图39是示出了标识信息显示的倾斜的示例的简图40是示出了所显示标识信息的方式的简图41是示出了回放模式中的处理的流程图42是示出了对标识信息进行的拉伸处理的流程图43是示出了能在三个方向上进行显示的LCD的显示方向的示例 的简图44是示出了俘获到面部图像所处的位置的简图；以及
图45是示出了其中不同图像显示在能在三个方向上显示图像的 LCD上的示例的简图。
具体实施例方式
阐明了一种安装有根据本发明的信息显示装置的数码相机，且其 实施例描述如下。在以下详细说明的实施例中，本发明被应用于数码 相机。然而，只要本发明涉及到包括显示器件的电子设备，能以其它 形式实现本发明。现在参照附图1至45,通过举例描述根据该发明的实 施例的数码相机。
第一实施例 1.配置
图1和图2各为示出了根据本发明的数码相机的透视图。安装在图l 所示的数码相机上部的电源按钮100是指示打开或关闭数码相机的电 源的按钮。为了俘获被摄体的图像，在数码相机的表面101上设置有获 取被摄体的光学信息的摄影镜头102。释放按钮103安装在数码相机的 上部。该按钮是指示利用摄影镜头102开始图像俘获的按钮。图2所示 的表面104通常是数码相机的用户侧(浏览者侧以及观察者侧)。在表面 104上，设置有LCD105、摄影镜头106、用于进行各种设置的操作单元 107、回放按钮108、拍摄模式按钮109以及菜单按钮110。 LCD105是显 示图像信息、图标、字符、图形以及标记等等的液晶面板。
边111是LCD 105的上缘，边112是LCD 105的左缘，边113是LCD 105的下缘，而边114是LCD 105的右缘。摄影镜头106是用于俘获数码 相机用户(浏览者或观察者)的图像的透镜。操作单元107是用于移动 LCD 105中显示的光标或者对所选择的功能作出决定的操作构件。此实 施例的数码相机具有三种模式，即回放模式，回放存储在记录介质中 的图像;拍摄模式，俘获被摄体的图像；以及菜单模式，对照相机进 行各种设置。上述各种模式适于可通过分别按下回放按钮108、拍摄模 式按钮109以及菜单按钮110在其间进行切换。
现在参照图3所示的框图来描述根据本发明实施例的数码相机的内部构造。数码相机的内部结构包括图像传感器201、图像传感器202、 A/D转换电路203 (模拟/数字转换电路)、A/D转换电路213、总线204、 缓冲存储器205、 1/0单元206、记录介质207、图像处理单元208、闪存 209、 CPU210、显示控制单元211以及姿势检测单元212。 A/D转换电路 203、缓冲存储器205、 1/0单元206、图像处理单元208、闪存209、 CPU 210以及显示控制单元211经由总线204相互连接。
图像传感器201和图像传感器202为光电器件，光电器件为将光学 图像转换成模拟电信号的元件。图像传感器201为设置用来在拍摄模式 中俘获被摄体的图像的图像传感器，且其布置在摄影镜头102的后级。 用以俘获数码相机用户(浏览者)的图像的图像传感器202被设置在摄影 镜头106的后级。第一实施例中的摄影镜头106描述为包括按照35mm焦 距胶片照相机(具有差不多等于94的场角0 (9—94))换算能够俘获 大约20mm的广角区域的图像的镜头，如图4所示。
A/D转换单元203将从图像传感器201输出的模拟电信号转换为数 字图像信号。同样，A/D转换单元213将从图像传感器202输出的模拟电 信号转换为数字图像信号。由A/D转换电路203数字化的图像信息经由 总线204暂时存储在缓冲存储器205中。缓冲存储器205由如图5所示的 VRAM (视频随机存取存储器)区域205a、 OSD (On Screen Display, 屏幕显示)区域205b和另一区域205c组成，其中，在该VRAM区域中， 暂时存储显示在LCD 105上的图像信息，该OSD区域用于暂时存储显示 在LCD 105上的标识信息。由A/D转换电路213数字化的图像信息经由总 线204暂时存储在另一区域205c中。
记录介质207为保存图像信息的可拆卸记录介质，其经由I/0单元 206与总线204连接。基于来自CPU210的指令，将图像信息保存到记录 介质207中，和从记录介质207读出该图像信息。图像处理单元208是对 浏览者的面部图像进行检测、确定浏览者的面部图像的数量、确定浏 览者的面部图像的尺寸、确定浏览者的面部图像的倾斜以及确定浏览
21者的面部图像的位置的单元。它也确定图像信息中是否存在面部图像， 确定所显示图像信息中的面部图像的倾斜，并处理该图像信息。图像
处理单元208根据来自CPU210的指令得以驱动。CPU210控制数码相机
的电源。
姿势检测单元212检测数码相机的姿势(上、下、左和右)。已知的 姿势检测方法有，其中如日本特开平专利申请No.2005-236883公开的振 动体的导电性用于检测姿势的方法，以及其中如日本特开平专利申请 No.2004-286614公开的金属球用于检测姿势的方法。姿势检测单元212 可适于利用这些方法基于两个轴(一个是重力加速度方向，另一个与 重力加速度方向垂直并与照相机的表面101平行)而确定照相机的姿 势。可替换地，该姿势检测单元可利用使用陀螺仪的己知技术等等(日 本特开平专利申请No.2005-260666) 。 CPU 210给予图像信息，该图像 信息是通过摄影镜头102俘获图像而获得的，而且带有基于由姿势检测 单元检测的姿势的方向信息(上、下、左和右)。
现在描述屏幕显示(On Screen Display,下文中称为OSD)。利用 OSD功能执行LCD 105上的显示。此功能以重叠方式在播放模式中将图 标、字符、图形以及标记等等(标识信息)显示在回放模式中显示的回放 照片上或者在显示器的拍摄模式中所显示的直录图像上。在此实施例 中，将要显示的标识信息被存储到闪存209。在预定标识信息显示在 LCD 105上之前，CPU210根据由用户分阶段使用照相机的状态将预定 标识信息存储在OSD区域205b中。图像处理单元208基于用户面部图像 的状态进行用于改变显示形式的处理并再次将标识信息存储在OSD区 域205b中。在将要显示的图像信息显示在LCD 105之前，CPU210将该 图像信息分阶段存储在缓冲存储器205中。显示控制单元211控制图像 信息和标识信息，从而存储在OSD区域中的标识信息以重叠方式显示 在图像信息上。稍后将详细描述由照相机进行的处理。
现在描述显示协助功能。该显示协助功能与显示在LCD 105上的图像信息和标识信息显示有关。与普通显示模式不同，此功能将基于数 码相机和浏览者的相对位置显示已经经过放大/縮小处理以及旋转处理 的信息。对浏览者而言的可见度能利用此功能而得以改进。下面将单 独描述回放模式中的显示协助和拍摄模式/菜单模式中的显示协助。参
照图6描述未使用显示协助的情况。假设LCD 105显示被给予方向信息 的图像信息，从而如图6所示边115、边116、边117和边118分别表示图 像的上缘部分、左缘部分、下缘部分和右缘部分。在这种情况下，边 115位于边111上，边116位于边112上，边117位于边113上，而边118位 于边114上。而且，图像被如此显示，g卩，使得边115的长度等于边111 的长度，边116的长度等于边112的长度，边117的长度等于边113的长 度，而边118的长度等于边114的长度。
2.播放模式中的显示协助
现在参照图7所示的流程图说明回放模式中的显示协助处理。在步 骤S1中，图像处理单元208进行用于识别注视LCD 105或者位于可注视 到LCD 105的适当位置的浏览者的面部图像的处理(下文中，该处理称 为"面部识别处理")。在步骤S2中，图像处理单元208根据来自CPU210 的指令处理标识信息(下文中称为"标识信息处理")，且控制进行到步骤 S3。在步骤S3中，图像处理单元208根据来自CPU 210的指令处理标识 信息，且控制进行到步骤S4。在步骤S4中，显示控制单元211控制图像 信息和标识信息，从而暂存于OSD区域205b中的标识信息以重叠方式 显示在暂存于VRAM (视频随机存取存储器)205a中的图像信息上。
在步骤S5中，图像处理单元208确定是否识别到浏览者的面部图 像。如果没有识别到面部图像，则控制跳转到步骤S1。如果识别到面 部图像，则控制进行到步骤S6。在步骤S6中，如果图像处理单元208确 定图像俘获平面的浏览者的面部图像的倾斜或者面部图像的尺寸已经 变化预定程度或更大，则控制跳转到步骤S1。如果确定已出现了小于 预定程度的变化，则控制进行到步骤S7。在步骤S7中，CPU210确定用 户是否指示结束回放模式(跳转到其它模式或者切断电源)。当未指示结束回放模式时，控制进行到步骤S8。在步骤S8中，CPU210确定标 识信息是否已经改变(例如，由于电池剩余电量的减少而导致图标变 化)。当确定标识信息已经变化时，控制跳转到步骤S1。当确定标识 信息没有变化时，控制跳转到步骤S9。在步骤S9中，CPU210确定回放 图像是否已经变化。当确定回放图像已经变化时，控制跳转到步骤S1。 当确定回放图像没有变化时，控制跳转到步骤S5。在步骤S7中，当确 定用户指示结束回放模式时，处理结束。稍后将单独描述对面部图像 进行的上述识别处理S1、对标识信息进行的处理S2和图像信息的处理。
3.拍摄模式/菜单模式中的显示协助
参照图8所示的流程图来说明拍摄模式和菜单模式中显示协助的 处理。在根据此实施例的拍摄模式和菜单模式的显示协助中，只处理 标识信息的形式。在拍摄模式中，已处理的标识信息以重叠方式显示 在背景直录图像上。在菜单模式中，直录图像、回放图像或者壁纸等 等以重叠方式显示在标识信息上作为背景图像。该拍摄模式和菜单模 式通常由一个用户使用。因此，当在拍摄模式和菜单模式中识别到多 个面部图像时，显示提示用户将该模式切换到回放模式的信息。在步 骤S11中，图像处理单元208进行多个面部图像的识别。在步骤S12中， 图像处理单元208进行面部图像的识别。在步骤S13中，图像处理单元 208处理标识信息，且控制进行到S14。在步骤S14中，显示控制单元211 控制图像信息和标识信息，从而暂存于OSD区域205b中的标识信息以 重叠方式显示在作为背景的暂时存储于VRAM205a中的图像信息上。
在步骤S15中，图像处理单元208确定是否已经识别到浏览者的面 部图像。如果没有识别到面部图像，则控制跳转到S12，而如果已识别 到面部图像，则控制进行到步骤S16中。在步骤S16中，图像处理单元 208确定是否只存在浏览者的一个面部图像。当只识别到浏览者的一个 面部图像时，控制进行到步骤S17，而当识别到浏览者的多个面部图像 时，控制跳转到步骤Sll。在步骤S17中，如果图像处理单元208确定浏 览者的面部图像在图像俘获平面上的倾斜或者面部图像的尺寸已经变化至少预定程度，则控制跳转到步骤S12。如果出现了低于预定程度的
变化时，控制跳转到步骤S18。在步骤S18中，CPU210确定用户是否指 示结束该模式。当未指示结束回放模式时，控制进行到步骤S19。在步 骤S19中，CPU 210确定标识信息是否已经变化。当确定标识信息已经 变化时，控制跳转到步骤S12，且标识信息得以处理。如果在步骤S18 中确定用户指示结束该模式时，结束此处理。稍后将单独描述对以上 所述多个面部图像的识别处理Sll、对面部图像的识别处理S12以及标 识信息的处理。
4.面部图像的识别处理
参照图9所示的流程图来描述对面部图像的识别处理。在步骤SIOI 中，如果图像处理单元208确定已识别到浏览者的面部图像，则控制跳 转到步骤S104，而如果没有识别到浏览者的面部图像，则控制跳转到 步骤S102。在步骤S102中，CPU210开始计算实耗时间T且控制跳转到 步骤S103。在步骤S103中，CPU210确定实耗时间T是否超过预定实耗 时间T1。此实施例中，Tl假定为l分钟。如果实耗时间T小于1分钟，则 控制进行到S105，而如果实耗时间T为1分钟或超过1分钟，则控制进行 到步骤S106。
在步骤S105中，如果图像处理单元208确定已识别到浏览者的面部 图像或者CPU 210已检测到由用户作出的操作，则控制跳转到步骤 S104。另一方面，在步骤S105中，如果图像处理单元208确定未识别到 浏览者的面部图像且CPU210未检测到用户作出操作，则控制跳转到步 骤S103。在步骤S106中，显示控制单元211在LCD 105上显示用以询问 是否接受从该模式切换到节能模式的信息。
在此实施例中，显示"节能模式，是或否？"提示用户通过触摸 光标键选择任意一个作出决定。在步骤S107中，CPU210确定用户是否 已作出节能模式的选择。如果CPU210确定用户已选择节能模式，则控 制进行到步骤S108;如果没有选择节能模式，则控制进行到步骤S113。在步骤S108中，CPU 210确定是否已选择了是或否。如果确定已选择
"是"，则控制进行到步骤S109;如果确定已选择"否"，则控制进
行到步骤S113。在步骤S109中，由CPU210指示，切断至除了通过数码 相机进行面部识别所必需的机构以外的部分的电源(例如，至LCD105 的电源)，从而将操作模式切换到节能模式。
在步骤S110中，CPU 210暂时把将要显示的预定标识信息存储在 OSD区域205b中，且控制进行到步骤Slll。在步骤S111中，CPU 210 确定当前模式是否是回放模式。如果是回放模式，则控制进行到步骤 S112，其中，将要回放的图像信息暂存于VRAM 205a中，并且控制跳 转到图7的流程图所示的步骤S4。另一方面，当在步骤S111中确定当前 模式并不是回放模式时，则控制跳转到图8的流程图所示的步骤S14。
在步骤S113中，CPU210确定实耗时间T是否己达到或超过T2。此 实施例中T2假定为两分钟。因此，当实耗时间T2为两分钟或更长时， 控制进行到步骤S109且CPU210执行节能模式。另一方面，当实耗时间 T2小于两分钟时，控制跳转到步骤S107。
在步骤S109中，如果执行节能模式，则控制进行到步骤S114。如 果图像处理单元208识别到面部图像或者如果CPU 210确定存在由用户 对数码相机进行的操作，则控制进行到步骤S115。另一方面，在步骤 S114中，当图像处理单元208没有识别到面部图像且CPU 210确定用户 未操作数码相机时，则控制进行到步骤S116。
在步骤S115中，CPU 210接通在步骤S109中部分切断的电源，从 而退出节能模式，且控制进行到步骤S104。在步骤S116中，CPU 210 确定实耗时间T是否已经达到或超过T3。此实施例中假定T3为5分钟。 因此，当实耗时间T为5分钟或更长时，控制进行到步骤S117。另一方 面，当实耗时间T小于5分钟时，控制进行到步骤S114。在步骤S117中， CPU210切断至数码相机的电源。此外，CPU210在步骤S104中确定是否存在由用户作出的操作。当不存在由用户作出的操作，则控制返回 到主流程而结束此处理。另一方面，如果确定存在由用户作出的操作，
则控制进行到步骤S118，在该步骤中，CPU210接受输入操作并响应于
该输入操作进行适当处理。然后，控制返回到主流程。
5.标识信息的处理
参照在示出了标识信息的处理的图10中所示的流程图以及图11A 至图24来描述标识信息的处理过程。在步骤S301中，CPU210读入保存 在闪存209中的标识信息，并暂时将其保存在OSD区域205b中。然后， 控制进行到步骤S302。在步骤S302中，图像处理单元208确定浏览者的 面部在所俘获图像的平面中相对于数码相机倾斜的角度。然后，控制 进行到步骤S303。
图11A-图14B示出了利用摄影镜头106俘获的图像和面部图像的倾 角之间的关系。由边312、边313、边314和边315围成的区域为图像俘 获区域。图像俘获区域右边的边315对应于作为LCD左侧的边112。图 像俘获区域左边的边313对应于作为LCD右侧的边114。图像俘获区域 上部的边312对应于作为LCD上侧的边111。图像俘获区域下部的边314 对应于LCD下侧的边113。
因此，当下文基于LCD的上、下、左和右进行描述时，图11A的面 部图像308a示出了在从下看LCD时的面部图像。图12A的面部图像309a 示出了在从右看LCD时的面部图像。图13A的面部图像310a示出了在从 上看LCD时的面部图像。图14A的面部图像311a示出了在从左看LCD时 的面部图像。作为面部图像倾斜标准的参考向量307为平行于从下侧朝 向上部的边313和边315的向量。各表示面部方向的面部方向向量 308b-311b分别表示面部图像308a-311a的朝上方向(嘴为下方且眼睛为 上方)。利用已知的图像检测技术来检测面部图像的朝上方向。
通过步骤S303-S305基于参考向量307和面部方向向量之间形成的
27角巾的值将单个标识信息处理分配给步骤S306-S309，且在步骤 S306-S309中确定旋转角a 。如图11B、图12B、图13B和图14B所示， 其中315。S 4><360°且0°^ 4x45。的区域假定为象限A，其中45。S * 〈135。的区域假定为象限B，其中135。S 4x225。的区域假定为象限C， 其中225。S 4X315。的区域假定为象限D。当面部方向向量处于象限A 时，a=0°。当面部方向向量处于象限B时，a =270°。当面部方向向量 处于象限C时，a =180°。当面部方向向量处于象限D时，a =90°。
因此，当面部图像308a的倾斜如图llA和图llB所示时，图15所示 的图像处理单元208未进行旋转。在浏览者面部图像的倾斜对应于如图 12A和图12B所示的面部图像309a的倾斜的情况下，图像处理单元208 以假设图15为0。(标准)给予270。的顺时针转动，如图16所示。在浏览者 面部图像的倾斜对应于如图13A和图13B所示的面部图像310a的倾斜的 情况下，图像处理单元208以假设图15为0。(标准)给予180。的顺时针转 动，如图17所示。在浏览者面部图像的倾斜对应于如图14A和图14B所 示的面部图像311a的倾斜的情况下，图像处理单元208以假设图15为 0。(标准)给予90。的顺时针转动，如图18所示。如上所述，在步骤S310 中，图像处理单元208以假设图15为0。(标准)只给予已确定旋转角的顺 时针方向转动。标识信息的只是旋转角a的顺时针方向转动使得面部 图像的倾斜接近下面这样的角度，即，以该角度浏览者几乎能正对竖 立地观看。
步骤S3U和后续步骤涉及标识信息的显示尺寸。在步骤S311中， 图像处理单元208确定浏览者的面部图像的尺寸L。利用众所周知的技 术来确定面部图像的尺寸。数码相机和浏览者之间的距离越远(即图 像俘获平面上的面部图像越小)，则图像的可见度越低。为此，图像 处理单元208控制标识信息的尺寸，从而已确定面部图像的尺寸越小， 所显示的标识信息越大。当CPU 210在步骤S312中确定面部图像的尺寸 L小于预定阈值L1时，控制进行到步骤S314。在步骤S314中，图像处理 单元208设置倍率m为m3，且控制跳转到步骤S317。当CPU 210在步骤S313中确定面部图像的尺寸L满足L1芸L^L2时，控制进行到步骤 S315。在步骤S315中，图像处理单元208设置倍率m为m2，且控制跳转 到步骤S317。当CPU210在步骤S313中确定面部图像的尺寸L不满足L1 ^L^L2时，控制进行到步骤S316。在步骤S316中，图像处理单元208 设置倍率m为ml，且控制跳转到到步骤S317。在此实施例中，假设ml、 m2和m3满足mKm2〈m3。则在以下的描述中，当面部图像的尺寸L大 于L2时，显示尺寸被假定为标准尺寸。在步骤S317中，图像处理单元 208将标识信息放大m倍，且控制进行到步骤S318。
在此实施例中，基于面部图像的区域与该面部图像所处俘获图像 区域的比例，获得面部图像的尺寸L。预定阈值L1假定为面部图像区域 4%，这对应于数码相机和浏览者之间大约50cm的距离。L2假定为面部 图像区域10%，这对应于数码相机和浏览者之间大约30cm的距离。参 照图19-图21以及图22-图24描述浏览者面部图像尺寸和标识信息尺寸 的大小。面部图像301a-301c为经由摄影镜头106俘获的浏览者的面部图 像。对面部图像301a而言，面部图像区域大约占所俘获图像区域的20。/。， 且所示的面部图像的尺寸L大于预定尺寸L2。就面部图像301c而言，面 部图像区域大约占所俘获图像区域的2M，且所示的面部图像尺寸L小于 阈值L1。就面部图像301b而言，面部图像区域大约占所俘获图像区域 的8%。因此，面部图像的尺寸L满足L1^L^L2。此外，图22、图23 和图24所示的302a、 302b、 302c、 303a、 303b、 303c、 304a、 304b、 304c、 305a、 305b和305c为回放模式中显示的各条标识信息。302a、 302b和302c 表示拍摄的日期与时间(年、月、时间和分钟)。303a、 303b和303c表 示拍摄时所设置的像素的量。304a、 304b和304c表示当前显示的图像的 次序/图像帧的总数。305a、 305b和305c表示电池的剩余电量。
通过回放模式中显示的标识信息的示例来说明本发明。对图19所 示的面部图像301a而言，浏览者视觉上检査LCD 105的距离足够近。因 此，浏览者能视觉上检查以如图22所示的302a-305a的标准尺寸显示的 标识信息，从而图像处理单元208不放大标识信息。换句话说，在这种情况下，此实施例中ml为l倍。对图20所示的面部图像301b而言，艮P， 浏览者位于稍远的位置，图像处理单元208处理标识信息，从而以与 302a-305a相比大的尺寸显示标识信息，如302b-305b，在图23所示。在 这种情况下，此实施例中的倍率m设置为m24.5，且标识信息以长度和 宽度放大1.5倍而显示。就图21所示的面部图像301c而言，也就是说， 浏览者位于更远处，图像处理单元208处理该标识信息，从而以与 302b-305b相比更大的尺寸显示该标识信息，如图24所示的302c-305c。 在这种情况下，此实施例中的倍率m设置为m3二2且标识信息以长度和 宽度放大2倍而显示。在步骤S318中，所处理的标识信息由CPU 210暂 时存储在OSD区域205b中。当检测到多个面部图像时，图像处理单元 208基于最接近图像俘获区域中点的人的面部图像进行上述处理。
6.图像信息的处理
随后，参照图25所示的流程图以及图26至图33描述标识信息的处 理。图像信息的旋转处理为其中考虑了图像的方向信息的处理，图像 的方向近似于下面这样的方向，即沿着该方向将图像信息定位为在浏 览者面部图像的前面竖立。可将图像的方向信息赋予给可交换图像文 件格式(下文中称为"Exif")的标签(Tag)信息，该Exif为广泛使 用的图像文件类型。CPU210在此处理中通过读出Exif标签中的方向信 息而确定显示方向。在步骤S401中，CPU 210读出存储在VRAM区域 205a中的Exif标签信息且控制进行到步骤S402。在步骤S402中，CPU 210确定图像信息的Exifjf签中是否存在方向信息。
如果存在方向信息，则控制进行到步骤S403。如果不存在方向信 息，则控制进行到步骤S404。在步骤S403中，除了浏览者面部图像的 方向，还要考虑方向信息进行转动。因此，CPU210基于其中面部方向 向量与图像方向同存的象限的组合来确定旋转角。在步骤S403中，从 图26所示的表格读入旋转角e ，且控制进行到步骤S405。在步骤S405 中，CPU210读入存储在VRAM区域205a中的图像信息，且控制进行到 步骤S406。在步骤S406中，图像处理单元208仅以旋转角e顺时针旋转读入的图像信息，且控制进行到步骤S407。在步骤S407中，CPU 210 暂时将图像信息存储在VRAM区域205a中，且控制进行到步骤S411 。
另一方面，在不包含方向信息的图像信息中存在面部图像的情况 下，图像处理单元208确定图像信息中面部图像的方向向量，并确定该 向量所指向的边为如图27所示的上侧。在步骤S404中，图像处理单元 208确定图像信息中是否存在面部图像。如果图像信息中存在面部图 像，则控制进行到步骤S408。在步骤S408中，图像处理单元208确定来 自图像信息中人的面部图像的面部方向向量并确定图像信息的方向信 息。当存在多个面部图像时，图像处理单元208基于最接近图像俘获区 域中点的面部图像来确定方向。在步骤S409中，CPU210将上述方向信 息给予Exif标签。就图27所示的图像信息而言，边116被确定为上侧。 在步骤S409中，如果将方向信息给予图像信息中的Exif标签，则控制跳 转到到步骤S403。在步骤S404中，当图像处理单元208确定图像信息中 不存在面部图像时，控制进行到步骤S410。在步骤S410中，CPU 210 将旋转角P设置为O。，且控制进行到步骤S411。
步骤S411以及后续步骤为图像信息的放大处理的步骤。在步骤 S411中，CPU 210从VRAM区域205读出图像信息且控制进行到步骤 S412。在步骤S412中，CPU 210确定旋转角P是否为270。或者90。。如 果P为270。或者卯。，则控制进行到步骤S413且图像处理单元208将图像 信息处理为标准尺寸。在标准尺寸的情形下，LCD 105的较短边与图像 信息的较长边具有相同长度，且处理获得类似于图28所示的图像。在 步骤S413中，图像处理单元208通过固定图像信息的纵横比来处理图像 信息，从而图像信息的较长边与LCD105的较短边具有相等长度。然后， 控制进行到步骤S415。
另一方面，如果旋转角e不是270。或者90。(即P =0°或者180°的情 况)))，则控制进行到步骤S414，且图像处理单元208将图像信息处理为 标准尺寸。在标准尺寸的情形下，LCD105的较长边与图像信息的较长
31边具有相同长度，且图像处理单元208将图像信息处理为某个尺寸，从
而通过在步骤S414中固定纵横比，图像信息的较长边与LCD 105的较长 边具有相等长度。接下来，在步骤S415中，图像处理单元208放大图像 信息，从而该图像信息可变为m倍。对于倍率m,使用与标识信息处理 中设置的m相等的值。通过将图28的图像处理为1.5倍而获得的图像显 示为如图29所示，且放大了2倍的图像显示为如图30所示。另一方面， 通过将图31的图像处理为1.5倍而获得的图像显示为如图32所示，且放 大了2倍的图像显示为图33所示。随后，在步骤S416中，CPU 210再次 将已处理图像信息存储在VRAM区域205a中且控制返回到主循环。在回 放模式中，CPU 210预先从记录介质读出其回放由用户(浏览者)指示的 图像信息，并将其暂存到VRAM区域205a。
7.多个面部识别处理
现在参照图34所示的流程图说明用于识别多个面部的处理(下文 中称为"多个面部识别处理")。在步骤S501中，图像处理单元208确定 是否存在由图像传感器202俘获的多个浏览者面部图像。当存在多个面 部图像时，控制进行到步骤S502，而当不存在多个图像时，控制返回 到主循环。在步骤S502中，显示控制单元211在LCD 105中显示用以询 问是否跳转到回放模式的信息，且控制进行到步骤S503。在步骤S503 中，接受来自用户的输入。如果为"是"，则为了改变到回放模式，控制 进行到图7所示的步骤S1。如果为"否"，则控制返回到主循环。
根据如上所述的第一实施例获得以下优点。
(1 )图像处理单元208适于基于从图像传感器202输出的图像信号 来识别注视LCD 105的浏览者(观察者)的面部图像，并基于面部方向向 量与参考向量的夹角，即面部图像的倾斜来确定旋转角a 。因此，只 以旋转角a进行了旋转处理的标识信息得以显示，也就是说，显示该改善。
(2) CPU 210适于确定方向信息是否包括在图像信息的Exif中， 且当包括方向信息时，CPU基于面部图像的倾斜和方向信息确定旋转角 e。因此，只以旋转角e进行了旋转处理的标识信息在LCD105中得以 显示，且如浏览者所见的LCD 105的垂直方向与所显示图像信息的垂直 方向彼此一致。因此，对浏览者而言的标识信息可见度得以改善。
(3) 图像处理单元208将图像信息处理为标准尺寸，从而当旋转角 P为270。或者90。时，LCD 105的较短边和图像信息的较长边可具有相 等长度。另外，图像处理单元208将图像信息处理为标准尺寸，从而当 旋转角P为0。或者180。时，LCD 105的较长边和图像信息的较短边可具 有相等长度。也就是说，由于图像处理单元208基于面部图像相对于图 像俘获平面的倾斜和方向信息来确定图像信息的标准显示尺寸，由此 能通过自动操作获得由浏览者易见的图像信息。
(4) 图像处理单元208适于确定方向信息，从而当在图像信息未包 含方向信息的情况下确定图像信息中面部图像的方向向量时，可发现 面部图像的方向向量的方向朝着图像信息的上侧。因此，即便方向信 息未包含在图像信息中，对浏览者来说的LCD 105的垂直方向也能与显 示图像的垂直方向匹配，且能通过自动操作获得浏览者易见的图像信 息，从而改善了便利性。
(5) 图像处理单元208适于在拍摄模式和菜单模式中确定是否存在 由图像传感器202俘获的多个浏览者的面部图像。显示控制单元211适 于当图像处理单元208确定存在多个面部图像时在LCD 105中显示用以 询问是否切换到回放模式的信息。因此，当检测到多个面部图像时， 由于极有可能多个人在回放模式中浏览图像，则可通过提示浏览者将 操作模式切换到回放模式而改进便利性。
33(6)图像处理单元208适于确定所检测面部图像的尺寸L并基于该面部的尺寸L改变标识信息的尺寸。也就是说，当面部图像的尺寸L小于阈值L1时，图像处理单元208适于将标识信息的倍率设置为m3，而当面部图像的尺寸L大于阈值L2时，其适于将标识信息的倍率设置为ml。因此，对标识信息进行放大处理或者縮小处理，从而面部图像尺寸越小，即浏览者和LCD 105之间的距离越大，则能显示越大的标识信息。因此，通过增加标识信息的可见度可使得易于获取标识信息的内容是可能的。
第二实施例
此实施例与第一实施例的不同点在于将标识信息的拉伸步骤添加到处理标识信息步骤的后面部分。此实施例利用能用来俘获如图4所示的大约180。的e范围内的图像的镜头而得以付诸实践。
图35、图36和图37示出了已利用摄影镜头106俘获到其图像的区域。图35、图36和图37中每一个的图像俘获区域被横向分三个子区域。分别将这些子区域命名为区域il、区域i2和区域i3。当处于区域il或者i3中的浏览者看着(注视)显示屏幕时，能通过显示由图像处理单元208水平拉伸的标识信息而改善可见度。LCD 105的显示区域也被分为三个子区域，且这些子区域分别命名为区域jl、区域j2和区域j3，如图38、图39和图40所示。图像处理单元208根据标识信息是否存在于区域il或者区域i3中以不同拉伸率处理该标识信息，从而能进一步拉伸距离浏览者较远的标识信息。当在如图35所示的i3中看到浏览者时，jl中显示的标识信息由显示控制单元211显示，如图38所示。在这种情况下，在此实施例中，图像处理单元208横向进行1.5倍的放大。当在如图36所示的il中看到浏览者时，jl中显示的标识信息由图像处理单元208处理并由显示控制单元211显示，如图39所示。在这种情况下，在此实施例中，图像处理单元208横向进行2倍的拉伸。当在如图37所示的i2中看到浏览者时，图像处理单元208未进行拉伸处理，从而标识信息显示为如图40所示。现在参照图41所示的流程图说明回放模式中协助显示的处理。在
步骤S21中，图像处理单元208进行用于识别浏览者面部图像的处理。在步骤S22中，图像处理单元208根据来自CPU 210的指令处理标识信息，且控制进行到步骤S23。在步骤S23中，图像处理单元208根据来自CPU 210的指令对标识信息进行拉伸处理，且控制进行到步骤S24。在步骤S24中，图像处理单元208根据来自CPU210的指令处理标识信息，且控制进行到步骤S25。在步骤S25中，显示控制单元211控制图像信息和标识信息，从而暂存于OSD区域205b中的标识信息以重叠方式显示在暂时存储于VRAM 205a中的图像信息上。
在步骤S26中，图像处理单元208确定是否已识别到浏览者的面部图像。如果未识别到面部图像，则控制跳转到步骤S21，而如果已识别到面部图像，则控制进行到步骤S27。在步骤S27中，如果图像处理单元208确定面部图像的尺寸或者图像俘获平面的浏览者面部图像的倾斜或者浏览者面部图像的位置已变化至少预定程度，则控制跳转到S21。如果改变的程度低于预定程度，则控制跳转到步骤S28。在步骤S28中，CPU 210确定用户是否指示结束回放模式。当未指示结束回放模式时，控制进行到步骤S29。在步骤S29中，CPU210确定标识信息是否会改变。当确定标识信息必须改变时，控制跳转到到步骤S12并进行标识信息处理。当确定标识信息不需要改变时，控制跳转到步骤S30。
在步骤S30中，CPU210确定回放图像是否已经改变。当确定回放图像已经改变时，控制跳转到步骤S21。当确定回放图像未改变时，控制跳转到步骤S26。在步骤S28中，当确定用户指示结束回放模式时，CPU 210结束此处理。由于除了标识信息的拉伸的其它步骤都类似于第一实施例的步骤，因此下面描述此实施例中的拉伸处理。
8.对标识信息的拉伸处理
参照图42所示的流程图描述对标识信息进行拉伸处理的步骤的详细内容。在步骤S601中，图像处理单元208确定其中存在浏览者面部图像的列"i"且过程进行到步骤S602。当CPU 210在步骤S602中确定i = i2时，图像处理单元208不进行拉伸处理且控制返回到主循环。另一方面，当CPU 210确定iH2不成立时，控制进行到步骤S603，而CPU 210基于预先为标识信息提供的关于显示位置的信息(下文中称为"显示位置信息")来确定标识信息显示位置的列"j"。然后，控制进行到步骤S604。在步骤S604和S605中，基于浏览者面部图像列和显示位置列的组合(i，j)，对将要进行的下一步骤给定如下在(i， j)z(il，jl)或(i3,j3)的情况下，控制进行到步骤S606，且CPU 210设置拉伸率X为X1 。在(i， j) = (il,j2)或(i3，j2)的情况下，控制进行到步骤S607，且CPU210设置拉伸率X为X2。在(i， j"(il,j3)或(i3,jl)的情况下，控制进行到步骤S608，且CPU210设置拉伸率X为X3。在此实施例中，假设X1为2倍，X2为1.8倍，而X3为1.5倍。在步骤S609中，标识信息由CPU 210从OSD区域205b读出且控制进行到步骤S610。在步骤S610中，标识信息由图像处理单元208拉伸X倍，且控制进行到步骤S611。在步骤S611中，已处理的标识信息由CPU210暂时存储在OSD区域205b中且控制返回到主循环。
以上已说明了回放模式中协助显示的处理。然而，通过将标识信息拉伸处理步骤插入第一实施例中描述的步骤S13的后面的部分，在拍摄模式和菜单模式中也实现了改善可见度的效果。在此实施例中，图像处理单元208只拉伸了标识信息。然而，可对图像信息进行类似处理。另外，尽管已在横向方向上将图像俘获区域分为三个子区域，但可在垂直方向上将该图像俘获区域分为三个子区域。当识别到多个人的面部图像时，图像处理单元208将最接近图像俘获区域中点的人的位置作为参考进行拉伸处理。当面部图像延伸超过了多个子区域时，图像处理单元208确定其中存在面部屈像的区域为以多个子区域中的最大比例占据面部图像的子区域。同样，当标识信息延伸超过了多个区域时，图像处理单元208确定标识信息存在于以多个子区域中的最大比例占据标识信息的子区域中。
36除了第一实施例的优点，根据如上所述的第二实施例还能获得以下优点。
图像处理单元208适于基于从图像传感器202输出的图像信号来识别浏览者(观察者)的面部图像，并基于面部图像占据图像俘获区域所处的位置对标识信息进行拉伸处理。g卩，图像处理单元208适于对显示在更远离LCD 105上的浏览者的区域中的标识信息进行拉伸处理，所进行的拉伸处理的拉伸率大于对显示在更靠近LCD 105上的浏览者的区域中的标识信息进行的拉伸处理的拉伸率。因此，浏览者能确认减少变形的标识信息而不用考虑浏览者观看LCD 105的位置，以便改善可见度。
第三实施例
在第一实施例和第二实施例中，当识别到多个面部图像时，基于最靠近图像俘获区域中点的人的面部图像进行处理。另一方面，能分别在三个方向上显示不同信息的LCD在第三实施例中被用作如图43所示的LCD105。此外，利用镜头执行此实施例，通过该镜头能在e为大约180°的范围内俘获到图像，如图4所示。图44示出了利用摄影镜头106由图像传感器202俘获到图像的区域。
俘获到图像的区域被分为三个子区域，即区域kl、区域k2和区域k3，且第一实施例中描述的处理是基于最靠近每个子区域中点的人的面部图像而进行的。当单个面部图像延伸超过了多个子区域时，图像处理单元208确定面部图像的区域存在于一子区域中，在该子区域中，面部图像的一部分以最大比例占据该面部图像。如图44所示，图像处理单元208基于出现在区域kl中的人的面部图像401来处理标识信息和图像信息。因此，显示控制单元211在LCD 105的显示平面上在显示方向503上显示标识信息和图像信息。图像处理单元208基于出现在区域k2中的人的面部图像402来处理标识信息和图像信息。因此，显示控制单元211在显示方向502上显示标识信息和图像信息。图像处理单元208基于出现在区域k3中的人的面部图像403来处理标识信息和图像信息。 因此，显示控制单元211在显示方向501上显示标识信息和图像信息。 在各方向上显示的显示信息的状态如图45所示。如果存在未检测到面 部图像的区域，则显示控制单元211可关闭对应于该区域的方向上的显 示。因此，即便是在图像俘获区域内的多个子区域中检测到多个面部 图像，也就是说，即便是多个浏览者从多个方向看LCD 105，也能改善 每个浏览者査看标识信息和图像信息的可见度。
9.补充
在第一实施例中，已说明了当把方向信息赋予给图像信息时图像 处理单元208基于面部图像确定方向。然而，基于其它图案也可确定图 像的方向，只要它们是能推测图像方向的具体图案。可基于例如被摄 体的字符图案或色彩图案等来确定方向，或者可根据它们的组合来估 计和确定方向。
在第一到第三实施例中，图像处理单元208基于面部图像区域与图 像俘获区域的比率来确定面部图像的尺寸。然而，也可用其它方法获 得面部图像的尺寸。另外，面部图像的尺寸和放大率之间的关系并不 限于此实施例中所示的值。同样，面部图像的位置和拉伸率之间的关 系并不限于此实施例中所示的值。由面部识别处理所示的实耗时间的 比较值T1、 T2和T3并不限于此实施例中所指明的值。
此外，尽管标识信息或图像信息的放大率包括3个级，但放大率可 设置为更连续以更平滑地改变。此外，尽管标识信息或图像信息的旋 转角尺度包括4个级，但旋转角尺度可设置为更连续以更平滑地改变。 尽管图标的单独旋转作为标识信息旋转的示例中被示出，但可旋转显
示标识信息的版面，以改变显示位置。相同的值用于标识信息的倍率m 和图像信息的倍率m。然而，也可使用不同的值。
在此实施例中，通过将图像信息的中心用作参考点对图像信息进行放大处理。然而，本发明并不限于此，且图像中面部图像的中心可 用作参考点。在上述实施例中，采用放大处理的方法被用作显示放大 标识信息的方法。然而，可使用下面这样的方法，其中，具有不同尺 寸的图标和字符预先存储在存储器中，并且可根据面部图像的尺寸从 图标或字符选择具有预定尺寸的标识信息部分。当在第一实施例和第 二实施例中检测到多个面部图像时，最靠近图像俘获区域中点的人的 面部图像假定为用于确定的标准的面部图像。然而，可以假定最靠近 除了中点以外的特定点的浏览者的面部图像被用作标准的面部图像。 可替换地，可基于面部图像的尺寸或倾斜来确定标准的面部图像。
此外，用于检测图像信息中的面部图像也同样如此，且该面部图 像并不是最靠近图像信息中点的面部图像。此外，第三实施例也同样 如此，且面部图像并不是最靠近每个区域中的中点的面部图像。此外， 尽管基于单个面部图像的尺寸、倾斜和位置进行处理，但也可基于多 个面部图像的平均尺寸、平均倾斜和平均位置进行处理。
第三实施例中的图像俘获区域沿着图像俘获区域较长边的方向被
分为三个子区域。然而，也可利用能在两个方向上显示不同信息的LCD 将该图像俘获区域分为两个子区域。此外，也可利用能在多于4个的方 向上显示不同信息的LCD将该图像俘获区域分为四个或更多子区域。 此外，在垂直于屏幕并平行于屏幕的较长边的平面上分割显示方向。 然而，也可在平行于屏幕较短边的平面上分割显示方向。
尽管将本发明应用到如上所述的以重叠方式显示图像信息和标识 信息的数码相机，但还可将本发明应用于只显示图像信息或只显示标 识信息的信息显示装置。另外，已将本发明描述为使用图像信息和标 识信息。然而，本发明并不限于此，只要是能显示在显示介质上的信 息种类，也可使用文字信息或语句信息。S卩，只要本发明的特征与功 能被实现，本发明并不限于根据实施例的数码相机。例如，本发明适 用于装配有显示介质的信息显示装置，由移动电话、PDA、 PC、 LCD
39组成，诸如照片浏览器等等之类。在这种情况下，信息显示装置假定
为包括用于至少拍摄浏览者的摄影镜头106和图像传感器202。图像处 理单元208只需要基于使用从图像传感器202输出的图像信号而检测到 的面部图像的倾斜、面部图像的尺寸以及面部图像占据图像俘获区域 的所处位置等等，并以如上所述的方式对标识信息和图像信息进行各 种类型的处理。
上述实施例为示例，且在不脱离本发明范围的前提下可作出各种 改进。
权利要求
1. 一种信息显示装置，包括存储器控制单元，其将信息存储到存储介质，并从所述存储介质输出所述信息；显示器，其以预定显示形式将从所述存储介质输出的所述信息显示在所述显示器的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态的观察者的图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测所述观察者的面部图像的倾斜；以及显示形式改变单元，其改变要显示在所述屏幕上的所述信息的显示形式，其中，所述显示形式改变单元改变所述显示形式，从而基于由所述面部图像检测单元检测的所述面部图像的倾斜，将要显示在所述屏幕上的所述信息旋转预定旋转角。
2. 根据权利要求l所述的信息显示装置，其中， 所述信息包括在视觉上将事件和内容传达给所述观察者的标识信息。
3. 根据权利要求2所述的信息显示装置，其中， 所述标识信息包括字符、标记、图形和图标中的至少一个。
4. 根据权利要求l所述的信息显示装置，其中， 所述信息包括图像信息。
5. 根据权利要求l所述的信息显示装置，其中， 所述显示形式改变单元基于所述面部图像的倾斜旋转所述信息，以使所述信息基本上位于所述观察者的前面并且竖立，从而改变所述显示形式。
6.根据权利要求l所述的信息显示装置，还包括 方向信息确定单元，确定所述信息是否包括方向信息，其中， 当所述方向信息确定单元确定所述信息包括方向信息时，所述显示形式改变单元基于所述面部图像的倾斜和所述方向信息来确定所述旋转角。
7.根据权利要求6所述的信息显示装置，其中，所述显示形式改变单元基于所述面部图像的倾斜和所述方向信息 确定所述信息的标准显示尺寸。
8.根据权利要求l所述的信息显示装置，还包括 方向信息确定单元，确定所述信息是否包括方向信息，其中， 所述面部图像检测单元还包括图案确定单元，确定所述信息中是否存在特定图案，其中，当所述方向信息确定单元确定所述信息不包括方向信息并且当所述图案确定单元确定所述信息包括特定图案时，所述显示形式改变单元基于所述特定图案来确定方向信息。
9. 根据权利要求l所述的信息显示装置，其中，所述图像检测单元还包括确定所述信息中是否存在特定图案的图 案确定单元，且所述信息显示装置还包括方向信息确定单元，确定所述信息是否包括方向信息；以及 禁止单元，当所述方向信息确定单元确定所述信息不包括方向信 息并且当所述图案确定单元确定所述信息不包括特定图案时，该禁止 单元禁止所述显示形式改变单元对所述信息进行旋转。
10. 根据权利要求l所述的信息显示装置，还包括模式切换单元，其在回放模式和不同于回放模式的另一模式之间 切换操作；以及识别单元，其识别存在由所述面部图像检测单元检测的多个面部 图像，其中，如果在执行不同于回放模式的模式时，所述识别单元识别到存在 多个面部图像，则所述模式切换单元将模式从不同于回放模式的模式 切换到回放模式。
11. 根据权利要求l所述的信息显示装置，其中，所述显示形式改变单元包括尺寸改变单元，该尺寸改变单元基于 由所述面部图像检测单元检测的所述面部图像的尺寸来改变所述信息 的显示尺寸。
12. 根据权利要求ll所述的信息显示装置，其中， 所述尺寸改变单元进行放大或者縮小处理，从而所述面部图像的尺寸越小，显示的所述信息越大。
13. 根据权利要求ll所述的信息显示装置，其中， 所述尺寸改变单元包括下述中的至少一者显示尺寸选择单元，其基于所述面部图像从包括在所述信息中的 多个显示尺寸中选择预定的显示尺寸；以及放大/縮小单元，其根据所述面部图像的尺寸分别以预定倍率放大/縮小所述信息。
14. 根据权利要求13所述的信息显示装置，还包括 尺寸确定单元，其确定由所述面部图像检测单元检测的所述面部图像的尺寸，其中，当所述尺寸确定单元确定所述面部图像的尺寸不小于预定的第一 阈值时，所述放大/縮小单元基于所述第一阈值以预定倍率放大或缩小 所述信息，以及当所述尺寸确定单元确定所述面部图像的尺寸不大于预定的第二 阈值时，所述放大/缩小单元基于所述第二阈值以预定倍率放大或縮小 所述信息。
15. 根据权利要求l所述的信息显示装置，还包括识别单元，其识别存在由所述面部图像检测单元检测到的多个面部图像，其中，当所述识别单元识别到多个面部图像时，所述显示形式改变单元 基于最靠近由所述图像俘获单元俘获的图像俘获区域中的预定点的面 部图像来改变所述显示形式。
16. 根据权利要求l所述的信息显示装置，其中，所述显示器适于以不同显示形式在多个方向上显示所述信息，以及当所述面部图像检测单元在由所述图像俘获单元俘获的图像俘获 区域内的多个预定区域中检测到多个面部图像时，所述显示形式改变 单元基于各区域中的面部图像来改变所述显示形式。
17. 根据权利要求l所述的信息显示装置，还包括断电单元，当所述面部图像检测单元持续不少于预定时间未检测 到面部图像时，该断电单元切断至所述信息显示装置的除了所述面部 图像检测单元以外的部分的电源。
18. 根据权利要求17所述的信息显示装置，还包括 通电单元，在从所述断电单元切断至所述信息显示装置的除了所述面部图像检测单元以外的部分的电源的时刻起的预定时间内，当检 测到面部图像时，该通电单元接通电源。
19. 一种信息显示装置，包括存储器控制单元，其将信息存储到存储介质，并从所述存储介质中输出所述信息；显示器，其以预定显示形式将从所述存储介质输出的所述信息显示在所述显示器的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态的观察者的图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测所述观察者的面部 图像占据所述图像俘获区域的位置；以及显示形式改变单元，其改变要显示在所述屏幕上的所述信息的显 示形式，其中，所述显示形式改变单元改变所述显示形式，从而基于由所述面部 图像检测单元检测到的所述面部图像占据所述图像俘获区域的位置， 对要显示在所述屏幕上的所述信息进行变形。
20. 根据权利要求19所述的信息显示装置，其中， 所述信息包括在视觉上将事件和内容传达给所述观察者的标识信息。
21. 根据权利要求20所述的信息显示装置，其中， 所述标识信息包括字符、标记、图形和图标中的至少一个。
22. 根据权利要求19所述的信息显示装置，其中， 所述信息包括图像信息。
23. 根据权利要求19所述的信息显示装置，还包括 模式切换单元，其在回放模式和不同于回放模式的另一模式之间切换操作；以及识别单元，其识别存在由所述面部图像检测单元检测的多个面部 图像，其中，如果在执行不同于回放模式的模式时，所述识别单元识别到存在 多个面部图像，则所述模式切换单元将模式从不同于回放模式的模式切换到回放模式。
24. 根据权利要求19所述的信息显示装置，其中，所述显示形式改变单元包括尺寸改变单元，该尺寸改变单元基于 由所述面部图像检测单元检测的所述面部图像的尺寸来改变所述信息 的显示尺寸。
25. 根据权利要求24所述的信息显示装置，其中， 所述尺寸改变单元进行放大或者缩小处理，从而所述面部图像的尺寸越小，显示的所述信息越大。
26. 根据权利要求24所述的信息显示装置，其中， 所述尺寸改变单元包括下述中的至少一者显示尺寸选择单元，其基于所述面部图像从包括在所述信息中的 多个显示尺寸中选择预定的显示尺寸；以及放大/缩小单元，其根据所述面部图像的尺寸分别以预定倍率放大 /缩小所述信息。
27. 根据权利要求26所述的信息显示装置，还包括 尺寸确定单元，其确定由所述面部图像检测单元检测的所述面部图像的尺寸，其中，当确定所述面部图像的尺寸不小于预定的第一阈值时，所述放大/ 縮小单元基于所述第一阈值以预定倍率放大或縮小所述信息，以及当确定所述面部图像的尺寸不大于预定的第二阈值时，所述放大/ 縮小单元基于所述第二阈值以预定倍率放大或縮小所述信息。
28. 根据权利要求19所述的信息显示装置，其中， 如果所述面部图像占据所述图像俘获区域的位置在预定区域之外，则所述显示形式改变单元拉伸所述信息。
29. 根据权利要求28所述的信息显示装置，其中， 所述显示形式改变单元以比显示在更靠近所述观察者的区域中的所述屏幕上的信息的拉伸率更高的拉伸率拉伸显示在更远离所述观察 者的区域中的所述屏幕上的信息。
30. 根据权利要求19所述的信息显示装置，还包括 识别单元，其识别存在由所述面部图像检测单元检测到的多个面部图像，其中，当所述识别单元识别到多个面部图像时，所述显示形式改变单元 基于最靠近由所述图像俘获单元俘获的图像俘获区域中的预定点的面 部图像来改变所述显示形式。
31. 根据权利要求19所述的信息显示装置，其中， 所述显示器适于能够以不同显示形式在多个方向上显示所述信息，以及当所述面部图像检测单元在由所述图像俘获单元俘获的图像俘获 区域内的多个预定区域中检测到多个面部图像时，所述显示形式改变 单元基于各区域中的面部图像来改变所述显示形式。
32. 根据权利要求19所述的信息显示装置，还包括 断电单元，当所述面部图像检测单元持续不少于预定时间未检测到面部图像时，该断电单元切断至所述信息显示装置的除了所述面部 图像检测单元以外的部分的电源。
33. 根据权利要求32所述的信息显示装置，还包括-通电单元，在从所述断电单元切断至所述信息显示装置的除了所述面部图像检测单元以外的部分的电源的时刻起的预定时间内，当检 测到面部图像时，该通电单元接通电源。
34. —种信息显示装置，包括存储器控制单元，其将第一信息和第二信息存储到存储介质，并从所述存储介质中输出所述第一信息和所述第二信息；显示器，其以预定显示形式将从所述存储介质输出的所述第一信息和所述第二信息显示在所述显示器的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态下的观察者的 图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测所述观察者的面部 图像的倾斜；以及显示形式改变单元，其改变要显示在所述屏幕上的所述第一信息 和所述第二信息中的至少一个的显示形式，其中，所述显示形式改变单元改变所述显示形式，从而基于由所述面部 图像检测单元检测到的所述面部图像的倾斜，将要显示在所述屏幕上 的所述第一信息和所述第二信息中的至少一个旋转预定旋转角。
35. —种信息显示装置，包括存储器控制单元，其将第一信息和第二信息存储到存储介质，并 从所述存储介质中输出所述第一信息和所述第二信息；显示器，其以预定显示形式将从所述存储介质输出的所述第一信 息和所述第二信息显示在所述显示器的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态下的观察者的 图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测所述观察者的面部 图像占据所述图像俘获区域的位置；以及显示形式改变单元，其改变要显示在所述屏幕上的所述第一信息 和所述第二信息中的至少一个的显示形式，其中，所述显示形式改变单元改变所述显示形式，从而基于由所述面部 图像检测单元检测到的所述面部图像占据所述图像俘获区域的位置， 对要显示在所述屏幕上的所述第一信息和所述第二信息中的至少一个 进行变形。
全文摘要
一种信息显示装置，其包括存储器控制单元，将信息存储到存储介质，并从所述存储介质输出所述信息；显示器，其以预定显示形式把从所述存储介质输出的所述信息显示在所述显示器的屏幕上；图像俘获单元，其俘获处于注视所述显示器的状态下的观察者的图像并输出图像信号；面部图像检测单元，其基于所述图像信号检测所述观察者的面部图像的倾斜；以及显示形式改变单元，其改变要显示在所述屏幕上的所述信息的显示形式。所述显示形式改变单元改变所述显示形式，从而基于由所述面部图像检测单元检测的所述面部图像的倾斜，将要显示在所述屏幕上的所述信息旋转预定旋转角。
文档编号H04N5/232GK101483719SQ20091000291
公开日2009年7月15日 申请日期2009年1月12日 优先权日2008年1月10日
发明者盐田贵则 申请人:株式会社尼康