专利名称：图像编辑装置的利记博彩app
技术领域：
本发明涉及一种取入由规定的摄影装置生成的图像而进行补偿处理、输出该补偿处理后的图像的图像编辑装置。特别是涉及一种输入对人物进行摄像而得到的图像，补偿拍摄对象的脸部图像的技术。
背景技术：
近年来，已公开有这样的技术，即从将人物作为拍摄对象进行摄影时的图像，检测相当于拍摄对象的脸部的图像区域，基于该区域内的特征量，调整曝光量等摄影条件，或补偿摄影后的图像。
例如，存在下述专利文献1～3中所公开的技术。
专利文献1为特开平10-268447号公报，专利文献2为特开平8-62741号公报，专利文献3为特开平11-146405号公报。
在专利文献1中，是通过在用从摄影元件取入的图像数据进行照片印相处理时，从上述图像数据检测人物的脸部的区域，基于该区域内的侧光数据确定曝光量之后进行补偿，从而对应脸部图像的特征补偿图像。
在专利文献2中，在进行打印出由照相机摄影了的图像的处理中，在从处理对象的图像检测出相当于脸部图像的肌肤的颜色区域的同时，基于该图像的亮度信息，判别逆光的程度，根据人物存在的状况和逆光的程度，进行不同内容的灰度补偿。
在专利文献3中，在彩色摄像机等的映像信号处理装置中，利用在取入映像信号的过程中，检测肌肤的颜色区域，对检测出了肌肤的颜色区域时的映像信号施行亮度补偿和颜色补偿，从而可以仅补偿肌肤的颜色区域。
在上述的现有技术为首的现有的补偿处理中，都要与预先设定了脸部图像的亮度和色彩等特征量的基准进行对照，决定补偿的参数。但是，由于对应于规定的人种的肤色来设定该补偿基准，因此，有可能产生不适合将其他人种设为拍摄对象时的补偿处理。上述现有例是日本的发明，该肤色对应于黄色人种的肤色。
例如，若使补偿基准符合黄种人，则在黑人成为拍摄对象的情况下，有可能适用于逆光时的补偿参数。但是，由于实际的黑人的脸部图像与逆光时的脸部图像大不相同，因此，就难以进行适当的补偿。此外，在白人成为拍摄对象的情况下，若进行与黄种人同样的补偿处理，则有可能肤色过黄而成为不自然的图像。
根据年龄和性别的不同，与人种的情况同样，有可能难以仅用统一的补偿参数来应对。例如，在20多岁的脸部图像和40多岁的脸部图像中，应该补偿的部位与标准有相当的差异。此外，在拍摄对象是男性时和是女性时，一般喜好的颜色的标准不同。
另外，关于脸部的颜色和亮度，爱好因人而异，此外，也有可能因当时的流行和季节等而爱好发生变化。要对应于这样的各种各样的要素来补偿各个拍摄对象的脸部图像，难以仅用现有的统一标准的补偿来应对。
加之，在现有的照片印相服务(DPE)中，可补偿图像全体，但不能进行将各个拍摄对象个别地补偿的服务。
发明内容
本发明以上述问题为着眼点，其目的在于提供一种图像编辑装置，可以按照拍摄对象的人种、性别、年龄和个人爱好，进行适于各拍摄对象的补偿处理。
本发明的第一图像编辑装置包括图像输入装置，输入对人物进行摄影而得到的图像；脸部图像检测装置，检测包含在上述输入图像中的拍摄对象的脸部图像；推断装置，基于包括由上述脸部图像检测装置检测到的脸部图像的图像区域内的特征量，推断处理关于上述脸部图像的属性；决定装置，基于上述推断装置的推断结果，决定上述脸部图像的补偿处理内容；脸部图像补偿装置，对上述脸部图像执行根据上述决定装置所决定的内容的补偿处理；图像输出装置，输出由上述脸部图像补偿装置进行补偿处理后的图像。
上述属性是从拍摄对象的脸部图像得到的至少人种、年龄、性别中的任意一种的信息。
最好上述图像编辑装置将安装了与上述各装置的功能对应的程序的计算机作为控制主体。此外，在图像输入装置中包含用于从外部取入图像的接口电路。在图像输出装置中也同样地包含与对外部的图像输出有关的硬件。
再有，最好对图像输入装置输入数字图像数据，但不限于此，例如，也可以输入来自模拟摄像机的模拟图像信号。该情况中的图像输入装置除了接口电路之外，还包括将每帧的模拟图像信号进行数字转换的A/D转换电路等。
脸部图像检测装置利用下述的方法进行脸部图像的检测处理，该方法是例如在输入图像上扫描规定大小的检索区域，检索是否包含示出构成脸部的器官的特征的特征点。在该检索中，利用进行下述的专利文献4中记载的特征点检测处理，可以高准确度地检测脸部图像。但是，不限于此，也可以利用现有的检测肌肤的颜色区域的方法和单纯的图形匹配处理来检测脸部图像。
专利文献4为特开2001-16573号公报(参照 ～ 段)。
推断装置通过使用了构成脸部器官的特征点的运算处理，可以高准确度地判别人种、年龄、性别等。在人种的推断中，例如，可以适用下述的非专利文献1的方法，但不限于此，可以使用检测脸部图像内的亮度分布的方法。此外，例如，可以使用下述的非专利文献2中公开的方法来推断年龄和性别。
非专利文献1Gregory Shakhnarovich，Paul A.Viola，Baback Moghaddam“A UnifiedLearning Framework For Real Time Face Detection and Classification”；Proceedings of The Fifth IEEE Intermational Conference On Automatic Face andGesture and Gesture Recognition；美国Institute of Electronics Engineers，简称IEEE；2002年5月非专利文献2細井聖，瀧川えりな，川出雅人；“ガボ一ルウエ一ブレツト変換とサポ一トベクタマシンはよる性别·年代推定システム”；第8回図像ヤンシングシンポジウム講演論文集；図像センシング技術研究会；2002年7月。
主要从脸部图像的检测区域导出使用于上述推断处理的特征量，但不限于此，也可以包含脸部图像的周边区域和图像全体或图像的一部分的特征量。作为特征量，可以检测脸部图像的色彩和亮度的平均和分散、强度分布、与周围图像的色彩差和亮度差等。此外，也可以将这些特征量应用于规定的运算式，求得推断中必要的二次特征量。
作为在本发明中执行的补偿处理，例如，可以设定为了肤色的调整而补偿各色成分(例如，红、绿、蓝三原色)的强度和亮度的处理、检测脸部的缺陷后进行去除的处理、肌肤的光滑处理等各种各样内容的处理。为了基于上述推断结果决定脸部图像的补偿处理内容，最好是预先对每种补偿项目生成设定表，然后将上述推断处理的结果与该设定表对照，导出对应于推断结果的补偿参数，所述设定表是将执行该补偿所必要的参数(以下将其称作“补偿参数”)的设定值与成为推断对象的各要素建立了对应关系。
例如，若以肤色的调整为例，作为补偿参数，可以设定各色成分的增减比例。最好在该情况的设定表中，分别将人种、年龄、性别分成多个类别(例如，关于人种，有“白人”、“黄种人”、“黑人”，关于年龄，有“10多岁”、“20多岁”、“30多岁”等)，对于每个类别的组合，各色成分的补偿参数值的组合不同。
根据上述图像编辑装置，可以从至少人种、年龄、性别中的任意一种涉及的多种标准设定的补偿处理中，选择适合于拍摄对象的内容的补偿，基于该内容可以进行脸部图像的补偿。即，可以根据各个拍摄对象的人种、年龄、性别，自动选择补偿内容，进行适合于拍摄对象的补偿。
接着，本发明的第二图像编辑装置包括与上述第一图像编辑装置同样的图像输入装置和脸部图像检测装置；登录装置，针对规定数的拍摄对象保持有登录信息，所述登录信息将拍摄对象的脸部图像的特征量和该脸部图像的补偿所必要的信息，分别与上述拍摄对象所固有的识别信息对应；推断装置，将由上述脸部图像检测装置检测到的脸部图像的特征量，与上述登录装置的登录信息进行对照，推断上述拍摄对象；脸部图像补偿装置，使用由上述推断装置推断的拍摄对象的登录信息，执行上述检测到的脸部图像的补偿处理；图像输出装置，输出由上述脸部图像补偿装置补偿处理后的图像。
最好上述结构的图像编辑装置也与第一图像编辑装置同样，将计算机作为控制主体。图像输入装置、脸部图像检测装置、图像输出装置的结构可以与第一图像编辑装置相同。
登录装置可以为设定在上述计算机内的存储器中的数据库。最好“脸部图像的补偿所需要的信息”是例如特定脸部图像的色彩的参数(构成颜色的R、G、B的灰度、亮度等)，调整成登录对象的拍摄对象爱好的色彩。此外，作为拍摄对象所固有的识别信息，最好是拍摄对象的名称(不限于姓名，也可以是爱称等)等摄影者和拍摄对象能够容易确认的信息。
作为登录对象的脸部图像的最佳特征量，可以示出脸部器官的特征点的位置关系。例如，可以对构成脸部图像的每个点，求得上述专利文献4的(1)式中示出的特征量，然后进行登录。
推断装置能够利用将检测到的脸部图像的特征量，与已登录在登录装置中的各拍摄对象的脸部图像的特征量进行对照的处理，来推断拍摄对象是谁。脸部图像补偿装置能够基于已推断的拍摄对象的登录信息中所包含的补偿内容，补偿脸部图像。
根据上述第二图像编辑装置，针对成为拍摄对象的人物，可以通过预先登录该人物的脸部图像的特征量和适当补偿该脸部图像所必要的信息，每次处理该人物的脸部图像，都用拍摄对象喜欢的方法来补偿其脸部图像。
接着，关于能够在上述第一、第二图像编辑装置中共同设定的形式进行说明。首先，在一个形式中，上述脸部图像检测装置包括这样的装置，该装置接受相对于上述脸部图像的检测结果的修正操作，修正上述脸部图像的检测结果。
关于相对于脸部图像的检测结果的修正操作，最好能够显示上述输入图像中的脸部图像的检测结果，在该显示画面上，执行脸部图像的检测位置、检测出的范围的改变、规定的脸部图像的删除等的操作。例如。可以利用在图像上的脸部图像的检测位置上配置指针，来进行脸部图像的检测结果的显示。作为更好的方法，也可以进行标记显示(例如，设定包含脸部图像的框形图像)，使得脸部图像的位置和大小明确。
根据上述形式，可以避免因脸部图像的检测结果的错误而进行错误的推断处理，以致在以后的处理中产生错误。此外，根据删除脸部图像的操作，例如，在包含着作为拍摄对象的人物以外的人物的脸部图像的情况下，能够删除该拍摄对象以外的人物的脸部图像的检测结果等，删除以后进行推断处理和补偿内容的决定不需要的脸部图像，能够仅对拍摄对象进行详细的处理。
另外，在其他形式的图像编辑装置中，上述推断装置被设定为包括这样的装置，该装置接受相对于上述推断结果的修正操作，修正上述推断结果。
关于相对于推断结果的修正操作，最好显示推断结果，在该显示画面上，或指定错误的推断信息进行修正，或删除不要的推断信息。另外，也可以附加没进行推断的新的信息。
根据上述形式，由于可以在修正推断结果的错误之后进行补偿内容的决定处理，因此，可以高精度地选择适合于拍摄对象的补偿内容。
另外，其他形式的图像编辑装置中，脸部图像补偿装置包括这样的装置，该装置在补偿处理后接受补偿内容的修正操作，基于修正的内容执行上述脸部图像的再补偿。此外，图像输出装置按照确定操作，输出通过在该时刻的最新的补偿处理得到的图像。
关于补偿内容的修正操作，最好可以显示补偿处理后的图像和表示已执行的补偿内容的信息(上述的补偿参数等)，在该显示画面上指定规定的补偿内容并进行修正。此外，关于确定操作，也可以在相同的补偿处理后的图像的显示画面上进行。
根据上述形式，用户可以在补偿处理后的图像不好的情况下，由修正操作使其进行图像的再补偿处理。然后，最终，可以通过在能够得到好的补偿图像的时刻进行确定操作，来输出由最新的补偿得到的图像。
接着，本发明的第三图像编辑装置包括图像输入装置，输入对人物进行摄影而得到的图像；脸部图像检测装置，检测包含在上述输入图像中的拍摄对象的脸部图像；信息输入装置，用于针对上述拍摄对象，输入表示脸部图像的补偿处理内容的信息；脸部图像补偿装置，对由上述脸部图像检测装置检测到的脸部图像，执行根据基于由上述信息输入装置输入的信息的内容的补偿处理；图像输出装置，输出由上述脸部图像补偿装置补偿处理后的图像。
最好上述第三图像编辑装置也将计算机作为控制主体，图像输入装置、脸部图像检测装置、图像输出装置也可以与上述第一、第二图像编辑装置同样。信息输入装置可以由下述装置构成操作部(键盘、鼠标等)，用于输入相对于检测到的脸部图像的具体的补偿内容；计算机，为了支援该输入处理而组装了提示补偿项目的菜单等的用户接口；显示装置，用于上述菜单的显示。
根据上述装置，用户就可以在将处理对象的图像输入了装置之后，针对拍摄对象，当输入示出补偿内容的信息时，就自动检测作为补偿对象的脸部图像，执行基于输入信息的补偿处理。这样，就可以简单且准确地执行用户意图的内容的补偿。再有，在处理多个人成为拍摄对象的图像的情况下，最好在显示各拍摄对象的脸部图像的检测结果，让用户确认之后，按照每个拍摄对象接受表示补偿处理内容的信息。此外，也可以用图像编辑用软件等功能，通过直接修正所显示的输入图像的操作来进行补偿内容的输入。
另外，在该第三图像编辑装置中，最好与第一、第二图像编辑装置同样地，能够接受对于脸部图像的检测结果的修正操作，修正检测结果。此外，也可以对利用图像补偿装置的补偿处理后的图像，按照补偿内容的修正操作进行再补偿，按照确定操作，输出通过该时刻的最新的补偿处理而得到的图像。
另外，可以在上述第一、第三图像编辑装置中具有登录处理装置，将由上述脸部图像检测装置检测到的脸部图像的特征量，与上述图像补偿装置执行的补偿内容建立对应，登录在存储器中。该情况中的脸部图像检测装置被设定为可以按照指定规定的登录信息的操作，通过使用了该已指定的登录信息中所包含的特征量的检索处理，从上述输入图像检测脸部图像。此外，上述脸部图像补偿装置被设定为在由上述检索处理检测到了脸部图像时，对该检测到的脸部图像，执行根据上述已指定的登录信息中所包含的补偿处理内容的补偿处理。再有，也可以对构成该图像编辑装置的计算机的存储器内，进行利用上述登录处理装置的信息登录。
在该形式中，最好登录对象的脸部图像的最佳特征量，可以示出脸部器官的特征点的位置关系。再有，最好各登录信息与第二编辑装置中的同样，可以由各拍摄对象所固有的识别信息(与上述第二图像编辑装置同样的姓名信息等)进行识别。此外，关于登录信息的指定，例如，可以利用输入规定的登录信息涉及的识别信息，来指定其登录信息。
根据上述结构，关于过去已进行了补偿处理的拍摄对象，由于脸部图像的特征量与补偿内容建立了对应关系并进行了登录，因此，在以后输入了包含相同拍摄对象的图像时，利用指定该拍摄对象的登录信息，就可以在检测出了对应于该拍摄对象的脸部图像之后，进行与上次相同内容的补偿。这样，可以高速化处理，此外，可以按照过去的处理内容，准确地执行用户意图的补偿。
再有，不一定需要在上述存储器中登录过去处理过的全部的拍摄对象的信息，例如，也可以在补偿处理后接受是否进行登录的选择操作，进行了应当登录的意思的选择之后，进行登录处理。
另外，在第一～第三的各图像编辑装置中，可以构成为，上述脸部图像检测装置在通过上述图像输入装置输入链接了表示拍摄对象脸部图像的位置的信息的图像时，基于该链接信息来检测脸部图像。
可以由设定了与本发明的脸部图像检测装置同样的装置的摄影装置，来生成链接了表示拍摄对象脸部图像的位置的信息的图像。再有，在链接信息中，除了示出脸部图像的位置的信息之外，还包括脸部图像的大小和朝向。根据这样的结构，可以基于输入的图像的链接信息，简单地检测脸部图像。
再有，在对上述的摄影装置赋予了与本发明的推断装置相同的功能的情况下，可以与脸部图像的检测位置加之生成链接了乃至拍摄对象的人种、年龄、性别所涉及的推断结果的图像。若输入这样的图像，就可以简单地进行脸部图像的检测处理，并且跳过推断处理，快速地进行脸部图像的补偿处理。
另外，在第一～第三图像编辑装置的其他形式中，可以设上述图像输出装置为印刷补偿处理后的图像的装置。根据该结构，若用户对装置输入想印相的图像作为照片，就可以在进行了适于拍摄对象的补偿处理后，印刷该补偿处理后的图像，可以提供鲜明地捕捉了拍摄对象的脸部特征的照片。
上述第一～第三的各图像编辑装置(包括各种实施形式)可以作为从数码相机、扫描仪或存储卡等存储媒体输入数字量的静止图像数据后进行补偿，印刷补偿处理后的图像或保存在存储媒体等中的装置而构成。
另外，第一～第三的各图像编辑装置可以将上述图像输入装置作为通过计算机网络接受处理对象的图像的发送的装置而构成。该情况下，上述图像输出装置可以作为印刷补偿后的图像的装置，或者作为下述这样的装置而构成，即通过上述计算机网络，向上述图像的发送地或由该发送地指定的配信目的地，发送上述补偿后的图像。
再有，在这样地设为网络对应型的装置的情况下，要接受相对于上述脸部检测结果和推断结果的修正操作、相对于补偿后的图像的修正操作、确定操作，就需要通过上述计算机网络进行与用户的终端装置的通信。此外，第二图像编辑装置中的信息输入装置，也同样地需要构成为利用通过了计算机网络的通信，接受信息输入。
根据上述结构，可以通过计算机网络，从用户接受图像的补偿委托，进行将补偿后的数据印刷并送交给用户的处理。此外，也可以通过上述计算机网络，对用户或用户指定的配信目的地发送补偿后的图像。该情况下，若设上述计算机网络为因特网这样的通用的网络，就可以接受来自不特定的许多用户的图像发送。此外，不限于此，也可以仅接受来自进行了会员登录的用户的图像发送。
另外，在上述第一～第三的各图像编辑装置中，在将图像输入装置构成为取入动画图像数据的情况下，输出补偿后的图像的输出装置可以构成为在DVD(数字化视频光盘)这样的图像存储媒体中存储图像的装置。或者，也可以构成为依次向规定的显示装置输出补偿后的图像的动画图像显示装置。
根据上述结构的图像编辑装置，可以对构成动画图像的每个帧的图像，分别进行适当的脸部图像的补偿处理。再有，由于在该情况的图像检测处理中，若用由前面的帧检测出的脸部图像的特征量来追踪拍摄对象的脸部图像，就可以对相同的拍摄对象进行根据同样的内容的补偿处理，因此，即使拍摄对象移动也不产生脸部图像的状态变化这样的不适，可以得到高品质的动画图像。
图1是示出适用了本发明的图像编辑装置的结构的框图；图2是示出设定在图1的图像编辑装置的CPU的功能的视图；图3是示出脸部区域的检测结果的显示例的视图；图4是示出图像编辑处理的连续过程的流程图；图5是示出脸部区域设定用的参数的例子的视图；图6A～图6C是按每个人种和照明状态不同的情况示出脸部区域内的亮度分布的频率分布曲线图；
图7是示出使用登录信息进行图像补偿时的过程的流程图；图8是示出使用登录信息进行图像补偿时的过程的流程图；图9是示出适用了本发明的图像编辑系统的结构的框图。
具体实施例方式
图1示出适用了本发明的图像编辑装置的结构。
该图像编辑装置100设置在进行照片印刷服务的业者的店内，对由顾客的数码相机得到的图像或从印刷后的照片读取的图像施行补偿处理，进行印刷该补偿处理后的图像的处理。再有，图像编辑装置100可以作为业者的员工进行操作的装置，但不限于此，也可以构成为顾客自己进行操作的自助服务式的机器(在以下的说明中，将进行装置操作的人称作“用户”。)上述图像编辑装置100的结构为，在由计算机构成的主体部1上连接有映象扫描仪2(以下仅称作“扫描仪2”)、存储卡读出器3、输入部9、监视器10、打印机11等周边设备。再有，上述扫描仪2不限于读取印刷后的照片的类型，也可以是专门进行胶片的读取的胶片扫描仪。
上述主体部1除了CPU4和存储器5之外，还具有图像输入接口6、USB接口7和输入输出接口8。再有，图示的存储器5是硬盘这样的大容量存储器，ROM和RAM包括在CPU4中。在存储器5中存储有Windows(注册商标)这样的操作系统、与图2中示出的各处理部对应的程序、用户数据库47、用于导出补偿内容的设定表等。另外，在该存储器5中也设定有用于暂时保存处理对象的图像的工作区域。
图像输入接口6用于将上述扫描仪2连接于CPU4。USB接口7是遵照通用串行总线(Universal Serial Bus)的规格的接口，用于将上述存储卡读出器3连接于CPU4。再有，也可以替代存储卡读出器3而将数码相机连接于该USB接口7。
输入输出接口8用于上述输入部9、监视器10、打印机11的连接。监视器10和打印机11为对应于彩色图像的规格，此外，输入部9由键盘和鼠标构成。
CPU4选择上述扫描仪2或存储卡读出器3中的任意一个作为输入目的地，从该选择的装置取入数字图像数据，执行后述的补偿处理。补偿后的图像在监视器上显示后，按照由输入部11控制的印刷指定操作，向打印机11输出，执行印刷处理。
在上述结构中，利用保存在存储器5中的程序，在CPU4中设定了图2中示出的功能。利用这些功能，在本实施例的图像编辑装置100中，在取入了包括人物的脸部图像的图像的情况下，在特定该脸部图像的位置和大小等的同时，推断作为拍摄对象的人物的人种、年龄、性别，在决定了适合于该推断结果的补偿参数之后，补偿拍摄对象的脸部图像。
在图2中，图像获得部41将来自上述扫描仪2或存储卡读出器3的数字图像作为处理对象图像而取入，存储在上述工作区域中。脸部检测处理部42从处理对象的图像检测拍摄对象的脸部图像。脸部区域设定部43根据该检测结果，设定包括上述脸部图像的规定大小的区域。再有，该区域成为以后的推断处理和补偿处理的对象区域，以下称作“脸部区域”。
推断处理部44针对所设定的脸部区域，基于该区域内的特征量，推断拍摄对象的人种、年龄、性别等。图像补偿处理部45决定适合于上述推断处理的结果的补偿内容，执行基于该决定后的内容的补偿处理。补偿图像输出部46用于向监视器10和打印机11输出补偿处理后的图像。
再有，在本实施例中，作为标准的补偿，为了肤色的调整和逆光时的亮度的补偿而进行补偿R、G、B的各灰度的处理。为了该处理，在本实施例中，预先将人种和年龄分别分为多个类别，按照每个类别、性别和有无逆光的组合，设定补偿项目(例如，“20多岁的白人女性的无逆光时的补偿”、“30多岁的黄种人男性的逆光时的补偿”等)。然后，按照每个项目生成设定了各灰度的增减量或增减率的设定表，作为补偿参数，保存在存储器5内。图像补偿处理部45利用将上述推断处理部44的推断结果与该设定表进行对照，能够读出对应于推断结果的补偿参数。
用户数据库47用于针对该图像编辑装置100过去已处理的脸部图像，将补偿前的脸部图像的特征量和执行后的补偿内容建立对应，并进行累积。该用户数据库47内的登录信息如后所述，用于脸部检测处理和图像补偿处理，各登录信息中被赋予有对应于脸部图像的个人的姓名和识别代码，分别作为索引信息。
用户接口控制部48确认上述脸部区域的设定结果、推断结果和图像补偿结果，除了修正错误或输入附加信息之外，在进行相对于补偿图像的确定操作时，使用上述输入部9和监视器10支援上述操作。另外，该用户接口控制部48支援登录操作和调用操作，所述登录操作是向用户数据库47登录结束了处理后的脸部图像所涉及的信息，所述调用操作是在处理新的处理对象的图像时，从用户数据库47调用可使用的登录信息。另外，在本实施例中，指定上述的标准补偿以外的任选的补偿项目，由用户接口控制部48支援设定该补偿参数的工作。
图3是脸部检测处理结果的显示例，在图像20中的各人物的脸部图像上，分别显示着对应于脸部区域的边界线的框形图像21、22。
用户接口控制部48在这样地显示的同时，设定操作画面，接受各种操作，向脸部区域设定部43输出该操作内容，所述操作画面用于进行修正脸部区域的设定的操作和设定新的脸部区域的操作。脸部区域设定部43按照该操作内容，或修正所设定的脸部区域的部位和大小，或删除不要的脸部区域，或设定新的脸部区域。
针对推断结果和补偿参数的修正等也同样地，在显示了图像之后进行修正操作。再有，在本实施例中，和推断结果一起，针对从该推断结果导出的补偿参数，也接受修正。
以下，说明上述图像编辑装置中的图像编辑处理的详细流程。
图4示出直到用上述图2的各处理部的功能来印刷图像为止的连续过程。再有，在以下的说明中，将各步骤示为“ST”。
首先，在ST1中，输入处理对象的图像，存储在上述存储器的工作区域中后，接着，前进到ST2，执行脸部检测处理。
在该脸部检测处理中，对输入图像扫描规定大小的检索区域，进行检索脸部图像的特征点的处理。再有，由于图像上的脸部图像的大小根据摄影时的到拍摄对象的距离和透镜倍率而变化，故最好在上述检索处理中，在阶段性地改变检索区域的大小的同时，反复检索输入图像。
在接着的ST3中，针对检测到的脸部图像，设定作为以后的处理对象区域的脸部区域。
图5示出上述脸部区域的设定例和使用于该设定的各参数的具体例。在图示例中，从脸部图像中的各特征点中，检测对应于鼻子最高位置的特征点P，将该点P的坐标(Xp、Yp)作为脸部的检测位置。此外，以该点P为起点，在每个方向上检索额头和头发的边界，从与该边界相当的特征点中求得与点P距离最短的点Q，将该点Q与上述点P间的距离设为脸部的大小r。另外，从点P向着点Q的方向设定矢量C，将对应于图像的水平方向(X轴方向)的上述矢量C所成的角度，作为脸部的倾角θ进行计测。
在本实施例中，将上述点P的坐标(Xp、Yp)、脸部的大小r和脸部的倾角θ，作为脸部区域设定用的参数。图5的U是根据各参数设定的脸部区域的一例。基于上述脸部的大小r来决定该脸部区域U的大小，其中心与点P对应，此外，主轴被设定为相对于X轴仅倾斜了上述角度θ的状态。
返回到图4，当这样地设定脸部区域时，在接着的ST4中，在上述监视器10上显示脸部区域的设定结果，作为上述框形图像。对于该显示，当进行修正操作时，就按照该操作，进行脸部区域设定用的参数的修正处理(ST5、ST6)。
再有，ST5的修正操作除了进行改变已设定的脸部区域的位置和大小的操作之外，也包括删除脸部区域的操作和设定新的脸部区域的操作。与此对应，在ST6中，除了改变脸部区域设定用的参数值的处理之外，也执行删除参数的处理和设定新的参数的处理。
当在进行了脸部区域的修正处理之后进行确定操作时，就前进到ST7，针对确定了的脸部区域，执行各种推断处理。再有，对于ST4中的框形图像的显示，在不进行修正操作而立刻进行了确定操作的情况下，ST5就成为“否”，前进到ST7，执行对于ST3中设定的脸部区域的推断处理。
在ST7中，针对所设定的脸部区域，推断人种、年龄、性别和有无逆光。也可以基于上述的非专利文献1进行人种的推断处理，但在本实施例中，为了处理时间的缩短，用脸部区域内的亮度分布同时推断人种和有无逆光。
图6A～图6C是关于拍摄对象和照明环境不同的三个事例，示出对每个脸部区域中的R、G、B的各色数据和亮度L(R、G、B的总和平均)检测出的频率分布曲线的例子。再有，频率分布曲线的标度是灰度，图中示出越向纸面的右方越明亮的状态。
图6A是在适当的照明环境下对黄种人进行摄影时的频率分布曲线。该情况的频率分布曲线为各色数据都是向比较明亮的部分的分布占优势，尤其成为红色成分的强度被强调的状态。
图6B是在逆光状态下对与图6A相同的黄种人进行摄影时的频率分布曲线。在该情况的频率分布曲线中，各色数据的出现率比图6A大幅地降低，还成为集中在黑暗侧的分布状态。
图6C是在适当的照明环境下对黑人进行摄影时的频率分布曲线。在该情况的频率分布曲线中，在黑暗侧和明亮侧两方得到具有峰顶的分布状态(可以认为黑暗侧对应于皮肤，明亮侧对应于眼睛和牙齿。)在本实施例中，预先按各个人种，分别针对照明状态等不同的多种摄影环境，准备亮度频率分布曲线的模板，利用将针对处理对象的脸部区域检测到的频率分布曲线与各模板对照，来推断人种和有无逆光。再有，上述频率分布曲线不限于脸部区域全体，也可以检测眼睛部分和嘴部分等局部区域的亮度分布而利用于判别处理，可以使推断结果更准确。
再有，如非专利文献2所示，可以通过将各器官的特征点所具有的特征量给予被称作支持向量机(support vector machine)的推断系统的方法，来执行年龄、性别的推断，但不一定限定于该方法。
返回到图4，若一系列的推断处理结束，就在ST8中，基于该推断结果，对照存储器5内的设定表，决定补偿参数。
在接着的ST9中，与输入图像一起显示上述推断结果和示出补偿参数的内容的信息。在该显示画面上，当进行指定规定的推断结果或补偿参数而进行修正的操作时，ST10就成为“是”，在ST11中，按照上述修正来修正补偿参数。
在ST11中，例如，若使鼠标光标接近显示画面上的脸部图像，则显示与该脸部图像对应的推断结果和示出补偿参数的信息，就可以接受修正。再有，最好在此显示的补偿参数不是具体的数值，而是置换成例如“变白”、“变为普通的肤色”、“变黑”这样的具体的补偿内容而示出。
另外，在进行了指定任选的补偿的操作的情况下，ST12就成为“是”，前进到ST13，按照用户的操作，执行设定任选的补偿项目和补偿参数的处理。
再有，在该ST13中，象“颤动去除处理”、“肌肤的光滑补偿”这样地菜单显示具体的补偿内容，另外，若提示对应于选择操作来指定详细的补偿内容的菜单，就可以简单地设定对应于用户期望的补偿项目和补偿参数。
可以反复执行对上述推断结果和补偿参数的修正操作和任选补偿的设定。在规定的时刻，当用户进行确定操作时，ST14就成为“是”，在ST15中，基于在该时刻设定的补偿项目和补偿参数，执行图像补偿处理。
之后，在ST16中，显示补偿处理后的图像(以下称作“补偿图像”)。再有，在本实施例中，在补偿图像不是用户期望的情况下，就接受印刷指定操作和再设定操作中的任意一个，使得更改补偿项目和补偿参数而执行再补偿。在此，若有再设定操作，则ST17就成为“否”，ST18就成为“是”，返回到ST10，可以再次修正推断结果和补偿项目，或附加任选的补偿。然后，通过对应于再次的确定操作而执行ST15，从而来进行上述输入图像的再补偿处理。
对于在规定时刻的补偿图像的显示，若进行印刷指定操作，则ST17就成为“是”，前进到ST19。在ST19中，将该时刻得到的补偿图像向打印机11输出，使其进行印刷处理。
根据上述图4的顺序，可以从已标准地设定的补偿内容中，自动地选择适合于拍摄对象的人种、年龄、性别的图像，作为照片进行打印。此外，在推断结果中有错误、或标准的补偿处理不是用户期望的情况下，可以用用户接口简单地进行修正，因此，可以简单地进行精度高的补偿处理。
接着，针对通过利用上述用户数据库47内的登录信息，对过去已成为处理对象的脸部图像执行相同内容的补偿处理的顺序进行说明。
图7的顺序是，在检测了脸部图像之后，检索对应于该检测后的脸部图像的登录信息，若有登录信息，就进行使用包含于该信息中的补偿项目和补偿参数的补偿。
首先，在ST21～23中，利用与上述图4的ST1～3同样的处理，检测输入图像中的脸部图像，设定脸部区域。在接着的ST24中，用检测到的脸部图像的特征量来检索用户数据库47。其结果是，若发现包含与上述脸部图像的特征量类似的特征量的登录信息，就从ST25前进到ST26，基于包含在该登录信息中的补偿项目和补偿参数，补偿上述脸部区域内的图像。再有，最好在进行该补偿处理之前，显示找到的登录信息的索引信息(上述的个人名等)，让用户确认。
在接着的ST27中，显示由上述补偿处理得到的补偿图像。在本实施例中，在该补偿图像不是用户的意图的情况下，就接受修正指定，使得可以再补偿。若有修正指定操作，ST28就成为“否”，ST30就成为“是”，前进到ST31，显示使用于上述补偿处理的补偿项目和补偿参数。若对该显示进行修正操作，就从ST32前进到ST33，按照上述修正操作来修正补偿项目和补偿参数。然后，在接着的ST34中，基于修正后的补偿项目和补偿参数，再补偿上述输入图像，然后返回到ST27。
这样，若对在规定时刻的补偿图像的显示进行印刷指定操作，ST28就成为“是”，前进到ST29，执行上述补偿图像的印刷处理。
再有，在上述ST24的检索处理中，在没发现对应于检测到的脸部图像的登录信息的情况下，ST25就成为“是”，该情况下，进行上述图4的ST4以后的处理。
接着，在图8的顺序中，以在上述用户数据库47中登录着作为补偿处理对象的人物信息为前提，利用输入特定该人物的识别数据，来指定补偿处理对象的人物。另外，在该顺序中，顺序地输入多个图像，从中检测出包含上述指定的人物的图像，对该图像进行按照登录信息的补偿处理。
再有，识别数据对应于用户数据库的索引信息，图像输入之前，在最初的ST41中进行输入。图8中没有示出，但若有该识别数据的输入，CPU4就检索用户数据库47，特定对应的登录信息。
之后，在ST42中，当输入处理对象的图像时，就在接着的ST43中，利用包含在对应于上述识别数据的登录信息中的特征量，检索上述输入图像。利用该检索处理，若发现具有类似于登录信息的特征量的图像区域，就特定该区域作为上述脸部图像。这样，ST44就成为“是”，前进到ST45，执行根据上述登录信息中所包含的补偿项目和补偿参数的补偿处理。
之后，从ST46返回到ST42。这样，以下在顺序地取入处理对象的图像的同时，执行脸部检测处理和补偿处理。再有，在ST43的检索处理中，在没发现具有类似于上述登录信息的特征量的图像区域的情况下，ST44就成为“否”，跳过ST45的补偿处理。
若这样地结束对全部图像的处理，ST46就成为“是”，前进到ST47，显示补偿图像。再有，在本实施例中，与上述图7的实施例同样地，若有修正指定操作，就显示使用的补偿项目和补偿参数，接受修正操作，按照修正操作来修正补偿项目和补偿参数，进行图像的再补偿处理(ST50～54)。然后，若在规定的时刻有印刷指定操作，ST48就成为“是”，前进到ST49，执行补偿图像的印刷处理。
再有，为了说明简单，使ST48以后的顺序与图7的ST28以后的流程一样，但在实际的处理中，最好顺序地一幅一幅地显示进行了补偿处理的图像，个别地进行印刷和再补偿。
根据上述图7和图8的实施例，若已经成为补偿处理的对象，是已经登录在了用户数据库47中的人物，就可以调用过去执行过的补偿内容，执行同样的补偿处理，因此，若一次详细地设定补偿内容并登录，以后就可以迅速地执行相同内容的补偿处理。此外，根据图8的实施例，可以从多幅图像中自动地选择包含处理对象人物的图像，施行补偿处理。
再有，在图7和图8中，在进行了根据已登录的补偿内容的补偿处理之后，在修正了补偿项目和补偿参数的情况下，可以由该已修正的补偿项目和补偿参数来重写登录信息。此外，在任一实施例中，最终必须由印刷指定操作来使其进行图像印刷处理，但不限于此，也可以通过取消操作来终止印刷处理。
此外，在这样地登录各个人的脸部图像的特征量和固有的补偿内容的情况下，也可以对于最初的登录时的图像，仅执行脸部图像的检测处理，让用户输入具体的补偿项目和补偿参数。该情况下，也可以取代上述的利用菜单显示的设定，使用图像补偿用软件的功能，让用户补偿输入图像，登录对应于该补偿内容的补偿项目和补偿参数。
但是，到此为止所示出的实施例是由图1中示出的结构的图像编辑装置100执行的，但该种图像处理不限于单个的装置，也可以在因特网这样的计算机网络上开展。
图9示出利用因特网的图像编辑系统的例子。图中用户PC103和用户便携104是任意用户使用的终端装置，可以设定通过因特网102与图像编辑服务器101的通信。“PC”是指个人计算机，“便携”是指便携式电话。
图像编辑服务器101具有上述图2中示出的各功能，所以能够接受从各用户终端装置103、104发送的图像，执行与上述图7、图8和图9的各实施例同样的处理。再有，该装置中的图像获得部41设定为接受来自因特网102的图像发送。此外，用户接口控制部48设定为，通过因特网102，对终端装置103、104配信图像和各种操作用的提示了菜单画面等的Web页面。
此外，补偿图像输出部46可以向终端装置103、104发送补偿处理后的图像。此外，若将该系统的利用作为会员登录制，让图像编辑服务器101或与该服务器连接的事务管理用服务器(未图示)具有各会员的住址数据库，或者让各用户对其发送住址等信息，就可以与图1的图像编辑装置100同样地，由补偿图像输出部46印刷补偿处理后的图像，将得到的照片送交给用户。再有，图像的发送地和送交目的地不限于用户，也可以为由用户指定的第三者。
根据上述图像编辑系统，使用个人计算机的用户可以将数码相机和存储卡与该计算机连接，进行图像数据的读入，发送到图像编辑服务器101，接受编辑服务。此外，若是使用组装有照相机功能的便携式电话的用户，就可以在进行了摄影后，向图像编辑服务器101原样发送由该摄影得到的图像，接受编辑服务。这样地，用户不但可以由通过因特网102的通信，简单地委托由自己摄影得到的图像的补偿，而且可以简单地得到适当地补偿了脸部图像的补偿图像，能够极大地提高便利性。
再有，也可以预先经由脸部图像的检测处理和推断处理，对上述图1的图像编辑装置100或图9的图像编辑服务器101输入链接了表示这些处理结果的信息的图像。根据这样的图像，可以在使用链接信息简单地执行了脸部图像的检测处理之后，基于推断信息快速地决定补偿内容，能够高速化处理。
根据本发明，由于可以在检测拍摄对象的脸部图像、对该脸部图像决定了适当的补偿内容之后，进行图像补偿处理，因此，可以针对各个拍摄对象补偿脸部图像，使其鲜明且接近于实物映象。此外，由于可以适当地修正推断结果和补偿内容，因此，能够简单地进行按照各个人的期望的详细的补偿。
权利要求
1.一种图像编辑装置，包括图像输入装置，输入对人物进行摄影而得到的图像；脸部图像检测装置，检测包含在上述输入图像中的拍摄对象的脸部图像；推断装置，基于包括由上述脸部图像检测装置检测到的脸部图像的图像区域内的特征量，推断处理关于上述脸部图像的属性；决定装置，基于上述推断装置的推断结果，决定上述脸部图像的补偿处理内容；脸部图像补偿装置，对上述脸部图像执行根据上述决定装置所决定的内容的补偿处理；图像输出装置，输出由上述脸部图像补偿装置进行补偿处理后的图像。
2.如权利要求1所述的图像编辑装置，其特征在于，上述推断装置包括这样的装置，该装置执行相对于作为上述属性的至少人种、年龄、性别中的任意一种的推断。
3.如权利要求1或2所述的图像编辑装置，其特征在于，上述脸部图像检测装置包括这样的装置，该装置接受相对于上述脸部图像的检测结果的修正操作，修正上述脸部图像的检测结果。
4.如权利要求1至3中任意一项所述的图像编辑装置，其特征在于，上述推断装置包括这样的装置，该装置接受相对于上述推断结果的修正操作，修正上述推断结果。
5.如权利要求1至4中任意一项所述的图像编辑装置，其特征在于，上述脸部图像补偿装置包括这样的装置，该装置在补偿处理后接受补偿内容的修正操作，基于修正的内容执行上述脸部图像的再补偿，上述图像输出装置按照确定操作，输出该时刻的最新的补偿处理图像。
6.如权利要求1至5中任意一项所述的图像编辑装置，其特征在于，具有登录处理装置，在存储器中登录将由上述脸部图像检测装置检测到的脸部图像的特征量和脸部图像补偿装置执行的补偿处理内容建立对应的登录信息，上述脸部图像检测装置被设定为可以按照指定规定的登录信息的操作，通过使用了该被指定的登录信息中所包含的特征量的检索处理，从上述输入图像检测脸部图像，上述脸部图像补偿装置在通过上述检索处理检测到了脸部图像时，对该检测到的脸部图像，执行根据上述被指定的登录信息中所包含的补偿处理内容的补偿处理。
7.如权利要求1至6中任意一项所述的图像编辑装置，其特征在于，上述脸部图像检测装置在通过上述图像输入装置输入链接了表示拍摄对象脸部图像的位置的信息的图像时，基于该链接信息来检测脸部图像。
8.如权利要求1至7中任意一项所述的图像编辑装置，其特征在于，上述图像输出装置是印刷上述补偿处理后的图像的装置。
9.如权利要求1至8中任意一项所述的图像编辑装置，其特征在于，上述图像输入装置是这样的装置，即通过计算机网络接受处理对象的图像的发送，上述图像输出装置是印刷补偿后的图像的装置，或者是这样的装置，即通过上述计算机网络，向上述图像的发送地或由该发送地指定的配信目的地，发送上述补偿后的图像。
10.一种图像编辑装置，包括图像输入装置，输入对人物进行摄影而得到的图像；脸部图像检测装置，检测包含在上述输入图像中的拍摄对象的脸部图像；登录装置，针对规定数的拍摄对象保持有登录信息，所述登录信息将拍摄对象的脸部图像的特征量和该脸部图像的补偿所必要的信息，分别与上述拍摄对象所固有的识别信息对应；推断装置，将由上述脸部图像检测装置检测到的脸部图像的特征量，与上述登录装置的登录信息进行对照，推断上述拍摄对象；脸部图像补偿装置，使用由上述推断装置推断的拍摄对象的登录信息，执行上述检测到的脸部图像的补偿处理；图像输出装置，输出由上述脸部图像补偿装置补偿处理后的图像。
11.如权利要求10所述的图像编辑装置，其特征在于，上述脸部图像检测装置包括这样的装置，该装置接受相对于上述脸部图像的检测结果的修正操作，修正上述脸部图像的检测结果。
12.如权利要求10或11所述的图像编辑装置，其特征在于，上述推断装置包括这样的装置，该装置接受相对于上述推断结果的修正操作，修正上述推断结果。
13.如权利要求10至12中任意一项所述的图像编辑装置，其特征在于，上述脸部图像补偿装置包括这样的装置，该装置在补偿处理后接受补偿内容的修正操作，基于修正的内容执行上述脸部图像的再补偿，上述图像输出装置按照确定操作，输出该时刻的最新的补偿处理图像。
14.如权利要求10至13中任意一项所述的图像编辑装置，其特征在于，上述脸部图像检测装置在通过上述图像输入装置输入链接了表示拍摄对象脸部图像的位置的信息的图像时，基于该链接信息来检测脸部图像。
15.如权利要求10至14中任意一项所述的图像编辑装置，其特征在于，上述图像输出装置是印刷上述补偿处理后的图像的装置。
16.如权利要求10至15中任意一项所述的图像编辑装置，其特征在于，上述图像输入装置是这样的装置，即通过计算机网络接受处理对象的图像的发送，上述图像输出装置是印刷补偿后的图像的装置，或者是这样的装置，即通过上述计算机网络，向上述图像的发送地或由该发送地指定的配信目的地，发送上述补偿后的图像。
17.一种图像编辑装置，包括图像输入装置，输入对人物进行摄影而得到的图像；脸部图像检测装置，检测包含在上述输入图像中的拍摄对象的脸部图像；信息输入装置，用于针对上述拍摄对象，输入表示脸部图像的补偿处理内容的信息；脸部图像补偿装置，对由上述脸部图像检测装置检测到的脸部图像，执行根据基于由上述信息输入装置输入的信息的内容的补偿处理；图像输出装置，输出由上述脸部图像补偿装置补偿处理后的图像。
18.如权利要求17所述的图像编辑装置，其特征在于，具有登录处理装置，在存储器中登录将由上述脸部图像检测装置检测到的脸部图像的特征量和脸部图像补偿装置执行的补偿处理内容建立对应的登录信息，上述脸部图像检测装置被设定为可以按照指定规定的登录信息的操作，通过使用了该被指定的登录信息中所包含的特征量的检索处理，从上述输入图像检测脸部图像，上述脸部图像补偿装置在通过上述检索处理检测到了脸部图像时，对该检测到的脸部图像，执行根据上述被指定的登录信息中所包含的补偿处理内容的补偿处理。
19.如权利要求17或18所述的图像编辑装置，其特征在于，上述脸部图像检测装置在通过上述图像输入装置输入链接了表示拍摄对象脸部图像的位置的信息的图像时，基于该链接信息来检测脸部图像。
20.如权利要求17至19中任意一项所述的图像编辑装置，其特征在于，上述图像输出装置是印刷上述补偿处理后的图像的装置。
21.如权利要求17至20中任意一项所述的图像编辑装置，其特征在于，上述图像输入装置是这样的装置，即通过计算机网络接受处理对象的图像的发送，上述图像输出装置是印刷补偿后的图像的装置，或者是这样的装置，即通过上述计算机网络，向上述图像的发送地或由该发送地指定的配信目的地，发送上述补偿后的图像。
全文摘要
本发明涉及一种图像编辑装置，按照拍摄对象的人种、性别、年龄和个人爱好，进行适合于各拍摄对象的补偿处理。CPU(4)从扫描仪(2)或存储卡读出器(3)取入处理对象的图像，检测该图像中的脸部图像。另外，CPU(4)使用检测出的脸部图像的特征量，推断拍摄对象的人种、年龄、性别等，设定适合于该推断结果的补偿参数，进行脸部图像的肤色调整和逆光补偿处理。补偿处理后的图像输出至打印机(11)，印刷为照片。
文档编号G06T1/00GK1522048SQ20041000396
公开日2004年8月18日 申请日期2004年2月12日 优先权日2003年2月12日
发明者劳世红 申请人:欧姆龙株式会社