专利名称：信息处理设备和信息处理方法
技术领域：
本发明一般涉及信息处理设备和信息处理方法，尤其涉及对由数字照相机、数字摄像机等记录的图像进行分类的技术。
背景技术：
在个人计算机或电视机上观看由数字照相机(下文称为DSC)或数字摄像机(下文称为DVC)记录的图像已成为流行的。
日本专利待审公开No.2001-357067披露了一种图像搜索方法，用于在这些图像中搜索含有人或特定人的图像作为对象、将它们分类、产生含有人的图像的集合或含有特定人的图像的集合，并把该集合邮寄给这些人。
不过，作为按照特定人对多个图像分类的结果，存在不是以对图像分类的用户预期的方式分类图像的可能性。例如，这样分类的图像可能包括(1)其中含有特定人的图像，但用户觉得该人的面部表情不太好，以及(2)其中含有特定人的图像，但其中还含描绘了不认识的人。
在这种情况下，在图像被分类之后，用户需要在显示图像内容的同时检查和校正分类结果。这对用户而言是一个麻烦的工作。
发明内容
本发明便是考虑到上述问题作出的，其目的在于当许多图像要被分类时减少用户的校正负担。
为了解决上述问题和实现上述目的，按照本发明的第一方面，提供一种信息处理设备，其辨别在第一图像中包含的对象，并对于每个对象把第一图像分类到多个分类目的地，其特征在于包括显示装置，用于显示表示分类目的地的第一图像和第二图像，辨别装置，用于从第一图像中辨别对象，分类目的地确定装置，用于根据由辨别装置获得的辨别结果，确定第一图像要被分类到多个分类目的地的哪一个，以及显示控制装置，用于控制所述显示装置在其窗口上显示将第一图像移动到对应于由分类目的地确定装置确定的分类目的地的第二图像的位置的处理。
按照本发明的第二方面，提供一种信息处理方法，用于辨别在第一图像中包含的对象，并对于每个对象，把第一图像分类到多个分类目的地，其特征在于包括辨别步骤，用于从第一图像中辨别对象，分类目的地确定步骤，用于根据在辨别步骤中获得的辨别结果，确定第一图像要被分类到多个分类目的地的哪一个，以及显示控制步骤，用于在窗口上显示把第一图像移动到对应于由分类目的地确定步骤所确定的分类目的地的第二图像的位置的处理。
由下面结合附图进行的示例的实施例的说明，可以清楚地看出本发明的其它特征。
图1是表示按照本发明的一个实施例的信息处理设备的方块图；图2是表示按照本发明的该实施例的信息处理设备的遥控器的图；图3A是表示图像列表显示的例子的图；图3B是表示图像显示的例子的图；图3C是表示功能菜单显示的例子的图；图3D是表示功能菜单显示的例子的图；图3E是表示人选择列表显示的例子的图；图4是表示由人特征登记功能进行的处理操作的例子的流程图；图5是表示图像分类操作的例子的流程图；图6是表示人辨别操作的例子的流程图；图7A是表示在图像分类操作的开始要显示的窗口的例子的图；
图7B是示意地表示在图像分类时进行的动画显示的例子的图；图7C是示意地表示在图像分类时进行的动画显示的例子的图；图8A是示意地表示在图像分类时进行的动画显示的例子的图；图8B是示意地表示当在图像分类时由用户改变分类目的地时动画显示的例子的图；图9是表示图像分类操作的例子的流程图；图10是表示图像分类操作的例子的流程图；图11是表示分类目标图像的例子的图；图12是示意地表示在图像分类时进行的动画显示的例子的图；图13是示意地表示在动画显示期间的显示效果的例子的图；图14是示意地表示在动画显示期间的显示效果的例子的图；图15是表示在图像分类操作开始时要显示的窗口的例子的图；以及图16是表示在图像分类操作开始时要显示的窗口的例子的图。
具体实施例方式
下面结合附图详细说明本发明的优选实施例。
<第一实施例>
图1是表示按照本发明的第一实施例的信息处理设备的结构的方块图。
参见图1，信息处理设备100具有电视观看功能，通过天线101接收数字广播信号，并在图像显示单元110上显示和用户通过遥控器117利用指令选择的频道相关的视频、节目信息等等。此外，通过音频控制单元105向音频输出单元106输出音频数据。
信息处理设备100还包括获取和积累图像组的功能，所述图像组包括来自作为图像输入装置118被连接的DSC(数字照相机)、DVC(数字摄像机)、存储卡等的静止图像和运动图像。此外，该设备包括在图像显示单元110上显示这些图像的功能。
图2是表示信息处理设备100的遥控器117的例子的图。不过注意，图2只表示用于进行为说明本实施例所需的操作的键。
参见图2，附图标记201表示用于在遥控器117和接收单元116之间进行红外通信的传输单元；202是用于接通/断开信息处理设备100的电源的“电源”键；203是“菜单”键，用于显示用户可以选择的信息处理设备100的功能的功能项；204是“光标和确定”键，具有位于上、下、左、右键的中心的确定键，205是“电视”键，用于把信息处理设备100设置在电视观看状态；206是“观看器”键，用于显示和擦除后面要说明的图像列表显示窗口；207是“返回”键，主要用于使窗口显示状态返回到先前的状态；208是“数字”键座，其上以矩阵形式排列着数字1到12；209是4个“颜色”键，其上排列着主要用于电视数据广播操作的颜色“蓝”、“红”、“绿”和“黄”；210是“回放控制”键，主要用于对运动图像的显示控制，并用于运动图像的“停止”、“暂停”、“回倒”、“回放”和“快进”。
用户可以通过操作上述各个键来确定信息处理设备100的操作。
(信息处理设备电视观看功能)参见图1，由天线101接收的信号被输入到调谐器单元102。调谐器单元102通过对输入信号进行例如解调和纠错处理产生所谓的“传输流(TS)”形式的数字数据，并把数据输出到多路信号分离器103。TS包含呈时分多路形式的对应于多个频道的视频和音频数据、电子节目指南(EPG)数据、数据广播的数据等等。
多路信号分离器103从输入TS中提取视频数据和音频数据，并把它们输出到视频/音频解码单元104。多路信号分离器103还从输入TS中提取EPG数据和数据广播的数据，并把它们输出到广播数据处理单元119。
由视频/音频解码单元104处理的视频数据通过显示控制单元109在图像显示单元110上被显示。音频数据被输出到音频控制单元105，并作为音频从音频输出单元106输出。
由广播数据处理单元119处理的EPG数据和数据广播的数据通过显示控制单元109被在图像显示单元110上显示。
(信息处理设备图像显示功能)信息处理设备100具有在图像显示单元110上显示来自相连的图像输入装置118和积累单元113的图像的功能。下面说明来自图像输入装置118的图像被显示的情况。
图3A是表示使用图像显示功能在图像显示单元110上显示的图像列表的例子的图。图3B是表示按照来自用户的选择指令，从图3A的图像列表中选择的并被显示的图像的显示的例子的图。
图像输入单元107是用于把来自图像输入装置118的图像捕获送入信息处理设备100的接口。图像输入单元107可以根据图像输入装置108的类型采取不同的形式。例如，如果图像输入装置118是DSC，则图像输入单元107是USB或无线LAN。如果图像输入装置118是DVC，则图像输入单元107是USB、IEEE1394或无线LAN。如果图像输入装置118是存储卡，则图像输入单元107是PCMCIA接口或对于该存储卡唯一的接口。图像输入单元107在检测到图像输入装置118被连接时向控制单元112输出连接检测事件。
在检测到装置连接检测事件时，控制单元112获得在图像输入装置118中的图像的总的计数信息，并将其存储在暂时存储单元115中。然后，暂时存储单元115获得第一图像数据，提取在该数据中包含的略缩图像，并通过使用图像解码单元108进行JPEG解码处理(译码)。如果在图像数据中不包含略缩图像，则控制单元112解码并缩小图像数据本身以产生略缩图像。
接着，控制单元112向显示控制单元109发送显示数据，连同显示位置以及显示尺寸的指示，借以显示略缩图像。类似地，控制单元112重复地处理第二图像、第三图像、...、并显示图3A所示的图像列表。
图3A表示来自图像输入装置118的图像中的12个图像作为4行×3列的矩阵的列表被显示的状态。
参见图3A，附图标记301表示用户用来从图像列表中选择所需的图像的选择光标。用户可以利用遥控器117上的“光标和确定”键204中的上、下、左、右键移动光标301。
当用户按压确定键时，控制单元112便通过显示控制单元109在图像显示单元110上显示光标301位于其上的图像，如图3B所示。在这种情况下，图像解码单元108对选择的图像数据进行JPEG解码(译码)。此后，控制单元112向显示控制单元109发送显示数据，连同显示位置以及显示尺寸的指示，借以显示该图像。
(信息处理设备人特征登记功能)信息处理设备100具有人特征登记功能，用于从图像中作为对象检测人的面部，并和用户输入的人的姓名等相关联地存储该面部特征信息。
下面参照
人特征登记功能。
在图3B所示的显示状态下，当用户按压遥控器117的“菜单”键203时，则显示含有用于开始人特征登记功能的选择项的功能选择菜单302。图3C表示这种显示的例子。在图3C所示的显示状态下，用户通过使用遥控器117的“光标和确定”键204，选择“登记”作为用于开始人特征登记功能的选项。
在收到来自用户的选择信息时，控制单元112便开始以下操作作为对象检测人的面部，并和图像解码单元108、面部识别处理单元114等协同操作，与人的姓名等相关联地存储被检测的面部的面部特征信息。
图4是表示这个操作的过程的流程图。
(S401操作开始)控制单元112开始操作。
(S402解码数据的获取)控制单元112从图像解码单元108获取当前显示的图像的解码数据，并把该数据传送给面部识别处理单元114。
(S403面部检测处理)面部识别处理单元114对在接收的数据中包含的人进行面部检测操作。作为面部检测操作的例子，该操作由以下的参考文献中披露的方法进行“Laurenz Wiskott，Jean-Marc Fellous，Norbert Kruger，andChristoph von der Malsburg，“Face Recognition by Elastic BunchGraph Matching”IEEE Trans.on Pattern Analysis and MachineIntelligence，vol.19，no.7，pp.775-779，1997”首先，对于图像数据进行小波变换，以检测面部图像的轮廓。即，把包括少量节点的面部图形施加到图像数据，进行小波变换以检测面部区域(表示面部特征的图形)。此外，面部识别处理单元114根据检测的面部区域校正尺寸和倾斜度，并通过使用小波变换产生包括大量的含有构成面部的器官(例如眼睛、嘴等)的位置的节点的面部图形(下文被称为“面部特征信息”)。
(S404面部检测结果的辨别)根据面部检测处理结果，控制单元112根据是否存在面部区域执行处理的分支。面部检测处理结果包括被检测的面部的计数信息。如果面部区域存在，则处理移动到步骤S405。如果面部区域不存在，则处理移动到步骤S408。
(S405面部特征信息的获取)控制单元112从面部识别处理单元114获得面部特征信息。
(S406人的姓名的输入)控制单元112在图像显示单元110上显示软键盘窗口，其允许用户使用遥控器117输入字符。
通过在观看软键盘窗口的同时使用遥控器117的“光标和确定”键204，用户输入要和在先前步中获取的面部特征信息相关联的人名。例如，如果显示的图像是作为对象的用户自己的图像，如图3B所示，则用户可以输入“我”或其名字。如果显示的图像是用户的熟人，则用户可以输入该熟人的名字或昵称。
(S407面部特征信息的存储)控制单元112与用于个人识别的个人ID信息以及在积累单元113中的人名信息相关联地存储面部特征信息。个人ID信息是在信息处理设备100中的唯一的数字。这种信息片按照它们被存储的顺序来提供。
(S408操作的结束)控制单元112结束人特征识别功能的操作。
对于作为对象的不同人的图像的每个图像，通过执行上述的人特征登记功能，可以预先在信息处理设备100中登记多个人的面部特征信息片。
(信息处理设备图像分类功能)信息处理设备100具有在显示用于对作为对象的各个人的图像进行分类处理的同时，对在图像输入装置118中的多个图像进行分类的功能。本实施例被这样配置，使得当显示分类处理时，借助于动画(运动图像)显示向对应的分类目的地传送作为分类目标的(运动)图像的方式。
下面参照
本实施例的图像分类功能。
例如，如果用户在图3A所示的显示状态下按压遥控器117的“菜单”键203，则显示包括用于开始图像分类功能的选项的功能选择菜单303。
图3D表示这种显示的例子。在图3D的显示状态下，用户通过使用遥控器117的“光标和确定”键204，选择“分类”作为用于开始图像分类功能的选项。当用户选择“分类”时，便显示允许用户任意选择要对其进行分类的人的人选择列表。
图3E表示这种显示的例子。人列表304显示由上述人特征登记功能输入的人的姓名。当用户通过使用遥控器117的“光标和确定”键204完成从人列表304中选择所需人时，信息处理设备100便开始图像的分类操作。
在下面的说明中，假定从人列表304中选择了名字为“我”、“A”和“B”的3个人。
图5是表示控制单元112和图像解码单元108、面部识别处理单元114等协同操作执行的图像分类操作的过程的流程图。
图6是表示控制单元112和图像解码单元108、面部识别处理单元114等协同操作执行的对于对象的人辨别操作的过程的流程图。
图7A表示当图像分类操作开始时要显示的窗口的例子。
首先说明图5中图像分类操作的过程。
(S501操作开始)首先，控制单元112开始对于一个图像的图像分类操作。当这个操作开始时，便显示象图7A所示的窗口。
参见图7A，附图标记701表示要被分类的图像；附图标记702-705表示图像的分类目的地。附图标记702、703和704分别表示包含作为从人列表304选择的对象“我”、“A”和“B”的图像的分类目的地；705表示与从人列表304选择的那些不同的人的图像或者被确定在其上没有描绘人的图像的分类目的地。注意，分类目的地702-705在显示器上是彩色的。在本实施例中，目的文件组702-705分别为“蓝”、“红”、“绿”和“黄”色。
(S502图像数据的获取)控制单元112获取分类目标图像701的图像数据，并将其传送到图像解码单元108。
(S503图像数据解码)图像解码单元108对接收的图像数据执行JPEG解码处理(译码)。
(S504获得解码的数据)控制单元112从图像解码单元108获取解码的数据。
(S505面部检测处理)通过和在图4的步骤S403所述的相同的处理，从图像中检测人的面部。
(S506面部检测结果的辨别)根据面部检测处理结果，控制单元112根据是否存在面部区域执行处理的分支。面部检测处理结果包括检测的面部的计数信息。如果存在面部区域，则处理移动到步骤S507。如果没有面部区域，则处理移动到步骤S511。
(S507被检测的面部的计数信息的暂时存储)控制单元112在暂时存储单元115中暂时存储作为面部检测处理结果的被检测的面部的数量。
(S508变量初始值的设置)控制单元112把变量K设置为“1”，表示一个序列的开头，该变量K表示和在先前步骤中暂时存储的面部的数量对应的处理顺序。
(S509面部特征信息的获取)控制单元112从面部识别处理单元114获取面部特征信息。
(S510个人辨别)控制单元112根据从面部识别处理单元114获取的面部特征信息和由人特征登记功能在积累单元113中存储的面部特征信息，执行个人辨别处理。该处理的过程将参照图6进行说明。
(S601操作开始)控制单元112开始个人辨别处理中的操作。
(S602对变量初始值的设置)控制单元112把变量N设置为“1”，表示一个序列的开头，变量N表示个人辨别处理的处理顺序。在本实施例中，因为选择了3个人即“我”、“A”和“B”作为图像分类目的地，所以N的最大值是3。此外，根据由人特征登记功能分配的个人ID信息确定处理顺序。假定在本实施例中，N＝1，N＝2和N＝3分别表示“我”、“A”和“B ”的处理顺序。
(S603读取面部特征信息)控制单元112从积累单元113获取对应于变量N的人的面部特征信息。在本实施例的说明中，控制单元112首先读取“我”的面部特征区域信息。
(S604面部特征信息比较)控制单元112比较从面部识别处理单元114获得的面部特征信息和从积累单元113读取的面部特征信息。如果面部特征信息比较结果表示差值等于或小于一个阈值，则控制单元112确定一个特定的人可被识别。如果差值等于或大于该阈值，则控制单元112确定没有特定的人可被识别。
(S605是否完成辨别处理的判别)控制单元112判别是否所有的面部特征信息片已全部被相互比较。如果完成了所述比较，则处理移动到步骤S07。如果所述比较未完成，则处理移动到步骤S606。在本实施例中，当“我”、“A”和“B”的特征信息片被全部相互比较时，则处理移动到步骤S607。
(S606变量N的递增)控制单元112使表示处理顺序的变量N加“1”。
(S607操作结束)控制单元112结束个人辨别处理中的操作。
如果通过在步骤S601-S607的上述操作完成了在步骤S510中的个人辨别处理，则处理返回图5中的步骤S511。
(S511是否完成个人辨别处理的判别)控制单元112判别是否完成了对应于在先前的步骤中暂时存储的面部的数量的个人辨别处理。如果尚未完成，则处理移动到步骤S512。如果完成了处理，则处理移动到步骤S513。
(S512变量K的递增)控制单元112使表示处理顺序的变量K加1。
(S513传送方向的确定)控制单元112根据个人辨别处理结果确定分类目的地和图像的传送方向。个人辨别处理结果包括表示是否能够辨别特定人的信息以及可被辨别的人的个人ID信息。
例如，如果判别在图7A中的分类目标图像701是作为对象的“A”的图像，则确定该图像要朝向“A”的分类目的地703的方向被传送(移动)。
类似地，如果分类目标图像是作为对象的“我”的图像，则确定该图像要被传送(移动)到“我”的分类目的地702。如果分类目标图像是作为对象的“B”的图像，则确定该图像要被传送(移动)到“B”的分类目的地704。
如果分类目标图像是不同于“我”、“A”和“B”的图像的图像或是其中未描绘人物的图像，则确定该图像要被传送(移动)到“其它”的分类目的地705。
如果分类目标图像701是包括作为对象的多个人的图像，例如，包括作为对象的“A”和“B”的图像，则确定该图像要被传送到“A”的分类目的地703和“B ”的分类目的地704两者。这也适用于3个或更多的人作为对象的情况。
(S514传送显示处理)控制单元112向显示控制单元109发送分类目标图像701的略缩图像的显示数据，连同显示位置以及显示尺寸的指定，并借助于动画(运动图像)显示分类目标图像向其分类目的地传送(运动)的方式。
图7B示意地表示这种动画显示的例子。
参见图7B，附图标记706A表示在时刻t1分类目标图像701的显示位置；附图标记706B表示在时刻t2分类目标图像701的显示位置；附图标记706C表示在时刻t3分类目标图像701的显示位置；附图标记706D表示在时刻t4分类目标图像701的显示位置；附图标记709是示意地表示图像的传送(运动)方向的箭头，其实际上不在窗口上显示。
控制单元112随着时间的推移控制显示控制单元109，以在时刻t1在位置706A显示分类目标图像。在时刻t2，控制单元112进行控制，以擦除在位置706A的显示，并在位置706B显示图像。重复上述显示控制，直到图像到达分类目的地703，这使得能够通过动画显示把分类目标图像传送(移动)到其分类目的地的方式。
为了便于说明，图7B示例了分类目标图像的4个显示位置706A-706D。实际上，如果更精细地进行显示传送，可以借助于动画向用户显示平滑地传送图像的方式。
图7C示意地表示当分类目标图像包括两个对象即“A”和“B”时的动画显示。
控制单元112随着时间的推移进行控制，使得在时刻t1在位置707A和708A在显示控制单元109上显示分类目标图像。在时刻t2，控制单元112进行控制，以擦除在位置707A和708A的显示，并在位置707B和708B显示图像。重复上述的显示控制，直到图像到达分类目的地703和704，这使得能够借助于动画显示把分类目标图像传送到其分类目的地的方式。
(S515图像数据的存储)控制单元112把已经到达分类目的地的图像的数据存储在用于各个分类目的地的积累单元113中辨别的积累区域中。
(S516操作的结束)控制单元112结束用于一个图像的图像分类操作。
控制单元112通过对于随后的分类目标重复地执行图5和图6的操作处理，可以分类并存储图像输入装置118中的各个人的所有图像。
(信息处理设备图像分类目的地改变功能)信息处理设备100还具有图像分类目的地改变功能，用于根据用户通过遥控器117发出的操作指令，在上述的图像分类功能中的分类目标图像的传送显示处理期间，改变分类目的地。
本实施例将示例地说明改变分类目的地的方法，其中借助于利用遥控器117的“颜色”键209，指定在改变前后的分类目的地。
图8A示意地表示在传送显示处理期间，在时刻t5分类目标图像801的显示位置802A。附图标记803表示一个箭头，其示意地表示图像的传送方向，但是实际上并不在窗口上显示。
当用户在图8A的显示状态下按压遥控器117的“颜色”键209时，控制单元112通过接收单元116接收相应的操作指令。
控制单元112还辨别被按压的“颜色”键的颜色，即按压了“蓝”、“红”、“绿”和“黄”键中的哪个键，并首先识别在改变之前的分类目的地。控制单元112识别在改变之前的分类目的地，使得分类目的地的显示颜色与按压的“颜色”键的颜色相匹配。
当用户再次按压遥控器117的“颜色”键209时，控制单元112通过接收单元116接收相应的操作指令。
此外，控制单元112辨别按压“颜色”键，并识别在改变之后的分类目的地。控制单元112识别在改变之后的分类目的地，使得分类目的地的显示颜色与按压“颜色”键的颜色相匹配。
例如，图8B示意地表示当用户顺序地按压绿色和黄色“颜色”键时的动画显示。附图标记802B表示在时刻t6的显示位置；802C表示在时刻t7的显示位置，804表示一个箭头，其示意地表示图像的传送方向的改变，但该箭头实际上并不在窗口上显示。
因为控制单元112检测到在时刻t5绿色和黄色“颜色”键被按下，所以控制单元112便确定分类目的地要从分类目的地704改变为分类目的地705。然后控制单元112随着时间的推移控制显示控制单元109，以擦除在位置802A的显示，并在时刻t6在位置802B显示图像。在时刻t7，控制单元112进行控制，以擦除在位置802B的显示，并在位置802C显示分类目标图像。重复上述的显示控制，直到图像到达分类目的地705，这使得能够通过动画显示把图像传送到改变的分类目的地的方式。
同样，当顺序地按压绿色和蓝色“颜色”键时，便确定分类目的地被改变到分类目的地702。这个操作也可以通过动画显示。当顺序地按压绿色和红色“颜色”键时，便确定分类目的地要改变为分类目的地703。这个操作也可以通过动画显示。
(效果)如上所述，根据由人特征登记功能登记的面部特征信息，通过图像分类功能辨别作为分类目标图像的对象的人，并把这些图像针对各个人分类。通过动画显示这个处理使得用户能够把分类目的地改变为所希望的分类目的地，并在显示期间在检查分类目标图像中的作为对象的人的面部表情的同时利用简单的操作对图像分类。因此使得不必手动地校正分类结果，并且减少用户的校正负担。
当按压遥控器117的“回放控制”键210的“暂停”键时，控制单元112通过暂时停止对显示控制单元109的显示控制来暂时停止动画显示。当再次按压“暂停”键时，控制单元112通过恢复对显示控制单元109的显示控制来恢复动画显示。按照这些控制操作，可以任意地调整用于检查分类目标图像的内容所花的时间，从而使本实施例的效率更高。
<第二实施例>
下面参照
本发明的第二实施例。
应用了第二实施例的图像显示设备的结构和图1所示的第一实施例的相同。
除了第二实施例还包括根据在分类目标图像中检测到的面部数量确定分类目标图像被传送到其分类目的地的传送速度的处理之外，第二实施例和第一实施例等效。假定在下面的说明中，在第二实施例中的传送速度是在一秒内图像被传送的像素数。
下面说明第二实施例的图像分类功能。
(信息处理设备图像分类功能)图9是表示由控制单元112和图像解码单元108、面部识别处理单元114等协同操作执行的图像分类操作的序列的流程图。
下面参照图9说明图像分类操作的过程。
因为在步骤S901-S913的处理和图5中的步骤S501-S513的处理相同，故省略它们的说明。
(S914传送速度的确定)控制单元112根据作为面部检测处理结果的、分类目标图像的面部检测计数信息，确定分类目标图像被传送到分类目的地的传送速度。
例如，参照当在分类目标图像中检测到的面部数量为1时设置的传送速度，按照下面给出的公式(1)确定传送速度(每秒P个像素)至分类目的地的传送速度＝P/在分类目标图像中检测到的面部数量 (1)按照公式(1)，当分类目标图像含有大量的检测到的面部时，传送速度可能被减小。即使在分类目标图像中包含许多人的情况下，这也允许用户彻底检查每个人的面部表情以及在分类目标图像中是否包含任何未知的人。
在步骤S915-S917的处理和图5的步骤S514-S516的相同，因而省略其说明。
本实施例示例地说明了按照公式(1)确定传送速度的情况。不过，这个实施例可被这样配置，使得通过另一个数学表达确定传送速度，或者参照使检测到的面部数量与传送速度相关的表信息来确定传送速度。
(效果)如上所述，根据由人特征登记功能登记的面部特征信息，通过图像分类功能对每个人辨别并分类作为分类目标图像的对象的人。当这个处理要通过动画显示时，根据在分类目标图像中检测到的面部数量确定图像传送速度。
即使在分类目标图像中包含许多人，这也使得用户可在动画显示期间彻底地检查每个人的面部表情以及在分类目标图像中是否包含任何未知的人。此外，在动画显示期间，可通过简单的用户操作，把给定的图像的分类目的地改变为所需的分类目的地。因此，这使得不必手动地校正分类结果，因而减轻了用户的校正负担。
<第三实施例>
下面参照
本发明的第三实施例。
应用了第三实施例的图像显示设备的结构和图1所示的第一实施例的相同。
第三实施例示例地说明根据匹配等级确定分类目标图像被传送到分类目的地的速度的处理，所述匹配等级表示作为分类目标图像的对象的人的面部特征信息与由人特征登记功能登记的面部特征信息在多大程度上相匹配。
在第三实施例中设置有4个匹配等级，即0级到3级，0级表示没有特定的人可被识别。在表示人可被识别的等级当中，1级对应于最低的匹配等级，3级对应于最高的匹配等级。
下面参照图9说明第三实施例中的图像分类功能的操作。
(信息处理设备图像分类功能)在步骤S901-S913的处理和图5的步骤S501-S513的处理相同，因而省略其说明。
(S914传送速度的确定)控制单元112根据作为面部检测处理的结果的分类目标图像的面部检测计数信息以作为个人辨别处理的结果的每个面部的匹配等级，确定至分类目的地的传送速度。
首先，控制单元112确定每个检测的面部的匹配等级。
根据作为参照图6的步骤S604所述的面部特征信息比较的结果而获得的差异来确定匹配等级。等于或小于阈值的差异被分成3个等级。差异越小，匹配等级越高。假定当作为特征信息比较的结果而获得的差异等于或大于阈值时，确定为0级(个人辨别失败)。
此外，对于每个匹配等级指定用于确定传送速度的系数(匹配等级系数)。在这个实施例中，0级对应于系数＝0；1级，系数＝1；2级，系数＝2；3级，系数＝3。
然后参照当在分类目标图像中检测到的面部的数量是1时设置的传送速度，按照公式(2)确定传送速度(每秒P个像素) 其中n是检测到的面部的数量，K是在图9中的步骤S908中指示处理顺序的变量，CK是对其进行个人辨别处理的第K个面部的匹配等级系数。
按照公式(2)，当检测到的面部的数量增加并且匹配等级减小时，可以减小分类目标图像的传送速度。即使在分类目标图像中包含许多人，这也允许用户彻底地检查每个人的面部表情以及在分类目标图像中是否包含任何未知的人。
步骤S915-S917的处理和图5的步骤S514-S516的相同，因而省略其说明。
本实施例示例地说明了根据公式(2)确定传送速度的情况。不过，本实施例可被配置成通过使用另一个数学表达式并参照使得检测到的面部的数量以及匹配等级的组合与传送速度相关联的表信息来确定传送速度。
在本实施例中，准备了4个匹配等级。不过，本实施例可被配置成具有更多的等级。在这种情况下，可以进行更细的传送速度控制。
(效果)如上所述，根据由人特征登记功能登记的面部特征信息，通过图像分类功能辨别作为分类目标图像的对象的人，并且对于每个人进行分类。当这个处理要通过动画进行显示时，根据在分类目标图像中检测到的面部的数量，以及对于每个面部的匹配等级，确定图像传送速度。
即使在分类目标图像中包含许多人，这也允许用户彻底地检查每个人的面部表情以及在分类目标图像中是否包含任何未知的人。此外，在动画显示期间，通过简单的用户操作，可以把给定图像的分类目的地改变为希望的分类目的地。因此，这使得不必手动地校正分类结果，因而减轻了用户的校正负担。
<第四实施例>
下面参照
本发明的第四实施例。
应用了第四实施例的图像显示设备的结构和图1所示的第一实施例相同。
第四实施例示例地说明根据匹配等级确定分类目标图像被传送到多个分类目的地的顺序的配置，所述匹配等级表示作为分类目标图像的对象的人的面部特征信息是否与由人特征登记功能登记的人的面部特征信息相匹配。
在本实施例中的匹配等级和第三实施例的相同。
下面说明在第四实施例中的图像分类功能。
(信息处理设备图像分类功能)图10是表示由控制单元112和图像解码单元108、面部识别处理单元114等协同操作执行的图像分类操作的过程的流程图。
下面说明图10的图像分类操作的过程。
在步骤S1001-S1012的处理和图5的步骤S501-S512的处理相同，因而省略其说明。
(S1013传送顺序的确定)控制单元112根据作为面部检测处理的结果的、分类目标图像的面部检测计数信息以及作为个人辨别处理的结果的每个面部的匹配等级，确定至分类目的地的传送顺序。
首先，控制单元112确定检测到的每个面部的匹配等级。
匹配等级通过作为参照图6的步骤S604描述的面部特征信息的结果而获得的差异被确定。等于或小于阈值的差异被分成3个等级。差异越小，匹配等级越高。假定当作为特征信息比较的结果而获得的差异等于或大于该阈值时，确定为0级(个人辨别失败)。
如果分类目标图像包括两个或更多的面部，则控制单元112确定图像要被传送到多个分类目的地的顺序。
图11表示其中包含作为对象的两个人“A”和“B”的图像的例子。
首先，如果由附图标记1101表示的“A”的面部的匹配等级是3级，由附图标记1102表示的“B”的面部的匹配等级是1，则按照下述确定传送顺序。这样确定顺序，使得图像首先被传送到具有高的匹配等级的“A”的分类目的地，然后被传送到具有低的匹配等级的“B”的分类目的地。
与此相反，如果“A”的面部的匹配等级是1级，由附图标记1102表示的“B”的面部的匹配等级是3级，则按照下述确定传送顺序。这样确定顺序，使得图像首先被传送到具有高的匹配等级的“B”的分类目的地，然后传送到具有低的匹配等级的“A”的分类目的地。
如果“A”和“B”的面部的匹配等级相等，则这样确定顺序，使得图像被传送到首先被进行个人辨别处理的人的分类目的地。
即使检测到3个或更多的面部，也按照上述的方式通过比较各个面部的匹配等级来确定顺序。
(S1014传送显示处理)在确定顺序之后，通过动画显示把分类目标图像传送到其分类目的地的方式。
图12是表示动画显示的例子，其中这样确定顺序，使得图像首先被传送到具有高的匹配等级的“A”的分类目的地，然后被传送到具有低的匹配等级的“B”的分类目的地。
参见图12，附图标记1201表示作为分类目标的图像；1202A表示分类目标图像1201在时刻t12的显示位置；1202B表示图像在时刻t13的显示位置。同样，附图标记1202C-1202F表示图像在时刻t14-t17的显示位置。
控制单元112随着时间的推移控制显示控制单元109，使得在时刻t12在位置1202A显示分类目标图像。在时刻t13，控制单元112进行控制使得擦除在位置1202A的显示，并在位置1202B显示图像。控制单元112重复上述的显示控制，直到图像到达分类目的地703。在时刻t13，控制单元112执行控制，使得在位置1202E显示图像。接着，控制单元112重复相同的显示控制，直到图像到达分类目的地704。
在第四实施例中，当图像到达每个分类目的地时，图像数据便被存储在积累单元113中的积累区域中。如果用户不想存储分类目标图像，其可以通过使用上面的实施例中所述的图像分类目的地改变功能来改变分类目的地。或者，当图像到达每个分类目的地时，用户可以按压遥控器117的“返回”键207，以禁止图像被积累。
(效果)如上所述，根据由人特征登记功能登记的面部特征信息，通过图像分类功能辨别作为分类目标图像的对象的人，并且对每个人进行分类。当这个处理要通过动画显示时，根据在分类目标图像中检测到的面部的数量和用于每个面部的匹配等级来确定至多个分类目的地的传送顺序。
即使在分类目标图像中包含许多人，这也允许用户在动画显示期间彻底地检查每个人的面部表情以及在分类目标图像中是否包含任何未知的人。此外，在动画显示期间，通过简单的用户操作，可以把给定图像的分类目的地改变为希望的分类目的地。因此，这使得不必手动地校正分类结果，因而减轻了用户的校正负担。
<第五实施例>
下面参照
本发明的第五实施例。
图13示意地表示在动画显示期间通过图像分类功能实现的显示效果的例子。
参见图13，附图标记1301表示作为分类目标的图像；1303表示在传送显示期间在时刻t18分类目标图像1301的显示位置。附图标记1302表示这样一种状态，其中分类目标图像1301中的面部区域部分通过被包围而被加亮和显示，所述面部区域部分通过上面的实施例中描述的面部检测处理和个人辨别处理被辨别为特定的个人。附图标记1304表示这样一种状态，其中通过把“A”的面部图像重叠在分类目的地的显示上而加亮和显示包括作为对象的“A”的图像的分类目的地。
例如显示1302的这种加亮以及例如显示1304的这种加亮作为显示效果被添加到动画显示上。这些显示效果使得能够以易于理解的方式对用户显示图像分类的理由，即在图像中检测到的特定人，基于该人进行分类。
在本实施例中，由标号1302表示的加亮是圆圈。不过，可以使用能够包围面部区域部分的任何形状，例如矩形。
此外，由标号1302表示的加亮在传送显示期间可被重叠在图像1303上。
<第六实施例>
下面参照
本发明的第六实施例。
图14示意地表示在通过图像分类功能实现的动画显示期间的显示效果的例子。
参见图14，标号1401表示作为分类目标的图像。标号1402表示一种状态，其中在分类目标图像1401中的面部区域部分借助于用矩形包围而被加亮和显示，所述面部区域部分通过上面的实施例中描述的面部检测处理和个人辨别处理被辨别为特定的个人。标号1403表示一种状态，其中在给定的时刻，分类目标图像1401的面部区域部分，即对应于标号1402的区域，被放大和显示。标号1404示意地表示一种状态，其中分类目标图像1401的面部区域部分被放大并被在显示位置1403显示，以及在被减小的同时在分类目的地703被显示。不过，这种状态实际上不在窗口上显示。
控制单元112在执行分类目标图像1401的传送显示的处理中剪辑(clip)分类目标图像1401的面部区域部分1402的数据。控制单元112然后和剪辑的数据一道向显示控制单元109发送显示位置和显示尺寸的指定，借以显示图像。在这种情况下，控制单元112这样指定显示位置和显示尺寸，使得在随着时间的推移将其放大的同时在显示位置1403显示图像，并且在把其尺寸减小到原始尺寸的同时在位置703显示图像。
这种由标号1404表示的加亮和放大的/减小的显示作为显示效果被添加到动画显示。这些显示效果使得能够以易于理解的方式对用户显示图像分类的理由，即在图像中检测到的特定人，基于该人进行分类。
当图像在随着时间的推移被放大的同时要被显示时，可以根据上面的实施例中的匹配等级确定放大率。
<其它实施例>
本发明的上面的实施例已经示例地说明了当图像要通过图像分类功能分类时用户从人选择列表中选择3个人的情况。不过，人的数量不限于此。即使用户选择两个或四个或更多的人，也可以进行分类。
图15表示当用户选择两个人时在图像分类操作开始时要被显示的窗口的例子。
图16表示当用户选择5个人时在图像分类操作开始时要显示的窗口的例子。
信息处理设备100可以按照分类目的地的数量确定多个分类目的地的布置。在这种情况下，优选地，所述布置被这样确定，使得分类目标图像和各个分类目的地的布置位置之间的距离彼此相等。
此外，信息处理设备100可被配置成当图像输入装置118被连接或者图像分类功能被用户启动时自动地进行对于图像中的对象的个人辨别处理，借以向用户呈现可被分类的人并开始分类操作。
按照上面的实施例的说明，通过使用遥控器117的“颜色”键209改变图像的分类目的地。不过，也可以使用“数字”键座208改变分类目的地。
此外，在上述实施例中，作为面部特征信息比较结果之间的差异的阈值可以通过用户的操作而被改变。
本发明的目的还可以通过使用硬件电路或者借助于使用计算机的软件处理来实现附图中所示的功能块和操作的任何部分来达到。
虽然上述的实施例示例地说明了通过使用面部识别技术进行图像分类的情况，但本发明不限于此。例如，可以识别与人的面部不同的对象，并且可以针对各个对象对图像进行分类。
本发明包括这样的情况，其中用于实现上述实施例的功能的软件的程序被直接地或远程地提供给系统或设备，使该系统或设备的计算机读出并执行所述程序，借以实现所述功能。
被提供并被安装在计算机中以允许计算机实现本发明的功能/处理的程序代码本身也实现本发明。即，实现本发明的功能/处理的计算机程序本身也被包括在本发明内。
每个实施例的目的还可以利用下述的方法来实现。对系统或设备提供存储介质(或记录介质)，用于存储用来实现上述实施例的功能的软件程序代码。该系统或设备的计算机(或CPU或MPU)读出并执行在存储介质中存储的程序代码。在这种情况下，从存储介质中读出的程序代码自身实现上述实施例的功能，因而存储所述程序代码的存储介质构成本发明。不仅当读出的程序代码被计算机执行时，而且当在计算机上运行的操作系统(OS)等根据程序代码的指令执行部分或全部的实际处理时，上述实施例的功能被实现。
本发明还包括下述情形。从存储介质读出的程序代码被写入插入计算机中的功能扩展卡或者和计算机相连的功能扩展单元的存储器中。功能扩展卡或功能扩展单元的CPU根据程序代码的指令执行部分或全部的实际处理，借以实现上述实施例的功能。
当本发明要应用于上述的存储介质时，对应于上述的序列的程序代码被存储在该存储介质中。
虽然已经参照示例的实施例对本发明进行了说明，应当理解，本发明不限于披露的示例的实施例。下面的权利要求的范围应当给予最宽的解释，使得包括全部的这种改型和等同结构与功能。
权利要求
1.一种信息处理设备，其辨别在第一图像中包含的对象，并且对于每个对象把第一图像分类到多个分类目的地，其特征在于该设备包括显示装置，用于显示表示分类目的地的第一图像和第二图像；辨别装置，用于从所述第一图像中辨别对象；分类目的地确定装置，用于根据由所述辨别装置获得的辨别结果，确定第一图像要被分类到多个分类目的地中的哪一个；以及显示控制装置，用于控制所述显示装置，以在所述显示装置的窗口上显示用于将第一图像移动到对应于由所述分类目的地确定装置确定的分类目的地的第二图像的位置的处理。
2.如权利要求1所述的设备，其特征在于，所述分类目的地确定装置当在第一图像中包含多个对象时把第一图像分配到多个分类目的地。
3.如权利要求2所述的设备，其特征在于，还包括优先级确定装置，用于当第一图像被分配到多个分类目的地时确定所述多个分类目的地的优先级。
4.如权利要求3所述的设备，其特征在于，由所述辨别装置获得的辨别结果包括作为与在第一图像中包含的对象是特定对象的确实性相关的信息的确实性信息，并且所述优先级确定装置根据该确实性信息确定多个分类目的地的优先级。
5.如权利要求1所述的设备，其特征在于，所述显示控制装置根据由所述辨别装置获得的辨别结果，控制第一图像向对应于由所述分类目的地确定装置确定的分类目的地的第二图像的位置移动的移动速度。
6.如权利要求5所述的设备，其特征在于，由所述辨别装置获得的辨别结果包括在第一图像中包含的对象的计数信息，所述显示控制装置根据所述计数信息控制移动速度。
7.如权利要求5所述的设备，其特征在于，由所述辨别装置获得的辨别结果包括作为与在第一图像中包含的对象是特定对象的确实性相关的信息的确实性信息，所述显示控制装置根据该确实性信息控制移动速度。
8.如权利要求1所述的设备，其特征在于，所述分类目的地确定装置根据来自用户的输入改变第一图像的分类目的地。
9.如权利要求1所述的设备，其特征在于，所述显示控制装置控制所述显示装置，使得加亮并显示包括由所述辨别装置辨别的对象的区域以及对应于由所述分类目的地确定装置确定的分类目的地的第二图像。
10.如权利要求1所述的设备，其特征在于，所述显示控制装置显示包括由所述辨别装置辨别的对象的区域，同时在用于把第一图像移动到对应于由所述分类目的地确定装置确定的分类目的地的第二图像的位置的处理中放大所述区域。
11.如权利要求10所述的设备，其特征在于，由所述辨别装置获得的辨别结果包括作为与在第一图像中包含的对象是特定对象的确实性相关的信息的确实性信息，所述显示控制装置根据确实性信息改变所述区域被显示和放大的放大率。
12.一种信息处理方法，用于辨别在第一图像中包含的对象，并且对于每个对象把第一图像分类到多个分类目的地，其特征在于该方法包括辨别步骤，用于从第一图像辨别对象；分类目的地确定步骤，用于根据在辨别步骤中获得的辨别结果，确定第一图像要被分类到多个分类目的地中的哪一个；以及显示控制步骤，用于在窗口上显示用来把第一图像移动到对应于在分类目的地确定步骤中确定的分类目的地的第二图像的位置的处理。
13.如权利要求12所述的方法，其特征在于，在所述分类目的地确定步骤中，当在第一图像中包含多个对象时则把第一图像分配到多个分类目的地。
14.如权利要求13所述的方法，其特征在于，还包括优先级确定步骤，用于当第一图像被分配到多个分类目的地时确定所述多个分类目的地的优先级。
15.如权利要求14所述的方法，其特征在于，在所述辨别步骤中获得的辨别结果包括作为与在第一图像中包含的对象是特定对象的确实性相关的信息的确实性信息，并且在所述优先级确定步骤中，根据该确实性信息确定多个分类目的地的优先级。
16.如权利要求12所述的方法，其特征在于，在所述显示控制步骤中，根据在所述辨别步骤中获得的辨别结果，控制第一图像向对应于在所述分类目的地确定步骤中确定的分类目的地的第二图像的位置移动的移动速度。
17.如权利要求16所述的方法，其特征在于，在所述辨别步骤中获得的辨别结果包括在第一图像中包含的对象的计数信息，并且在所述显示控制步骤中，根据所述计数信息控制移动速度。
18.如权利要求16所述的方法，其特征在于，在所述辨别步骤中获得的辨别结果包括作为与在第一图像中包含的对象是特定对象的确实性相关的信息的确实性信息，并且在所述显示控制步骤中，根据该确实性信息控制移动速度。
19.如权利要求12所述的方法，其特征在于，在所述分类目的地确定步骤中，根据来自用户的输入改变第一图像的分类目的地。
20.如权利要求12所述的方法，其特征在于，在所述显示控制步骤中，包括在所述辨别步骤中辨别的对象的区域以及对应于在所述分类目的地确定步骤中确定的分类目的地的第二图像被加亮和显示。
21.如权利要求12所述的方法，其特征在于，在所述显示控制步骤中，包括在所述辨别步骤中辨别的对象的区域被显示，同时在用于把第一图像移动到对应于在分类目的地确定步骤中确定的分类目的地的第二图像的位置的处理中被放大。
22.如权利要求21所述的方法，其特征在于，在所述辨别步骤中获得的辨别结果包括作为与在第一图像中包含的对象是特定对象的确实性相关的信息的确实性信息，并且在所述显示控制步骤中，根据该确实性信息改变所述区域被显示和放大的放大率。
全文摘要
本发明旨在当多个图像要被分类时减少用户的校正负担。提供一种信息处理方法，用于辨别在第一图像中包含的对象，并且对于每个对象把第一图像到多个分类目的地，该方法包括辨别步骤，用于从第一图像中辨别对象；分类目的地确定步骤，用于根据在辨别步骤中获得的辨别结果，确定所述第一图像要被分类到多个分类目的地中的哪一个；以及显示控制步骤，用于在窗口上显示用来将第一图像移动到对应于在分类目的地确定步骤中确定的分类目的地的第二图像的位置的处理。
文档编号G06K9/00GK1928888SQ20061012911
公开日2007年3月14日 申请日期2006年9月8日 优先权日2005年9月9日
发明者大野智之, 荒谷俊太郎, 宮本胜弘 申请人:佳能株式会社