使用标签信息进行图像搜索的方法和装置制造方法

使用标签信息进行图像搜索的方法和装置制造方法
【专利摘要】本发明公开了使用标签信息进行图像搜索的方法和装置，以及导出标签信息并且将标签信息与图像相关联以支持图像特征搜索的系统。该系统接收用于搜索包括与标签信息的特定布置相关联的目标对象在内的一个或多个图像的布置搜索信息。该系统对图像的标签信息进行分析，并且搜索具有满足布置搜索信息的布置信息的图像。
【专利说明】使用标签信息进行图像搜索的方法和装置
【技术领域】
[0001]本公开涉及图像搜索，具体涉及使用标签信息进行图像搜索的方法和装置，以及用于导出标签信息并将标签信息与图像相关联以支持图像特征搜索的系统。
【背景技术】
[0002]诸如智能电话和平板PC等多媒体设备通常包括用于对图像进行拍摄的摄像机，或者用于管理所获取并存储在多媒体设备中的图像的多种程序。已知多媒体设备的用户可以使用与图像相结合的标签信息，以便搜索期望图像。已知的标签信息与图像相结合，并且包括图像的产生时间和产生地点，以及与图像中包括的多个对象或人有关的信息。
[0003]当在已知系统中使用标签信息搜索图像时，用户可以输入搜索字以搜索期望图像。例如，用户可以输入特定人的名字作为搜索字，从而搜索特定人的图像。然而，已知搜索系统搜索图像中的人和对象的能力有限，并且通常产生不期望的结果，使用户沮丧并且浪费宝贵的时间和资源。此外，在已知的搜索系统中，搜索期望图像涉及到对于特定搜索字分别识别搜索结果，导致较麻烦、多阶段、易出错的搜索过程。根据本发明原理的系统解决这些缺陷和相关问题。

【发明内容】

[0004]本发明人已经有利地认识到需要能够搜索其中人或对象位于图像内的特定位置和/或位于特定地理位置和/或位于示出了实质上相同的地点或场景的多个拍摄图像的特定区域中的图像。系统导出标签信息，将标签信息与图像或图像的一部分相关联，以支持执行图像搜索并便于搜索期望图像。
[0005]在实施例中，系统通过以下操作处理标签信息:识别图像中包括的至少一个目标，产生布置信息，布置信息指定了至少一个所识别目标的名称以及图像中目标位于的目标区域。该系统将产生的布置信息作为标签信息与图像相结合。图像搜索方法使用标签信息，接收用于搜索图像的布置搜索信息，该图像包括具有特定布置的目标。执行图像搜索，所述图像包括在该图像中包括的至少一个目标的布置信息作为标签信息。该系统对图像的标签信息进行分析，并且搜索具有满足布置搜索信息的布置信息的图像。
[0006]在另一实施例中，标签信息存储装置包括存储有至少一个图像的存储器。控制器识别图像中包括的至少一个目标，产生布置信息，并且将所产生布置信息作为标签信息与图像相结合并相关联，其中布置信息指定至少一个所标识目标的名称以及图像中目标位于的目标区域。在另一实施例中，图像搜索装置使用标签信息，并且包括用于接收布置搜索信息的输入单元，其中布置搜索信息用于搜索包括具有特定布置的目标的图像。对多个图像执行搜索，所述多个图像各自包括用于标识图像中示出的至少一个目标的布置的标签信息。控制器对标签信息进行分析并且搜索具有满足布置搜索信息的布置信息的图像。该系统便于搜索具有期望目标布置的图像。
[0007]在另一实施例中，一种使用标签信息进行图像搜索的方法，所述方法包括:接收搜索区域和搜索字；将搜索区域和搜索字与标签信息中包括的对应于每个图像的目标区域和目标的名称相比较；显示在图像的目标区域上包括所述名称的目标在内的图像，作为比较结果。
【专利附图】

【附图说明】
[0008]根据以下结合附图的详细描述，本发明的以上和其他方面、特征和优点更显而易见，在附图中:
[0009]图1A、1B、1C、1D和IE示出了是根据本发明实施例的系统的操作；
[0010]图2示出了根据本发明实施例的处理标签信息的方法的流程图；
[0011]图3A和3B示出了根据本发明实施例的标签信息存储方法；
[0012]图4示出了根据本发明实施例的图像搜索方法的流程图；
[0013]图5A、5B、5C、ro、5E、5F和5G示出了根据本发明实施例的输入布置搜索信息的处理操作；
[0014]图6A、6B、6C和6D示出了根据本发明实施例的执行图像搜索的处理操作；
[0015]图7A和7B示出了根据本发明实施例的图像搜索条件；
[0016]图8A和SB示出了根据本发明实施例的调整分辨率的处理；
[0017]图9A和9B示出了根据本发明实施例的图像搜索结果屏幕；以及
[0018]图10示出了应用了本发明实施例的装置的框图。
【具体实施方式】
[0019]在下文中，在描述本发明时，当与公知功能或配置有关的详细描述可能不必要地模糊本发明的主题时省略该详细描述。
[0020]在下文中，在描述本发明实施例时，为了便于描述，假定媒体设备包括触摸屏，但是本发明不限于此并且可以应用于包括能够代替触摸屏的输入功能和显示功能的多种装置在内的设备。例如，本发明的实施例可以应用于包括诸如鼠标和数字化器等输入设备和诸如监视器等显示设备在内的多种设备。
[0021]在下文中，媒体设备是指以下设备:可以执行诸如图像和文本等多种媒体的记录和显示中的至少一个，并且与包括蜂窝电话、智能电话、导航单元、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组层3 (MP3)播放器、游戏机、平板PC、上网本计算机、台式计算机、笔记本计算机、连接互联网的通信终端和可接收广播的通信终端等设备的含义一同使用。本文所使用的“标签信息”包括与图像相关联图像元数据，其中元数据提供与图像内容有关的信息。
[0022]在下文中，将参照附图描述本发明的实施例。
[0023]图1A至IE示出了对于包括首尔塔110的图像的系统操作，如图1A和IB所示这些图像与其他图像一起存储在媒体设备中。首尔塔110位于图1A中所示图像的中心区域，并且位于图1B中所示图像的右下侧。例如，用户期望搜索其中首尔塔110位于中心区域的图像。其中目标名称包括在图像中并且作为标签信息存储的已知搜索方法返回包括图1A和IB的图像在内的示出了首尔塔110的所有图像。
[0024]相反，根据本发明原理的系统返回如下搜索结果:示出了在中心图像区域显示首尔塔的图像(例如，图1A、1D)，而排除了在非中心图像区域显示首尔塔的图像。该系统存储对图像中包括的目标所位于的图像的目标区域加以标识的标签信息，当搜索图像时利用该目标区域。有利地，该系统有助于搜索其中用户期望的特定目标位于特定区域处的图像。因此，媒体设备接收用户输入(或系统导出的)搜索信息，并且响应于输入的搜索信息来搜索图像，搜索信息标识了图像的特定搜索区域和针对目标的搜索字，用于搜索图像的特定区域中的目标。
[0025]例如，响应于用户选择媒体设备的一部分显示区域并且在图像搜索屏幕(如图1C所示)上输入与所选区域120相对应的搜索字，媒体设备搜索其中对应于输入搜索字的目标位于与所选区域120相对应的区域处的图像，并且向用户提供搜索结果。相应地，当用户指定‘首尔塔’作为要在所选搜索区域120处搜索的目标项时，媒体设备搜索其中在与搜索区域120相对应的区域处包括‘首尔塔’的图像。
[0026]图1D示出了图1A中示出的图像与用户输入的搜索信息相比较的屏幕示例。首尔塔Iio包括在与用户指定的搜索区域120相对应的区域中，因此媒体设备将该图像确定为用户想找的图像，并且向用户示出搜索结果。类似地，图1E示出了图1B的图像与用户输入的搜索信息的比较。首尔塔110不包括在与用户指定的搜索区域120相对应的区域中，因此媒体设备确定该图像不满足用户搜索准则。搜索系统返回图1A图像作为搜索结果，排除图1B，相反已知系统错误地返回图像IA和IB 二者。有利地，该系统预先存储与图像中包括的目标所位于的图像目标区域有关的信息作为标签信息并且在搜索中使用该标签信息。
[0027]图2示出了用于存储图像中目标位于的目标区域的有关信息作为标签信息的处理。目标区域的有关信息连同目标名称一起存储，并且在下文中，将目标区域的有关信息和目标名称称作布置信息。
[0028]在步骤201中，媒体设备识别图像中包括的至少一个目标。该图像可以对应于先前存储在媒体设备中的图像，或者利用媒体设备中加载的摄像机拍摄而产生的图像。即，对目标的识别可以在摄像机拍摄期间自动执行，或者可以在执行特定菜单功能期间对媒体设备中已经存储的图像执行。不同的已知识别方法可以用于识别目标。不同的已知识别方法可以用于识别人的面部、半身、全身或姿势。与社交连网或地址簿有关的应用可以用于人类特征识别。可以基于向可执行应用注册的或在地址簿中的人的照片信息来执行人类特征识另IJ。采用位置信息的不同已知识别方法可以应用于对象识别。例如，可以应用使用全球定位系统(GPS)信息或周边地图信息的对象识别方法。此外，除了 GPS信息或周边地图信息，还可以应用使用与视角有关的感测信息的对象识别方法，从而排除被识别为对象的错误目标，并且不会将其作为标签信息合并在图像数据中。这减少了错误的搜索结果并且降低了识别对象所需处理的复杂性。在步骤203中，媒体设备产生所识别目标的布置信息。如上所述，布置信息包括目标名称以及与图像内的目标区域有关的信息。即，布置信息包括与要在图像的哪个区域识别目标有关的信息。
[0029]在步骤205中，媒体设备将所产生的布置信息作为标签信息与图像相结合。除了布置信息，与图像相结合的标签信息还包括产生图像的时间以及产生图像的地点。
[0030]参照图3A和3B描述上述标签信息存储方法的实施例。媒体设备识别在先前存储的图像中或者通过拍摄产生的图像中包括的目标。例如，图3A和3B示出了在一个图像中识别两个目标310和320。当识别到目标310和320时，媒体设备产生目标310和320的布置信息。如上所述，布置信息对应于图像中目标位于的目标区域的信息，并且可以用于提取和显示目标区域。目标区域可以以多种形式显示，为了简化计算并最小化所存信息，描述包括矩形形式的目标区域。然而，本发明不限于此，目标区域可以包括闭合曲线、圆球形、椭圆形、不规则形状或围绕所识别目标的外周的其他形状。矩形目标区域可通过用作起始点的预定点(例如，图像的左上顶点)的坐标信息来定义。
[0031]图像的左上顶点对应于坐标(0，O)，图像的右下顶点对应于坐标(X，Y)，可以利用最接近坐标(0，0)的坐标(XI，Yl)和最远离坐标(0，0)的坐标(Χ2，Υ2)来指定目标310的目标区域，并且可以利用最接近坐标(0，0)的坐标(Χ3，Υ3)和最远离坐标(0，0)的坐标(Χ4, Υ4)来指定目标320的目标区域。
[0032]备选地，可以利用不同的坐标集以及相对于坐标的垂直和水平长度来指定目标区域，如图3Β所示。可以利用最接近坐标(0，0)的坐标(Χ1，Υ1)以及相对于坐标(Χ1，Υ1)的水平长度α I和垂直长度β I来指定目标区域310，并且可以利用最接近坐标(0，0)的坐标(Χ3, Υ3)以及相对于坐标(Χ31，Υ3)的水平长度α 2和垂直长度β 2来指定目标区域320。当确定了目标区域310和320时，媒体设备产生布置信息330，其中将所确定的坐标信息关联到(映射到)对应目标的名称，以提供经结合产生的布置信息330作为用于与图像相关联的标签信息。
[0033]图4示出了图像搜索方法的流程图。在步骤401中，媒体设备从用户接收用于搜索包括目标对象并具有特定布置的图像的搜索信息(在下文中，称作布置搜索信息)。这里，布置搜索信息是指用于搜索图像的特定区域中的目标对象的信息。布置搜索信息包括用于搜索特定目标的搜索区域、以及用于在搜索区域中执行搜索的搜索字。
[0034]图5Α至5G示出了输入布置搜索信息的处理操作。在实施例中，显示屏幕包括提供给用户的预定数目的划分显示区域，响应于用户对一个或多个对划分显示区域的选择，选择搜索区域。备选地，可以通过其他方法执行对搜索区域的选择，包括利用电子笔确定闭合曲线作为搜索区域，如图5Α所示。
[0035]响应于用户执行图像搜索菜单，媒体设备向用户提供包括预定数目的划分显示区域在内的屏幕，如图5Β所示。用户可以使用显示的屏幕来选择搜索区域。在本发明的实施例中，可以通过触摸和拖动或者通过使用电子笔或手指，通过光标移动或其他方法，来执行对搜素区域的选择。媒体设备确定选择了其中包括电子笔所绘制区域在内的划分区域510、520和530作为搜索区域，如图5C所示。备选地，媒体设备例如可以确定在其中分别执行了触摸操作的划分区域510、520和530，选择在其中执行了触摸操作的单个划分区域510或者在其中执行了拖动操作的划分区域520和530，作为搜索区域，如图所示。响应于选择了触摸区域，媒体设备提供用于输入搜索字的菜单，搜索字用于在搜索区域中执行搜索。可以通过用电子笔书写(如图5E所示)，通过经由所显示键盘的输入(如图5F所示)或者通过选择下拉菜单中提供的字(如图5G所示)，来执行搜索字的输入。
[0036]参照图4，在步骤403中，媒体设备将所存图像的布置信息与输入的布置搜索信息相比较。即，媒体设备对与图像相结合的布置信息进行分析，以搜索满足输入的布置搜索信息的图像。在实施例中，通过搜索包括输入的搜索字作为关联布置信息的图像来执行图像搜索。在所选图像中，将目标对象位于的目标区域与输入的搜索区域彼此比较。
[0037]图6A和6D不出了执行图像搜索的处理操作。响应于输入布置搜索信息，如图6A所示，媒体设备搜索多个所存图像，找到并选择其中存储了 ‘儿童’和‘首尔塔’作为布置信息的图像。然后，媒体设备搜索满足输入的布置搜索信息的一个或多个特定图像。具体地，媒体设备搜索如下图像:其中‘首尔塔’位于与搜索区域610相对应的区域，并且‘儿童’位于与搜索区域620相对应的区域。媒体设备确定图6B至6D的图像之中满足输入的布置搜索信息的图像(即，其中‘首尔塔’和‘儿童’分别位于与搜索区域610和搜索区域620相对应的区域处的图像)包括图6B的图像(搜索结果)。
[0038]媒体设备可以配置为在搜索区域和目标区域彼此交叠预定量时以及在候选搜索区域与目标区域实质上一致时，确定满足搜索条件。例如，当预定量是50%时，媒体设备可以确定图7A所示的图像满足布置搜索信息，并且图7B所示的图像不满足布置搜索信息。此夕卜，可以输入多个搜索字，并且媒体设备支持响应于用户输入的搜索准则和将搜索项链接的搜索运算符(例如，与、或、非)，搜索包括与多个搜索字相对应的多个目标对象中的一个或多个或所有目标对象在内的图像。
[0039]搜索结果图像的分辨率可以与媒体设备的显示分辨率不同，并且媒体设备可以在将搜索区域与目标区域相比较之前执行用于将图像的分辨率与媒体设备的显示分辨率相匹配的操作。媒体设备可以响应于图像分辨率与媒体设备的显示分辨率的比值，相对于媒体设备的显示分辨率来调整目标对象的坐标信息。例如，假设所搜索的图像的分辨率是250X500，如图8A所示，并且媒体设备的显示分辨率是500X1000，如图8B所示。由于媒体设备的显示分辨率是图像分辨率的二倍，因此，执行将图像中包括的目标的坐标值加倍的坐标变换。即，将如图8A所示的目标坐标信息(100，150)和(200，250)调整到坐标信息(200,300)和(400，500)。媒体设备在调整坐标信息之后执行目标区域与搜索区域的比较。
[0040]返回参照图4，在步骤405中，媒体设备向用户示出搜索结果。图9A和9B示出了图像搜索结果屏幕。媒体设备显示图像搜索结果作为缩略图，如图9A所示。媒体设备可以参照搜索到的图像的标签信息或元数据，连同图像搜索结果一起显示多种类型的信息，例如，产生对应图像的时间。此外，媒体设备在整个显示区域中显示搜索结果，如图9B所示。响应于用户命令(例如，用户挥击(swipe)操作)显示下个搜索结果图像。搜索结果向导屏幕向搜索到的图像给出优先级顺序，以顺序地示出搜索结果图像。例如，媒体设备可以优先考虑具有搜索区域与目标区域之间的最大交叠区域的图像。
[0041]图10示出了用于导出并处理标签信息并且将标签信息与图像的特定区域相关联以支持图像特征搜索的系统。标签信息存储方法和图像搜索方法可以在分离的设备中执行。不同实施例中的系统可以包括触摸屏、用于提供输入和显示功能的装置、鼠标或数字化器、以及诸如监视器等显示设备。
[0042]控制器1010响应于从用户输入的命令，产生在产生图像时从摄像机单元1040传送的图像的标签信息，或者产生在存储器1020中存储的图像的标签信息。即，控制器1010识别图像中包括的至少一个目标，产生对至少一个所识别目标的名称以及图像中目标位于的目标区域加以指定的布置信息，并且将产生的布置信息作为标签信息与图像相结合。
[0043]此外，控制器1010基于从用户输入的布置搜索信息，执行图像搜索。控制器1010接收布置搜索信息，以搜索包括目标对象并具有特定布置的图像。执行对包括布置信息作为至少一个目标对象的标签信息的图像的搜索。控制器1010对候选搜索结果图像的标签信息进行分析，以标识满足输入的布置搜索信息的一个或多个搜索结果图像。控制器1010与特定服务器连接，以执行针对服务器中存储的图像以及存储器1020中存储的图像二者的搜索。
[0044]响应于经由图像搜索菜单的输入，控制器1010在触摸屏1030上显示向导屏幕，使得用户能够输入搜索准则，搜索准则包括标识了至少一个搜索区域以及至少一个目标对象的搜索字以用于执行搜索的数据。在一个实施例中，控制器1010在触摸屏1030上示出包括多个预定划分区域的屏幕。此外，控制器1010可以在触摸屏1030上显示用于输入搜索字的键盘，或者可以控制触摸屏1030支持用户使用电子笔的书写输入。控制器1010还通过触摸屏1030显示预定的下拉菜单。下拉菜单包括其中根据属性对预先存储的字进行了分类的分级(hierarchical)树菜单结构。当提供针对人的搜索字时，可以通过使用媒体设备中存储的地址簿来配置下拉菜单。响应于发起基于输入的布置搜索信息的图像搜索，控制器1010搜索一个或多个图像，在所述图像中包括与输入搜索字相对应的目标对象所位于的目标区域，并且与搜索字相对应的目标区域与搜索准则中指定的搜索位置交叠了预定量。
[0045]响应于执行图像搜索，在触摸屏1030的显示区域的分辨率与所搜索图像的分辨率不同的情况下，控制器1010执行用于匹配的分辨率调整操作。例如，控制器1010计算所搜索图像的分辨率与触摸屏1030的显示区域的分辨率的比值，根据所计算的比值来调整目标区域，并且将经调整的目标区域与搜索区域相比较。
[0046]存储器1020存储多个图像，并且摄像机单元1040向控制器1010传送所拍摄的图像。通信单元1050使用多种不同的预定通信协议之一与其他媒体设备或服务器通信，并获取与特定服务器中存储的图像有关的信息。
[0047]本发明的上述实施例可以多种预定方式来实现。例如，本发明的实施例可以通过使用硬件、软件或硬件和软件的组合来实现。当使用软件来实现实施例时，可以将实施例实现为使用多种操作系统和平台在一个或多个处理器上执行的软件。此外，上述这种软件可以通过使用多种适合编程语言的任意编程语言来代码化，并且可以编译为可执行机器语言代码或者在框架或虚拟机中执行的可执行中间代码。
[0048]此外，当在一个或多个处理器上执行本发明的实施例时，可以将实施例实现为处理器可读介质(例如，存储器、软盘、硬盘、压缩盘、光盘或磁盘)，其中，记录有用于执行实现如上所述本发明多个实施例的方法的一个或多个程序。在35U.S.C.112第六段的规定下本文没有解释元件权利要求，除非使用短语“用于......的装置”来明确引述元件。
【权利要求】
1.一种使用标签信息进行图像搜索的方法，所述方法包括: 接收用于执行多个图像的搜索的搜索准则，所述搜索准则包括布置信息，所述布置信息包括用于标识至少一个目标对象的名称以及图像中目标对象位于的目标区域的标签信息； 对所述多个图像的标签信息进行分析，以标识具有满足所述搜索准则的标签信息的候选图像；并且 提供对所述候选图像加以标识的数据作为搜索结果。
2.根据权利要求1所述的方法，其中，所述多个图像包括图像的特定布置，其中对象位于图像内的特定位置或者位于特定地理位置，或者对象位于所拍摄的示出了实质上相同地点或场景的多个图像的特定区域中。
3.根据权利要求2所述的方法，其中，目标区域由标识所述目标对象的两个对应点的两个坐标 来确定。
4.根据权利要求1所述的方法，其中，搜索准则包括用于标识以下的数据: 至少一个搜索区域；以及 针对至少一个目标的搜索字，其中在所述至少一个搜索区域中执行对所述至少一个目标的搜索。
5.根据权利要求4所述的方法，其中，搜索区域包括从显示器上多个预定划分区域中选择的至少一个划分区域。
6.根据权利要求4所述的方法，其中，搜索图像包括: 搜索呈现了与输入的搜索字相对应的目标对象的目标区域所位于的图像，并且确定对应于搜索字的搜索区域与图像中呈现了目标对象的区域彼此交叠预定量。
7.根据权利要求6所述的方法，其中，搜索图像还包括: 计算图像的分辨率与显示区域的分辨率的比值； 根据计算的比值来调整目标区域；并且 将经调整的目标区域与搜索区域相比较。
8.一种使用标签信息进行图像搜索的装置，所述装置包括: 输入单元，配置为接收用于执行多个图像搜索的搜索准则，所述搜索准则包括布置信息，所述布置信息包括用于标识至少一个目标对象的名称以及图像中目标对象位于的目标区域的标签信息； 控制器，配置为 对所述多个图像的标签信息进行分析，以标识具有满足所述搜索准则的标签信息的候选图像；并且 提供对所述候选图像加以标识的数据作为搜索结果。
9.根据权利要求8所述的装置，其中，所述多个图像包括图像的特定布置，其中对象位于图像内的特定位置或者位于特定地理位置处，或者对象位于所拍摄的示出了实质上相同地点或场景的多个图像的特定区域中。
10.根据权利要求9所述的装置，其中，目标区域由标识所述目标区域的两个对应点的两个坐标集来确定。
11.根据权利要求8所述的装置，其中，所述搜索准则包括用于标识以下的数据:至少一个搜索区域；以及 针对至少一个目标的搜索字，其中在所述至少一个搜索区域中执行对所述至少一个目标的搜索。
12.根据权利要求11所述的装置，其中，搜索区域包括从显示器上多个预定划分区域中选择的至少一个划分区域。
13.根据权利要求11所述的装置，其中，控制器搜索呈现了与输入的搜索字相对应的目标对象的目标区域所位于的图像，并且确定对应于搜索字的搜索区域与图像中呈现了目标对象的区域彼此交叠预定量。
14.根据权利要求13所述的装置，其中，控制器计算图像的分辨率与显示区域的分辨率的比值，根据计算的比值来调整目标区域，并且将经调整的目标区域与搜索区域相比较。
15.一种使用标签信息进行图像搜索的方法，所述方法包括: 接收搜索区域和搜索字； 将搜索区域和搜索字与标签信息中包括的对应于每个图像的目标区域和目标的名称相比较； 显示在图像的目标区域上包括所述名称的目标在内的图像，作为比较结果。
【文档编号】G06F17/30GK103838810SQ201310581238
【公开日】2014年6月4日 申请日期:2013年11月19日 优先权日:2012年11月20日
【发明者】黄珉敬, 姜斗锡, 林思米, 郑义昌, 崔普根 申请人:三星电子株式会社