专利名称：使用增强现实数据库提供增强现实的移动终端和方法
技术领域：
本发明涉及使用增强现实(augmented reality)数据库来实现增强现实的移动终端和使用该增强现实数据库来提供增强现实的方法。
背景技术：
随着移动通信技术及其基础设施的快速发展，移动终端已演变为提供多种服务 (诸如游戏、消息发送或接收、互联网冲浪(surfing)、无线信息通信、电子记事本、数字照相机、视频呼叫和普通语音呼叫)的媒介(medium)。
发明内容
本发明的示例性实施方式提供一种使用增强现实数据库来实现增强现实的移动终端。本发明的示例性实施方式还提供一种使用该增强现实数据库来提供增强现实的方法。本发明的其它特征将在以下的描述中得到阐述，并且部分地将根据该描述而变得明显，或者可以通过对本发明的实践来学习到。本发明的示例性实施方式提供一种移动终端，该移动终端包括接收单元，其接收内容信息；提取单元，其从所接收到的内容信息中识别感兴趣的项，并从与所述感兴趣的项对应的元数据中提取详细信息，其中，所述详细信息是增强现实数据库的字段值；所述增强现实数据库，其存储所述详细信息；以及显示单元，其将存储在所述增强现实数据库中的所述信息与显示图像组合，并在增强现实中输出所组合的图像。本发明的示例性实施方式提供一种用于提供增强现实的方法，该方法包括以下步骤接收内容信息；在所接收的内容信息中识别感兴趣的项；从与所识别的感兴趣的项对应的元数据中提取详细信息，其中，所述详细信息是增强现实数据库的字段值；将所述详细信息存储在所述增强现实数据库中；以及将存储在所述增强现实数据库中的所述信息与第一图像组合成第二图像，并在增强现实中输出所述第二图像。本发明的示例性实施方式提供一种移动终端，该移动终端包括确定单元，其解析内容信息，并确定与感兴趣的项对应的所述元数据是否在增强现实中可用；提取单元，其从所接收到的内容信息中识别感兴趣的项，并从与所识别的感兴趣的项对应的元数据中提取由所述确定单元确定为可用的详细信息，其中，所述详细信息包括增强现实数据库的字段值；转换单元，其将所提取的详细信息转换成在增强现实中可显示的增强现实格式；所述增强现实数据库，其存储所转换的详细信息；设置单元，其根据用户指示或自动规则来编辑所述增强现实数据库的所述字段值；以及显示单元，其将存储在所述增强现实数据库中的所述信息与显示图像组合成组合图像，并在增强现实中输出所述组合图像。应当理解，以上总体描述和以下详细描述这两者都是示例性和说明性的，旨在提供对所要求保护的本发明的进一步说明。根据以下详细描述、附图和权利要求，其它特征和方面将是明显的。
包括附图来提供对本发明的进一步理解，并且并入附图并构成本说明书的一部分，附图示出了本发明的实施方式，并与说明书一起用于解释本发明的原理。图1是例示根据本发明的示例性实施方式的移动终端的结构的框图。图2是例示使用根据本发明的示例性实施方式的移动终端来显示信息的处理的流程图。图3是例示由根据本发明的示例性实施方式的移动终端接收到的元数据的图示。图4是例示根据本发明的示例性实施方式的移动终端的元数据中所包括的信息的图示。图5A和图5B是例示使用根据本发明的示例性实施方式的移动终端所显示的信息的图示。
具体实施例方式现在将参照附图来更全面地描述示例性实施方式，在附图中示出了示例性实施方式。然而，本发明可以通过许多不同的形式来实施，并且不应当理解为限于本文所阐述的这些示例性实施方式。相反，提供这些示例性实施方式以使得本发明是全面的，并且这些示例性实施方式将向本领域技术人员全面地传达本发明的范围。除非另行说明，否则在全部附图和详细说明中，相同的附图标号应当被理解为表示相同的元件、特征和结构。为了清楚、 例示和方便起见，可能会放大这些元件的相对尺寸和描绘(cbpiction)。本文使用的术语仅为了描述特定的实施方式，并不旨在限制本发明。如本文所使用的，除非上下文另外明确地指出，否则单数形式“一个(a)”、“一种(an)”和“该、所述 (the) ”也旨在包括复数形式。此外，术语“一个”、“一种”等术语的使用并不表示量的限制， 而是表示至少一个引用项的存在。术语“第一”、“第二”等的使用并不意味任何特定的顺序， 将它们包括进来是为了标识单独的元件。并且，术语“第一”、“第二”等术语的使用并不指示任何顺序或重要性，而是用来使元件相互区分。还将理解，当术语“包括(comprises和/ 或comprising) ”或“包含(includes和/或including) ”用于本说明书时，指明了所陈述的特征、区域、整体、步骤、操作、元件和/或组件的存在，但不排除一个或更多个其它特征、 区域、整体、步骤、操作、元件、组件和/或它们的组的存在或添加。除非另外限定，否则本文使用的所有术语(包括技术的和科学的术语)均具有与本领域普通技术人员通常的理解相同的涵义。还将理解的是，诸如通常使用的字典中所限定的那些术语应当被解释为具有与它们在相关技术领域和本发明中的涵义一致的涵义，并且除非本文明确地如此限定，否则将不按照理想化的或过度形式化的意思来解释所述术语。图1是例示根据本发明的示例性实施方式的移动终端的结构的框图。如图1所示，移动终端100包括接收单元110、提取单元120、增强现实数据库130、 设置单元140和显示单元150。接收单元110接收内容信息。在示例中，该内容信息可包括由用户通过该移动终端播放的互联网协议电视(IPTV)或数字多媒体广播(DMB)的广播内容、网页上的媒体内容和在该移动终端中接收到的视频或音频媒体内容。 另外，接收单元110还接收与该内容信息同步的元数据。该元数据可包括与在所接收到的内容信息中识别的感兴趣的项相关的详细信息。与这些感兴趣的项相关的详细信息的示例可包括标题、类别、图像、版权信息、电子邮件地址、网址、电话号码、内容的生产日期、文本描述和与感兴趣的项相关的其它相关信息。该元数据的格式或结构可根据媒体对象和内容而变化。例如，在韩国IPTV的情况下，可根据ITU-T的H. 750来发送元数据，并按照XML格式来构造该元数据。在通常的网页中，一些元数据可被包括在HTML格式的<meta> 标签中。提取单元120识别感兴趣的项并提取与该感兴趣的项相关的详细信息。在示例中，该详细信息可以是从与通过接收单元110接收到的内容信息对应的元数据中提取的增强现实数据库的字段值。更具体地说，提取单元120可以识别包括在所获得的内容信息中的感兴趣的项，并从与所识别的感兴趣的项对应的元数据中提取与该感兴趣的项相关的详细信息。另外，该感兴趣的项可以通过本发明来自动识别，或者通过点击或触摸包括该感兴趣的项的区域来手动地选择。感兴趣的项的示例可包括人物、产品和特定位置。在示例中，所识别的感兴趣的项的数量可以是一个或更多个。另外，提取单元120可以从所接收到的内容信息中识别感兴趣的项，并且还从与所识别的感兴趣的项对应的元数据中提取图像信息来作为所识别的感兴趣的项的详细信息。另选地，如果提供了显示在内容显示屏幕上的内容信息，则可以从这种信息采集(capture)图像信息。更具体地说，由于与该感兴趣的项对应的元数据包括可找到该感兴趣的项的图像数据的像素区域的信息，所以可以使用该元数据来采集该内容信息的图像信息。结果，可以从该元数据中提取该感兴趣的项的图像信息。提取单元120还可以包括确定单元121，确定单元121解析从接收单元110接收到的内容信息，并确定所识别的感兴趣的项的元数据是否在增强现实中可用。在示例中，所选择的感兴趣的项可包括由与该内容信息对应的元数据提供的描述该感兴趣的项的详细信息，以使得在增强现实中可用。另外，确定单元121可基于所选择的感兴趣的项的详细信息是否存在来确定该元数据是否在增强现实中可用。因此，如果提取单元120能够提取该感兴趣的项的详细信息，则确定单元121可确定该对应的元数据在增强现实中可用。另选地，如果提取单元120不能提取该感兴趣的项的详细信息，则确定单元121可确定该对应的元数据在增强现实中不可用。例如，如果手提包的图像被显示在屏幕上并且提取单元 120能够从该内容的元数据中提取诸如该手提包的名称、类别(例如，购物、产品等)、品牌名称、图片和价格的信息，则确定单元121可确定针对该手提包的对应元数据在增强现实中可用。提取单元120还可以包括转换单元122，该转换单元122用于将所提取的详细信息转换成在增强现实中可显示的增强现实格式。提取单元120还可以包括分析单元(未示出)，该分析单元用于根据内容信息类型来对从接收单元110接收到的内容信息进行分类， 并解析该内容信息。更具体地说，该分析单元包括信息类型分析单元(未示出)，以检查是否能够通过移动终端100来对所接收到的内容信息和元数据的格式进行处理。该分析单元还可以包括广播内容分析单元(未示出)、互联网内容分析单元(未示出)和媒体内容分析单元(未示出)。
在示例中，该信息类型分析单元可以根据内容信息类型来对该内容信息和元数据进行分类，并将要处理的信息引导至广播内容分析单元、互联网内容分析单元或媒体内容分析单元。例如，如果所接收到的内容是广播内容，则所接收到的内容可以被输入到该广播内容分析单元。该广播内容分析单元可以识别业务类型(诸如，IPTV和DMB)和提供商，并且根据针对各种广播业务的元数据的格式来对随内容信息一起接收到的元数据进行解析和分析。另选地，如果所接收到的内容是互联网内容，则该内容可以被输入到互联网内容分析单元。该互联网内容分析单元可以分析网页，并解析该网页上的诸如图像、音频和视频的内容、包括与该内容相关的信息的文本内容(例如，内容名称和描述)、该网页的&eta>标签中的元数据等。另一方面，如果所接收到的内容是其它媒体内容，则该内容可以被输入到媒体内容分析单元。该媒体内容分析单元可以解析所接收到的内容。增强现实数据库130存储通过提取单元120提取的详细信息。在示例中，增强现实数据库130可以将通过提取单元120提取的详细信息映射到该增强现实数据库中的对应字段名，根据该增强现实数据库的字段值的格式来转换数据类型和格式，并存储所转换的数据类型和格式。例如，如果该增强现实数据库中的针对感兴趣的项“餐馆A”的“位置”字段值被限定为按照GPS格式存储，则增强现实数据库130可从该感兴趣的项“餐馆A”的元数据中提取地址信息，将该地址信息转换成GPS值，并存储该GPS值。在示例中，增强现实数据库130可包括增强现实信息表，该增强现实信息表用于记录与增强现实中可用的感兴趣的项关联的详细信息字段值。另选地，增强现实数据库130可包括类别表，该类别表包括类别信息字段值，其中类别标题可以是主键(primary key)。可以根据增强现实的功能来不同地构造该增强现实信息表。在示例中，在该增强现实信息表中，感兴趣的项的标题可以是主键，类别信息字段值可以用作指示类别表的外键 (foreign key)。另外，该增强现实信息表可包括图像字段和详细信息字段。例如，与感兴趣的项关联的详细信息字段值可包括标题、类别、作为联系点1的位置、作为联系点2的电
话号码.....作为联系点N的电子邮件地址、价格、照片、视频、声音、作为时间1的第一登记
时间、作为时间2的最近更新时间.....作为时间N的最近开放时间和文本描述。此外，该
类别表可包括主键、关联关键字字段、根据用户设置系统的结构的信息收集字段和信息收集优先权字段。设置单元140可根据用户指示或如通过自动规则所提供的来编辑存储在增强现实数据库130中的字段值。更具体地说，如果构造增强现实数据库130，则设置单元140可编辑类别字段值的定义域。例如，可以通过用户选择或者通过自动选择(诸如，区分优先次序(prioritization))来得到为了构造该增强现实数据库而要收集的信息的类别。显示单元150将存储在增强现实数据库130中的信息与第一图像组合，并在增强现实中输出该组合图像。在示例中，如果存储在增强现实数据库130中的感兴趣的项被包括在使用照相机拍摄的显示图像中，则显示单元150可识别该感兴趣的项，组合所识别的感兴趣的项的详细信息与该显示图像，并在增强现实中输出该组合图像。更具体地说，显示单元150可根据该显示图像的一部分是否与存储在增强现实数据库130中的感兴趣的项的图像相似或相同来识别该感兴趣的项。另选地，可使用视频记录功能来记录该显示图像，或者通过诸如存储器、网络、电子邮件等的外部源来获得该显示图像。图2是例示使用根据本发明的示例性实施方式的移动终端来显示信息的处理的流程图。参照图2，该移动终端接收内容信息(S210)，在显示所接收到的内容信息的同时识别感兴趣的项(S220)，并确定所识别的感兴趣的项是否在增强现实中可用(S230)。如果所识别的感兴趣的项在增强现实中可用，则可以从与该内容信息对应的元数据中提取该增强现实数据库的详细信息字段值(S240)。可以将所提取的信息的格式转换成该移动终端的显示屏幕的格式(S250)，并且可以将所转换的格式存储在该增强现实数据库中(S^K))。此后，如果从使用该移动终端的照相机拍摄的显示图像中识别到存储在该增强现实数据库中的该感兴趣的项(S270)，则存储在该增强现实数据库中的信息可以与在该显示图像中发现的该感兴趣的项组合，并且可以在增强现实中输出该组合图像(S^O)。另选地，虽然未示出，但是可以使用视频记录功能来记录S270中提供的显示图像，或者通过诸如存储器、网络、电子邮件等的外部源来获得该显示图像。例如，如果感兴趣的项出现在DMB、IPTV或网络内容上，则用户可根据内容类型收集与该感兴趣的项相关的信息，并使用移动终端来将与该感兴趣的项相关的详细信息存储在增强现实数据库130中。此后，如果存储在增强现实数据库130中的该感兴趣的项出现在显示单元150上的第一图像中，则可以使用存储在增强现实数据库130中的信息来将详细信息与所识别的感兴趣的项组合，并且可以显示该组合图像。因此，如果用户在观看DMB 内容的同时选择特定的“移动电话”作为该感兴趣的项，则该移动终端可基于所选择的像素区域来识别所选择的感兴趣的项是该“移动电话”。然后，该移动终端可以提取该“移动电话”的图像并从与该“移动电话”对应的元数据中提取该“移动电话”的详细信息，并将该图像和该详细信息存储在增强现实数据库130中。此后，如果在通过显示单元150显示的图像中识别到存储在该增强现实数据库中的该“移动电话”的图像，则存储在该增强现实数据库中的该移动电话的详细信息可以与所显示的图像组合，以向该用户提供组合图像。另外， 如果在通过显示单元150显示的图像中识别到存储在该增强现实数据库130中的图像，则该移动终端可获得该用户的位置的GPS信息，并在增强现实中显示GPS详细信息。图3是例示由根据本发明的示例性实施方式的移动终端接收到的元数据的图示。参照图3，在运动图像播放期间与运动图像内容信息同步的元数据可由关键帧组成。在运动图像压缩期间，可以存储包括该元数据的所有关键帧，并且可以存储和发送图像在关键帧之间的变化部分。在示例中，该移动终端可接收该运动图像内容信息，并获取包括在这些关键帧中的元数据，以供该移动终端使用。图4是例示根据本发明的示例性实施方式的移动终端的元数据中所包括的信息的图示。参照图4，图像、图像尺寸和存储该图像的网址(URL)可以被包括在<imag src>标签410中。另外，<imag src>标签410可用在具有HTML格式的网页上的图像中，其中可以解析<imag src>标签410，以提取由用户选择的感兴趣的项的图像信息。图5A和图5B是例示使用根据本发明的示例性实施方式的移动终端所显示的信息的图示。参照图5A，如果用户在观看DMB内容的同时选择移动电话“SKY” 501，则该移动终端可以解析与该移动电话“SKY”对应的内容信息或元数据，并将该移动电话“SKY”的诸如产品名和制造商的详细信息存储在增强现实数据库中。此后，如果在通过显示单元150显示的图像中识别到“SKY”图像，则该移动终端可将该移动电话“SKY”的存储在该增强现实数据库中的详细信息与所拍摄的第一图像组合，并显示所组合的第二图像。参照图5B，如果用户从使用该移动终端接收到的内容信息中选择人物 “Madonna”。在示例中，该移动终端对与所选择的人物“Madonna”对应的内容信息或元数据进行解析，并将该人物“Madonna”的诸如名字、工作和出生日期的详细信息存储在该增强现实数据库中。此后，如果在通过显示单元150显示的图像中识别到该人物“Madonna”的图像，则该移动终端可将存储在该增强现实数据库中的该人物“Madonna”的详细信息与所拍摄的第一图像组合，并显示所组合的第二图像。利用根据本发明的移动终端，由于在移动终端中使用用户的喜好信息来构造增强现实数据库，所以增强现实业务可用。对于本领域技术人员而言明显的是，在不脱离本发明的精神或范围的情况下，可以对本发明做出各种修改和变型。因而，本发明旨在涵盖落在所附权利要求及其等同物的范围内的本发明的修改和变型。本申请要求2010年11月29日提交的韩国专利申请No. 10-2010-0119514的优先权和权益，就各方面而言，通过引用将其并入本文，如同在此进行了完整阐述。
权利要求
1.一种移动终端，该移动终端包括接收单元，其接收内容信息；提取单元，其从所接收到的内容信息中识别感兴趣的项，并从与所述感兴趣的项对应的元数据中提取详细信息，其中，所述详细信息是增强现实数据库的字段值；所述增强现实数据库，其存储所述详细信息；以及显示单元，其将存储在所述增强现实数据库中的所述信息与显示图像组合，并在增强现实中输出所组合的图像。
2.根据权利要求1所述的移动终端，其中，所述提取单元通过用户选择或者通过自动识别来识别所述感兴趣的项。
3.根据权利要求1所述的移动终端，其中，所述提取单元从与所识别的感兴趣的项对应的元数据中提取包括所述感兴趣的项的图像信息的详细信息。
4.根据权利要求1所述的移动终端，其中，所述提取单元从所识别的感兴趣的项的内容信息中提取所述感兴趣的项的图像信息。
5.根据权利要求1所述的移动终端，其中，所述显示单元在使用照相机采集的第一图像中识别存储在所述增强现实数据库中的所述感兴趣的项，并将与所识别的感兴趣的项相关的详细信息与所述第一图像组合，以在增强现实中输出经组合的第二图像。
6.根据权利要求5所述的移动终端，其中，所述显示单元基于使用所述照相机采集的所述显示图像的一部分是否被识别为存储在所述增强现实数据库中的所述感兴趣的项的图像来识别所述感兴趣的项。
7.根据权利要求1所述的移动终端，其中，所述提取单元包括确定单元，其解析所述内容信息，并确定与所述感兴趣的项对应的所述元数据是否在增强现实中可用；转换单元，其将所述详细信息转换成在增强现实中可显示的增强现实格式，其中，所述提取单元提取由所述确定单元确定为可用的所述详细信息。
8.根据权利要求7所述的移动终端，其中，如果与所述感兴趣的项相关的图像和详细信息被包括在所述元数据中，则所述确定单元确定所述元数据可用。
9.根据权利要求1所述的移动终端，其中，所述提取单元包括转换单元，该转换单元将所述详细信息转换成在增强现实中可显示的增强现实格式，其中，所述增强现实数据库存储由所述转换单元转换的按照所述增强现实格式的信肩、ο
10.根据权利要求1所述的移动终端，其中，所述内容信息包括广播内容、网页的媒体内容、或运动图像内容。
11.根据权利要求1所述的移动终端，其中，所述提取单元还包括分析单元，其根据内容信息类型来对所述内容信息进行分类，并解析所述内容信息，其中，所述分析单元包括信息类型分析单元，该信息类型分析单元检查所接收到的内容信息的格式，并根据要处理的内容信息的类型来引导所述内容信息。
12.根据权利要求1所述的移动终端，其中，所述分析单元包括广播内容分析单元，其识别业务类型，解析并分析广播内容信息类型元数据；互联网内容分析单元，其分析网页，并解析互联网内容信息类型元数据；以及媒体内容分析单元，其分析并解析接收到的媒体信息类型元数据。
13.根据权利要求1所述的移动终端，其中，所述增强现实数据库还包括 用于记录与在增强现实中可用的感兴趣的项关联的信息值的表，其中，所述表是包括以所述感兴趣的项的标题作为主键的图像字段的增强现实信息表，或者所述表是包括以类别标题作为主键的类别信息字段值的类别表。
14.根据权利要求1所述的移动终端，该移动终端还包括设置单元，该设置单元根据用户指示或者自动规则来编辑所述增强现实数据库的字段值。
15.一种用于提供增强现实的方法，该方法包括以下步骤 接收内容信息；在所接收的内容信息中识别感兴趣的项；从与所识别的感兴趣的项对应的元数据中提取详细信息，其中，所述详细信息是增强现实数据库的字段值；将所述详细信息存储在所述增强现实数据库中；以及将存储在所述增强现实数据库中的所述信息与第一图像组合成第二图像，并在增强现实中输出所述第二图像。
16.根据权利要求15所述的方法，其中，在所接收到的内容信息中识别感兴趣的项的步骤包括以下步骤从所接收到的内容信息中识别由用户选择的或者自动选择的感兴趣的项。
17.根据权利要求15所述的方法，其中，提取所述详细信息的步骤包括以下步骤 从与所识别的感兴趣的项对应的内容信息的图像数据中提取所识别的感兴趣的项的图像信息。
18.根据权利要求15所述的方法，其中，在增强现实中输出所组合的第二图像的步骤包括以下步骤在使用照相机采集的第一图像中识别存储在所述增强现实数据库中的感兴趣的项； 将存储在所述增强现实数据库中的与所识别的感兴趣的项相关的详细信息与所述第一图像组合成第二图像，并在增强现实中输出所述第二图像。
19.根据权利要求15所述的方法，其中，提取所述详细信息的步骤包括以下步骤 解析所述内容信息，并确定与所述感兴趣的项对应的元数据是否在增强现实中可用； 提取被确定为可用的所述详细信息；以及将所述详细信息转换成在增强现实中可显示的增强现实格式。
20.根据权利要求15所述的方法，其中，存储所述详细信息的步骤包括以下步骤 将所述详细信息转换成在增强现实中可显示的增强现实格式；将所转换的详细信息存储在所述增强现实数据库中。
21.—种移动终端，该移动终端包括 接收单元，其接收内容信息；确定单元，其解析所述内容信息，并确定与所述感兴趣的项对应的所述元数据是否在增强现实中可用；提取单元，其从所接收到的内容信息中识别感兴趣的项，并从与所识别的感兴趣的项对应的元数据中提取由所述确定单元确定为可用的详细信息，其中，所述详细信息包括增强现实数据库的字段值；转换单元，其将所提取的详细信息转换成在增强现实中可显示的增强现实格式； 所述增强现实数据库，其存储所转换的详细信息；设置单元，其根据用户指示或自动规则来编辑所述增强现实数据库的所述字段值；以及显示单元，其将存储在所述增强现实数据库中的所述信息与显示图像组合成组合图像，并在增强现实中输出所述组合图像。
全文摘要
使用增强现实数据库提供增强现实的移动终端和方法。一种移动终端包括接收单元，其接收内容信息；提取单元，其从所接收的内容信息中识别感兴趣的项，并提取详细信息；增强现实数据库，其存储该详细信息；以及显示单元，其将存储在该增强现实数据库中的信息与第一图像组合，并在增强现实中输出所组合的第二图像。一种通过独特的增强现实数据库的构造和管理来提供增强现实的方法包括以下步骤接收内容信息；在所接收到的内容信息中识别感兴趣的项；从与所识别的感兴趣的项对应的元数据中提取详细信息；将该详细信息存储在该增强现实数据库中；将存储在该增强现实数据库中的信息与第一图像组合成第二图像，并在增强现实中输出该第二图像。
文档编号H04M1/725GK102479251SQ201110235998
公开日2012年5月30日 申请日期2011年8月17日 优先权日2010年11月29日
发明者李孝真, 李正石, 裵在范, 金智礼, 金源武, 金锦镐 申请人:株式会社泛泰