专利名称：移动终端增强现实应用系统及方法
技术领域：
本发明涉及一种移动终端增强现实应用系统及方法，可以通过移动终端实现真实场景和虚拟内容结合，并提供更多交互操作方法，属增强现实领域。
背景技术：
增强现实(Augmented Reality,简称AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。目前的增强现实技术在移动终端的应用已经越来越多，用户通过智能手机、平板等设备的摄像头对准目标物，屏幕上就可以看到叠加在实景影像上的相关文字或虚拟影像等信息。但是目前增强现实应用的操作存在一定问题，比如用户在移动摄像头的过程中，虚拟内容也在不断变换，同时又可能出现多个虚拟内容互相叠加，当用户想查看某些内容有时很难找到目标。
发明内容
设计目的:避免背景技术中的不足之处，设计一种可以有更丰富、更人性化的交互操作的移动终端增强现实应用系统及方法。设计方案:为了实现上述设计目的。本发明设计的移动终端增强现实应用系统至少由移动终端、无线通讯网络、后台数据中心构成；移动终端通过无线通讯网络与后台数据中心双向数据交换，后台数据中心通过无线通讯网络反馈至移动终端。这样做的目的在于:
1、当移动终端进入增强现实模式后，移动终端的摄像头打开并接收现实场景图像，作为第一图层，处理器对第一图层进行特征分析，提取图像特征；卫星定位模块获取移动终端的位置信息，陀螺仪传感器获取移动终端的摄像头朝向和角度信息，通讯模块将这些信息以及第一图层的图像特征同时发送至后台数据中心；后台数据中心经过计算分析，根据第一图层的图像特征以及移动终端的位置和朝向、角度信息，搜索数据中心的数据库中与第一图层相对应的虚拟内容，包括文字、图片、语音、视频、网络链接地址等各种媒体内容；所述后台数据中心中存储的虚拟内容，每一条内容都附带有电子标识，该电子标识明确了虚拟内容的属性，使得系统可以根据不同属性对虚拟内容进行筛选；
后台数据中心将以上搜索到的虚拟内容，再发送至移动终端，移动终端接收到该虚拟内容，通过处理器的计算将该虚拟内容与第一图层组合，形成含增强现实内容的第二图层，并通过显示模块展示给用户。2、在上述第I条是根据移动终端当前位置作为基准点查看增强现实内容，实际上，用户可以自定义一个特定地点，并查看这个特定地点的增强现实内容；具体方法如下:用户通过输入、选择或者搜索的方式，确定一个地点信息并上传至后台数据中心，后台数据中心接收到该地点信息后，则对该地点进行解析，并与后台数据中心中存储的虚拟内容关联的地点信息进行比对，搜索与该地点对应的虚拟内容，并反馈至移动终端，形成增强现实的图层内容，展示给用户查看。3、在上述第I条是查看当前时刻的增强现实内容；实际上，用户可以查看自定义时间段内的增强现实内容，具体方法如下:用户通过输入、选择或搜索的方式，确定一个时间段的开始和结束时间，并上传至后台数据中心，后台数据中心接收到该时间段信息，与后台数据中心存储的时间信息进行比对，搜索属于用户要求的时间段内的虚拟内容，并反馈至移动终端，形成增强现实的图层内容，展示给用户查看。本发明与背景技术相比，提供了很多全新的操作和显示方法，让用户在增强现实应用中能够更加方便的查看和锁定所需内容，并能够根据用户意愿自由查看不同时间、地点的增强现实内容，系统更加人性化和高效。
图1为本发明的一种实施例的系统构成示意图。图2为本发明的一种实施例的设备模块结构示意图。图3为本发明的一种实施例的系统处理增强现实的方法逻辑流程图。图4为本发明的一种实施例的增强现实内容显示及实时推送示意图。图5为本发明的一种实施例的手动模式下手势操作示意图。图6为本发明的一种实施例的多层增强现实内容显示示意图。
具体实施例方式实施例1:参照附图1-6。一种移动终端增强现实应用系统至少由移动终端1、无线通讯网络2、后台数据中心3构成，如图1所示。移动终端I通过无线通讯网络2与后台数据中心3双向数据交换，后台数据中心3通过无线通讯网络反馈至移动终端。所述移动终端I包含处理器101、存储模块102、摄像头103、卫星定位模块104、陀螺仪传感器105、显示模块106、通讯模块107、电源模块108 ;处理器101与存储模块102、卫星定位模块104和通讯模块107双向数据交换，陀螺仪传感器105信号输出端接处理器101信号输入端，处理器101信号输出端分别接摄像头103、显示模块106信号输入端，电源模块108用于对移动终端I各组件供电。本发明的提供一种实施例，当进入增强现实模式后，移动终端I的摄像头打开并接收现实场景图像，作为第一图层，处理器101对第一图层进行特征分析，提取图像特征；
卫星定位模块104获取移动终端I的位置信息，陀螺仪传感器105获取移动终端I的摄像头朝向和角度信息，通讯模块107将这些信息以及第一图层的图像特征同时发送至后台数据中心3 ；
后台数据中心3经过计算分析，根据第一图层的图像特征以及移动终端I的位置和朝向、角度信息，搜索数据中心的数据库中与第一图层相对应的虚拟内容，包括文字、图片、语音、视频、网络链接地址等各种媒体内容；
所述后台数据中心3中存储的虚拟内容，每一条内容都附带有电子标识，该电子标识明确了虚拟内容的属性，使得系统可以根据不同属性对虚拟内容进行筛选；
后台数据中心3将以上搜索到的虚拟内容，再发送至移动终端1，移动终端I接收到该虚拟内容，通过处理器101的计算将该虚拟内容与第一图层组合，形成含增强现实内容的第二图层，并通过显示模块106展示给用户。增强现实的显示内容如图4示意。系统能够自动进入增强现实模式，其方法为:处理器通过陀螺仪传感器监测移动终端I摄像头的角度，摄像头抬起与水平方向呈一定倾角时，处理器101通过陀螺仪传感器105监测移动终端摄像头103的角度，摄像头103抬起与水平方向呈一定倾角时，处理器101获取该倾角数据并计算，如该倾角处于系统设定好的范围内，处理器101即命令系统自动切换至增强现实模式，无需手动操作；当摄像头103倾角不在系统设定范围内时，系统按照同样方法自动关闭增强现实模式。实施例2:在实施例1的基础上，一种移动终端的增强现实应用系统，可自动进入锁定状态:处理器101通过陀螺仪传感器105监测移动终端I摄像头103的朝向和角度，当摄像头103的朝向和角度在某一连续的时段内未发生变化，即可认为摄像头103处于静止状态,此时系统自动进入锁定状态。所述锁定状态，是指在该状态下，系统将进入锁定状态前的时刻获取并显示的第二图层内容存储至存储模块102，并在显示模块中展示。此时，无论移动终端I的位置、朝向和角度是否发生变化，系统都不再更新当前的显示内容。实施例3:本实施例所述的移动终端的增强现实应用系统，允许用户在手动模式中通过手动操作查看第二图层。其具体方法为:
移动终端I通过卫星定位模块104获取自身的位置定位信息，并通过通讯模块107发送至后台数据中心3，后台数据中心3根据接收到的位置信息，查询该位置周边一定半径范围内对应的全部虚拟内容，以及每一条虚拟内容相应的位置和方向信息，并反馈至移动终端1，移动终端I接收上述信息，通过计算得出含有增强现实内容的第二图层，将该图层存储至存储模块102中，并通过显示模块106展示出来，系统提供两个控制按钮109和110，分别控制方向变化和距离变化，用户操作按钮109，可查看不同方向、角度所对应的第二图层内容；操作按钮110可查看某一固定方向和角度下对应的第二图层中不同距离的内容。手动模式下的操作和显示如图5所示。实施例4:本实施例所述的移动终端的增强现实应用系统，能够根据移动终端I所处位置点主动推送与该位置相关的信息，具体方法如下:后台数据中3心接收到移动终端I发送的信息时，查询移动终端I所处位置对应的虚拟内容，后台数据中心3根据上述虚拟内容附带的电子标识确定其属性，并根据系统预先设定的规则，查找与上述虚拟内容具有属性关联的内容，后台数据中心3将上述虚拟内容及关联内容反馈至移动终端1，移动终端I接收并存储至存储模块102中；
当系统进入增强现实模式时，在显示摄像头103捕捉的第一图层及对应生成的第二图层之外，还会显示移动终端I当前所处位置的上述虚拟内容及关联内容；
所述关联内容为系统自动向用户提供，比如移动终端I所处位置为电影院，则关联内容可以为电影场次时间表、购票链接等，方便用户使用时直接获取有效的关联信息，上述关联内容的规则和逻辑可以通过系统设定和调整。实施例5:本实施例所述的移动终端的增强现实应用系统，能够实现多层增强现实内容的显示，具体方法为:后台数据中心I的虚拟内容按照层级存储，通过电子标识标明该内容包含的每一个子层级，每一个子层级同样在电子标识中标明其包含的更多子层级虚拟内容；用户在第二图层中查看虚拟内容时，默认不会显示其子层级内容，但会出现控制按钮111，点击该按钮，即可继续查看子层级的虚拟内容，此时实际场景和第一层虚拟内容保持不变，子层级虚拟内容被激活，按照与第二图层相同的方法展示，形成第三图层；同样的，在该第三图层中的虚拟内容具有子层级的，也可以通过控制按钮111查看，形成第四图层，以此类推，以上过程可以不断重复加载更多虚拟内容子图层，从而大大提高增强现实模式下虚拟内容的信息量和展现层次。多层次的增强现实内容显示如图6所示。实施例6:本实施例所述的移动终端的增强现实应用系统，能够根据当前移动终端I的位置和朝向，实时推送虚拟内容。后台数据中心3存储的虚拟内容或其关联信息一旦有更新，如优惠券、促销信息等，系统会实时检测当前有哪些移动终端I用户正在查看上述发生更新的虚拟内容，并主动将该信息更新推送至移动终端1，告知用户查看，而不需要用户发出任何请求或执行任何操作。实时推送内容显示如图1中红色文字所示。实施例7:本实施例所述的移动终端的增强现实应用系统，允许用户自定义一个特定地点，并查看这个特定地点的增强现实内容。用户通过输入、选择或者搜索的方式，确定一个地点信息并上传至后台数据中心3，后台数据中心3接收到该地点信息后，则对该地点进行解析，并与后台数据中心3中存储的虚拟内容关联的地点信息进行比对，搜索与该地点对应的虚拟内容，并反馈至移动终端1，形成增强现实的图层内容，展示给用户查看。实施例8:本实施例所述的移动终端的增强现实应用系统，用户查看自定义时间段内的增强现实内容。用户通过输入、选择或搜索的方式，确定一个时间段的开始和结束时间，并上传至后台数据中心3，后台数据中心3接收到该时间段信息，与后台数据中心3存储的时间信息进行比对，搜索属于用户要求的时间段内的虚拟内容，并反馈至移动终端1，形成增强现实的图层内容，展示给用户查看。在以上方法中，用户还可以按照不同方式查看指定时间段内的增强现实内容，包括:1按照真实时间速率查看指定时间段内的增强现实内容；2按照与真实时间不同的速率查看，此时用户可以指定比真实时间更快或更慢，从而可以快速浏览或更细致的查看指定时间段内的增强现实内容；3快速定位到该时间段内任意时刻，从而立即切换至该时刻的增强现实内容。需要理解到的是:上述实施例虽然对本发明的设计思路作了比较详细的文字描述，但是这些文字描述，只是对本发明设计思路的简单文字描述，而不是对本发明设计思路的限制，任何不超出本发明设计思路的组合、增加或修改，均落入本发明的保护范围内。
权利要求
1.一种移动终端增强现实应用系统，其特征是:至少由移动终端(I)、无线通讯网络(2)、后台数据中心(3)构成，移动终端(I)通过无线通讯网络(2)与后台数据中心(3)双向数据交换，后台数据中心(3)通过无线通讯网络反馈至移动终端。
2.根据权利要求1所述的移动终端增强现实应用系统，其特征是:所述移动终端(I)包含处理器(101 )、存储模块(102)、摄像头(103)、卫星定位模块(104)、陀螺仪传感器(105)、显示模块(106)、通讯模块(107)、电源模块(108);处理器(101)与存储模块(102)、卫星定位模块(104)和通讯模块(107)双向数据交换，陀螺仪传感器(105)信号输出端接处理器(101)信号输入端,处理器(101)信号输出端分别接摄像头(103)、显不模块(106)信号输入端，电源模块(108)用于对移动终端(I)各组件供电。
3.一种移动终端增强现实应用系统的运行方法，其特征是: 当移动终端进入增强现实模式后，移动终端(I)的摄像头打开并接收现实场景图像，作为第一图层，处理器(101)对第一图层进行特征分析，提取图像特征； 卫星定位模块(104)获取移动终端(I)的位置信息，陀螺仪传感器(105)获取移动终端(I)的摄像头朝向和角度信息，通讯模块(107)将这些信息以及第一图层的图像特征同时发送至后台数据中心(3); 后台数据中心(3)经过计算分析，根据第一图层的图像特征以及移动终端(I)的位置和朝向、角度信息，搜索数据中心的数据库中与第一图层相对应的虚拟内容，包括文字、图片、语音、视频、网络链接地址等各种媒体内容； 所述后台数据中心(3)中存储的虚拟内容，每一条内容都附带有电子标识，该电子标识明确了虚拟内容的属性，使得系统可以根据不同属性对虚拟内容进行筛选； 后台数据中心(3)将以上搜索到的虚拟内容，再发送至移动终端(1)，移动终端(I)接收到该虚拟内容，通过处理器(101)的计算将该虚拟内容与第一图层组合，形成含增强现实内容的第二图层，并通过显示模块(106)展示给用户。
4.根据权利要求3所述的移动终端增强现实应用系统的运行方法，其特征是:所述系统可自动切换增强现实模式，处理器(101)通过陀螺仪传感器(105)监测移动终端(I)摄像头(103)的角度，摄像头(103)抬起与水平方向呈一定倾角时，处理器(101)获取该倾角数据并计算，如该倾角处于系统设定好的范围内，处理器(101)即命令系统自动切换至增强现实模式，无需手动操作；当摄像头(103)倾角不在系统设定范围内时，系统按照同样方法自动关闭增强现实模式。
5.根据权利要求3所述的移动终端增强现实应用系统的运行方法，其特征是:所述系统可自动进入锁定状态，处理器(101)通过陀螺仪传感器(105)监测移动终端(I)摄像头(103)的朝向和角度，当摄像头(103)的朝向和角度在某一连续的时段内未发生变化，即可认为摄像头(103)处于静止状态，此时系统自动进入锁定状态。
6.根据权利要求5所述的移动终端增强现实应用系统的运行方法，其特征是:所述增强现实系统的锁定状态，是指在该状态下，系统将进入锁定状态前的时刻获取并显示的第二图层内容存储至存储模块(102)，并在显示模块中展示，此时，无论移动终端(I)的位置、朝向和角度是否发生变化，系统都不再更新当前的显示内容。
7.根据权利要求3所述的移动终端增强现实应用系统的运行方法，其特征是:系统在增强现实模式中设置了手动模式，允许用户通过手动操作查看第二图层，具体方法为:移动终端(I)通过卫星定位模块(104)获取自身的位置定位信息，并通过通讯模块(107)发送至后台数据中心(3)，后台数据中心(3)根据接收到的位置信息，查询该位置周边一定半径范围内对应的全部虚拟内容，以及每一条虚拟内容相应的位置和方向信息，并反馈至移动终端(1)，移动终端(I)接收上述信息，通过计算得出含有增强现实内容的第二图层，将该图层存储至存储模块(102)中，并通过显示模块(106)展示出来，系统提供两个控制按钮(109、110)，分别控制方向变化和距离变化，用户操作按钮(109)，可查看不同方向、角度所对应的第二图层内容；操作按钮(110)可查看某一固定方向和角度下对应的第二图层中不同距离的内容。
8.根据权利要求7所述的移动终端增强现实应用系统的运行方法，其特征是:移动终端(I)的显示模块(106)，可使用支持触摸手势操作的显示屏设备，此时，权利要求7中所述的控制按钮109、110可省略，而通过手势操作达到同样目的，具体地说，水平、垂直方向滑动的手势操作与按钮109的功能一致，可查看不同方向、角度所对应的第二图层内容；双指缩放的手势操作与按钮110的功能一致，可查看某一固定方向和角度下对应的第二图层中不同距离的内容。
9.根据权利要求3所述的移动终端增强现实应用系统的运行方法，其特征是:后台数据中心(3)在完成权利 要求3中所述处理过程的同时，系统能够根据移动终端(I)所处位置点做出判断，具体方法如下: 后台数据中(3)心接收到移动终端(I)发送的信息时，查询移动终端(I)所处位置对应的虚拟内容，后台数据中心(3)根据上述虚拟内容附带的电子标识确定其属性，并根据系统预先设定的规则，查找与上述虚拟内容具有属性关联的内容，后台数据中心(3)将上述虚拟内容及关联内容反馈至移动终端(1)，移动终端(I)接收并存储至存储模块(102)中； 当系统进入增强现实模式时，在显示摄像头(103)捕捉的第一图层及对应生成的第二图层之外，还会显示移动终端(I)当前所处位置的上述虚拟内容及关联内容； 所述关联内容为系统自动向用户提供，比如移动终端(I)所处位置为电影院，则关联内容可以为电影场次时间表、购票链接等，方便用户使用时直接获取有效的关联信息，上述关联内容的规则和逻辑可以通过系统设定和调整。
10.根据权利要求3所述的移动终端增强现实应用系统的运行方法，其特征是:所述增强现实系统在上述第二图层的基础上，还可以加载更多含有增强现实内容的多个子图层，具体方法为: 后台数据中心(I)的虚拟内容按照层级存储，通过电子标识标明该内容包含的每一个子层级，每一个子层级同样在电子标识中标明其包含的更多子层级虚拟内容；用户在第二图层中查看虚拟内容时，默认不会显示其子层级内容，但会出现控制按钮(111)，点击该按钮，即可继续查看子层级的虚拟内容，此时实际场景和第一层虚拟内容保持不变，子层级虚拟内容被激活，按照与第二图层相同的方法展示，形成第三图层；同样的，在该第三图层中的虚拟内容具有子层级的，也可以通过控制按钮(111)查看，形成第四图层，以此类推，以上过程可以不断重复加载更多虚拟内容子图层，从而大大提高增强现实模式下虚拟内容的信息量和展现层次。
11.根据权利要求3所述的移动终端增强现实应用系统的运行方法，其特征是:在增强现实模式下，系统能够根据当前移动终端(I)的位置和朝向，实时推送虚拟内容，具体方法如下: 后台数据中心(3)存储的虚拟内容或其关联信息一旦有更新，如优惠券、促销信息等，系统会实时检测当前有哪些移动终端(I)用户正在查看上述发生更新的虚拟内容，并主动将该信息更新推送至移动终端(I )，告知用户查看，而不需要用户发出任何请求或执行任何操作。
12.—种移动终端增强现实应用系统的运行方法，其特征是:在上述权利要求3中所述方法，是根据移动终端(I)当前位置作为基准点查看增强现实内容，实际上，用户可以自定义一个特定地点，并查看这个特定地点的增强现实内容；具体方法如下: 用户通过输入、选择或者搜索的方式，确定一个地点信息并上传至后台数据中心(3)，后台数据中心(3)接收到该地点信息后，则对该地点进行解析，并与后台数据中心(3)中存储的虚拟内容关联的地点信息进行比对，搜索与该地点对应的虚拟内容，并反馈至移动终端(I)，形成增强现实的图层内容，展示给用户查看。
13.—种移动终端增强现实应用系统的运行方法，其特征是:在上述权利要求3中所述方法，是查看当前时刻的增强现实内容；实际上，用户可以查看自定义时间段内的增强现实内容，具体方法如下: 用户通过输入、选择或搜索的方式，确定一个时间段的开始和结束时间，并上传至后台数据中心(3)，后台数据中心(3)接收到该时间段信息，与后台数据中心(3)存储的时间信息进行比对，搜索属于用户要求的时间段内的虚拟内容，并反馈至移动终端(1)，形成增强现实的图层内容，展示给用户查看。
14.根据权利要求13所述的 移动终端增强现实应用系统的运行方法，其特征是:用户可以按照不同方式查看指定时间段内的增强现实内容，包括: (1)按照真实时间速率查看指定时间段内的增强现实内容； (2)按照与真实时间不同的速率查看，此时用户可以指定比真实时间更快或更慢，从而可以快速浏览或更细致的查看指定时间段内的增强现实内容； (3)快速定位到该时间段内任意时刻，从而立即切换至该时刻的增强现实内容。
全文摘要
本发明涉及一种移动终端增强现实应用系统及方法，可以通过移动终端实现真实场景和虚拟内容结合，并提供更多交互操作方法。至少由移动终端、无线通讯网络、后台数据中心构成。移动终端设备采集外界数据信息，通过无线通讯网络将信息传输至后台数据中心，数据中心对接收的信息进行计算处理后，再通过无线通讯网络反馈至移动终端设备，以实现增强现实的应用。本系统尤其对于增强现实模式下的信息展示提出了新的方法，包括实时推送、多层增强现实内容的显示等。
文档编号G06F17/30GK103164518SQ20131007093
公开日2013年6月19日 申请日期2013年3月6日 优先权日2013年3月6日
发明者陈晓波 申请人:杭州九树网络科技有限公司