一种增强现实中实景与现实信息叠加的方法
【技术领域】
[0001]本发明涉及计算机技术领域，尤其涉及一种增强现实中实景与现实信息叠加的方法。
【背景技术】
[0002]在?目息时代，人们需要随时获得对自己有用的?目息，而这些?目息往往是以虚拟的形式存在于网络或者其他存储设备中，而现有的方法是需要用户通过PC或者移动终端在一个脱离现实的虚拟显示器中获得。例如人们通过谷歌或者百度来查询自己所需要的信息，通过高德地图获得自己的地理位置或者进行导航，通过脸书获得陌生人的基本情报，通过相关气象软件来获得天气咨询，等等。但这种获得信息的方式，一是不方便，人们需要刻意地停下脚步来查询；二是不真实，获得的信息并没有与现实的情形结合起来，不能给用户带来直观的感受，人们看到的只是冰冷的数据与文字，而没有直观的感受，例如现有导航给用户带来的感受就十分不好，因为并没有与现实结合，导致实际使用时，往往会走上错误的道路。
[0003]为了增强虚拟现实中实景与显示信息的交互，使得人们能够更加直观、更加方便、更加具体的获得现实中所需要的信息，我们要解决的首要问题便是如何改善两者的叠加方法，将用户所需要的信息在实景中友好地展示。
[0004]广为人知的一款产品便是谷歌公司研发的谷歌眼镜，它借鉴了一位印度科学家无私奉献的个人研究。
[0005]Google Project Glass主要结构包括，在眼镜前方悬置的一台摄像头和一个位于镜框右侧的宽条状的电脑处理器装置，配备的摄像头像素为500万，可拍摄720p视频。镜片上配备了一个头戴式微型显示屏，它可以将数据投射到用户右眼上方的小屏幕上。显示效果如同2.4米外的25英寸高清屏幕。
[0006]这款眼镜将集智能手机、GPS、相机于一身，在用户眼前展现实时信息，只要眨眨眼就能拍照上传、收发短信、查询天气路况等操作。用户无需动手便可上网冲浪或者处理文字信息和电子邮件，同时，戴上这款“拓展现实”眼镜，用户可以用自己的声音控制拍照、视频通话和辨明方向。该眼镜现实信息与实景叠加效果不友好，谷歌眼睛是在眼睛所见位置将实体信息展示出，这样会导致有多个实体的时候信息会混乱，也会出现显示的信息不知道对应于实景中哪个实体的情况。其实用性差，谷歌眼镜采取语音控制，如果用户有口音的话，并不能顺利的识别用户的每一条指令，导致使用极其不方便。同时它还支持眨眼等体感操作，但这样对于眼睛比较小的用户来说十分不和谐。
[0007]BaiduEye是一款集成了视、听、说能力的设备，无需眼镜屏幕，佩戴者只需要用手指在空中对着某个物品画个圈，或者拿起这个物品，或者视线关注某个物品并停留，BaiduEye即可通过这些手势、头部动势获得指令，锁定该物品并进行识别和分析处理。BaiduEye通过对佩戴者第一视角的视觉信息进行基于深度学习的图像分析，并结合百度强大的大数据分析能力和自然人机交互技术，为用户提供所见实物背后的信息，并连接相关服务。采用语音输出，虽然在一定程度上达到了增强现实的作用，但是由于其没有显示设备，不具备直观的感受体验。
【发明内容】
[0008]本发明提供一种增强现实中实景与现实信息叠加的方法，在现实场景中，捕捉和识别实体，并友好地显示实体的相关信息，达到增强现实的目的。
[0009]为了解决上述问题，本发明提出了一种增强现实中实景与现实信息叠加的方法，包括如下步骤:
[0010]终端设备将获取到实景、选中的实体发送到服务器，并根据服务器返回的信息抽像出实体，显示实体相关信息；
[0011]服务器负责从实景中获取实体列表，根据实体获取相关实体信息。
[0012]所述方法包括:
[0013]终端设备将实景及相应的GPS位置信息和红外信息发送到服务器；
[0014]服务器根据实景及其相关信息获取实体列表，返回给终端设备；
[0015]终端设备根据实体列表选择实体，并将选中的实体发送给服务器；
[0016]服务器获取实体的相关信息，返回给终端设备；
[0017]终端设备抽象出实体，展示实体相关信息；
[0018]终端设备对实体信息进行筛选，将筛选条件发送给服务器；
[0019]服务器根据筛选条件重新获取实体信息，并返回给终端设备；
[0020]终端设备展示实体相关信息。
[0021]所述方法包括:
[0022]终端设备将实景及相应的GPS位置信息和红外信息发送到服务器；
[0023]服务器将实景传给光照模型；
[0024]光照模型根据实景建模，获得实体模型参数；
[0025]光照模型将实体模型参数返回给服务器；
[0026]服务器将实景及相应的GPS位置信息和红外信息给辅助信息处理模型；
[0027]辅助信息处理模型识别或提取出辅助参数；
[0028]辅助信息处理模型将辅助参数返回给服务器；
[0029]服务器将实体的所有参数传送给实体库；
[0030]实体库根据实体参数获取最可能的实体列表；
[0031]实体库将实体列表返回给服务器；
[0032]服务器将实体列表返回给终端设备；
[0033]终端设备在所拍摄的2D图像上进行信息显示，通过设置字体大小的方式，实现远近的区分。
[0034]所述方法包括:
[0035]终端设备将选中的实体发送给服务器；
[0036]服务器将选中的实体发送给实体库；
[0037]实体库根据大众的行为对实体信息进行初步排序；
[0038]实体库根据用户个人行为对实体信息进一步排序；
[0039]实体库将排序好的实体信息返回给服务器；
[0040]服务器将实体信息返回给终端设备；
[0041]在终端设备中显示该实体的3D模型，并在该3D模型的不同部位显示该部位的详细信息。
[0042]在本发明实施例所提供的方法，结合了多种实体识别的方法，使实体识别更加准确；采用实体抽象和用户行为习惯分析等技术，提供了更加友好的信息展示方式。在实景中展示用户想获取的实体相关信息。将实体抽象出，并且融入用户行为习惯，能更好地展示用户想获取的信息，改善用户体验。
【附图说明】
[0043]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0044]图1是本发明实施例中的增强现实中实景与现实信息叠加的系统结构示意图；
[0045]图2是本发明实施例中的手持设备与服务器交互的流程图；
[0046]图3是本发明实施例中的从手持设备发送实景到服务器返回实体列表的流程图；
[0047]图4是本发明实施例中的从手持设备发送选中实体后到服务器返回该实体具体信息的流程图。
【具体实施方式】
[0048]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]在现实场景中，捕捉和识别实体，并友好地显示实体的相关信息，达到增强现实的目的。