基于手持移动设备的增强现实应用的实现方法
【专利摘要】一种计算机虚拟现实领域的基于手持移动设备的增强现实应用实现方法，通过部署在手持移动设备上的客户端软件对图案进行识别与跟踪，并在针对图案定位建立场景为空的初始应用；然后从素材库中导入所需素材添加至场景中，通过基于图形界面的可视化操作进行应用中的静态场景实现；再通过基于图形界面的可视化操作对场景中的素材进行动态场景实现；最后将实现后的应用保存为XML文件并上传至服务器端完成移动增强现实应用的发布。本发明简化了应用实现流程，提高了用户的实现效率；无需用户逐个指定所有的关键帧，极大地提高了复杂运动轨迹动画的实现效率与准确性。
【专利说明】
基于手持移动设备的増强现实应用的实现方法
技术领域
[0001] 本发明涉及的是一种计算机虚拟现实领域的技术，具体是一种基于手持移动设备的增强现实应用实现方法。【背景技术】
[0002] 增强现实技术具有的将真实世界信息与虚拟世界信息“无缝”集成的特性，使其在制造、教育等各种应用领域拥有广阔的发展前景。而由于手持移动设备的普及(如智能手机与平板电脑)和其他新型技术的发展(如基于二维码、基于自然特征的图案识别与跟踪)，增强现实技术也逐步应用于导览等移动应用领域，体现出了巨大的市场潜力和应用前景。但目前移动增强现实应用的开发涉及大量图形学及平台相关的编码工作，因此基本由专业人员根据需求定制开发。为简化实现流程，降低实现难度，甚至让不会编程的普通用户 (以下简称普通用户)也能进行应用设计，针对移动增强现实应用的设计工具和实现方法的研究也日趋热门。
[0003]目前，面向普通用户的移动增强现实应用的实现方法主要存在两大问题:第一， 现有移动增强现实应用实现流程较为复杂。一般采用先编码后生成的流程，即用户需要针对目标图案或者其他类型的标志物设计虚拟场景，再通过编译或者发布的方式查看最终结果。该流程造成用户所想与实际所得有所偏差，继而使用户陷入场景细节调整而无法专心于设计应用内容。第二，现有工具对于应用中动态场景的可视化实现支持不足。一般仅提供脚本实现环境，对于普通用户，这种应用实现方式难以掌握和使用。
[0004] 经过对现有技术的检索发现，当前比较成熟的移动增强现实应用设计工具是由 Meta1公司开发的Meta1 Creator软件，该工具部署于个人电脑上，提供了针对图片、真实物体、现实环境等等目标对象的可视化静态场景设计功能，即能在三视角下对场景中的素材进行平移、旋转、缩放操作，支持的素材包括图案、三维模型、视频等等，并且提供了脚本编辑器通过编写AREL脚本(Augmented Reality Experience Language)进行应用中动态场景的设计与实现。但该技术并未解决上述两大问题。
[0005]中国专利文献号CN103150658A，【公开日】2013 -06 -12,记载了“一种面向终端用户的现实增强定制系统及方法”，该方法涉及计算机增强现实、图像识别、互联网领域，尤其涉及基于互联网的面向终端用户的现实增强定制系统及方法，主要包括:用户管理单元、用户设计制作单元、AR处理单元、安装包打包单元、安装包管理单元、用户通知单元。该方法将增强现实的内容与技术实现相分离，提供终端用户灵活选择定制增强现实内容的可交互式界面，后台自动生成增强现实应用安装包，灵活、快速、准确生成用户所需定制的增强现实应用系统。但该技术还是采用了传统的先编码后生成的实现流程，用户需反复经过设计制作、打包、安装的流程对增强现实应用进行修改调试，不适用于基于手持移动设备的临场实现情况。
[0006]Eitsuka M.和 Hirakawa M.在《IIAI Internat1nal Conference on Advanced Applied Informatics》上发表的《Authoring Animat1ns of Virtual Objects inAugmented Reality-Based 3D Space》(2013年)中提出了一种基于定义关键帧的移动增强现实应用中模型动画实现方法，用以解决普通用户难以使用脚本编辑器实现应用中动态场景的问题。该方法针对的是三维模型的刚体运动动画，用户指定若干时刻下，模型在场景中分别对应的姿态，即一系列的关键帧，系统自动在运行时刻对关键帧进行插值计算生成中间帧，从而生成应用中的动态场景。但在模型运动轨迹或姿态变化较为复杂时，尤其在包含大量曲线运动时，由于需要用户逐个指定的大量的关键帧，该方法的适用性不足。
【发明内容】
[0007]本发明针对现有技术存在的上述不足，提出一种基于手持移动设备的增强现实应用实现方法，通过将实现流程简化，安排用户在应用运行时刻进行应用实现，即用户向一个场景为空的运行中的应用添加所需的内容，每一步的操作都能显示出该应用的最终效果， 使用户及时获得反馈，以提高用户的应用实现效率。通过基于连续帧动画设计的方法实现应用中动态场景，即提供涂鸦功能让用户快速地绘制场景中素材的运动轨迹，随后系统自动生成一系列的关键帧描述该动画，用户在此基础上可以对动画进行局部与整体的调整。 与现有技术相比，本发明简化了用户的应用实现流程，使用户能够更快地实现增强现实应用，同时能够让用户实现更为复杂的增强现实应用中的动态场景。
[0008]本发明是通过以下技术方案实现的:
[0009]本发明涉及一种基于手持移动设备的增强现实应用实现方法，通过部署在手持移动设备上的客户端软件对图案进行识别与跟踪，并在针对图案定位建立场景为空的初始应用；然后从素材库中导入所需素材添加至场景中，通过基于图形界面的可视化操作进行应用中的静态场景实现；再通过基于图形界面的可视化操作对场景中的素材进行动态场景实现；最后将实现后的应用保存为扩展标记语言格式(XML)文件并上传至服务器端完成移动增强现实应用的发布。
[0010]本发明具体包括以下步骤:
[0011]步骤一，对预定义的图案进行基于自然特征的识别与跟踪，并建立场景为空的初始移动增强现实应用；
[0012]所述图案用于场景定位，本步骤的跟踪环节确定了应用中虚拟场景相对于目标图案的三维坐标系，该坐标系用于指定后续实现过程中素材相对于目标图案的姿态，即位置、 角度和大小。
[0013]步骤二，通过检索素材库，向场景中添加所需的素材，并通过可视化操作进行静态场景实现；
[0014]所述的静态场景实现是指:用户使用参考面以及投影线辅助的触控交互调整场景中素材的姿态。
[0015]所述的参考面是指:过场景中用户选中素材的中心点p并指定法向n的带有网格的虚拟平面n。参考面包含平行于目标图案与垂直于目标图案且始终面向设备摄像头两种。
[0016]所述的投影线是指:场景中其他未被选中素材的中心点？1至参考面的垂线L 1<3
[0017]所述的调整素材姿态，具体包括以下步骤:
[0018]1)选择移动操作，将素材移动到空间中指定位置；
[0019]2)选择旋转操作，将素材沿任意轴旋转至所需角度；
[0020]3)选择缩放操作，将素材缩放至所需大小。
[0021]所述的素材姿态调整步骤可按任意次序进行，且不限操作次数。
[0022]步骤三，通过可视化操作对场景中的素材进行动态场景实现；
[0023]所述的动态场景实现是指:针对场景中的素材，通过设计连续帧动画的方式，完成刚体运动动画的设计。
[0024]动态场景实现具体包含以下步骤:
[0025]1)选中素材，选择涂鸦功能，通过参考面及投影线的辅助，在三维空间中绘制素材运动轨迹；
[0026]2)系统会记录用户在涂鸦过程中的触控点，并将其映射到当前参考面上对应的三维坐标点，并根据预设的运动速度对这些三维坐标点生成对应的关键帧时间戳，继而完成关键帧的生成；
[0027]3)对已有的关键帧，用户可以进行局部或整体上的调整；
[0028]所述的调整包括:
[0029]编辑关键帧:插入关键帧、删除关键帧以及选择关键帧并改变其对应的素材姿态。
[0030]改变动画模式:将动画设置为单次或者循环播放。
[0031]改变动画时长:调整动画时间，系统会根据关键帧之间的时间间隔重新计算调整后每个关键帧的时间戳。
[0032]步骤四，将实现后的应用保存为XML格式文件并上传至服务器端。技术效果
[0033]与现有技术相比，本发明采用的用户在应用的运行时刻进行实现的流程，与先编码后生成的流程相比，简化了应用实现流程，提高了用户的实现效率；
[0034]本发明采用的基于连续帧动画设计的动态场景实现方法，能以涂鸦快速创建运动轨迹作为动画原型，再通过编辑关键帧为动画增添细节。相较于目前少数几种支持应用中可视化动态场景设计的实现方法，无需用户逐个指定所有的关键帧，极大地提高了复杂运动轨迹动画的实现效率与准确性。【附图说明】
[0035]图1为本发明提出的实现流程图。
[0036]图2为本发明的实现示例图。【具体实施方式】
[0037]下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。实施例1
[0038]如图1所示，本实施例中采用了牛顿摆场景。该场景中，牛顿摆最右侧的摆球会落下，碰撞到相邻的摆球后，最左侧的摆球会弹起。包含三维动态场景的增强现实应用能够生动形象地展现这一物理现象。本实施例采用上述实现步骤进行说明。
[0039]如图1所示，本实施例包括如下步骤:
[0040]步骤一，用户针对目标图案新建一个场景为空的应用。
[0041]步骤二，在步骤一所新建的应用基础上，用户从模型库中查找并添加牛顿摆模型至场景中，在通过参考面与投影线的辅助操作调整最右摆球的起始姿态，，包括如下具体步骤:
[0042]第一步，选择搜索操作，输入检索的模型名字“ NewtonBal 1 ”，此处会返回所有名字中包含该关键词的模型。在检索到的模型中选择所需的模型，系统自动添加至场景中。这一步将素材导入了应用场景中；
[0043]第二步，在场景中点击最右侧摆球，系统显示参考面，通过移动和旋转操作调整最右侧摆球起始姿态。
[0044]步骤三，基于步骤二中的静态场景，对牛顿摆右、左两侧的摆球分别实现下落与弹起的动画，具体步骤如下:
[0045]第一步，选择最右侧摆球，通过涂鸦绘制摆球的下落轨迹；
[0046]第二步，对轨迹上的点pji = 0?n)，其中p。为起始点，pnS结束点，系统根据预设速度v计算对应的时间戳tji = 0?n):t0= 0, t ;= t i — i+lp1- PhI/vQ = 1?n) 〇 这一步用于生成描述该动画的关键帧；
[0047]第三步，调整动画时长至所需时长t’，系统重新计算关键帧时间戳t/ (i = 0? n) = vKt; - t0)/tnXt’(i = 0 ?n);
[0048]第四步，选中最左侧摆球，并在t’时刻插入一帧关键帧，用于保持最左侧摆球在最右侧摆球下落碰撞到相邻摆球前静止不动。然后涂鸦摆球的弹起轨迹；
[0049]第五步，系统同第二步生成关键帧；
[0050]第六步，同第三步对弹起动画的时长进行调整。
[0051]步骤四，保存应用并上传至服务器，此处系统会将应用保存为XML格式文件进行存取。
[0052]本实施例的操作过程如图2所示，图(a)是初始时空场景，图(b)是用户在模型库检索模型，图(c)是用户向场景中添加牛顿摆模型，图(d)是用户在调整碰球模型中摆球的姿态，图(e)是用户在实现最右侧摆球的下落动画，图(f)是用户在实现最左侧摆球的弹起动画，图(g)是Meta1 Creator的静态场景实现环境，图(h)是Meta1 Creator的动态场景实现环境。从图中可以看出，本方法与现有技术相比更加直观、易于学习，也更适合不会编程的普通用户使用。
[0053]本发明可以应用于中学教学领域中，教师可在备课时针对课本中的插图进行设计增强现实应用，并将应用上传至服务器，随后学生们可通过智能手机或平板电脑上的客户端浏览应用。比起传统的图案、幻灯片等课堂展示方法，包含动态三维场景的增强现实应用能够更直观、生动地对知识点进行展示。
【主权项】
1.一种基于手持移动设备的增强现实应用实现方法，其特征在于，通过部署在手持移 动设备上的客户端软件对图案进行识别与跟踪，并在针对图案定位建立场景为空的初始应 用；然后从素材库中导入所需素材添加至场景中，通过基于图形界面的可视化操作进行应 用中的静态场景实现；再通过基于图形界面的可视化操作对场景中的素材进行动态场景实 现；最后将实现后的应用保存为XML文件并上传至服务器端完成移动增强现实应用的发 布。2.根据权利要求1所述的方法，其特征是，所述方法具体包括以下步骤:步骤一，对预定义的图案进行基于自然特征的识别与跟踪，并建立场景为空的初始移 动增强现实应用；步骤二，通过检索素材库，向场景中添加所需的素材，并通过可视化操作进行静态场景 实现；步骤三，通过可视化操作对场景中的素材进行动态场景实现；步骤四，将实现后的应用保存为XML格式文件并上传至服务器端。3.根据权利要求1或2所述的方法，其特征是，所述图案用于场景定位，本步骤的跟踪 环节确定了应用中虚拟场景相对于目标图案的三维坐标系，该坐标系用于指定后续实现过 程中素材相对于目标图案的姿态，即位置、角度和大小。4.根据权利要求1或2所述的方法，其特征是，所述的静态场景实现是指:用户使用参 考面以及投影线辅助的触控交互调整场景中素材的姿态。5.根据权利要求1或2所述的方法，其特征是，所述的参考面是指:过场景中用户选中 素材的中心点P并指定法向n的带有网格的虚拟平面n ;参考面包含平行于目标图案与垂 直于目标图案且始终面向设备摄像头两种。6.根据权利要求1或2所述的方法，其特征是，所述的投影线是指:场景中其他未被选 中素材的中心点？1至参考面的垂线L 1<37.根据权利要求1或2所述的方法，其特征是，所述的调整素材姿态，具体包括以下步 骤:1)选择移动操作，将素材移动到空间中指定位置；2)选择旋转操作，将素材沿任意轴旋转至所需角度；3)选择缩放操作，将素材缩放至所需大小。8.根据权利要求1或2所述的方法，其特征是，所述的动态场景实现是指:针对场景中 的素材，通过设计连续帧动画的方式，完成刚体运动动画的设计。9.根据权利要求1或2所述的方法，其特征是，所述的动态场景实现具体包含以下步 骤:1)选中素材，选择涂鸦功能，通过参考面及投影线的辅助，在三维空间中绘制素材运动 轨迹；2)系统会记录用户在涂鸦过程中的触控点，并将其映射到当前参考面上对应的三维坐 标点，并根据预设的运动速度对这些三维坐标点生成对应的关键帧时间戳，继而完成关键 帧的生成；3)对已有的关键帧，用户可以进行局部或整体上的调整。10.根据权利要求1或2所述的方法，其特征是，所述的调整包括:编辑关键帧:插入关键帧、删除关键帧以及选择关键帧并改变其对应的素材姿态； 改变动画模式:将动画设置为单次或者循环播放；改变动画时长:调整动画时间，系统会根据关键帧之间的时间间隔重新计算调整后每 个关键帧的时间戳。
【文档编号】G06T13/20GK105989623SQ201510075241
【公开日】2016年10月5日
【申请日】2015年2月12日
【发明人】曹阳, 杨旭波
【申请人】上海交通大学