移动设备及其增强显示方法
【专利摘要】本发明涉及移动设备及其增强显示方法。其中的移动设备，包括显示屏还包括处理器、图像获取模块和姿态传感器。图像获取模块用于捕捉目标标识；处理器用于在图像获取模块捕捉的目标标识上叠加与之相对应的显示图像，并将图像获取模块捕捉的目标标识和与该目标标识相对应的显示图像显示到显示屏上；姿态传感器用于在图像获取模块捕捉目标标识失败时，获取图像获取模块的空间姿态；处理器还用于根据图像获取模块的空间姿态计算目标标识的位置，在目标标识上叠加与之相对应的显示图像，并将目标标识和显示图像显示到显示屏上。采用本发明的移动设备及其增强显示方法，可以使得计算出的3D虚拟物体的叠加位置更加精确，进而3D显示效果更逼真。
【专利说明】移动设备及其增强显示方法
【技术领域】
[0001]本发明涉及一种增强显示技术，特别是一种移动设备及其增强显示方法。
【背景技术】
[0002]增强显示技术，是一种综合了计算机视觉、运动捕捉、虚拟现实等计算机学科，将虚拟三维模型动画、视频、文字、图片等数字信息实时叠加显示到真实场景中，并与现实物体或者使用者实现自然互动的创新的人机交互技术。增强显示技术为了实现虚拟与现实场景的无缝融合，核心的技术问题是解决三维空间注册的问题，即计算虚拟世界与现实世界坐标系的对应关系，实现将虚拟物体按照正确的空间透视关系叠加到现实场景的确定位置上。其中基于计算机视觉的标识图像识别，以及使用传感器的物体运动追踪是解决三维注册问题的核心技术。
[0003]在移动平台，如智能手机或者平板电脑上，可以通过内置摄像头对现实场景中识别标识的实时图像识别追踪，并在识别标识上叠加3D虚拟物体实现增强显示展示效果；当摄像头无法捕捉到实景中的识别标识时，可以通过移动平台内置的姿态传感器，如陀螺仪或者重力加速计，跟踪摄像头姿态的相对变化，并反算出3D虚拟物体的叠加位置，以实现图像识别与姿态传感器组合的增强显示展示效果。
[0004]移动平台上现有的基于图像识别与姿态传感器组合的增强显示实现方式，基于一个假设，移动设备上的摄像头和内置姿态传感器的坐标系中心在空间上是重合的，否则在从摄像头图像识别模式切换到传感器模式时，虚拟物体在现实空间的叠加位置会有计算误差。但基本上所有的移动设备，由于外观设计要求，摄像头和内置姿态传感器坐标系中心都是不重合的，而且不同设备上的相对位置也都不一样。
【发明内容】
[0005]在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0006]本发明的一个主要目的在于提供一种移动设备及其增强显示方法，其计算出的3D虚拟物体的叠加位置更加精确，进而3D显示效果更逼真。
[0007]根据本发明的一方面，一种移动设备，包括显示屏，还包括处理器、图像获取模块和姿态传感器；
[0008]其中:
[0009]所述图像获取模块用于捕捉目标标识；
[0010]所述处理器用于在所述图像获取模块捕捉的目标标识上叠加与之相对应的显示图像，并将所述图像获取模块捕捉的目标标识和与该目标标识相对应的显示图像显示到所述显示屏上；[0011]所述姿态传感器用于在所述图像获取模块捕捉所述目标标识失败时，获取所述图像获取模块的空间姿态；
[0012]所述处理器还用根据所述图像获取模块的空间姿态计算所述目标标识的位置，在所述目标标识上叠加与之相对应的显示图像，并将所述目标标识和与该目标标识相对应的显示图像显示到所述显示屏上。
[0013]根据本发明的第二方面，一种移动设备的增强显示方法，包括:
[0014]图像获取模块捕捉目标标识；
[0015]处理器在图像获取模块捕捉的目标标识上叠加与之相对应的显示图像，并将所述目标标识和与该目标标识相对应的显示图像显示到显示屏上；
[0016]当图像获取模块捕捉所述目标标识失败时，姿态传感器获取图像获取模块的空间姿态；
[0017]处理器根据图像获取模块的空间姿态计算所述目标标识的位置，在所述目标标识上叠加与之相对应的显示图像，并将所述目标标识和与该目标标识相对应的显示图像显示到显示屏上。
[0018]采用本发明的移动设备及其增强显示方法，可以使得计算出的3D虚拟物体的叠加位置更加精确，进而3D显示效果更逼真。
【专利附图】
【附图说明】
[0019]参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
[0020]图1为本发明的移动设备的一种实施方式的结构图；
[0021]图2为本发明的移动设备的增强显示方法的一种实施方式的流程图。
【具体实施方式】
[0022]下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
[0023]参见图1所示，为本发明的移动设备的一种实施方式的结构图。
[0024]在本实施方式中，移动设备I包括显示屏(图中未示出)、处理器(图中未示出)、图像获取模块10和姿态传感器20。
[0025]其中，图像获取模块10用于捕捉目标标识；处理器用于在图像获取模块10捕捉的目标标识上叠加与之相对应的显示图像(例如，显示图像可以是具有3D效果的图像),并将图像获取模块捕捉的目标标识和与该目标标识相对应的显示图像显示到显示屏上。
[0026]姿态传感器20用于在图像获取模块10捕捉目标标识失败时，获取图像获取模块10的空间姿态。处理器还用于根据图像获取模块10的空间姿态计算目标标识的位置，在目标标识上叠加与之相对应的显示图像，并将目标标识和与该目标标识相对应的显示图像显示到显示屏上。[0027]例如，目标标识为一平板，对应的显示图像为一具有3D效果的恐龙，显示到显示屏上的是平板以及该具有3D效果的恐龙。当平板运动时，该具有3D效果的恐龙跟随该平板运动，且保持二者相对空间位置不变。
[0028]此时，移动设备1 (例如，手机、平板电脑等)的图像获取模块10 (例如摄像头)捕捉该平板。如果捕获成功，则处理器在该平板上叠加与之相对应的具有3D效果的恐龙，并将平板和具有3D效果的恐龙显示到显示屏上。
[0029]然而，由于移动设备1不仅可以移动，还能够旋转，而图像获取模块10并不能进行360度全方位的捕获。因而，有时图像获取模块10不能直接对目标标识进行成功的捕捉。此时，需要由姿态传感器20 (例如重力加速度计和/或陀螺仪)来获取图像获取模块10的空间姿态。继而，处理器根据图像获取模块10的空间姿态计算目标标识的位置，在目标标识上叠加与之相对应的显示图像，并将目标标识和与该目标标识相对应的显示图像显示到显示屏上。
[0030]在一种实施方式中，处理器可以根据目标标识与图像获取模块10之间的空间位置变换矩阵来在目标标识上叠加与目标标识相对应的显示图像。空间位置变换矩阵也即是以图像获取模块10为原点，在预定坐标系下，目标标识在该坐标系的空间坐标。
[0031]然而，由于在移动设备1中，往往图像获取模块10与姿态传感器20安装在不同的位置。如果仅将移动设备1考虑成一个质点，并计算该质点与目标标识之间的空间变换矩阵，那么最终投射在该目标标识上的具有3D效果的显示图像并不能够与该目标标识完全匹配，这样一来，会降低增强显示的效果。
[0032]因而，优选地，处理器可以将图像获取模块10与姿态传感器20的空间位置偏差叠加至空间位置变换矩阵中，来计算目标标识的位置。
[0033]这样一来，由于考虑了图像获取模块10与姿态传感器20安装位置的差异，可以使得计算出来的目标标识的位置与目标标识真实位置更加接近，从而可以使具有3D效果的显示图像更加准确的叠加到该目标标识上。
[0034]参见图2所示，为本发明的移动设备的增强显示方法的一种实施方式的流程图。
[0035]在本实施方式中，移动设备的增强显示方法包括:
[0036]S10:图像获取模块10捕捉目标标识；
[0037]S20:处理器在图像获取模块10捕捉的目标标识上叠加与之相对应的显示图像，并将目标标识和与该目标标识相对应的显示图像显示到显示屏上；
[0038]S30:当图像获取模块10捕捉目标标识失败时，姿态传感器20获取图像获取模块10的空间姿态；
[0039]S40:处理器根据图像获取模块10的空间姿态计算目标标识的位置，在目标标识上叠加与之相对应的显示图像，并将目标标识和与该目标标识相对应的显示图像显示到显示屏上。
[0040]作为一种实施方式，步骤S40中，“处理器根据图像获取模块的空间姿态计算所述目标标识的位置，在目标标识上叠加与之相对应的显示图像”可以具体包括:
[0041]处理器根据目标标识与图像获取模块10之间的空间位置变换矩阵来在目标标识上叠加与目标标识相对应的显示图像。
[0042]作为一种实施方式，步骤S40中，“处理器根据图像获取模块的空间姿态计算所述目标标识的位置，在目标标识上叠加与之相对应的显示图像”还可以具体包括:
[0043]处理器将图像获取模块与姿态传感器的空间位置偏差叠加至空间位置变换矩阵中，来计算所述目标标识的位置。
[0044]采用本发明的移动设备及其增强显示方法，可以使得计算出的3D虚拟物体的叠加位置更加精确，进而3D显示效果更逼真。
[0045]上面对本发明的一些实施方式进行了详细的描述。如本领域的普通技术人员所能理解的，本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算设备(包括处理器、存储介质等)或者计算设备的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在了解本发明的内容的情况下运用他们的基本编程技能就能实现的，因此不需在此具体说明。
[0046]此外，显而易见的是，在上面的说明中涉及到可能的外部操作的时候，无疑要使用与任何计算设备相连的任何显示设备和任何输入设备、相应的接口和控制程序。总而言之，计算机、计算机系统或者计算机网络中的相关硬件、软件和实现本发明的前述方法中的各种操作的硬件、固件、软件或者它们的组合，即构成本发明的设备及其各组成部件。
[0047]因此，基于上述理解，本发明的目的还可以通过在任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备可以是公知的通用设备。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者设备的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储或者传输这样的程序产品的介质也构成本发明。显然，所述存储或者传输介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储或者传输介质，因此也没有必要在此对各种存储或者传输介质一一列举。
[0048]在本发明的设备和方法中，显然，各部件或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本发明的等效方案。还需要指出的是，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。同时，在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
[0049]应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0050]虽然已经详细说明了本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。
【权利要求】
1.一种移动设备，包括显示屏，其特征在于，还包括处理器、图像获取模块和姿态传感器； 其中： 所述图像获取模块用于捕捉目标标识； 所述处理器用于在所述图像获取模块捕捉的目标标识上叠加与之相对应的显示图像，并将所述图像获取模块捕捉的目标标识和与该目标标识相对应的显示图像显示到所述显示屏上； 所述姿态传感器用于在所述图像获取模块捕捉所述目标标识失败时，获取所述图像获取模块的空间姿态； 所述处理器还用于根据所述图像获取模块的空间姿态计算所述目标标识的位置，在所述目标标识上叠加与之相对应的显示图像，并将所述目标标识和与该目标标识相对应的显示图像显示到所述显示屏上。
2.根据权利要求1所述的移动设备，其特征在于： 所述处理器用于根据所述目标标识与所述图像获取模块之间的空间位置变换矩阵来在所述目标标识上叠加与所述目标标识相对应的显示图像。
3.根据权利要求2所述的移动设备，其特征在于： 所述处理器用于将所 述图像获取模块与所述姿态传感器的空间位置偏差叠加至所述空间位置变换矩阵中，来计算所述目标标识的位置。
4.根据权利要求1所述的移动设备，其特征在于： 所述图像获取模块包括摄像头。
5.根据权利要求1所述的移动设备，其特征在于： 所述姿态传感器包括陀螺仪和/或重力加速度计。
6.一种移动设备的增强显示方法，其特征在于，包括： 图像获取模块捕捉目标标识； 处理器在图像获取模块捕捉的目标标识上叠加与之相对应的显示图像，并将所述目标标识和与该目标标识相对应的显示图像显示到显示屏上； 当图像获取模块捕捉所述目标标识失败时，姿态传感器获取图像获取模块的空间姿态； 处理器根据图像获取模块的空间姿态计算所述目标标识的位置，在所述目标标识上叠加与之相对应的显示图像，并将所述目标标识和与该目标标识相对应的显示图像显示到显示屏上。
7.根据权利要求6所述的移动设备的增强显示方法，其特征在于，所述“处理器根据图像获取模块的空间姿态计算所述目标标识的位置，在所述目标标识上叠加与之相对应的显示图像”具体包括： 处理器根据所述目标标识与图像获取模块之间的空间位置变换矩阵来在所述目标标识上叠加与所述目标标识相对应的显示图像。
8.根据权利要求7所述的移动设备的增强显示方法，其特征在于，所述“处理器根据图像获取模块的空间姿态计算所述目标标识的位置，在所述目标标识上叠加与之相对应的显示图像”还具体包括：处理器将图像获取 模块与姿态传感器的空间位置偏差叠加至空间位置变换矩阵中，来计算所述目标标识的位置。
【文档编号】G06T13/20GK103700128SQ201310745407
【公开日】2014年4月2日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】刘勇, 梁征, 张亮 申请人:无锡触角科技有限公司