基于深度图分割与代理几何体的虚实碰撞交互方法及装置的制造方法
【技术领域】
[0001] 本申请属于计算机应用技术中的增强现实领域，具体地说，涉及一种基于深度图 像对真实的场景进行分割以及通过构建代理几何体模拟虚拟物体与真实物体碰撞交互的 系统及方法。
【背景技术】
[0002] 增强现实（Augmented Reality，简称AR)是指将计算机生成的场景、虚拟物体或 系统提示信息叠加到真实场景中，从而实现对现实的增强。增强现实系统将真实世界信 息与虚拟信息进行了有机结合，两种信息互补、叠加，强化了人们对真实世界的认知和感 知.在认知训练、交互场景模拟、游戏、娱乐、广告宣传等许多领域都有重要应用价值，成为 近年来研究和应用的热点。增强现实的三个特点是虚实结合、实时交互和三维注册。其中 三维注册一直是增强现实系统要解决的首要问题，即对相机进行有效标定，实现三维虚拟 空间与相机空间的配准，从而可将三维虚拟物体放入相机画面的指定位置。近年来，增强现 实中大量的研究集中在这个问题上并取得了一定突破。但三维注册问题仅仅解决的是虚实 信息的叠加，尚无法实现虚实物体间的复杂交互（如碰撞等交互行为）。如果在增强现实 系统中能够实现虚实物体间的实时碰撞交互，那将能更好地体现"虚实结合"这一特点，使 用户产生更强的沉浸感，具有广阔的应用价值。
[0003] 近年来，以Kinect为代表的廉价的三维深度获取设备获得了很大发展。这种设备 不仅能获得场景的视觉信息，还能感知场景的深度信息，从而在很多方面具有重要的研究 与应用价值，如室内或大规模场景的三维重建，机器人的自主定位与目标识别，手势识别与 跟踪，人体部位的识别分析，基于深度视频或深度图像的快速抠图等。
[0004] Kinect通过深度传感器能够得到关于周围环境的三维深度信息，这种信息被称为 深度图像。深度图像中的像素值记录了摄影机与像素所对应的场景中点的距离。
[0005] 与彩色图像相比，深度图像能直接反映物体表面的三维特征，且不受光照、阴影和 色度等因素的影响，因此在场景信息分析中具有独特的优势，近年来受到计算机视觉领域 的重点关注。许多研究者利用深度图像来进行场景的分割。本发明根据这种深度信息对场 景进行分析，分割出场景中的一个个独立物体，并由此构建真实物体的代理几何体。
[0006] 深度图像的分割过程就是把已知的深度图像根据某种图像特征划分成几个具有 相关特性信息的区域的过程。其方法大量借鉴了传统图像分割的算法思想，如基于边缘提 取的分割方法，基于区域生长的分割方法和基于聚类的分割方法等。
[0007] 首先，基于边缘提取的方法运算效率较高，但往往不能得到单像素宽度的完整边 缘，还需要后续进行边缘细化和封闭连接才能完成区域分割；基于聚类的分割方法通常首 先设定一种对像素具有较好分割特性的特征向量，然后在特征向量空间中通过聚类方法完 成分割；在基于边缘的分割方法中没有考虑到像素之间的连通性，而区域生长则是在考虑 区域连通性的情况下来进行图像分割。
[0008] 基于以上几种分割技术存在的缺陷，本发明采取了优化的区域生长分割算法。区 域生长法可以形成连续封闭的边缘，其实质就是把找到具有相似特性且相近的像素点划为 一个区域，形成多个区域后再根据一定的条件判定进行区域合并最后达到划分为一组具有 一致性的区域。对于一般的没有复杂表面细节的场景而言，法向的变化都比较平缓，不易出 现过分割的问题且比较适于利用连通性进行区域生长分割，因此本发明中选取法向作为生 长法则，采用了基于法向和连通性的区域生长分割方法。此外，本发明还采取了大平面区域 识别及区域融合策略来进一步优化分割结果。
[0009] -般来说，目前AR系统中进行虚实物体碰撞检测的方法主要是采用对真实物体 进行3D重构的方法，即构建出真实物体的虚拟几何体，这样就把AR环境下的碰撞检测问题 降维为VR下的碰撞检测问题了。而VR下的碰撞检测问题已经有比较成熟的解决方法。但 依据视频数据对真实物体进行识别和3D重构并非易事，而若想达到实时碰撞交互的程度 更为困难。目前已有采用肤色检测、特征点检测等手段来识别手掌，并构建虚拟平面来代替 手掌，实现手掌（真实物体）与虚拟球体的碰撞交互。该方法可以达到实时的效率，但仅限 于对非常特定的物体（如手掌）与虚拟球体间的碰撞交互；也有将真实物体简化为用平面 来表达，将虚拟物体以包围球体来表达，实现虚实物体间的快速碰撞交互，但其真实物体需 要用户预先提供先验知识来辅助进行虚拟平面的构建。
[0010] 本申请基于视觉相机数据或Kinect深度数据，实现虚拟物体与场景中随意摆放 的真实物体进行实时的自由碰撞交互，提出了一种实现AR系统中虚拟物体与场景真实物 体碰撞交互的有效方法。
【发明内容】
[0011] 有鉴于此，本申提出一套利用深度图像的法向信息以及邻域点间的连通条件对深 度图像表示的场景进行有效分割的算法，并提供一种利用代理几何体来实现虚、实物体碰 撞交互的增强现实系统的实现方法，具体实现方法如下：
[0012] 获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相机的标定参 数将所述深度图像和所述彩色图像对齐；
[0013] 根据所述彩色图像对所述深度图像进行预处理；
[0014] 求得所述预处理后的所述深度图像中每个像素点的法向量；
[0015] 取深度图像中的任意像素点为种子点，根据所述法向量的平行度阈值以及邻域像 素点间的连通条件依次判断所述邻域像素点与所述种子点是否为同一区域从而进行区域 生长分割，其中，所述平行度阈值是判断度量法向量是否相似的阈值，所述连通是指：如果 某像素点与其邻域像素点在空间位置上小于某个阈值，即认为这两个像素点在空间上是 "连通的"，否则是"不连通的"。
[0016] 根据所述同一区域生长分割的结果从所述深度图像中提取出所述当前真实场景 中的大平面区域区域；
[0017] 对所述深度图像中去除所述大平面区域区域之外的所有剩余像素点形成的点云 进行融合操作，得到各个主要物体区域；
[0018] 对所述大平面区域区域构建代理平面；
[0019] 对所述融合操作得到的所述各个主要物体区域建代理包围盒；
[0020] 将所述代理平面和所述代理包围盒叠加到真实物体上，并为所述代理平面和所述 代理包围盒添加物理属性，从而实现虚拟物体与真实物体的碰撞。
[0021 ]与现有技术相比，本申请提出了 一种在增强现实系统中能实现虚实物体碰撞交互 功能的解决方法，相对于传统的增强现实系统，本申请能够提供更为逼真的虚实交互，在增 强现实相关的应用领域将具有很好的应用价值。
[0022] 传统方法中，为进行虚实交互，需要重建场景物体，而本申请并不需要细致地重建 场景物体，仅仅通过简单的点云分割、构建虚拟包围盒的方式就可以达到不错的虚实交互 效果。
【附图说明】
[0023] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0024] 图1是本申请实施例一的技术流程图；
[0025] 图2是本申请实施例二的技术流程图；
[0026] 图3是本申请实施例三的技术流程图；
[0027] 图4是本申请实施例四的技术流程图；
[0028] 图5是本申请实施例尚斯图像形状识别不意图；
[0029] 图6是本申请实施例两个区域的位置关系示意图；
[0030] 图7是本申请实施例五的技术流程图；
[0031] 图8是本申请实施例六的装置结构图。
【具体实施方式】
[0032] 以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用 技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
[0033] 实施例一
[0034] 如图1所示，本申请基于深度图像的场景分割进一步包括如下步骤：
[0035] 步骤101 :获取当前真实场景的深度图像和彩色图像，并调整深度相机和彩色相 机的标定参数将所述深度图像和所述彩色图像对齐；
[0036] 本实施例中，米用Kinect获取当前真实场景的彩色图像彳目息和深度图像彳目息。 Kinect是微软研发的一款用于体感交互的设备，它通过一种红外摄像头可以获取所拍摄场 景的深度信息，从而可以完成对人体动作的识别跟踪，实现体感互动。Kinect在出厂时已经 进行了深度相机和彩色相机的预标定，提供了两个相机的内外参数，由此可以很容易实现 深度图像与彩色图像的标定及对齐处理。本实施例中对"Kinect相机标定"模块将不再进 行详述。
[0037] 步骤102 :