虚拟现实设备及虚拟现实设备提供的避障方法

虚拟现实设备及虚拟现实设备提供的避障方法
【专利摘要】本申请公开了一种虚拟现实设备提供的避障方法和虚拟现实设备。在本申请提供的实施例中，虚拟现实设备的计算模块，根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令，从而可以引导虚拟现实设备的用户有效避障，体验满意度好。
【专利说明】
虚拟现实设备及虚拟现实设备提供的避障方法
技术领域
[0001] 本申请涉及通信领域，尤其涉及一种即时通讯的通讯方法及系统。
【背景技术】
[0002] 头戴式显示器是用于显示图像及色彩的设备。通常是用眼罩或头盔的形式，把显 示屏贴近用户的眼睛，通过光路调整焦距以在近距离中对眼睛投射画面。
[0003] 在实现现有技术过程中，发明人发现现有技术中至少存在如下问题：
[0004] 在使用头戴式虚拟现实设备，例如，眼罩或头盔的过程中，由于用户的注意力主要 集中于头戴式显示器，无法有效感知用户所处的环境中的障碍物，容易给用户带来安全隐 患。
[0005] -种解决该问题的措施是，在头戴式设备中集成3D摄像头，用以侦测用户所处的 环境。然而，一方面，全息3D摄像头通常需要5个以上镜头，给设备制造带来制造成本的大幅 上升。另一方面，3D摄像头所反馈的仅是图像，而无法给出用户避障的预判，对用户可能撞 击障碍的安全隐患解决得有效性有所欠缺。
[0006] 因此，在本申请中提供一种有效解决用户使用头戴式虚拟现实设备避障有效性的 避障方法和具有有效避障功能的虚拟现实设备。

【发明内容】

[0007] 本申请实施例提供一种引导虚拟现实设备的用户有效避障，体验满意度好的避障 方法。具体的，一种虚拟现实设备提供的避障方法，包括以下步骤：
[0008] 虚拟现实设备的双目摄像头模块，在第一时点，获取第一摄像头以第一角度拍摄 的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像；
[0009] 虚拟现实设备的双目摄像头模块，在第二时点，获取第一摄像头以第三角度拍摄 的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像；
[0010] 虚拟现实设备的计算模块，根据障碍物在双目摄像头模块所成的第一图像、第二 图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设 备在第二时点与障碍物的距离；
[0011] 虚拟现实设备的加速度模块获取，虚拟现实设备在第二时点的加速度；
[0012] 虚拟现实设备的计算模块，根据虚拟现实设备与障碍物的相对运动速度、虚拟现 实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。
[0013] 本申请实施例还提供一种虚拟现实设备，包括：
[0014] 双目摄像头模块，用于：
[0015] 在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头 以第二角度拍摄的障碍物第二图像；
[0016] 在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头 以第四角度拍摄的障碍物第四图像；
[0017] 计算模块，用于：
[0018] 根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像， 推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距 离；
[0019]加速度模块，用于：
[0020]获取，虚拟现实设备在第二时点的加速度；
[0021 ]其中，所述计算模块还用于：
[0022] 根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物 的距离、虚拟现实设备在第二时点的加速度做出避障指令。
[0023] 本申请实施例提供的虚拟现实设备及虚拟现实设备提供的避障方法，至少具有如 下有益效果：
[0024] 虚拟现实设备的计算模块，根据虚拟现实设备与障碍物的相对运动速度、虚拟现 实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令，从 而可以引导虚拟现实设备的用户有效避障，体验满意度好。
【附图说明】
[0025] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申 请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0026] 图1为本申请实施例中虚拟现实设备提供的避障方法的流程图示意图。
[0027]图2为测量虚拟现实设备在第二时点与障碍物的距离的原理图。
[0028] 图3为本申请实施例提供的虚拟现实设备的结构示意图。
【具体实施方式】
[0029] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及 相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一 部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0030] 图1为本申请实施例中虚拟现实设备提供的避障方法的流程图，具体包括以下步 骤：
[0031 ] S01:虚拟现实设备的双目摄像头模块，在第一时点，获取第一摄像头以第一角度 拍摄的障碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像。
[0032] 虚拟现实设备包括但不限于眼罩、头盔、眼镜等以计算机芯片为核心，结合机、光、 电等多种传感器而成的视、听、触一体的电子化虚拟现实设备。
[0033] 双目摄像头模块可以指，两个摄像头按照类似人体双目的位置进行排列形成的集 成摄像头。当然，这里的双目摄像头模块，除两个摄像头外，还包括对应的信号传输线路等 辅助配件。
[0034]当用户穿戴虚拟现实设备时，在第一时点，双目摄像头模块中的第一摄像头以第 一角度拍摄障碍物，形成第一图像;双目摄像头模块中的第二摄像头以第二角度拍摄障碍 物，形成第二图像。
[0035] 应当指出的是，这里的障碍物可以看作是一种目标对象，在现实中，可以对应地为 路灯杆、停靠的汽车、用户附近的人等。这些目标对象，在第一图像和第二图像中，以前景的 形式呈现于环境背景中。在实际应用中，为了加速信息处理的速度，在计算机对应的算法的 设计中，可以将一些明显不可能成为障碍物的目标对象预先过滤掉，避免这些目标对象对 障碍物的侦测产生不利影响。
[0036] 这里的"第一"、"第二"仅是为了叙述的方便而采取的措辞，并不意味着存在确定 的先后顺序或连续的关系。对于第一摄像头以第一角度拍摄障碍物，形成第一图像而言，这 里的"第一角度"是指障碍物在第一摄像头的上的成像的方式。不同的障碍物在第一摄像头 上的成像不同，相同的障碍物在不同的摄像头上成像不同。这里的"第一"、"第二"仅指这种 叙述逻辑上的不同。
[0037] S02:虚拟现实设备的双目摄像头模块，在第二时点，获取第一摄像头以第三角度 拍摄的障碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像。
[0038]与步骤S01类似，当用户穿戴虚拟现实设备时，在第二时点，双目摄像头模块中的 第一摄像头以第三角度拍摄障碍物，形成第三图像;双目摄像头模块中的第二摄像头以第 四角度拍摄障碍物，形成第四图像。
[0039] 这里的"第一""第二""第三"、"第四"与上面的"第一"、"第二"类似，是指这种叙述 逻辑上的不同。
[0040] S03:虚拟现实设备的计算模块，根据障碍物在双目摄像头模块所成的第一图像、 第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现 实设备在第二时点与障碍物的距离。
[0041] 在本申请提供的一种实施例中，虚拟现实设备的计算模块，根据障碍物在双目摄 像头模块所成的第三图像和第四图像，推导获得虚拟现实设备在第二时点与障碍物的距 离，具体包括：
[0042]虚拟现实设备的计算模块计算障碍物在第三图像和第四图像中的视差(L1-L2); [0043]根据公式d = bf/(Ll_L2)推导获得虚拟现实设备在第二时点与障碍物的距离;其 中，b为第一摄像头的光心C1和第二摄像头光心C2之间的距离；
[0044] f?为第一摄像头和第二摄像头的焦距。
[0045]请参见图2,图2为测量虚拟现实设备在第二时点与障碍物的距离的原理图。
[0046]具体的，这里可以仅根据障碍物在第三图像和第四图像中的位置，推导获得虚拟 现实设备在第二时点与障碍物的距离。
[0047]在图2中，点P假设为障碍物上任意一个目标点。C1、C2假设分别为第一摄像头的光 心、第二摄像头的光心，光心C1和光心C2的距离为b。第一摄像头和第二摄像头的焦距均为 f。点P在第一摄像头的成像平面上的投影点为P1，点P在第二摄像头的成像平面上的投影点 为P2。点P，与光心C1、光心C2的连线的距离为d。过光心C1向成像平面做垂线，垂足为A1。过 光心C2向成像平面做垂线，垂足为A2。过P向成像平面做垂线，垂足为B。设定，A1P1 = L1， A2P2 = L2，P2B = a〇 [0048]由相似三角形关系得：
[0049] d-f/d = a/(a+L2)；
[0050] d-f/d= (b-Ll+L2+a)/(a+b+L2)；
[0051] 由以上两公式可以算得：
[0052] d = f(a+L2)/L2 = bf/(Ll-L2)
[0053]由此可见，距离d与b、f和L1-L2有关。L1-L2称为点P在第一摄像头和第二摄像头成 像平面上的视差。两个图像响应的对应点只在水平方向存在视差，而Y方向的坐标值是相等 的。对于固定的双目摄像头模块而言，参数b、f取值已经确定，仅需要对图像求取对应像素 视差即可获得障碍物的距离。
[0054] 同样，可以根据上述公式d = bf/(Ll_L2)，在第一图像和第二图像中求得在第一时 点，推导获得虚拟现实设备与障碍物的距离。
[0055] 进一步的，在本申请提供的又一实施例中，虚拟现实设备的计算模块，根据障碍物 在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设 备与障碍物的相对运动速度，具体包括：
[0056] 虚拟现实设备的计算模块计算障碍物在第一图像和第二图像中的视差；
[0057]根据公式d = bf/(Ll_L2)推导获得虚拟现实设备在第一时点与障碍物的距离； [0058]根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍 物的距离和第一时点与第二时点的时间差，计算虚拟现实设备与障碍物的相对运动速度。 [0059]为了区分，设定第一时点虚拟现实设备与障碍物的距离为dl，第二时点虚拟现实 设备与障碍物的距离为d2,两者之间的时间差t已知，从而，可以求得虚拟现实设备与障碍 物的相对运动速度的均值v=(d2-dl)/t，这里，时间差较短时，可以近似认为虚拟现实设备 与障碍物的相对运动速度的均值为第二时点虚拟现实设备与障碍物的相对运动速度。
[0060] 本申请实施例提供的另一种可实现方式中，认为障碍物在三维场景中的运动，与 障碍物在二维图像平面中的投影是对应的。这种运动以图像平面亮度方式表现出来的流动 就称为光流。
[0061] 按照这种算法进行计算时，可以假设：
[0062] (1)相邻帧之间的亮度恒定；
[0063] (2)相邻视频帧的取帧时间连续，或者，相邻帧之间物体的运动比较微小；
[0064] (3)保持空间一致性;即，同一子图像的像素点具有相同的运动。
[0065] 对应的，第一图像、第三图像之间的亮度恒定，第二图像、第四图像之间的亮度恒 定；
[0066] 第一时点、第二时点之间的时间间隔小，以致障碍物在第一图像中和第三图像中 变动距离微小；
[0067] 障碍物在第一摄像头成像过程中，构成第一图像的各像素点具有大致相同的运 动，从而形成第三图像。
[0068] 在本申请提供的又一实施例中，虚拟现实设备的计算模块，根据障碍物在双目摄 像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障碍 物的相对运动速度，具体包括：
[0069] 根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像， 以及方程IX*VX+Iy*Vy = -It求得Vx和Vy;
[0070] 根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度；
[0071]其中，
，分别为灰度值对x，y，t的偏导数。
[0072]根据障碍物在第一图像中和第三图像中变动距离微小和第一图像、第三图像之间 的亮度恒定、第二图像、第四图像之间的亮度恒定这两个假设，也就是说，在2D+t维(空间二 维加时间维度）的情况下，假设位于(x，y，t)的障碍物的某体单元的亮度是I (x，y，t)。该体 单元在两个图像帧之间移动了办、(17、扣。于是根据亮度相同的假设：
[0073] I(x,y,t) = I(x+dx,y+dy,t+dt)；
[0074] 将上面的公式根据泰勒级数得出：
[0078] 可得：lx*vx+ly*vy = -lt
[0079] 从而，
分别为灰度值对x，y，t的偏导数，可以从图像中 估计出来，该方程具有Vx和Vy两个未知数。 Ixl lyl 「Vi Ifl
[0080] Ix2 Iy2 X V ~ _ Ht2 .1
[0081] 根据障碍物在第一图像中和第三图像中变动距离微小的假设，在微小距离内所有 图元或像素点的Vx和V y相同，两个未知数，多个方程，采用最小二乘法容易求得Vx和vy的值。 然后，根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度。
[0082] 同样，在第二时点，可以根据上述公式d = bf/(Ll_L2)，推导获得虚拟现实设备与 障碍物的距离。
[0083] 在以上的计算中，直接给出了障碍物的同一体单元在不同的图像中的成像。然而， 如何确定一个图像中的某一图元或像素点与另一图像中的另一图元或像素点表示的是障 碍物的同一体单元，是一个复杂的问题。
[0084] 在本申请提供的又一种实施例中，虚拟现实设备的计算模块，根据障碍物在双目 摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设备与障 碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离，具体包括：
[0085] 从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成 像；
[0086]分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图 元、第四图元；
[0087]根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设 备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。
[0088]在本申请提供的可实现方式中，给出了一种检测不同图像中的图元或像素点是否 对应的方法。
[0089] 在本申请提供的又一实施例中，从第一图像确定第一图元，分别从第二图像、第三 图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：
[0090] 从第一图像中查找表征障碍物物理特征的图元；
[0091] 分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的 第二图元、第三图元、第四图元。
[0092] 具体的，可以利用大数据技术建立障碍物的物理特征数据库。例如，可以建立人体 的头、肩、脚等轮廓的形状参数。这些轮廓与环境背景往往在各图像中具有较高对比度。假 设，根据轮廓的形状、对比度等参数，查找到第一图像中某一图元或像素点为人体的头特 征。另外，还根据轮廓的形状、对比度等参数，查找到第二图像中某一图元或像素点为人体 的头特征。则，可以认为第一图像中表示人体头特征的图元，与第二图像中的表示人体头特 征的图元表示的人体的体单元是一致的。同样，可以从第三图像、第四图像中查找表征障碍 物同一物理特征的第三图元、第四图元。从而可以在此基础上，计算虚拟现实设备与障碍物 的相对运动速度和虚拟现实设备与障碍物的距离。
[0093] 在本申请提供的又一实施例中，从第一图像确定第一图元，分别从第二图像、第三 图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：
[0094]从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图 元、第二图元、第三图元、第四图元。
[0095]具体的，可以将各图像中的sift特征找出，然后根据不同图像中同一sift特征，计 算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
[0096]在本申请提供的又一实施例中，从第一图像确定第一图元，分别从第二图像、第三 图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包括：
[0097]利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹 配的第一图元、第二图元、第三图元、第四图元。
[0098] 具体的，可以利用图像卷积的方式，确定不同图像中的对应区域，从而可以在此基 础上，计算虚拟现实设备与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
[0099] 进一步的，在本申请提供的又一实施例中，所述方法还包括：
[0100] 多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第 一图元、第二图元、第三图元、第四图元不同；
[0101] 推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备 在第二时点与障碍物的距离；
[0102] 将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在 第二时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备与障碍物的相对 运动速度和优化的虚拟现实设备在第二时点与障碍物的距离。
[0103] 具体的，可以利用最小二乘法，优化根据不同的目标点计算得到的虚拟现实设备 与障碍物的相对运动速度和虚拟现实设备与障碍物的距离。
[0104] S04:虚拟现实设备的加速度模块获取，虚拟现实设备在第二时点的加速度。
[0105] 加速度模块可以是一种能够测量加速力的电子设备。在本申请提供的一种可实现 的实施方式中，可以利用压电陶瓷或石英晶体的压电效应，在加速度模块受振时，质量块加 在压电元件上的力也随之变化。当被测振动频率远低于加速度计的固有频率时，则力的变 化与被测加速度成正比。
[0106] 虚拟现实设备的加速度模块，可以获取虚拟现实设备在第二时点的加速度。
[0107] S05:虚拟现实设备的计算模块，根据虚拟现实设备与障碍物的相对运动速度、虚 拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指 令。
[0108] 虚拟现实设备的计算模块，在获得虚拟现实设备与障碍物的相对运动速度、虚拟 现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度的基础上，可以 计算得到虚拟现实设备是否会与障碍物发生碰撞的预计，从而可以及时作出向用户反馈的 避障指令。
[0109] 在本申请提供的实施例中，虚拟现实设备的计算模块，根据虚拟现实设备与障碍 物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离、虚拟现实设备在第二时点 的加速度做出避障指令，从而可以引导虚拟现实设备的用户有效避障，体验满意度好。
[0110] 以上是本申请实施例中虚拟现实设备提供的避障方法，基于同样的思路，请参照 图3，本申请还提供一种虚拟现实设备1，包括： 双目摄像头模块11，用于：
[0112]在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头 以第二角度拍摄的障碍物第二图像；
[0113]在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头 以第四角度拍摄的障碍物第四图像；
[0114]计算模块12,用于：
[0115]根据障碍物在双目摄像头模块11所成的第一图像、第二图像、第三图像和第四图 像，推导获得虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍 物的距离；
[0116] 加速度模块13,用于：
[0117] 获取虚拟现实设备1在第二时点的加速度；
[0118]其中，所述计算模块12还用于：
[0119] 根据虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍 物的距离、虚拟现实设备1在第二时点的加速度做出避障指令。
[0120] 进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
[0121] 计算障碍物在第三图像和第四图像中的视差(L1-L2);
[0122] 根据公式d = bf/(Ll_L2)推导获得虚拟现实设备1在第二时点与障碍物的距离;其 中，b为第一摄像头的光心C1和第二摄像头光心C2之间的距离；
[0123] f?为第一摄像头和第二摄像头的焦距。
[0124] 进一步的，在本申请提供的又一实施例中，所述计算模块12还用于：
[0125] 计算障碍物在第一图像和第二图像中的视差；
[0126] 根据公式d = bf/(Ll_L2)推导获得虚拟现实设备1在第一时点与障碍物的距离；
[0127] 根据虚拟现实设备1在第一时点与障碍物的距离、虚拟现实设备1在第二时点与障 碍物的距离和第一时点与第二时点的时间差，计算虚拟现实设备1与障碍物的相对运动速 度。
[0128] 进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
[0129] 根据障碍物在双目摄像头模块11所成的第一图像、第二图像、第三图像和第四图 像，以及方程Ix*Vx+Iy*Vy = -It求得Vx和Vy ;
[0130] 根据投影关系可以求得虚拟现实设备1与障碍物的相对运动速度；
[0131] 其中：
，分别为灰度值对x，y，t的偏导数。
[0132] 进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
[0133] 从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成 像；
[0134] 分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图 元、第四图元；
[0135] 根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设 备1与障碍物的相对运动速度、虚拟现实设备1在第二时点与障碍物的距离。
[0136] 进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
[0137] 从第一图像中查找表征障碍物物理特征的图元；
[0138] 分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的 第二图元、第三图元、第四图元。
[0139] 进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
[0140]从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图 元、第二图元、第三图元、第四图元。
[0141] 进一步的，在本申请提供的又一实施例中，所述计算模块12用于：
[0142] 利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹 配的第一图元、第二图元、第三图元、第四图元。
[0143] 进一步的，在本申请提供的又一实施例中，所述计算模块12还用于：
[0144] 多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第 一图元、第二图元、第三图元、第四图元不同；
[0145] 推导获得多次独立重复的虚拟现实设备1与障碍物的相对运动速度、虚拟现实设 备1在第二时点与障碍物的距离；
[0146] 将多次独立重复获取的虚拟现实设备1与障碍物的相对运动速度、虚拟现实设备1 在第二时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备1与障碍物的 相对运动速度和优化的虚拟现实设备1在第二时点与障碍物的距离。
[0147] 还需要说明的是，术语"包括"、"包含"或者其任何其他变体意在涵盖非排他性的 包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包 括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要 素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要 素的过程、方法、商品或者设备中还存在另外的相同要素。
[0148] 以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员 来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同 替换、改进等，均应包含在本申请的权利要求范围之内。
【主权项】
1. 一种虚拟现实设备提供的避障方法，其特征在于，包括以下步骤： 虚拟现实设备的双目摄像头模块，在第一时点，获取第一摄像头以第一角度拍摄的障 碍物的第一图像和第二摄像头以第二角度拍摄的障碍物第二图像； 虚拟现实设备的双目摄像头模块，在第二时点，获取第一摄像头以第三角度拍摄的障 碍物的第三图像和第二摄像头以第四角度拍摄的障碍物第四图像； 虚拟现实设备的计算模块，根据障碍物在双目摄像头模块所成的第一图像、第二图像、 第三图像和第四图像，推导获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在 第二时点与障碍物的距离； 虚拟现实设备的加速度模块获取，虚拟现实设备在第二时点的加速度； 虚拟现实设备的计算模块，根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设 备在第二时点与障碍物的距离、虚拟现实设备在第二时点的加速度做出避障指令。2. 如权利要求1所述的避障方法，其特征在于，虚拟现实设备的计算模块，根据障碍物 在双目摄像头模块所成的第三图像和第四图像，推导获得虚拟现实设备在第二时点与障碍 物的距离，具体包括： 虚拟现实设备的计算模块计算障碍物在第三图像和第四图像中的视差(L1-L2); 根据公式d = bf/(Ll-L2)推导获得虚拟现实设备在第二时点与障碍物的距离;其中，b 为第一摄像头的光心Cl和第二摄像头光心C2之间的距离； f为第一摄像头和第二摄像头的焦距。3. 如权利要求2所述的避障方法，其特征在于，虚拟现实设备的计算模块，根据障碍物 在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设 备与障碍物的相对运动速度，具体包括： 虚拟现实设备的计算模块计算障碍物在第一图像和第二图像中的视差； 根据公式d = bf/(Ll-L2)推导获得虚拟现实设备在第一时点与障碍物的距离； 根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的 距离和第一时点与第二时点的时间差，计算虚拟现实设备与障碍物的相对运动速度。4. 如权利要求1所述的避障方法，其特征在于，虚拟现实设备的计算模块，根据障碍物 在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设 备与障碍物的相对运动速度，具体包括： 根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，以及 方程 IX*VX+Iy*Vy = -It 求得 Vx 和 Vy; 根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度； 其中分别为灰度值对X，y，t的偏导数。5. 如权利要求1所述的避障方法，其特征在于，虚拟现实设备的计算模块，根据障碍物 在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导获得虚拟现实设 备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离，具体包括： 从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成像； 分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、 第四图元； 根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设备与 障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。6. 如权利要求5所述的避障方法，其特征在于，从第一图像确定第一图元，分别从第二 图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包 括： 从第一图像中查找表征障碍物物理特征的图元； 分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二 图元、第三图元、第四图元。7. 如权利要求5所述的避障方法，其特征在于，从第一图像确定第一图元，分别从第二 图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包 括： 从第一图像、第二图像、第三图像、第四图像中查找表征同一sift特征的第一图元、第 二图元、第三图元、第四图元。8. 如权利要求5所述的避障方法，其特征在于，从第一图像确定第一图元，分别从第二 图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、第四图元，具体包 括： 利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的 第一图元、第二图元、第三图元、第四图元。9. 如权利要求5所述的避障方法，其特征在于，所述方法还包括： 多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第一图 元、第二图元、第三图元、第四图元不同； 推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第 二时点与障碍物的距离； 将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二 时点与障碍物的距离利用最小二乘法优化，获得优化的虚拟现实设备与障碍物的相对运动 速度和优化的虚拟现实设备在第二时点与障碍物的距离。10. -种虚拟现实设备，其特征在于，包括： 双目摄像头模块，用于： 在第一时点，获取第一摄像头以第一角度拍摄的障碍物的第一图像和第二摄像头以第 二角度拍摄的障碍物第二图像； 在第二时点，获取第一摄像头以第三角度拍摄的障碍物的第三图像和第二摄像头以第 四角度拍摄的障碍物第四图像； 计算模块，用于： 根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，推导 获得虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离； 加速度模块，用于： 获取虚拟现实设备在第二时点的加速度； 其中，所述计算模块还用于： 根据虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距 离、虚拟现实设备在第二时点的加速度做出避障指令。11. 如权利要求10所述的虚拟现实设备，其特征在于，所述计算模块用于： 计算障碍物在第三图像和第四图像中的视差(L1-L2); 根据公式d = bf/(Ll-L2)推导获得虚拟现实设备在第二时点与障碍物的距离;其中，b 为第一摄像头的光心Cl和第二摄像头光心C2之间的距离； f为第一摄像头和第二摄像头的焦距。12. 如权利要求11所述的虚拟现实设备，其特征在于，所述计算模块还用于： 计算障碍物在第一图像和第二图像中的视差； 根据公式d = bf/(Ll-L2)推导获得虚拟现实设备在第一时点与障碍物的距离； 根据虚拟现实设备在第一时点与障碍物的距离、虚拟现实设备在第二时点与障碍物的 距离和第一时点与第二时点的时间差，计算虚拟现实设备与障碍物的相对运动速度。13. 如权利要求11所述的虚拟现实设备，其特征在于，所述计算模块用于： 根据障碍物在双目摄像头模块所成的第一图像、第二图像、第三图像和第四图像，以及 方程 IX*VX+Iy*Vy = -It 求得 Vx 和 Vy; 根据投影关系可以求得虚拟现实设备与障碍物的相对运动速度； 其中> 别为灰度值对X，y，t的偏导数。14. 如权利要求10所述的虚拟现实设备，其特征在于，所述计算模块用于： 从第一图像中确定第一图元，该第一图元为障碍物的一个体单元在第一图像的成像； 分别从第二图像、第三图像、第四图像中确定与第一图元对应的第二图元、第三图元、 第四图元； 根据第一图元、第二图元、第三图元、第四图元的对应关系，推导获得虚拟现实设备与 障碍物的相对运动速度、虚拟现实设备在第二时点与障碍物的距离。15. 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块用于： 从第一图像中查找表征障碍物物理特征的图元； 分别从第二图像、第三图像、第四图像中查找表征障碍物同一物理特征的图元的第二 图元、第三图元、第四图元。16. 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块用于： 从第一图像、第二图像、第三图像、第四图像中查找表征同一 sift特征的第一图元、第 二图元、第三图元、第四图元。17. 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块用于： 利用图像卷积方法从第一图像、第二图像、第三图像、第四图像中查找可以相互匹配的 第一图元、第二图元、第三图元、第四图元。18. 如权利要求14所述的虚拟现实设备，其特征在于，所述计算模块还用于： 多次独立重复确定第一图元、第二图元、第三图元、第四图元，其中每次确定的第一图 元、第二图元、第三图元、第四图元不同； 推导获得多次独立重复的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第 二时点与障碍物的距离； 将多次独立重复获取的虚拟现实设备与障碍物的相对运动速度、虚拟现实设备在第二
【文档编号】G06K9/00GK105893928SQ201510976181
【公开日】2016年8月24日
【申请日】2015年12月21日
【发明人】张超
【申请人】乐视致新电子科技（天津）有限公司