利用交比不变性实现虚拟显示屏视线追踪的装置及其方法
【技术领域】
[0001] 本发明涉及计算机视觉、图像处理学以及摄影几何学等技术领域，尤其涉及一种 利用交比不变性实现虚拟显示屏视线追踪的装置及其方法，该装置和方法能有效解决虚拟 显示屏移动带来的视线跟踪不准确问题。
【背景技术】
[0002] 目前视线追踪通常是在距眼睛较远距离的情形下进行的，其追踪方式通常是获取 眼睛的图像，再根据一定算法进行比对计算，得出的。此种方式一般都要求获取眼睛图像的 装置固定不动，而对于可穿戴设备等带有虚拟显示屏的设备，由于眼睛与图像获取装置的 矩离较近，而且虚拟显示屏和图像获取装置都位于设备（如：穿戴式设备）上，该设备可以 移动，而且相对眼睛也会发生位移（如：穿戴式设备可以随头部移动而移动，而且穿戴式设 备相对眼睛也会发生较小的位移）。因此获取眼睛图像的装置处于非固定状态下，而且和眼 睛的相对位置关系也不固定。所以之前的常规方法已无法应用于现有的显示屏和图像获取 装置可移动的设备（如：穿戴式设备）上。
【发明内容】
[0003] 本发明的目的在于提供一种利用交比不变性实现虚拟显示屏视线追踪的装置及 其方法，该装置和方法能有效解决穿戴式设备等带有虚拟显示屏的设备移动带来的视线跟 踪不准确问题。
[0004] 为了实现上述目的，本发明采用的技术方案如下：
[0005] -种利用交比不变性实现虚拟显示屏视线追踪的装置，包括：虚拟显示屏设备本 体和视线追踪处理器，还包括设置于所述虚拟显示屏设备本体内侧的光源和图像采集装 置；所述虚拟显示屏设备本体包括设置于所述虚拟显示屏设备本体内侧的显示屏，还包括 设置于所述虚拟显示屏设备内部的显示图像控制器；所述显示屏与所述显示图像控制器电 连接；所述光源、所述图像采集装置分别和所述视线追踪处理器电连接。
[0006] 优选的，所述显示屏对应一只眼睛设置一组或针对两只眼睛分别设置两组；所述 光源针对一只眼睛设置一组或针对两只眼睛分别设置两组，所述图像采集装置针对一只眼 睛设置一组或针对两只眼睛分别设置两组；每组所述光源至少包括四个所述光源，每组所 述图像采集装置至少包括一个所述图像采集装置。
[0007] 优选的，每组所述光源包括四个所述光源，四个所述光源按矩形或任意四边形分 布设置于对应的所述显示屏附近。
[0008] 优选的，所述视线追踪处理器包括：
[0009] 图像处理功能模块，用于获取所述图像采集装置采集到的图像中瞳孔中心位置和 光斑位置；
[0010] 视线追踪功能模块，用于通过标定方法得到虚拟光源在虚拟显示屏中的位置，再 根据虚拟光源的位置、瞳孔中心的位置和光斑的位置计算得到视点位置。 toon] 一种利用交比不变性实现虚拟显示屏视线追踪的方法，包括以下步骤：
[0012] Sl，获取眼部图像；
[0013] S2,读取所述图像的信息，并判断是否读取成功，如果成功则执行S3,如果不成功 则读取下一张 Sl中获取到的眼部图像；
[0014] S3,针对S2中读取到的图像，应用图像处理算法进行处理，并判断在所述图像中 是否检测到瞳孔和光斑位置，如果是则执行S4,如果否则读取下一张 Sl中获取到的眼部图 像；
[0015] S4,针对S3中检测到瞳孔和光斑的位置，应用视线追踪算法进行分析；
[0016] S5,根据S4中的分析结果得到视点位置。
[0017] 优选的，所述应用图像处理算法进行处理，具体为：
[0018] S31，将读取到的彩色图像转为灰度图像；
[0019] S32，针对所述灰度图像建立灰度直方图，根据直方图信息采用动态阈值方法，对 图像进行初步阈值处理，检测瞳孔的阈值和检测光斑的阈值；
[0020] S33,计算检测瞳孔和光斑阈值后图像的重心和范围，用于描述瞳孔和光斑的初步 位置和区域大小；
[0021] S34,结合初步瞳孔区域和光斑区域信息，在瞳孔位置周边检测光斑，判断所述光 斑的个数是否大于等于4,如果是则根据光斑面积和距离瞳孔远近筛选确定4个光斑位置 信息，如果否则检测失败，读取下一张 Sl中获取到的眼部图像；
[0022] S35,结合初步瞳孔位置、区域信息，进行瞳孔位置精确定位，判断椭圆拟合是否成 功，如果是则根据椭圆拟合结果确定瞳孔中心的精确位置信息，如果否则检测失败，执行Sl 读取下一张图片。
[0023] 优选的，所述应用视线追踪算法进行分析，包括：标定过程和视线追踪过程。
[0024] 优选的，
[0025] 所述标定过程，具体为：
[0026] 根据已知的注视点在虚拟显示屏中的位置，依据该注视点对应的眼部图像获取到 的瞳孔中心位置信息和光斑的位置信息，根据交比不变性原理，估算得出虚拟光源在虚拟 显示屏中的位置；记录当前的光斑位置信息。
[0027] 优选的，
[0028] 所述视线追踪过程，具体为：
[0029] 根据所述获取到光斑的位置信息，结合标定过程中记录得到的光斑位置信息，计 算得到当前设备相对眼部的位移量；
[0030] 根据所述位移量和标定过程中估算得出的虚拟光源在虚拟显示屏中的位置，计算 得到当前虚拟光源在虚拟显示屏中的位置；
[0031] 根据所述获取到的瞳孔中心位置信息和光斑的位置信息，和计算得到的所述当前 虚拟光源在虚拟显示屏中的位置，利用交比不变性原理计算得到在虚拟显示屏中的视点。
[0032] 本发明的有益效果是：
[0033] 本发明提供的利用交比不变性实现虚拟显示屏视线追踪的装置及其方法，首先通 过标定估计虚拟光源在虚拟显示屏中的位置，其次根据虚拟光源、瞳孔中心和光斑位置计 算视点。在1个像机和4个光源的条件下，通过标定过程，估计虚拟光源在虚拟显示屏中的 位置，利用交比不变性原理实现视线追踪。在视线追踪过程中，通过计算四个光斑在当前图 像与标定图像的相对位置，实时更新虚拟光源在虚拟显示屏中的位置，结合瞳孔中心和光 斑位置，利用交比不变性原理实现视线追踪。基于此，实现了视线追踪，同时在使用者头部 相对于设备发生运动后仍然可以实现视线追踪，并且提高了追踪精度和追踪效率。
【附图说明】
[0034] 图1是简比与交比示意图；
[0035] 图2是空间交比不变性示意图；
[0036] 图3是显示屏平面、眼球虚拟平面和照相机平面的摄影关系示意图；
[0037] 图4是光源发生器产生的光源照射到角膜上形成光斑时的眼睛图片；
[0038] 图5是光斑在角膜形成反射的交比计算方法示意图；
[0039] 图6是光源在虚拟显示屏的交比计算方法示意图；
[0040] 图7是四个光源设置位置示意图；
[0041] 图8是本发明的装置的结构示意图；
[0042] 图8中：1-一用于采集左眼图像的图像采集装置；2--用于采集右眼图像的图像 采集装置；3--针对于左眼的光源发生器；4-一针对于右眼的光源发生器；5--穿戴式设 备本体；
[0043] 图9是本发明的方法的步骤流程图；
[0044] 图10