基于人眼图像和视线追踪的操作指针指示控制设备的利记博彩app

基于人眼图像和视线追踪的操作指针指示控制设备的利记博彩app
【专利摘要】本发明提供了一种基于人眼图像和视线追踪的操作指针指示控制设备，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操作控制而实现人机交互，其在交互控制过程中，能够避免可见光环境阴暗等情况引起的干扰，缓解、甚至屏蔽掉因抖动产生的位移误差，达到了操作指针的指示位置与人眼视线所观察到的现实场景相叠加的人机交互效果，由此使得头戴式计算机终端设备的人机交互能力得以增强，并且能够具有丰富的可操作性和强大的可扩展性，从而有效地解决了现有技术中的头戴式计算机终端设备因其人机交互能力受限而限制了其在工业、商业【技术领域】的推广应用的问题，在可佩戴式计算机终端设备【技术领域】具有广阔的应用前景。
【专利说明】基于人眼图像和视线追踪的操作指针指示控制设备

【技术领域】
[0001] 本发明涉及可穿戴式电子设备【技术领域】，具体涉及一种基于人眼图像和视线追踪 的操作指针指示控制设备。

【背景技术】
[0002] 随着个人电脑、笔记本电脑、平板电脑、智能手机等计算机终端设备的应用越来越 广泛，计算机终端设备已经逐渐成为人们日常生活、工作中不可或缺的功能电子产品。目 前的计算机终端设备都通过显示屏进行图像显示，主要借助对显示画面中操作指针的操控 (例如，对于个人电脑、笔记本电脑等非触控式计算机终端设备而言，鼠标指针即作为操作 指针；对于平板电脑、智能手机等具有触控显示屏的计算机终端设备而言，触控点指针即作 为其操控指针)来实现人机交互。在不同的计算机终端设备中，其操作指针的表现形式也可 能是不同的，有些计算机终端设备的显示画面中操作指针被呈现为箭头图形形式，有些计 算机终端设备的显示画面中操作指针被呈现为十字架、手指图形等形式，有些计算机终端 设备的显示画面中操作指针甚至不可见，例如触控式设备中作为操控指针的触控点指针往 往就是不可见的，但不妨碍其实现指示和功能控制。
[0003] 而计算机终端设备的发展进程日新月异，计算机终端设备产品的种类也迅速得以 更新换代。智能腕带、智能手表、智能眼镜等新兴的可佩戴计算机终端设备产品也逐渐在人 们的日常生活和一些技术应用中得以推广使用。特别是智能眼镜产品，其能够具备将显示 信息与现实场景相叠加呈现、甚至相互交互的独特应用前景，在工业、商业【技术领域】中都有 非常广阔的技术推广应用价值，例如应用于交通驾驶者进行交通信息提示和分析、应用于 外科手术医生进行手术医疗器械的手术信息显示和控制、应用于生产线管理者进行生产机 床设备的工作状态显示和控制等。但是由于目前的可佩戴计算机终端设备产品，往往因为 其产品尺寸大小以及佩戴方式的限制，难以通过鼠标、触控等手动方式对操作指针加以操 控的形式来实现人机交互，因此目前的可佩戴计算机终端设备通常仅具备一些数据信息显 示功能，或者通过实体按键的操控实现一些较为简单的切换功能，而其人机交互能力却非 常有限，使得上述的应用前景依靠目前的可佩戴计算机终端设备还难以实现。因此，现有技 术的智能眼镜等可佩戴计算机终端设备，因其人机交互能力受限而限制了其在工业、商业

【技术领域】的推广应用前景。如何增强、以及通过怎样的方式增强可佩戴计算机终端设备的 人机交互能力，成为了亟待解决的问题。


【发明内容】

[0004] 针对现有技术中存在的上述不足，本发明的目的在于提供一种能够佩戴于人体头 部上且能够通过眼部动作对操作指针加以操作控制而实现人机交互的基于人眼图像和视 线追踪的操作指针指示控制设备，用以增强头戴式计算机终端设备的人机交互能力，进而 解决现有技术中的头戴式计算机终端设备因其人机交互能力受限而限制了其在工业、商业

【技术领域】的推广应用的问题。
[0005] 为解决上述技术问题，本发明采用了如下的技术手段： 基于人眼图像和视线追踪的操作指针指示控制设备，包括用于通过佩戴而固定在人体 头部上的佩戴支架，以及设置在所述佩戴支架上的红外测距传感器、微型红外摄像头、图像 处理模块、视线追踪识别模块、微控制处理模块、数据存储模块、显示模块和电源模块；所述 佩戴支架具有对应于人体眉毛位置处的眉部，所述微型红外摄像头以及红外测距传感器的 红外发射器和红外接收器均设置于佩戴支架的眉部并朝向人体眼睛所在方向；所述显示模 块输出的显示画面所在位置位于佩戴支架的眉部的下方对应于人体眼睛位置处； 其中，微型红外摄像头的图像数据输出端与图像处理模块的图像采集端电连接，图像 处理模块的处理数据输出端与视线追踪识别模块的人眼数据采集端电连接，视线追踪识别 模块的识别信息输出端与微控制处理模块的眼动数据输入端电连接，红外测距传感器的距 离信号输出端与微控制处理模块的距离数据输入端电连接，微控制处理模块的显示信号输 出端与显示模块的显示信号输入端电连接，微控制处理模块的参数采集端与数据存储模块 进行数据连接，由电源模块分别为红外测距传感器、微型红外摄像头、图像处理模块、视线 追踪识别模块、微控制处理模块、数据存储模块和显示模块供电； 所述数据存储模块用于存储设备参数数据和指令参数数据；所述设备参数数据记录的 信息包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三 维位置关系；所述指令参数数据记录的信息包括操作指针功能指令所对应的眼睛睁闭动作 以及瞳孔移动动作； 所述红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光， 通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测 距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差 进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该 距离数据传送至微控制处理模块； 所述微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过图像数据输 出端实时地传送至图像处理模块； 所述图像处理模块用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分割 处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边缘 增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块； 所述视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图 像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定 眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状 态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至 微控制处理模块； 所述微控制处理模块用于实时地根据眼动数据输入端接收到的瞳孔中心所在位置与 角膜反射光斑中心所在位置所构成的位置向量而估算确定人眼的视线方向，并结合通过参 数采集端从数据存储模块提取的佩戴支架上红外接收器所在位置与显示模块输出的显示 画面所在位置之间的三维位置关系以及通过距离数据输入端获取到的佩戴支架上红外接 收器所在位置与人体眼睛所在位置的距离数据构建空间三维坐标，通过该空间三维坐标计 算确定人体眼睛所在位置相对于显示模块输出的显示画面上各个显示位置点的距离，进而 计算确定人眼的视线方向在显示画面上的实时相交点，并生成操作指针位置指令通过显示 信号输出端实时地传送至显示模块，控制其显示画面上的操作指针实时地指示于人眼的视 线方向在显示画面上的相交点位置；微控制处理模块还用于实时地根据眼动数据输入端接 收到的眼睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔 的实际移动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的 眼睛睁闭动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操 作指针功能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所 指示的位置执行相应的功能操作。
[0006] 在上述基于人眼图像和视线追踪的操作指针指示控制设备基础上，作为一种优选 技术方案，所述显示模块包括显示驱动电路和透明显示屏；所述透明显示屏坚向地固定安 装在佩戴支架的眉部的下方，用于呈现显示模块输出的显示画面；所述显示驱动电路的显 示数据输入端作为显示模块的显示信号输入端，显示驱动电路的显示控制输出端与透明显 示屏进行数据连接，用于根据显示数据输入端接收到的信号相应地输出和控制通过透明显 示屏呈现出的显示画面；所述显示模块输出的显示画面所在位置即为透明显示屏所在位 置。
[0007] 在上述基于人眼图像和视线追踪的操作指针指示控制设备基础上，作为另一种优 选技术方案，所述显示模块包括微型投影仪和透明棱镜；所述微型投影仪的投影数据输入 端作为显示模块的显示信号输入端，微型投影仪的投影镜头朝向透明棱镜，根据投影数据 输入端接收到的信号向透明棱镜投射出相应的显示画面影像；所述透明棱镜固定安装在佩 戴支架的眉部的下方，且透明棱镜中具有可见光折射面，用于将微型投影仪的投影镜头投 射进入透明棱镜的显示画面影像折射至人体眼睛所在方向，进而呈现出显示画面；所述显 示模块输出的显示画面所在位置即为透明棱镜中可见光折射面所在位置。
[0008] 在上述基于人眼图像和视线追踪的操作指针指示控制设备基础上，作为进一步的 技术改进方案，还包括无线发射模块；所述微控制处理模块的数据通信发射端与无线发射 模块进行数据连接，用于将操作指针位置指令通过数据通信发射端实时地传送至无线发射 模块，由无线发射模块实时地对外发送该操作指针位置指令，且在判定眼睛的实际睁闭动 作和瞳孔的实际移动动作与操作指针功能指令所对应的眼睛睁闭动作以及瞳孔移动动作 匹配时，将相匹配的操作指针功能指令通过数据通信发射端传送至无线发射模块，由无线 发射模块对外发送该操作指针功能指令。
[0009] 在上述基于人眼图像和视线追踪的操作指针指示控制设备基础上，作为进一步的 技术改进方案，还包括无线接收模块；所述微控制处理模块的数据通信接收端与无线接收 模块进行数据连接，用于通过无线接收模块接收外来的信息数据，并将接收到的信息数据 通过显示信号输出端传送至显示模块，通过显示模块的显示画面加以呈现。
[0010] 相比于现有技术，本发明具有以下有益效果： 1、本发明基于人眼图像和视线追踪的操作指针指示控制设备，能够佩戴于人体头部上 且能够通过眼部动作对操作指针加以操作控制而实现人机交互，并达到了操作指针的指示 位置与人眼视线所观察到的现实场景相叠加的人机交互效果，使得头戴式计算机终端设备 的人机交互能力得以增强，有效地解决了现有技术中的头戴式计算机终端设备因其人机交 互能力受限而限制了其在工业、商业【技术领域】的推广应用的问题。
[0011] 2、本发明基于人眼图像和视线追踪的操作指针指示控制设备中，采用了红外测距 传感器对人眼所在位置进行测距，还通过其红外发射器实时地向人体眼睛所在位置发射出 红外光，以此作为辅助的红外光源，并借助红外光在人眼角膜上反射而形成角膜反射光斑， 相应地采用微型红外摄像头有效的拍摄人体眼睛所在位置的原始红外图像，用以进行人眼 识别和视线追踪，避免了可见光环境阴暗等情况引起的干扰，并且角膜反射光斑可用于在 后续的视线追踪识别过程中对角膜反射光斑中心所在位置加以定位，进而结合瞳孔中心所 在位置，辅助实现对人眼的视线方向加以捕捉。
[0012] 3、本发明基于人眼图像和视线追踪的操作指针指示控制设备中，通过分割人眼区 域图像的方式，不管原始图像中人眼位置是否因为头动而发生位移变化，分割出的人眼区 域图像的图像区域范围是相对固定的，因此后期依据人眼区域图像进行人眼识别和视线追 踪时，就不存在因抖动引起的位移，相当于缓解、屏蔽了因抖动产生的位移误差。
[0013] 4、本发明操作指针指示控制设备的显示画面上，操作指针的指示位置始终与人眼 的视线方向在显示画面上的相交点位置相重合，达到可以通过人眼视线的移动动作控制改 变操作指针指示位置的人机交互功能，同时，由于显示画面上操作指针的指示位置会同步 跟踪人眼视线，因此还达到了操作指针的指示位置与人眼视线所观察到的现实场景相叠加 的人机交互效果。
[0014] 5、本发明操作指针指示控制设备的显示画面上的操作指针，还可以通过眨眼等眼 睛睁闭动作、有规律地晃动眼球等瞳孔移动动作，来控制操作指针执行确定、取消、删除等 功能指令，丰富通过人眼动作实现人机交互的功能组合方式，达到接近于鼠标等常用人机 交互输入设备的人机交互能力，从而使得本发明操作指针指示控制设备的人机交互能力具 有丰富的可操作性和强大的可扩展性。

【专利附图】

【附图说明】
[0015] 图1为本发明基于人眼图像和视线追踪的操作指针指示控制设备一种具体实施 方式的立体结构示意图。
[0016] 图2为本发明基于人眼图像和视线追踪的操作指针指示控制设备中电子构架结 构的示意图。
[0017] 图3为本发明基于人眼图像和视线追踪的操作指针指示控制设备另一种具体实 施方式的立体结构示意图。

【具体实施方式】
[0018] 本发明提供了一种基于人眼图像和视线追踪的操作指针指示控制设备。图1示 出了本发明基于人眼图像和视线追踪的操作指针指示控制设备的一种具体结构的立体示 意图。如图1所示，该操作指针指示控制设备包括一个用于通过佩戴而固定在人体头部上 的佩戴支架10,以及设置在所述佩戴支架10上的红外测距传感器20、微型红外摄像头30、 图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块、显示模块40和电源模 块。该佩戴支架10的具体形状，可以根据其佩戴功能和外形美观的需要而设计为任意适合 佩戴于人体头部的形状样式，例如较为复杂的可以设计为一个头盔样式，较为简单的可以 设计为如图1所示的一个眼镜支架的样式，等等；但最主要的是，该佩戴支架10需要具有对 应于人体眉毛位置处的眉部11。而微型红外摄像头30以及红外测距传感器20的红外发射 器21和红外接收器22则均设置于佩戴支架的眉部11并朝向人体眼睛所在方向，主要是便 于微型红外摄像头拍摄人体眼睛所在位置的图像，以及便于红外测距传感器对人体眼睛所 在位置进行测距。而显示模块40输出的显示画面所在位置位于佩戴支架的眉部11的下方 对应于人体眼睛位置处，便于人眼观测显示画面。而操作指针指示控制设备中的其它构件， 例如图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块和电源模块等，则 可以根据集成需要设置在佩戴支架上的任意位置，例如数据存储模块和电源模块安装在佩 戴支架上的左侧位置，图像处理模块、视线追踪识别模块和微控制处理模块则安装在佩戴 支架上的右侧位置，或者图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模 块和电源模块通过电路集成的方式都安装在佩戴支架上专门设置的集成电路安装腔室内， 等等；这些构件在佩戴支架上的具体安装位置，影响其相互之间的电气布线方式，但不影响 整体功能的实现。例如在图1所示的【具体实施方式】中，佩戴支架10具有一个从对应于人体 右耳位置处一直延伸至对应于人体右侧眉毛位置处的封装体50,该封装体50内具有一封 装腔室，图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块和电源模块等 构件通过电路集成的方式都安装在封装体50的封装腔室内，这样更有利于电路整合和布 线方便，同时也使得本发明操作指针指示控制设备的外观更加整洁、美观。
[0019] 在电子构架方面，如图2所示，微型红外摄像头的图像数据输出端与图像处理模 块的图像采集端电连接，图像处理模块的处理数据输出端与视线追踪识别模块的人眼数据 采集端电连接，视线追踪识别模块的识别信息输出端与微控制处理模块的眼动数据输入端 电连接，红外测距传感器的距离信号输出端与微控制处理模块的距离数据输入端电连接， 微控制处理模块的显示信号输出端与显示模块的显示信号输入端电连接，微控制处理模块 的参数采集端与数据存储模块进行数据连接，由电源模块分别为红外测距传感器、微型红 外摄像头、图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块和显示模块 供电。
[0020] 在电子构架中，数据存储模块用于存储设备参数数据和指令参数数据，设备参数 数据记录的信息包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位 置之间的三维位置关系，而指令参数数据记录的信息则包括操作指针功能指令所对应的眼 睛睁闭动作以及瞳孔移动动作；当然，数据存储模块中存储的设备参数数据和指令参数数 据所记录的数据信息，还可以包括其实现其它智能化功能或交互功能所必须的参数数据。
[0021] 红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光， 通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测 距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差 进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该 距离数据传送至中央控制处理模块。红外测距传感器在本发明操作指针指示控制设备中的 作用还不仅在于对人体眼睛所在位置进行测距，其还通过与微型红外摄像头相结合，实现 更为重要的两项辅助功能，其一是起到红外辅助光源的作用，其二是起到对人眼角视线助 定位的作用。因为在具体的应用环境中，由于可能存在光线阴暗的环境，致使人体眼睛位置 可见度低、甚至不可见，若采用常规的可见光感光摄像机，在阴暗环境下则会影响和干扰基 于人眼图像对人眼位置和视线追踪识别，因此需要辅助光源。但若直接采用可见光光源作 为辅助光源照射人眼位置，会产生光线晃眼的不适感，反而影响操作指针指示控制设备的 佩戴舒适性及其操作指针的可视效果。针对于此，本发明的操作指针指示控制设备中采用 了红外测距传感器，通过其红外发射器实时地向人体眼睛所在位置发射出红外光，以此作 为辅助的红外光源；相应地，人眼位置的图像采集设备则采用了微型红外摄像头。另一方 面，红外测距传感器的红外发射器向人体眼睛所在位置发射出的红外光源光线，会因人眼 角膜的反射而形成角膜反射光斑，该角膜反射光斑可用于在后续的视线追踪识别过程中对 角膜反射光斑中心所在位置加以定位，进而结合瞳孔中心所在位置，辅助实现对人眼的视 线方向加以捕捉。
[0022] 微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过图像数据输 出端实时地传送至图像处理模块。由此，即便是在阴暗、不可见等任意的可见光条件下，由 于存在红外测距传感器的红外发射器作为辅助光源的帮助，始终能够通过微型红外摄像头 有效的拍摄到人体眼睛所在位置的原始红外图像，同时还能够借助红外发射器发射出的红 外光源光线在人眼位置处形成角膜反射光斑，用以进行人眼识别和视线追踪，避免了可见 光环境阴暗等情况引起的干扰。
[0023] 图像处理模块则用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分 割处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边 缘增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块。在现有的图像处理

【技术领域】中，实现感兴趣区域的定位识别、分割处理以及图像滤波、边缘增强处理的相关 技术方法很多，例如可以根据感兴趣区域的图像灰度信息和图像纹理信息对其进行定位识 另IJ，再加以图象分割处理，采用基于小波变换的图像去噪和增强方法，利用其多尺度和多分 辨率的性质，检测感兴趣的图像区域的图像信号局部特征，有效滤除噪声，保留其图像纹理 信息，进行实现对图像的边缘增强效果。本发明操作指针指示控制设备中的图像处理模块， 就可以以人眼区域图像作为感兴趣区域，实现对原始红外图像中人眼区域图像的定位识别 和分割处理。从原始红外图像中分割得到人眼区域图像的处理，还达到了缓解因抖动导致 人眼图像识别和视线追踪产生误差的问题。本发明的操作指针指示控制设备虽然能够通过 佩戴而固定在人体头部上，从而使得设备上的微型红外摄像头与人体眼部位置较好地保持 相对固定，以稳定地进行人眼图像识别和视线追踪，但并不能完全排除因头部晃动剧烈、受 到外来物体撞击等不可控因素，致使微型红外摄像头与人体眼部位置之间发生位移，造成 原始红外图像中人体眼睛的位置产生位移偏差的问题。但本发明的操作指针指示控制设备 中，通过分割人眼区域图像的方式，不管原始图像中人眼位置是否因为头动而发生位移变 化，分割出的人眼区域图像的图像区域范围是相对固定的，因此后期依据人眼区域图像进 行人眼识别和视线追踪时，就不存在因抖动引起的位移，相当于缓解、屏蔽了因抖动产生的 位移误差。
[0024] 视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图 像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定 眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状 态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至 中央控制处理模块。图像边界识别技术也是图像处理【技术领域】中非常成熟的应用技术，因 此在现有技术中能够应用于确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑的 图像边界识别处理方法有很多。作为较为优选的方案，可以采用基于径向对称的眼睛状态 检测算法，来检测眼睛的睁闭状态，具体方式可参见现有文献"基于径向对称变换的眼睛 睁闭状态检测，张文聪，邓宏平，李斌，庄镇泉；《中国科学技术大学学报》2010年第5期，第 46(Γ465页"；同时，可以采用随机化椭圆拟合方法对提取的边缘点进行椭圆最小二乘法拟 合链接成边界，对瞳孔位置和角膜反射光斑的位置加以识别和确定。
[0025] 微控制处理模块通过其眼动数据输入端接收到眼睛的睁闭状态、瞳孔中心所在位 置以及角膜反射光斑中心所在位置后，要进行两方面的处理。第一方面，微控制处理模块用 于实时地根据眼动数据输入端接收到的瞳孔中心所在位置与角膜反射光斑中心所在位置 所构成的位置向量而估算确定人眼的视线方向，并结合通过参数采集端从数据存储模块提 取的佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三维位 置关系以及通过距离数据输入端获取到的佩戴支架上红外接收器所在位置与人体眼睛所 在位置的距离数据构建空间三维坐标，通过该空间三维坐标计算确定人体眼睛所在位置相 对于显示模块输出的显示画面上各个显示位置点的距离，进而计算确定人眼的视线方向在 显示画面上的相交点，并生成操作指针位置指令通过显示信号输出端实时地传送至显示模 块以控制其显示画面上的操作指针实时地指示于人眼的视线方向在显示画面上的相交点 位置。由此，使得本发明操作指针指示控制设备的显示画面上，操作指针的指示位置始终与 人眼的视线方向在显示画面上的相交点位置相重合，达到可以通过人眼视线的移动动作控 制改变操作指针指示位置的人机交互功能，同时，由于显示画面上操作指针的指示位置会 同步跟踪人眼视线，因此还达到了操作指针的指示位置与人眼视线所观察到的现实场景相 叠加的人机交互效果。另一方面，微控制处理模块还用于实时地根据眼动数据输入端接收 到的眼睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔的 实际移动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的眼 睛睁闭动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操作 指针功能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所指 示的位置执行相应的功能操作。由此，使得本发明操作指针指示控制设备的显示画面上的 操作指针，还可以通过眨眼等眼睛睁闭动作、有规律地晃动眼球等瞳孔移动动作，来控制操 作指针执行确定、取消、删除、复制、粘贴等功能指令，丰富了通过人眼动作实现人机交互的 功能组合方式，达到接近于鼠标等常用人机交互输入设备的人机交互能力，从而使得本发 明操作指针指示控制设备的人机交互能力具有丰富的可操作性和强大的可扩展性。
[0026] 在本发明基于人眼图像和视线追踪的操作指针指示控制设备中，显示模块是呈现 操作指针指示和功能操作的载体，因此其显示画面的呈现方式和效果直接决定了操作指针 指示控制设备的易用性，因此显示模块的实现方案在操作指针指示控制设备中显得尤为重 要。作为具体技术实施而言，优选采用如下的两种显示模块的实现方案。
[0027] 优选方案一，如图1所示，显示模块40采用显示驱动电路和透明显示屏41的构架 实现方案。其中，透明显示屏41坚向地固定安装在佩戴支架10的眉部11的下方，用于呈 现显示模块输出的显示画面。而显示驱动电路则可以安装在佩戴支架上的任意位置；显示 驱动电路的具体安装位置影响与透明显示屏之间的电气布线方式，而并不影响显示模块的 功能实现；但为了使得布线距离较短，显示驱动电路最好安装在佩戴支架的眉部上位于透 明显示屏的正上方位置处。具体而言，在图1所示的【具体实施方式】中，佩戴支架10具有一 个从对应于人体右耳位置处一直延伸至对应于人体右侧眉毛位置处的封装体50,该封装体 50内具有一封装腔室，图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块 和电源模块等构件通过电路集成的方式都安装在封装体50的封装腔室内；微型红外摄像 头30以及红外测距传感器20的红外发射器21和红外接收器22则均设置于佩戴支架的封 装体50上对应于人体右侧眉毛位置处的眉部，并朝向人体眼睛所在方向；同时，显示驱动 电路也安装于佩戴支架的封装体50上对应于人体右侧眉毛位置处的眉部11，而透明显示 屏41则坚向地固定安装在佩戴支架的封装体50上对应于人体右侧眉毛位置处的眉部11 的下方，对应于人体右眼位置处。这样的布置结构，更有利于电路整合和布线方便，同时也 使得本发明操作指针指示控制设备的外观更加整洁、美观。显示驱动电路的显示数据输入 端作为显示模块的显示信号输入端，显示驱动电路的显示控制输出端与透明显示屏进行数 据连接，用于根据显示数据输入端接收到的信号相应地输出和控制通过透明显示屏呈现出 的显示画面。由此以来，显示模块输出的显示画面所在位置即为透明显示屏所在位置。采 用该优选方案的显示模块构架，使用者佩戴本发明的操作指针指示控制设备后，透明显示 屏的存在并不影响使用者的视线对现实场景的观测，在使用者视觉观感上能够达到显示画 面与现实场景相叠加的效果；同时在透明显示屏呈现的显示画面上，还能够同步跟踪使用 者的视线进行操作指针的指示，实现操作指针的指示位置与人眼视线所观察到的现实场景 相叠加的交互性指示效果。
[0028] 优选方案二，如图3所示，显示模块40采用微型投影仪和透明棱镜42的构架实现 方案。其中，微型投影仪的投影数据输入端作为显示模块的显示信号输入端，微型投影仪的 投影镜头朝向透明棱镜42,根据投影数据输入端接收到的信号向透明棱镜42投射出相应 的显示画面影像。而透明棱镜42固定安装在佩戴支架10的眉部11的下方，且透明棱镜42 中具有一可见光折射面，用于将微型投影仪的投影镜头投射进入透明棱镜的显示画面影像 折射至人体眼睛所在方向，进而呈现出显示画面。该显示模块构架中，微型投影仪的具体安 装位置也是较为任意的。例如，微型投影仪可以安装在佩戴支架的眉部上位于透明棱镜的 正上方位置处，由上至下向透明棱镜投射出显示画面影像；微型投影仪也可以安装在佩戴 支架的眉部的下方位于透明棱镜旁侧的位置处，从旁侧向透明棱镜投射出显示画面影像。 当然，微型投影仪的安装位置只要不阻挡人眼视线即可。具体而言，在图3所示的具体实 施方式中，佩戴支架10具有一个从对应于人体右耳位置处一直延伸至对应于人体右侧眉 毛位置处的封装体50,该封装体50内具有一封装腔室，图像处理模块、视线追踪识别模块、 微控制处理模块、数据存储模块和电源模块等构件通过电路集成的方式都安装在封装体50 的封装腔室内；微型红外摄像头30以及红外测距传感器20的红外发射器21和红外接收器 22则均设置于佩戴支架的封装体50上对应于人体右侧眉毛位置处的眉部，并朝向人体眼 睛所在方向；同时，透明棱镜42固定安装在佩戴支架10上的封装体50对应于人体右侧眉 毛位置处的眉部11的下方，对应于人体右眼位置处；而微型投影仪则安装在佩戴支架10上 的封装体50内部位于透明棱镜42右侧的位置处，微型投影仪的投影镜头则朝向透明棱镜 42,用于从旁侧向透明棱镜42投射出显示画面影像。这样的布置结构，更有利于电路整合 和布线方便，同时也使得本发明操作指针指示控制设备的外观更加整洁、美观。由此以来， 显示模块输出的显示画面所在位置即为透明棱镜中可见光折射面所在位置。采用该优选方 案的显示模块构架，使用者佩戴本发明的操作指针指示控制设备后，透明棱镜的存在同样 不影响使用者的视线对现实场景的观测，同时透明棱镜中的可见光折射面将微型投影仪的 投影镜头投射的显示画面影像折射至使用者的眼睛所在方向，显示画面影像光线通过使用 者眼睛的瞳孔进入眼球并成像在视网膜上，使得使用者能够观看到显示画面影像，并且对 于使用者而言，显示画面似乎就位于透明棱镜中的可见光折射面所在位置一样，从而在使 用者视觉观感上达到显示画面与现实场景相叠加的效果；同时，在透明棱镜呈现的显示画 面上，同样能够同步跟踪使用者的视线进行操作指针的指示，实现操作指针的指示位置与 人眼视线所观察到的现实场景相叠加的交互性指示效果。
[0029] 当然，无论采用上述何种显示模块实现构架方案，在显示模块输出的显示画面上， 都还可以用于显示其它的信息，例如消息、提示、操作状态等字符信息，波形、数据等数字信 息，图形、视频等图像信息，等等，并且可以通过操作指针对这些信息加以功能性操作，只要 操作指针指示控制设备中的微控制处理模块具备对这些信息的处理能力，并通过显示信号 输出端向显示模块输出相应的显示控制信号即可。由此可使得本发明的操作指针指示控制 设备具备更加强大的信息交互操作功能。
[0030] 此外，作为一种功能增强的技术改进方案，在本发明基于人眼图像和视线追踪的 操作指针指示控制设备的上述实施方案的基础上，还可以在设备中增设无线发射模块，由 微控制处理模块的数据通信发射端与无线发射模块进行数据连接。相应地，微控制处理模 块则还可以用于将操作指针位置指令通过数据通信发射端实时地传送至无线发射模块，由 无线发射模块实时地对外发送该操作指针位置指令，且在判定眼睛的实际睁闭动作和瞳孔 的实际移动动作与操作指针功能指令所对应的眼睛睁闭动作以及瞳孔移动动作匹配时，将 相匹配的操作指针功能指令通过数据通信发射端传送至无线发射模块，由无线发射模块对 外发送该操作指针功能指令。由此以来，操作指针指示控制设备则可以通过无线发射模块 与其它具备无线通信接收能力的计算机终端设备建立无线通信连接，向该计算机终端设备 发送操作指针位置指令以及操作指针功能指令，进而，使用者便可以利用该改进方案的操 作指针指示控制设备，通过眼部动作对其它计算机终端设备的操作指针位加以操作控制， 例如对个人计算机设备、移动终端设备的操作指针位加以操控等。该改进方案的操作指针 指示控制设备实现方案，有助于进一步扩展本发明基于人眼图像和视线追踪的操作指针指 示控制设备的技术应用领域，例如可以使得上肢有残疾人士和双手因操作任务被占用人员 方便地通过眼部动作操作控制计算机终端设备等。
[0031] 作为另一种功能增强的技术改进方案，在本发明基于人眼图像和视线追踪的操作 指针指示控制设备的上述实施方案的基础上，还可以在设备中增设无线接收模块，由微控 制处理模块的数据通信接收端与无线接收模块进行数据连接。相应地，中央控制处理模块 则还可以用于通过无线接收模块接收外来的信息数据，并将接收到的信息数据通过显示信 号输出端传送至显示模块，通过显示模块的显示画面加以呈现。由此以来，操作指针指示控 制设备则可以通过无线接收模块与其它具备无线通信发射能力的计算机终端设备建立无 线通信连接，接收该外部计算机终端设备发出的字符、图片、视频等信息数据，并通过显示 模块呈现在显示画面上。该改进方案的操作指针指示控制设备实现方案，有助于进一步增 强本发明基于人眼图像和视线追踪的操作指针指示控制设备的显示功能，使得本发明的操 作指针指示控制设备能够与其它计算机终端设备配合使用，以解决更多的技术应用问题。
[0032] 综上所述，本发明提供了一种基于人眼图像和视线追踪的操作指针指示控制设 备，其能够佩戴于人体头部上且能够通过眼部动作对操作指针加以操作控制而实现人机交 互，其在交互控制过程中，能够避免可见光环境阴暗等情况引起的干扰，缓解、甚至屏蔽掉 因抖动产生的位移误差，达到了操作指针的指示位置与人眼视线所观察到的现实场景相叠 加的人机交互效果，由此使得头戴式计算机终端设备的人机交互能力得以增强，并且能够 具有丰富的可操作性和强大的可扩展性，从而有效地解决了现有技术中的头戴式计算机终 端设备因其人机交互能力受限而限制了其在工业、商业【技术领域】的推广应用的问题，在可 佩戴式计算机终端设备【技术领域】具有广阔的应用前景。
[0033] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照实 施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方 案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明 的权利要求范围当中。
【权利要求】
1.基于人眼图像和视线追踪的操作指针指示控制设备，其特征在于，包括用于通过佩 戴而固定在人体头部上的佩戴支架，以及设置在所述佩戴支架上的红外测距传感器、微型 红外摄像头、图像处理模块、视线追踪识别模块、微控制处理模块、数据存储模块、显示模块 和电源模块；所述佩戴支架具有对应于人体眉毛位置处的眉部，所述微型红外摄像头以及 红外测距传感器的红外发射器和红外接收器均设置于佩戴支架的眉部并朝向人体眼睛所 在方向；所述显示模块输出的显示画面所在位置位于佩戴支架的眉部的下方对应于人体眼 睛位置处； 其中，微型红外摄像头的图像数据输出端与图像处理模块的图像采集端电连接，图像 处理模块的处理数据输出端与视线追踪识别模块的人眼数据采集端电连接，视线追踪识别 模块的识别信息输出端与微控制处理模块的眼动数据输入端电连接，红外测距传感器的距 离信号输出端与微控制处理模块的距离数据输入端电连接，微控制处理模块的显示信号输 出端与显示模块的显示信号输入端电连接，微控制处理模块的参数采集端与数据存储模块 进行数据连接，由电源模块分别为红外测距传感器、微型红外摄像头、图像处理模块、视线 追踪识别模块、微控制处理模块、数据存储模块和显示模块供电； 所述数据存储模块用于存储设备参数数据和指令参数数据；所述设备参数数据记录的 信息包括佩戴支架上红外接收器所在位置与显示模块输出的显示画面所在位置之间的三 维位置关系；所述指令参数数据记录的信息包括操作指针功能指令所对应的眼睛睁闭动作 以及瞳孔移动动作； 所述红外测距传感器用于通过红外发射器实时地向人体眼睛所在位置发射出红外光， 通过红外接收器接收由红外光在人体眼睛所在位置漫反射后返回的红外反射光，由红外测 距传感器的测距处理模块根据红外光发出时间与红外反射光接收时间之间所存在的时差 进行换算而测得佩戴支架上红外接收器所在位置与人体眼睛所在位置的距离数据，并将该 距离数据传送至微控制处理模块； 所述微型红外摄像头用于拍摄人体眼睛所在位置的原始红外图像，并通过图像数据输 出端实时地传送至图像处理模块； 所述图像处理模块用于实时获取微型红外摄像头拍摄的原始红外图像，通过图像分割 处理从原始红外图像中分割得到人眼区域图像，并将得到的人眼区域图像进行滤波和边缘 增强处理后，通过处理数据输出端实时地传送至视线追踪识别模块； 所述视线追踪识别模块用于实时获取图像处理模块处理得到的人眼区域图像，通过图 像边界识别处理而确定人眼区域图像中的眼睛形状、瞳孔位置和角膜反射光斑，进而确定 眼睛的睁闭状态、瞳孔中心所在位置以及角膜反射光斑中心所在位置，并将眼睛的睁闭状 态、瞳孔中心所在位置以及角膜反射光斑中心所在位置通过识别信息输出端实时地传送至 微控制处理模块； 所述微控制处理模块用于实时地根据眼动数据输入端接收到的瞳孔中心所在位置与 角膜反射光斑中心所在位置所构成的位置向量而估算确定人眼的视线方向，并结合通过参 数采集端从数据存储模块提取的佩戴支架上红外接收器所在位置与显示模块输出的显示 画面所在位置之间的三维位置关系以及通过距离数据输入端获取到的佩戴支架上红外接 收器所在位置与人体眼睛所在位置的距离数据构建空间三维坐标，通过该空间三维坐标计 算确定人体眼睛所在位置相对于显示模块输出的显示画面上各个显示位置点的距离，进而 计算确定人眼的视线方向在显示画面上的实时相交点，并生成操作指针位置指令通过显示 信号输出端实时地传送至显示模块，控制其显示画面上的操作指针实时地指示于人眼的视 线方向在显示画面上的相交点位置；微控制处理模块还用于实时地根据眼动数据输入端接 收到的眼睛的睁闭状态和瞳孔中心所在位置的变化情况确定眼睛的实际睁闭动作和瞳孔 的实际移动动作，且与通过参数采集端从数据存储模块提取的操作指针功能指令所对应的 眼睛睁闭动作以及瞳孔移动动作进行对比，判断是否匹配，并在判定匹配时将相匹配的操 作指针功能指令通过显示信号输出端传送至显示模块以控制其显示画面上的操作指针所 指示的位置执行相应的功能操作。
2. 根据权利要求1所述基于人眼图像和视线追踪的操作指针指示控制设备，其特征在 于，所述显示模块包括显示驱动电路和透明显示屏；所述透明显示屏坚向地固定安装在佩 戴支架的眉部的下方，用于呈现显示模块输出的显示画面；所述显示驱动电路的显示数据 输入端作为显示模块的显示信号输入端，显示驱动电路的显示控制输出端与透明显示屏进 行数据连接，用于根据显示数据输入端接收到的信号相应地输出和控制通过透明显示屏呈 现出的显示画面； 所述显示模块输出的显示画面所在位置即为透明显示屏所在位置。
3. 根据权利要求1所述基于人眼图像和视线追踪的操作指针指示控制设备，其特征在 于，所述显示模块包括微型投影仪和透明棱镜；所述微型投影仪的投影数据输入端作为显 示模块的显示信号输入端，微型投影仪的投影镜头朝向透明棱镜，根据投影数据输入端接 收到的信号向透明棱镜投射出相应的显示画面影像；所述透明棱镜固定安装在佩戴支架的 眉部的下方，且透明棱镜中具有可见光折射面，用于将微型投影仪的投影镜头投射进入透 明棱镜的显示画面影像折射至人体眼睛所在方向，进而呈现出显示画面； 所述显示模块输出的显示画面所在位置即为透明棱镜中可见光折射面所在位置。
4. 根据权利要求1所述基于人眼图像和视线追踪的操作指针指示控制设备，其特征在 于，还包括无线发射模块； 所述微控制处理模块的数据通信发射端与无线发射模块进行数据连接，用于将操作指 针位置指令通过数据通信发射端实时地传送至无线发射模块，由无线发射模块实时地对外 发送该操作指针位置指令，且在判定眼睛的实际睁闭动作和瞳孔的实际移动动作与操作指 针功能指令所对应的眼睛睁闭动作以及瞳孔移动动作匹配时，将相匹配的操作指针功能指 令通过数据通信发射端传送至无线发射模块，由无线发射模块对外发送该操作指针功能指 令。
5. 根据权利要求1所述基于人眼图像和视线追踪的操作指针指示控制设备，其特征在 于，还包括无线接收模块； 所述微控制处理模块的数据通信接收端与无线接收模块进行数据连接，用于通过无线 接收模块接收外来的信息数据，并将接收到的信息数据通过显示信号输出端传送至显示模 块，通过显示模块的显示画面加以呈现。
【文档编号】G06F3/0487GK104090659SQ201410322162
【公开日】2014年10月8日 申请日期:2014年7月8日 优先权日:2014年7月8日
【发明者】金纯 , 李娅萍, 汪源 申请人:金纯