凝视检测设备及方法
【专利说明】凝视检测设备及方法
[0001]相关申请的交叉引用
[0002]本申请基于并且要求于2013年11月15日在韩国知识产权局提交的韩国专利申请第10-2013-0138977号的优先权，通过引用将其全部内容结合在此。
技术领域
[0003]本公开内容涉及一种从图像检测用户凝视的凝视检测设备及方法。
【背景技术】
[0004]随着电子技术的发展，各种电子器件的应用逐渐增加并且已经积极进行有关人机交互(HCI)的研究。具体地，最近开始使用诸如语音识别和运动识别的各种HCI技术。除这些技术之外，因为使用用户瞳孔移动的HCI提供便利性和高输入速率，所以也开发了分析心理状态或者跟踪用户凝视以操作电子设备的操作电子设备技术。
【发明内容】
[0005]本公开内容提供一种即使在凝视检测过程中没有检测到所需特征点，也可靠性改进地检测用户的凝视的凝视检测设备和方法。
[0006]就本公开内容的一方面而言，凝视检测设备可包括:存储单元(例如，内存)，存储单元被配置为存储参考凝视、第一参考矢量以及第二参考矢量；成像装置(例如，照相机、摄影机等)，被配置为捕获用户的眼睛的图像；中心点检测单元，被配置为从捕获图像检测瞳孔和眼球的大致中心点；矢量生成单元，被配置为当检测到三个中心点时，产生针对一个眼球的凝视矢量和三个大致中心点在其中形成的平面的法向矢量；计算单元，被配置为通过将凝视矢量和法向矢量与第一参考矢量和第二参考矢量进行分别比较来计算第一旋转角和第二旋转角，并且计算第一旋转角和第二旋转角的平均值；以及凝视检测单元，被配置为通过将参考凝视旋转了平均值一样多，检测用户的凝视。多个单元和成像装置可由控制器操作。
[0007]存储单元可被配置为存储分别用于左眼和右眼的第一参考矢量，并且计算单元可被配置为通过将用于一个眼球的凝视矢量与左眼和右眼中任一个的第一参考矢量进行比较来计算第一旋转角。计算单元可被配置为使用基于欧拉角的算法计算第一旋转角和第二旋转角。
[0008]就本公开内容的另一方面而言，凝视检测方法可包括:通过执行凝视校准来检测参考凝视、第一参考矢量以及第二参考矢量；从包括用户的眼睛的图像检测瞳孔和眼球的大致中心点；当检测到三个中心点时，使用这三个中心点产生三个大致中心点形成在其中的平面的法向矢量和用于一个眼球的凝视矢量；通过将凝视矢量和法向矢量分别与第一参考矢量和第二参考矢量进行比较来计算第一旋转角和第二旋转角；计算第一旋转角和第二旋转角的平均值；以及通过将用户的凝视旋转平均值一样多来检测用户的凝视。
[0009]在检测第一参考矢量时，可以检测用于左眼和右眼的第一参考矢量，并且在计算第一旋转角时，可通过将用于一个眼球的凝视矢量与左眼和右眼中任一个的第一参考矢量进行比较来计算第一旋转角。在计算第一旋转角和第二旋转角时，可以使用基于欧拉角的算法。
【附图说明】
[0010]从下面结合附图进行的细节描述中，本公开内容的上述和其他目标、特征以及优点将变得更为显而易见，其中:
[0011]图1是示出了根据本公开内容的示例性实施方式的凝视检测设备的配置的示例图；
[0012]图2是描述根据本公开内容的示例性实施方式的凝视矢量生成过程的示例图；
[0013]图3A至图3B是描述根据本公开内容的示例性实施方式的凝视矢量和法向矢量生成过程的示例图；
[0014]图4A至图4B是描述根据本公开内容的示例性实施方式的参考矢量的示例图；
[0015]图5是描述根据本公开内容的示例性实施方式的旋转角计算过程的示例图；以及
[0016]图6是描述根据本公开内容的示例性实施方式的凝视检测方法的示例流程图。
【具体实施方式】
[0017]应当理解的是，在此使用的术语“车辆”或者“车辆的”或者其他类似术语通常包括机动车辆，诸如包括运动型多用途车(SUV)的客车、公共汽车、卡车、各种商用车辆、包括各种船舶的船只、飞机等等，并且包括混合动力车辆、电动车辆、内燃机式车辆、插电式混合动力车辆、氢动力车辆以及其他可替代燃料车辆(例如，源自不同于石油的资源的燃料)。
[0018]尽管示例性实施方式被描述为使用多个单元执行示例性过程，然而，应当理解的是，示例性过程还可由一个或者多个模块执行。此外，应当理解的是，术语“控制器/控制单元”指包括内存和处理器的硬件设备。内存被配置为存储模块并且处理器被具体配置为执行所述模块以执行下面进一步所描述的一个或者多个过程。
[0019]而且，本发明的控制逻辑可包括非易失性计算机可读介质，在计算机可读介质上包含由处理器、控制器/控制单元执行的可执行程序指令。计算机可读介质的实施例包括但并不限于:R0M、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动、智能卡和光学数据存储设备。计算机可读记录介质也可分布在网络耦合的计算机系统中，从而以分布式方式存储并且例如由车载通信服务器(telematics server)或控制器局域网络(CAN)执行该计算机可读介质。
[0020]本文中所使用的术语仅是为了描述【具体实施方式】而并不旨在限制对本发明。除非上下文另有明确指示，否则，如本文中所使用的，单数形式“一(a)”、“一(an)”及“该”也旨在包括复数形式。应当进一步理解的是，当本说明书中使用术语“包括(comprises)”和/或“包括(comprising) ”时,指定存在所述特征、整数、步骤、操作、元件及/或组件,但并不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件及/或其组合。如本文中使用的，术语“和/或”包括一个或多个关联列出项的任何及所有组合。
[0021]在下文中，将参考附图详细描述本公开内容的示例性实施方式。图1是示出了根据本公开内容的示例性实施方式的凝视检测设备的配置的示例图。参考图1，凝视检测设备100可包括由具有处理器和内存的控制器所执行的多个单元。多个单元可包括成像装置110 (例如，照相机、摄影机等)、中心点检测单元120、矢量生成单元130、存储单元140 (例如，内存)、计算单元150、以及凝视检测单元160。
[0022]成像装置110可被配置为捕获用户的眼睛的图像。换言之，成像装置110可被配置为通过捕获用户的面部区域而获得包括用户的眼睛的图像。因此，成像装置110可被实施为红外照相机。
[0023]中心点检测单元120可被配置为从成像装置110捕获的图像检测瞳孔和眼球的大致中心点。中心点检测单元120可被配置为通过处理捕获图像来检测瞳孔和眼球的大致中心点。由中心点检测单元120捕获的图像可用于检测眼睛区域并且检测眼睛区域内瞳孔的大致中心点。此外，中心点检测单元120可被配置为通过检测光从眼球反射的部分而检测眼球的大致中心点。
[0024]此外，可检测到的瞳孔和眼球的大致中心点高达四个。即，当检测左眼和右眼的瞳孔和眼球的中心点时,可检测到四个中心点。在四个中心点之一没有被检测到的情况下,检测全部四个中心点以检测凝视的现有凝视检测方法可能未检测到凝视。然而，在检测到四个中心点时以及即使在检测到三个中心点时，根据本公开内容的示例性实施方式的凝视检测设备100也可检测到用户的凝视。当凝视检测设备100检测到全部四个中心点时，通过现有凝视方法可检测到用户的凝视，并且当检测到三个中心点时，通过下面所描述的方法可检测到用户的凝视。
[0025]矢量生成单元130可被配置为在检测到三个中心点时，使用这三个中心点产生两个矢量。矢量生成单元130可被配置为针对检测到其中瞳孔和眼球的中心点的眼球，使用瞳孔的中心点和眼球的中心点产生凝视矢量。此外,矢量生成单元130可被配置为产生三个中心点形成在其中的平面的法向矢量。将参考图2和图3A至图3B详细描述凝视矢量和法向矢量生成方法。
[0026]图2是用于描述根据本发明的示例性实施方式的凝视矢量生成过程的示例图。参考图2，示出了中心点检测单元120检测到的瞳孔的中心点和眼球的中心点。当中心点检测单元120检测到三个中心点时，可以检测针对左眼和右眼中任一个的瞳孔的中心点和眼球的中心点。矢量生成单元130可被配置为针对检测到其中瞳孔的中心点和眼球的中心点的眼球,产生从眼球的中心点朝向瞳孔的中心点的凝视矢量,如图2中所示。
[0027]图3A至图3B是描述根据本公开内容的示例性实施方式的凝视矢量和法向矢量生成过程的示例图。图3A是示意性地示出了通过俯视图表示的用户的左眼(L)和右眼(R)的示例图。图3A示出了这样一种实施例，S卩，在三个中心点之中，可以检测到针对用户右眼的瞳孔的中心点和眼球的中心点，并且可以检测到针对用户左眼的瞳孔的中心点。
[0028]对于检测到其中的瞳孔的中心点和眼球的中心点的右眼，矢量生成单元130可被配置为通过参考图2所描述的方法产生凝视矢量G。此外，矢量生成单元130可被配置为使用检测到的三个中心点形成一个平面P并且使用形成平面P生成法向矢量。图3B示出了对应于由三个中心点形成的平面的示例性法向矢量N。
[0029]存储单元140可被配置为存储参考凝视、第一参考矢量以及第二参考矢量。凝视检测设备100可被配置为在使用三个中心点检测凝视之前执行凝视校准。此外，在凝视校准过程中可以检测参考凝视和第一参考矢量并将其存储在存储单元140中。参考凝视可以是在凝视校准过程中使用四个中心点检测到的用户的凝视。第一参考矢量可以是在凝视校准过程中产生的凝视矢量。换言之，矢量生成单元130可被配置为使用在凝视校准过程中检测到的中心点产生第一参考矢量。具体地，矢量生成单元130可被配置为针对左眼和右眼中的每一个产生第一参考矢量。此外，第二参考矢量可以是向下方向的矢量，即，地面方向。将参考图4A至图4B详细描述第一参考矢量和第二参考矢量。
[0030]图4A至图4B是描述根据本发明的示例性实施方式的参考矢量的示例图。图4A是示意性地示出了可由俯视图表示的第一参考矢量和第二参考矢量的示例图，并且图4B是示意性地示出了可由侧视图表示的第一参考矢量和第二参考矢量的示例图。