睛运动匹配的潜在凝视目标来校正这些被检测眼睛运动。
[0027] 示例实施例可捕捉用户所观看的物理世界的图像或者其逼近。例如，实施例可 使用邻近用户的眼睛的数字照相机来捕捉视频。实施例可分析捕捉的物理世界图像以提 取物理世界潜在凝视目标。在一些实施例中，这样的分析可包括对象识别。在一些实施例 中，各种算法中的任何一种可适用于标识例如可以例如通过颜色、接近度、纹理等相关的相 关图形特征的集合。示例算法包括加速鲁棒特征（SURF)、尺度不变特征变换（SIFT)以及 Kanade-Lucas-Tomasi(KLT)类型的算法。标识的相关图形特征的每个集合可被认为是潜在 凝视目标，并且通过跟踪标识的相关图形特征的每个集合在多个视频帧上的位置，实施例 可建立相应的潜在凝视目标的速度和加速度。
[0028] 实施例可计算多个视频图像上关于每个标识的潜在凝视目标的位置信息的一阶 导数，以计算关于移动潜在凝视目标的速度信息。实施例可计算多个视频图像上关于每 个标识的潜在凝视目标的位置信息的二阶导数，以计算关于加速潜在凝视目标的加速度信 息。实施例还可计算关于被检测凝视目标的一阶导数信息和二阶导数信息和/或凝视方向 用于与潜在凝视目标速度和加速度进行比较。如将理解的，实施例可使用各种数学方法中 的任何一种来计算一阶导数信息和二阶导数信息，以生成适合于比较操作的综合运动流。
[0029] 实施例可通过推断意图凝视方向或凝视目标为物理世界中的具有基本上与被检 测眼睛跟踪数据特性匹配的位置、速度和/或加速度的潜在凝视目标的凝视方向或凝视目 标来修改被检测眼睛跟踪数据。例如，实施例可选择具有基本上与预期的凝视目标位置、预 期的凝视目标速度和/或预期的凝视目标加速度（这些基本上与被检测凝视目标位置和/ 或其一阶导数或二阶导数匹配）匹配的标识的潜在凝视目标。实施例可修改被检测凝视目 标以生成修改的精度提高的、包括被选定凝视目标的位置的凝视目标信息。
[0030] 图1是示出根据本公开的至少一些实施例布置的、被用户佩戴的示例头戴式装置 的示图。图1示出用户150、用户150佩戴的头戴式装置100、被检测凝视目标141以及被 选定凝视目标142。头戴式装置100包括计算机101、数字照相机102以及面对眼睛的传感 器103。头戴式装置100还包括镜片或其它观看光学器件110,但是在一些实施例中，可省 略（不包括）观看光学器件110。在图1中，面对眼睛的传感器103可适用于检测关于用户 150的眼睛的实时凝视方向信息。数字照相机102可被定向为从用户150的至少一只眼睛 可见的场景捕捉实时数字场景信息，所述场景例如包括被检测凝视目标141和被选定凝视 目标142的场景。图2中示出示例场景。
[0031] 图2是示出根据本公开的至少一些实施例布置的包括潜在凝视目标、被检测凝视 目标以及它们的运动的场景的示图。图2示出场景200,其例如可被数字照相机102捕捉为 实时视频。场景200包括潜在凝视目标201、潜在凝视目标202、潜在凝视目标203以及潜 在凝视目标204。
[0032] 潜在凝视目标201可具有由从潜在凝视目标201延伸的运动矢量示出的运动 M(F1)。潜在凝视目标201是场景200内的示例移动型凝视目标，潜在凝视目标201可以例 如呈现出相对恒定的速度，但没有呈现出加速度。潜在凝视目标202可具有运动M(F2)。潜 在凝视目标202是场景200内的示例静止型凝视目标，潜在凝视目标202可基本上没有呈 现出速度或加速度。潜在凝视目标203可具有运动M(F3)，潜在凝视目标204可具有运动 M(F4)。潜在凝视目标203-204是场景200内的示例加速型凝视目标，潜在凝视目标203-204 可呈现出变化的速度。
[0033] 四个潜在凝视目标201-204被例示在场景200内的示例位置处，并且被例示为具 有示例运动。然而，如将理解，场景可包括任何数量的、在任何位置处的、呈现出任何运动的 潜在凝视目标。如本文中所使用的术语"运动"是指速度、加速度或这两者。
[0034] 图2还示出了在场景200内的示例凝视目标位置处的、呈现出示例的被检测的目 标运动M(DT)的被检测凝视目标141，所述被检测的目标运动M(DT)由从被检测凝视目标 141延伸的运动矢量示出。M(DT)可呈现出例如场景200内的加速度，该加速度包括根据所 示的运动矢量的变化速度。凝视目标141不是数字照相机102所捕捉的场景200的部分， 然而，可从在面对眼睛的传感器103处检测到的实时凝视方向信息得出凝视目标141在场 景200内的位置和运动。图2还示出了场景200内的被选定凝视目标142,其中计算机101 可以例如选择潜在凝视目标204作为被选定凝视目标142。
[0035] 计算机101可被配备例如如结合图3描述的、被存储在存储器中且由处理器可执 行的眼睛跟踪精度提高器。在一些实施例中，眼睛跟踪精度提高器可被配置为：从面对眼睛 的传感器103接收实时凝视方向信息；从数字照相机102接收实时数字场景信息（例如，来 自场景200);基于来自面对眼睛的传感器103的凝视方向信息来确定来自场景200的实时 数字场景信息内的被检测凝视目标141，例如，通过确定被检测凝视目标141在场景200内 的位置、速度和/或加速度来确定；分析来自场景200的实时数字场景信息以标识潜在凝 视目标201-204 ;在标识的潜在凝视目标201-204之中选择潜在凝视目标204 ;将凝视目标 141修改为包括被选定凝视目标142的至少一个位置（多个位置）。一旦被选定凝视目标 142被建立，被选定凝视目标142就可被用于范围广泛的应用中的任何一个，例如，确定用 于显示的AR信息和/或将被选定凝视目标142应用作为控制计算装置101的功能的用户 输入。
[0036] 在一些实施例中，基于来自面对眼睛的传感器103的凝视方向信息确定来自场景 200的实时数字场景信息内的被检测凝视目标141的步骤可包括：应用三角法、几何学等的 数学原理来将被检测凝视方向投影到场景200上。例如，计算机101可计算被检测凝视目 标141在中心点（X= 0,y= 0)在场景200的中心处的坐标系中的X、y坐标。实施例可 使用例如切线函数或余切函数或者其数学等同形式，其中被检测凝视方向信息的X分量Θx 和y分量Θy可与已知的相邻三角形侧边距离D(例如，从用户150的眼睛到观看光学器件 110的距离）一起被用来分别对X和y中的每个进行求解。在一些实施例中，可使用凝视 方向（例如，眼睛角度）和相应的凝视目标位置的列表，来实现基于来自面对眼睛的传感器 103的凝视方向信息确定来自场景200的实时数字场景信息内的被检测凝视目标141，其中 实施例可查找与被检测凝视方向相应的凝视目标位置。实施例还可基于例如凝视目标矢量 历史来确定凝视目标速度和/或加速度，所述凝视目标矢量历史从自场景200捕捉的多个 视频帧上的凝视目标位置得到。
[0037] 在一些实施例中，可使用眼睛机械模型仿真器来比较凝视目标速度和/或加速 度。人眼运动近似于由具有内置延迟的反馈环路驱动的二阶弹簧-质量系统（secondorder spring-masssystem)。这可表现为落后于加速对象的明显上升时间以及当目标改变速度 时的过冲。因此，例如，可通过反映用户150观看的潜在凝视目标的可能运动的眼睛机械模 型仿真器的操作，而不是使用严格地应用被检测凝视方向进行比较的"原始"M(DT)函数来 调整场景200内的M(DT)。
[0038] 如本文中所描述的，一些实施例可在眼睛方向坐标空间，而不是被捕捉场景坐标 空间中进行操作。例如，不是确定场景200内的被检测凝视目标141，实施例而是可确定与 潜在凝视目标201-204相关联的预期凝视方向。这样的实施例还可使用眼睛机械模型仿真 器例如来仿真跟随潜在凝视目标201-204中的每个的预期眼睛移动，采用滞后、过冲和/或 其它机械伪像来完成。无论技术方法如何，实施例可将来自面对眼睛的传感器103的眼睛 跟踪信息及其变化与潜在凝视目标201-204的位置、速度和/或加速度进行比较以选择场 景200内的用户150可能最有可能观看的潜在凝视目标。
[0039] 计算机101可应用各种算法来标识场景200内的图像或视频数据中的潜在凝视目 标201-204,诸如，举例来说，如本文中所公开的SURF、SIFT和/或KLT类型的算法。在一 些实施例中，计算机101可应用对象识别来分析来自场景200的数字场景信息，从而标识可 能是潜在凝视目标201-204的对象。在一些实施例中，计算机101可至少部分地通过标识 相关图形特征的集合来分析来自场景200的数字场景信息，相关图形特征的每个集合包括 例如潜在凝视目标，诸如潜在凝视目标201-204之一。
[0040] 计算机101可以例如通过将被检测凝视目标141的位置、速度和/或加速度与潜 在凝视目标201-204的位置速度和/或加速度进行比较来在潜在凝视目标201-204之中 选择被选定凝视目标142。例如，在一些实施例中，被选定凝视目标142可在来自场景200 的数字场景信息内具有特征位置，该特征位置可以在围绕被检测凝视目标141的误差边界 内。误差边界可取决于面对眼睛的传感器103的精度、照相机图像和眼睛之间的对齐、和/ 或用于将被检测凝视目标141映射到场景200上的计算。误差边界可限定围绕被检测凝视 目标141的区域，在该区域内，被检测凝视目标141可被修改。在一些实施例中，被选定凝 视目标142还可包括具有基本上与被检测凝视目标141的速度匹配的凝视目标速度的移动 型凝视目标。在一些实施例中，被选定凝视目标142还可包括具有基本上与被检测凝视目 标141的加速度匹配的凝视目标加速度的加速型凝视目标。
[0041] 在一些可能的物理世界情景中，几个潜在凝视目标可表现出在凝视目标误差边界 内的位置以及至少与被检测凝视目标的速度和/或加速度相似的速度和加速度。实施例因 此可应用在几个可能的候选者之中选择适当的潜在凝视目标的技术。计算机101可