一种基于自适应校准的非接触式视线追踪方法
【专利摘要】本发明提供了一种基于自适应校准的非接触式视线追踪方法，结合BFS算法、图像几何特征和灰度特征的光斑特征提取方法，将光斑与对应的光源进行精确匹配；利用一维边缘检测算子和最小二乘椭圆拟合进行循环拟合，去除噪点，直到椭圆中心固定的拟合方法，最终得到精确的瞳孔中心；并提出一种动态自适应的校准方法，有效提高了现有的空间映射模型精度。
【专利说明】一种基于自适应校准的非接触式视线追踪方法
【技术领域】
[0001]本发明属于计算机视觉领域的追踪方法，主要涉及一种基于自适应校准的非接触式视线追踪技术。
【背景技术】
[0002]人类是一个高度依赖视觉的物种，计算出人们的注视点，可以产生方方面面的应用，包括心理学、工业工程、商业广告等等。例如，可以利用视觉追踪技术进行:
[0003]I)注意力分析。分析用户最感兴趣的网页内容，发现婴幼儿成长过程中的兴趣等
坐寸ο
[0004]2)人机交互。可以用人眼代替手进行各种操作，比如进行残疾人辅助、辅助驾驶、控制智能家电、网页和PPT翻页等等。视觉追踪技术渗透到人们的生活中，将对提高人们的生活质量产生巨大的作用。
【发明内容】
[0005]针对现有的基于CCD (Charge Coupled Device,电荷稱合器件)摄像机的视线跟踪技术瞳孔提取不准确，人眼注视坐标定位不准确，以及对姿势限制过多等方面的不足，本发明利用图像的灰度分布进行快速的人眼初定位。本发明提出一种结合BFS (广度优先搜索，Breadth First Search)算法、图像几何特征和灰度特征的光斑特征提取方法,能够将光斑与对应的光源进行精确匹配`；利用一维边缘检测算子和最小二乘椭圆拟合进行循环拟合，去除噪点，直到椭圆中心固定的拟合方法，最终得到精确的瞳孔中心；并提出一种动态自适应的校准方法，有效的提闻了现有的空间映射|旲型精度。
[0006]本发明提供了一种基于自适应校准的非接触式视线追踪方法，包括以下步骤:
[0007]步骤1:将获取到的彩色图像转换成灰度图，对图像进行去噪处理；
[0008]步骤2:分析出图像中灰度值最低的子区域，以这个灰度值作为域值将图像分割成二值化图像，利用所有小于阈值的点(xi，yi) (i=l…N)，N是直方图中灰度小于阈值的点的个数，在二值化图像粗定位瞳孔中心位置(xpupil，ypupil)，如式(I)和式(2):
【权利要求】
1.一种基于自适应校准的非接触式视线追踪方法，其特征在于，包括以下步骤: 步骤1:将获取到的彩色图像转换成灰度图，对图像进行去噪处理； 步骤2:分析出图像中灰度值最低的子区域，以这个灰度值作为域值将图像分割成二值化图像，利用所有小于阈值的点(xi，yi) (i=l…N)，N是直方图中灰度小于阈值的点的个数，在二值化图像粗定位瞳孔中心位置(xpupil，ypupil)，如式(I)和式(2):
2.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤I中，用中值滤波法来去除噪声。
3.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤2中，利用直方图分析出图像中灰度值最低的子区域。
4.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤3中，矩形区域的范围是:70*70像素的矩形区域至90*90像素的矩形区域。
5.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤4中:采用广度优先方法搜索光斑。
6.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤8中，提取瞳孔的边缘点集具体如下:将光斑区域灰度用低于域值的灰度值替换后，计算出瞳孔区域的质心，以这个质心为中心，沿着各个方向进行一维边缘点扫描，在二值化图像中查找满足灰度序列[111000]的点集，就是瞳孔的边缘点集。
7.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤9中，去除候选边缘点中离椭圆中心的距离过远的点的要求是:超过其他所有边缘点5-10像素；变化小于3像素就认为是稳定的中心。
8.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤10中，计算注视点具体如下: 根据计算出的屏幕上四个光斑和瞳孔中心坐标，利用射影几何中的交比不变原理进行空间坐标的映射，P代表瞳孔的中心，g代表人眼在屏幕上的注视点，VI，V2, V3, V4分别是屏幕四个角上的近红外光源IR1，IR2, IR3，IR4产生的光斑对应的虚点； Uv, Uv2，UV3, Uv4分别是虚点VI，V2，V3，V4在图像平面上的映射点，所以这4个点也是虚点，而人眼上的实际光斑GtI，Gt2, Gt3, Gt4在图像中对应的点是Um，UE2, UR3，Uk4 ;图像中捕获的光斑与空间映射关系中图像平面上的虚点之间存在一个固定的比例关系，如式(7)所示，其中α是一个取值近似于2.0的理论常量，Ukp和UKi可以从捕获的图像中计算出来，Ukp是由系统中靠近摄像机光轴位置的近红外光源所产生的光斑；所以，当α取值为常量2.0的时候，Uvi, Uv2，Uv3，Uv4就能通过式(7)计算出来，这样虚点和光斑之间的关系就确立， UVi=UEp+ a (UE1-UEp) (i=l, 2，3，4)(7) 根据交比不变原理，IR1IR2的交比值等于V1V2的交比值，且V1V2的交比值等于UviUv2的交比值，所以IR1IR2的交比值等于UviUv2的交比值； 假定图像平面的4个虚点坐标为UVi=(Xiv，Yiv) (i=l, 2，3，4)，以这4个点为基础扩展出如图4(a)中的交点，假设这些交点的坐标为Um= (XiM, YiM) (i=l, 2，3，4)，UviUv2的交比值如式(8)所示，Uv2Uv3的交比值如式(9)所示，
9.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤4中的条件为:灰度大于阈值的单个连通区域里的像素点个数超过N个，N的取值取决于人眼图像尺寸和分辨率。
10.根据权利要求1所述的一种基于自适应校准的非接触式视线追踪方法，其特征在于:步骤11中，校准注视点具体如下: 屏幕区域被均匀地分成了 η个相同大小的矩形区域，所有矩形区域的中心就是校准点集合，这些校准点的坐标根据屏幕和矩形区域的大小可以确定，η的取值取决于屏幕的大小和所期望达到的精度范围， 校准点的坐标是集合是C，如式(12)所示，当被试注视校准点Ci的时候，实际计算出的注视点坐标是Ei，如式(13)所示，式(14)中的点是图像平面上，由屏幕4个角上的近红外光源产生的光斑，式(15)中的点是图像平面上，由靠近摄像机光轴位置的近红外光源产生的光斑，式(16)是Ukp对应的虚点，
【文档编号】G06K9/00GK103761519SQ201310719654
【公开日】2014年4月30日 申请日期:2013年12月20日 优先权日:2013年12月20日
【发明者】王轩, 韩楷, 张自力, 于成龙, 李鑫鑫, 张加佳, 刘猛, 赵海楠, 李晔, 漆舒汉, 关键, 张江涛, 刘博
申请人:哈尔滨工业大学深圳研究生院