利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法
【专利摘要】提供一种利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法,该装置特征在于,包含:缓冲器,其为了取得虹膜识别用图像而通过照相机拍摄并保存一个以上的被拍摄者的人物图像;脸部构成要素距离计算部,其根据上述缓冲器所保存的人物图像计算脸部构成要素距离;实际距离推定部,其根据上述脸部构成要素距离计算部计算出的脸部构成要素距离推定被拍摄者与照相机之间的实际距离,根据推定出的距离确认被拍摄者是否处于虹膜拍摄空间;虹膜图像取得部,其从被上述实际距离推定部确认为处于虹膜拍摄空间的被拍摄者的人物图像中取得眼部图像,测定所取得的眼部图像的质量,取得符合基准质量度的虹膜识别用图像。
【专利说明】
利用了脸部构成要素距离的虹膜识别用图像的取得装置和 方法
技术领域
[0001] 本发明涉及利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法。特别 是,涉及以下利用了脸部构成要素距离的虹膜识别用图像的取得装置和方法,该装置包含: 缓冲器,其为了取得虹膜识别用图像而通过照相机拍摄并保存一个以上的被拍摄者的人物 图像;脸部构成要素距离计算部,其根据上述缓冲器所保存的人物图像计算脸部构成要素 距离;实际距离推定部,其根据上述脸部构成要素距离计算部计算出的脸部构成要素距离 推定被拍摄者与照相机之间的实际距离,根据推定出的距离确认被拍摄者是否处于虹膜拍 摄空间;以及虹膜图像取得部,其从被上述实际距离推定部确认为处于虹膜拍摄空间的被 拍摄者的人物图像中取得眼部图像,测定所取得的眼部图像的质量,取得符合基准质量度 的虹膜识别用图像。
【背景技术】
[0002] -般来说,虹膜识别是,提取被拍摄者的虹膜,将其与从其它图像提取出的虹膜进 行比较,进行认证或者身份确认。在所述虹膜识别中,最重要的要素是,将被拍摄者的便利 性最大化并且取得清晰的虹膜图像。
[0003] 为了得到清晰的虹膜图像,需要被拍摄者的眼睛位于虹膜识别照相机的视角范围 内并且位于对焦的距离,为此,尝试了各种方法。
[0004] 最广泛使用的现有技术是在被拍摄者一边直接观看屏幕一边移动一定的距离后 停止的状态下进行测定,但这没有被拍摄者的配合是不可能的,并存在根据被拍摄者的熟 练度的不同,取得的虹膜图像的质量会出现偏差等问题。
[0005] 用于克服上述技术问题的其它现有的代表性技术有使用距离测定传感器测定与 被拍摄者之间的距离的技术、使用多台照相机把握眼睛的位置的技术等。
[0006] 首先,使用距离测定传感器测定与被拍摄者之间的距离并自动调整照相机的焦点 的与本发明相关的现有技术有韩国公开专利第2002-0086977号公报、第2002-0073653号公 报。
[0007] 在上述的韩国公开专利第2002-0086977号公报、第2002-0073653号公报中,为了 测定被拍摄者与虹膜识别用照相机之间的距离,将红外线点(spot)光形式的距离测定用指 针投射到被拍摄者的脸部而对所拍摄的人物图像进行分析来计算距离。要使用该方法,还 必须安装投射点光的装置和距离测定传感器这样的附加装备,但由于(如最近的智能手机 这样)全面小型化的电子设备的空间有限的问题和低成本化的问题,安装附加装备是有限 制的。
[0008] 另外,也有使用2台以上的照相机把握眼睛的位置来拍摄虹膜图像的技术,与本发 明相关的现有技术有韩国公开专利第10-2006-0081380号公报。
[0009] 在该韩国公开专利第10-2006-0081380号公报中,通过在移动终端机上安装2台以 上的照相机,调整焦点来取得立体虹膜图像,能够消除上述的不便之处,但存在安装立体照 相机会导致装置的体积和成本增大的问题。而且,必须通过机构而用电来驱动各个照相机, 系统构成会复杂化,这方面也是有限制的。
[0010]另外,与本发明相关的其它现有技术有韩国公开专利第10-2013-0123859号公报。 在韩国公开专利第10-2013-0123859号公报中,如在正文及要解决的问题中所说明的,包含 接近传感部,该接近传感部对终端不附加别的红外线照明装置,而是使用终端所内置的接 近传感器,收集被外部客体反射的光,然后分析所收集到的光来测定距离。然而,由于不利 用红外线照明装置而是通过一般数字(彩色)照相机拍摄虹膜图像,因此,从周边的事物(被 拍摄体)反射的反射光会集中于虹膜区域,将虹膜图像覆盖,虹膜识别的准确度会下降,这 方面也是有限制的。另外,还存在周边的照明装置、反射光会导致距离测定本身产生可靠度 问题的缺陷。
[0011] 而且,最近,已在进行对迄今未曾想到的各种设备应用虹膜识别的研究。关于用于 对现有的CCTV这样的安保设备、门锁这样的出入口相关设备、照相机、摄像机、摄录一体机 这样的视频设备以及智能手机、平板、PDA、PC、笔记本电脑这样的智能设备等也应用虹膜识 别的研究,产业界也在热烈讨论。
[0012] 特别是,智能手机这样的终端机等在迅速推进智能化,另外,与智能手机这样的终 端机等中安装的照相机相关的技术领域也在飞跃发展。最近,具有12M像素或者16M像素的 分辨率和每秒30帧以上的传输速度的面向智能手机的照相机模块已开始以低成本普及,可 以想象在不久的将来,采用了具有更高的分辨率和更高速的帧传输速度的照相机模块的低 成本的设备的使用将会普及。
[0013] 因此,关于既能够克服上述的现有技术的缺陷并充分考虑到物理空间和经济成本 的问题又能够使用户的便利性增大,且对现有的CCTV这样的安保设备、门锁这样的出入口 相关设备、照相机、摄像机、摄录一体机这样的视频设备以及智能手机、平板、PDA、PC、笔记 本电脑这样的各种智能设备也能够容易地应用虹膜识别的技术的装置和方法的需求在不 断增大,这是实情。
【发明内容】
[0014] 发明要解决的问题
[0015] 本发明要解决的问题是,为了解决上述的现有技术的问题,不利用为了取得清晰 的虹膜图像所使用的现有的复杂的距离测定装置和方法,而是从通过现有设备的照相机拍 摄的图像,使用脸部构成要素距离取得虹膜识别用图像。
[0016] 本发明要解决的另一问题是,推定照相机与被拍摄者之间的实际距离,在根据设 备的种类分别设定的取得最佳图像的位置上取得虹膜识别用图像。
[0017] 本发明要解决的另一问题是,从通过现有设备的照相机拍摄的图像,分离出包含 虹膜区域的图像而测定质量项目,取得符合一定的质量基准的虹膜识别用图像。
[0018] 本发明要解决的另一问题是,为使被拍摄者接近能取得最佳图像的位置,不利用 现有的复杂繁琐的方法,而是提供能够直观认知的向导,或者对照相机附加致动器,使得在 被拍摄者停止的状态下照相机自动移动,使被拍摄者的便利性增大。
[0019] 本发明要解决的另一问题是,通过在取得最佳图像的位置上取得虹膜识别用图 像,将现有设备的电力和资源的效率性最佳化。
[0020] 本发明要解决的另一问题是,为了防止取得的虹膜识别用图像的伪造/变造,不利 用现有的方法,而是使用为了提取脸部构成要素距离所使用的脸部识别或者眼动追踪技 术。
[0021] 本发明要解决的另一问题是,将为了取得虹膜识别用图像而通过现有的设备拍摄 的图像附加性地用于现有的设备的脸部识别,或者使用虹膜识别用图像进行虹膜识别,能 容易地运用于设备的解锁或强化安保。
[0022] 用于解决问题的方案
[0023] 本发明的用于解决问题的方案是,提供一种利用了脸部构成要素距离的虹膜识别 用图像的取得装置和方法,其包含:缓冲器,其为了取得虹膜识别用图像而通过照相机拍摄 并保存一个以上的被拍摄者的人物图像;脸部构成要素距离计算部,其根据上述缓冲器所 保存的人物图像计算脸部构成要素距离;实际距离推定部,其根据上述脸部构成要素距离 计算部计算出的脸部构成要素距离推定被拍摄者与照相机之间的实际距离,根据推定出的 距离确认被拍摄者是否处于虹膜拍摄空间;虹膜图像取得部,其从被上述实际距离推定部 确认为处于虹膜拍摄空间的被拍摄者的人物图像中取得眼部图像,测定所取得的眼部图像 的质量,取得符合基准质量度的虹膜识别用图像。
[0024] 本发明的用于解决另一问题的方案是,提供一种利用了脸部构成要素距离的虹膜 识别用图像的取得装置和方法,其包含:实际距离计算部,其根据事先通过实验取得并保存 于计算机或者终端机的存储器或者数据库的表示被拍摄者与照相机之间的实际距离和脸 部构成要素距离的关系的函数,计算被拍摄者与照相机之间的实际距离;以及虹膜拍摄空 间确认部,其根据上述计算出的被拍摄者与照相机之间的实际距离,确认被拍摄者是否处 于虹膜拍摄空间并将其传递给虹膜图像取得部。
[0025] 本发明的用于解决另一问题的方案是,提供一种利用了脸部构成要素距离的虹膜 识别用图像的取得装置和方法,该装置包含:眼部图像提取部,其从在虹膜拍摄空间中拍摄 并保存于缓冲器的人物图像提取左眼和右眼的眼部图像;眼部图像保存部,其将上述提取 出的左眼和右眼的眼部图像分开保存;以及眼部图像质量测定部,其测定上述所保存的左 眼和右眼的眼部图像的质量,评估测定出的眼部图像质量是否符合基准质量度,取得符合 基准质量度的眼部图像作为虹膜识别用图像。
[0026] 本发明的用于解决另一问题的方案是,提供一种利用了脸部构成要素距离的虹膜 识别用图像的取得装置和方法,其在虹膜拍摄空间确认部中还包含提供为了引导被拍摄者 进入虹膜拍摄空间而被操作的视频向导的直观向导部或者控制照相机的致动器 (actuator)的致动器控制部。
[0027] 本发明的用于解决另一问题的方案是,还包含:脸部识别部,在为了测定脸部构成 要素距离而提取脸部构成要素时,其进行脸部识别;以及虹膜识别部,其使用虹膜识别用图 像进行虹膜识别。
[0028] 发明效果
[0029] 本发明是用于解决上述的现有技术的问题的发明,其效果是,不利用为了取得清 晰的虹膜图像所使用的现有的复杂的距离测定装置和方法,从通过现有设备的照相机拍摄 的图像,使用脸部构成要素距离取得虹膜识别用图像。
[0030] 本发明的另一效果是,推定照相机与被拍摄者之间的实际距离,在根据设备的种 类分别设定的取得最佳图像的位置上取得虹膜识别用图像。
[0031] 本发明的另一效果是,从通过现有设备的照相机拍摄的图像分离出包含虹膜区域 的图像而测定质量项目,取得符合一定的质量基准的虹膜识别用图像。
[0032] 本发明的另一效果是,为使被拍摄者接近能取得最佳图像的位置,不是使用现有 的复杂繁琐的方法,而是提供能直观认知的向导,或者对照相机附加致动器使得在被拍摄 者停止的状态下仅照相机自动移动,使被拍摄者的便利性增大。
[0033] 本发明的另一效果是,通过在取得最佳图像的位置上取得虹膜识别用图像,将现 有设备的电力和资源的效率性最佳化。
[0034] 本发明的另一效果是,为了防止取得的虹膜识别用图像的伪造/变造,不利用现有 的方法,而是利用为了提取脸部构成要素距离所使用的脸部识别或者眼动追踪技术。
[0035] 本发明的另一效果是,将为了取得虹膜识别用图像而通过现有的设备拍摄的图像 附加性地用于现有的设备的脸部识别,或者使用虹膜识别用图像进行虹膜识别,能容易地 运用于设备的解锁或强化安保。
【附图说明】
[0036] 图1是示出本发明的一实施例所涉及的脸部构成要素元素间的距离的各种示例的 图。
[0037] 图2是将本发明的一实施例所涉及的能根据基准点的位置进行各种测定的左眼与 右眼之间的距离作为示例示出的图。
[0038] 图3是简略示出本发明的一实施例所涉及的利用了脸部构成要素距离的虹膜识别 用图像取得装置的构成框图。
[0039] 图4是用于说明本发明的一实施例所涉及的取得利用了脸部构成要素距离的虹膜 识别用图像的方法的流程图。
[0040] 图5是简略示出本发明的一实施例所涉及的脸部构成要素距离计算部的构成框 图。
[0041] 图6是用于说明本发明的一实施例所涉及的计算脸部构成要素距离的方法的流程 图。
[0042]图7是简略示出本发明的一实施例所涉及的实际距离推定部的构成框图。
[0043]图8是将本发明的一实施例所涉及的表示脸部构成要素距离与实际距离的关系的 针孔照相机模型(pinhole camera model)的原理作为示例示出的图。
[0044]图9是将本发明的一实施例所涉及的使用统计学方法(主要是回归分析)求出表示 脸部构成要素距离与实际距离的关系的函数的原理作为示例示出的图。
[0045]图10是易于理解地示例出本发明的一实施例所涉及的将瞳孔中心间的距离用作 脸部构成要素距离而推定出的被拍摄者与照相机之间的实际距离和脸部构成要素距离的 关系的图。
[0046] 图11是采取智能手机的屏幕来说明本发明的一实施例所涉及的向导部使用直观 视频向导来告知被拍摄者接近了虹膜拍摄空间的方法的图。
[0047] 图12是简略示出本发明的一实施例所涉及的虹膜图像取得部的构成框图。
[0048] 图13是用于说明本发明的一实施例所涉及的取得虹膜识别用图像的方法的流程 图。
[0049] 图14是示例出本发明的一实施例所涉及的从在虹膜拍摄空间中拍摄的人物图像 提取眼部图像的原理的图。
[0050] 图15是用于说明本发明的一实施例所涉及的在虹膜拍摄空间大于捕捉空间的情 况下从所拍摄的人物图像提取眼部图像的原理的示例图。
[0051] 图16是用于说明本发明的一实施例所涉及的将左眼和右眼的眼部图像在形式上 区分开保存的示例图。
[0052]图17是用于说明本发明的一实施例所涉及的将左眼和右眼的眼部图像在物理上 区分开保存的示例图。
【具体实施方式】
[0053] 本发明要提供的是利用了脸部构成要素距离的虹膜识别用图像的取得装置和方 法,该装置包含:缓冲器,其为了取得虹膜识别用图像而通过照相机拍摄并保存一个以上的 被拍摄者的人物图像;脸部构成要素距离计算部,其根据上述缓冲器所保存的人物图像计 算脸部构成要素距离;实际距离推定部,其根据上述脸部构成要素距离计算部计算出的脸 部构成要素距离推定被拍摄者与照相机之间的实际距离,根据推定出的距离确认被拍摄者 是否处于虹膜拍摄空间;以及虹膜图像取得部,其从被上述实际距离推定部确认为处于虹 膜拍摄空间的被拍摄者的人物图像中取得眼部图像,测定所取得的眼部图像的质量,取得 符合基准质量度的虹膜识别用图像。
[0054] 以下,参照附图来说明本发明的实施例的构成和作用。不过,附图中示出并被说明 的本发明的构成和作用是作为至少一个实施例来说明的,本发明的技术的思想及其核心构 成和作用并不受它们限制。因此,对本发明的一实施例所属技术领域的技术人员来说,在不 脱离本发明的一实施例的本质特性的范围内,能对利用了脸部构成要素距离的虹膜识别用 图像的取得装置和方法的核心构成要素应用各种修正和变形。
[0055] 另外,在说明本发明的构成要素时,能够使用A、B、(a)、(b)等用语。这种用语仅仅 是为了将该构成要素与其它构成要素区别开而使用的,该构成要素的本质或者顺序等并不 被该用语限定。当记载为某构成要素"连结于"、"包含于"或者"构成于"另一构成要素时,应 理解为既包含没有任何其它构成要素介于该构成要素与另一构成要素之间的情况,也包含 有其它构成要素介于这两个构成要素之间的情况。
[0056]另外,在本发明中,在不同的附图中,为了容易理解,即使是同一构成要素也标注 不同的附图标记。
[0057][实施例]
[0058]对用于实施本发明的具体内容进行说明。
[0059] 首先,说明本发明中的脸部构成要素元素和脸部构成要素距离。
[0060] 一般来说,除非有因意外的疾病、事故所致的特别的理由,人们一般都具有左眼、 右眼、鼻子、嘴巴、下巴等脸部部位,这样的特定的脸部部位以各种方式用于脸部检测、脸部 识别等。
[0061] 通过这种脸部检测、脸部识别所使用的技术构成(方法),提取出相当于眼睛(左、 右)、眉毛(左、右)、鼻子、鼻孔(左、右)、嘴巴、耳朵、下巴、脸颊、脸部边界等的部分的一部分 或者全部来使用。
[0062] 上述的脸部检测、脸部识别所使用的眼睛(左、右)、眉毛(左、右)、鼻子、鼻孔(左、 右)、嘴巴、耳朵、下巴、脸颊、脸部边界等一般被称为脸部要素或者脸部构成要素,但在本发 明中,将它们定义为脸部构成要素元素,根据这些所定义的各个脸部构成要素元素间的距 离求出脸部构成要素距离。此时,是测定通过后述的照相机拍摄的人物图像中的像素 (pixel)距离来求出脸部构成要素元素间的距离。
[0063] 图1是示出本发明的一实施例所涉及的脸部构成要素元素间的距离的各种示例的 图。
[0064] 如图1所示,通过脸部检测和脸部识别所使用的技术构成(方法)能够提取出各种 脸部构成要素元素,这些元素间也可存在各种距离。
[0065] 为了便于说明,将上述的脸部检测和脸部识别所使用的任意的方法称为A,若假定 通过A这种方法提取了任意的k个脸部构成要素元素 al,a2,…,ak,则如A= {al,a2,…,ak} 这样以集合的形式来表达。另外,将通过特定的方法A提取出的脸部构成要素元素间的距离 以L(ai,aj)或者L(aj,ai)的形式来表达(ai,aje {al,a2,…,ak})。
[0066] 按照这种表述,在以特定的方式B分别提取了m个脸部构成要素元素的情况下,能 够表达为B= {bl,b2,…,bm},在以特定的方式C分别提取了η个脸部构成要素元素的情况 下,能够表达为C= {cl,c2,…,cn}。
[0067] 另外,如果通过特定的方式D提取出的脸部构成要素元素存在r个(D= {dl,d2,…, dr}),则提取出的元素间的距离能够表达为L(di,dj),所存在的元素间的距离的个数为r (r-l)/2 个。
[0068] 因此,从r(r-l)/2个脸部构成要素元素间的距离之中选择任意1个,或者将2个以 上分别独立使用,或者是通过多变量回归(regression)函数变换后用作脸部构成要素距 离。
[0069] 接着,举出具体的示例来说明上述的脸部构成要素元素和脸部构成要素距离。
[0070] (!1)仅存在0={(11,(12}& = 2)、以(11,(12)
[0071] 这是指作为脸部构成要素元素,仅使用如左眼与右眼、左眼与鼻子、左眼与嘴巴、 右眼与鼻子、右眼与嘴巴、鼻子与嘴巴这样的2个脸部部位的情况。因此,脸部构成要素元素 间的距离分别如左眼与右眼之间的距离、左眼与鼻子之间的距离、左眼与嘴巴之间的距离、 右眼与鼻子之间的距离、右眼与嘴巴之间的距离、鼻子与嘴巴之间的距离这样仅存在1个。
[0072] (T2)存在 D={dl,d2,d3}(r = 3)、L(dl,d2)、L(dl,d3)W&L(d2,d3)
[0073] 这是指作为脸部构成要素元素,使用如左眼与右眼与鼻子、左眼与右眼与嘴巴、左 眼与鼻子与嘴巴、右眼与鼻子与嘴巴这样的3个脸部部位的情况。因此,此时,也分别存在如 下脸部构成要素元素间的距离。
[0074] ?左眼与右眼与鼻子:左眼与右眼之间的距离、左眼与鼻子之间的距离、右眼与鼻 子之间的距离
[0075] ?左眼与右眼与嘴巴:左眼与右眼之间的距离、左眼与嘴巴之间的距离、右眼与嘴 巴之间的距离
[0076] ?左眼与鼻子与嘴巴:左眼与鼻子之间的距离、左眼与嘴巴之间的距离、鼻子与嘴 巴之间的距离
[0077] ?右眼与鼻子与嘴巴:右眼与鼻子之间的距离、右眼与嘴巴之间的距离、鼻子与嘴 巴之间的距离
[0078]在如上述(T1)所示例的那样脸部构成要素元素间的距离为一个的情况下,能够将 脸部构成要素元素间的距离用作脸部构成要素距离,而在如(T2)所示例的那样存在2个以 上的脸部构成要素元素间的距离的情况下,能够选择1个,或将2个以上的距离全部同时用 作计算因子,或者是将2个以上的距离通过多变量回归(regression)函数计算为一个值来 使用。
[0079]接着,举出(T2)的示例具体说明上述的由2个以上的距离构成的脸部构成要素距 离。
[0080] 为了便于说明,在(T2)的示例中,当选择左眼(dl)与右眼(d2)与鼻子(d3)时,脸部 构成要素元素间的距离存在L(左眼(dl),右眼(d2));L(左眼(dl),鼻子(d3));L(右眼(d2), 鼻子(d3))这3个。如果将根据这样测定的以(11,(12)、以(11,(13)、以(12,(13)这3个距离计算脸 部构成要素距离的函数设为F,则脸部构成要素距离为F(L(dl,d2),L(dl,d3),L(d2,d3))。
[0081] 首先,在使用测定出的3个距离中的任意一个的情况下,选择最容易测定的距离, 或者在测定的容易性相同的情况下,任意选择一个用作脸部构成要素距离。
[0082]另外,在只是将测定出的3个距离独立同时使用的情况下,F(L(dl,d2),L(dl,d3), L(d2,d3))值能够以有序对、矩阵或者矢量的形式具有各个L(dl,d2)、L(dl,d3)、L(d2,d3) 值,最后,在将测定出的3个距离变换成一个值来使用的情况下,F(L(dl,d2),L(dl,d3),L (d2,d3))值具有通过多变量回归(regression)函数变换后的值。
[0083]另外,即使是上述的同一脸部构成要素元素间的距离,该距离也会根据测定的基 准点的位置而不同。所谓基准点,是指为了测定脸部构成要素元素间的距离所需要的脸部 构成要素元素的特定的位置。例如,关于鼻子的部位,能够将左、右的鼻孔和鼻尖(nose tip)等各种特定的位置用作基准点。
[0084] 图2将本发明的一实施例所涉及的能根据基准点的位置进行各种测定的左眼与右 眼之间的距离作为示例来示出。
[0085] 如图2所示,即使同样选择了左眼和右眼,也能根据为了距离测定而选定的基准点 的位置进行各种距离测定。例如,眼科和眼镜相关领域所使用的瞳孔间距离 (InterPupillary distance: IH)或者FO) (L(dl,d2) =L1)是以双眼的瞳孔中心为基准点来 测定距离的。并且,整形领域所使用的内眼角(眼睛的内侧)间距离(Intercanthal Distance :ICD或者ID) (L(dl,d2) =L2))是对两侧眼睛的边界中的离鼻子的部位最近的一 侧的边界间的距离进行测定。此外,还可以是如瞳孔的外侧端之间的距离(L(dl,d2) = L3))、外眼角(眼睛的外侧)间距离(L(dl,d2) = L4))这样,根据基准点的位置而存在左眼与 右眼之间的各种距离。
[0086] 接着,说明上述的利用了脸部构成要素距离的虹膜识别用图像取得装置的技术构 成。
[0087]在本发明中,采取左眼和右眼作为被判断为使得发明的主旨最容易理解的脸部构 成要素元素,采取瞳孔间距离作为脸部构成要素距离来说明。因此,即使采取了左眼和右眼 作为脸部构成要素元素,采取了瞳孔间距离作为脸部构成要素距离,也应当理解,也能以同 样的方法充分说明其它脸部构成要素元素和脸部构成要素距离,是能同样应用的。
[0088] 图3是简略示出本发明的一实施例所涉及的利用了脸部构成要素距离的虹膜识别 用图像取得装置的构成框图。
[0089] 如图3所示,本发明所涉及的利用了脸部构成要素距离的虹膜识别用图像取得装 置为了取得虹膜识别用图像,包括:机构(以下,称为'缓冲器'。)301,其从通过照相机拍摄 包含被拍摄者的脸部的被拍摄者的一部分或者全部而得到的图像或者照相机中的被拍摄 者的图像中仅将脸部区域剪切出(cropping),并将该图像(以下,称为'人物图像'。)临时保 存;机构(以下,称为'脸部构成要素距离计算部'。)302,其从保存在缓冲器301中的一个以 上的人物图像提取脸部构成要素元素,根据提取出的元素间的距离,计算脸部构成要素距 离;机构(以下,称为'实际距离推定部'。)303,其根据脸部构成要素距离计算部302计算出 的脸部构成要素距离,推定被拍摄者与照相机之间的实际距离,根据推定出的距离,确认被 拍摄者是否处于利用红外线照明装置拍摄人物图像的位置(以下,称为'虹膜拍摄空间'。; 以及机构(以下,称为'虹膜图像取得部'。)304,其将从被实际距离推定部303确认为处于虹 膜拍摄空间的被拍摄者的人物图像中剪切出包含虹膜的眼睛区域而得到的图像(以下,称 为'眼部图像'。)分成左眼和右眼的眼部图像进行保存,测定所保存的眼部图像的质量,取 得符合一定的质量基准(以下,称为'基准质量度'。)的眼部图像(以下,称为'虹膜识别用图 像'。)。
[0090] 另外,也能够在由脸部构成要素距离计算部302提取脸部构成要素元素的过程中 进行脸部识别,为此,也可以还构成后述的脸部识别部305。
[0091] 另外,也能够在由虹膜图像取得部304取得虹膜识别用图像的过程中进行虹膜识 另IJ,为此,也可以还构成后述的虹膜识别部306。
[0092] 接着,详细说明上述的取得利用了脸部构成要素距离的虹膜识别用图像的方法。
[0093] 图4是用于说明本发明的一实施例所涉及的取得利用了脸部构成要素距离的虹膜 识别用图像的方法的流程图。
[0094] 如图4所示,本发明的一实施例所涉及的虹膜识别用图像取得方法具有如下步骤。 [0095]具有:步骤(S401),照相机先是处于待机状态(以下,称为'休眠模式'。),当感知到 被拍摄者时,开始拍摄人物图像,将所拍摄的人物图像保存到缓冲器;步骤(S402),根据上 述缓冲器所保存的人物图像,由脸部构成要素距离计算部计算脸部构成要素距离;步骤 (S403),根据上述计算出的脸部构成要素距离,由实际距离推定部推定被拍摄者与照相机 之间的实际距离,确认被拍摄者是否处于虹膜拍摄空间;步骤(S404),当在步骤(S403)中确 认为被拍摄者处于虹膜拍摄空间时,由虹膜图像取得部从被拍摄者的人物图像中取得眼部 图像,将左眼和右眼的眼部图像分开保存;以及步骤(S405),测定这些眼部图像的质量,取 得符合基准质量度的虹膜识别用图像。
[0096]在图4中,记载的是依次执行步骤S401至步骤S405,但这只不过是示例性地说明本 发明的一实施例的技术思想,对本发明的一实施例所属技术领域的技术人员来说,在不脱 离本发明的一实施例的本质特性的范围内,也能变更图4所记载的顺序来执行或者将步骤 S401至步骤S405中的一个以上的步骤并列执行等,能进行各种修正和变形,因此,在时间顺 序上不受图4的限制。
[0097]接着,详细说明上述的利用了脸部构成要素距离的虹膜识别用图像取得装置的具 体构成。
[0098] 首先,具体说明照相机。
[0099] 本发明所说的照相机不是仅限于照相机成品,也包含以下设备中的照相机镜头、 照相机模块:近年来已导入虹膜识别或者正在积极进行用于导入的研究的门锁这样的出入 口相关设备、CCTV这样的安保设备、照相机、摄像机、摄录一体机这样的视频设备以及智能 手机、平板、PDA、PC、笔记本电脑这样的智能设备等。
[0100] 一般来说,虹膜识别所需要的图像的分辨率参考的是ISO的标准,ISO标准是以VGA 分辨率图像(VGA resolution image)为基准而用虹膜直径中的像素 (pixel)数规定的。按 照ISO标准,通常,将200像素以上的情况定为高画质,将170像素的情况定为普通画质,并 且,将120像素的情况定为低画质。因此,在本发明中,尽可能使用既能取得左眼和右眼的眼 部图像又能谋求被拍摄者的便利性的具有高画质的像素的照相机,但此外,根据虹膜的画 质或者其它附加装置的特性应用各种像素数的可能性很高,因此,不是一定限于高画质的 像素。特别是,最近,具有12M像素或者16M像素的分辨率和每秒30帧以上的传输速度的高画 质的照相机模块已用于数字视频设备和智能设备等,足以在虹膜拍摄空间内取得符合基准 质量度的虹膜识别用图像。
[0101] 另外,上述的照相机一般包括1个照相机或者2个以上的多个照相机,也可以根据 必要进行各种变形来构成。
[0102] 另外,本发明的目的和主旨是为了取得清晰的虹膜图像而尽量利用现有设备的照 相机来取得人物图像,为了符合这一目的和主旨,尽量不另外构成特定照相机。但是,也可 以根据脸部检测和脸部识别所使用的技术(方法)另外构成照明部。例如,在采用不是使用 红外线而是使用可见光的脸部检测和脸部识别方法的情况下,必须还构成在后述的虹膜拍 摄空间中提供红外线照明的照明部。另一方面,在使用热红外线的脸部检测和脸部识别方 法中,不必构成别的照明部。即使在需要上述的照明部的情况下,第一,采用具有虽然使用 可见光照明装置但当进入虹膜拍摄空间时将可见光照明装置关闭(off)并将红外线照明装 置打开(on)的机构的构成,或者,第二,采用具有设计制作成在虹膜拍摄空间中将可见光照 明装置打开(on)的情况下使得允许红外线通过的机构位于照明装置之前而仅使红外线通 过的技术构成,由此,从成本方面或者物理大小所致的空间制约方面上也能充分附加设置, 能容易应用。
[0103] 首先,具体说明缓冲器。
[0104] 缓冲器临时保存照相机拍摄的单个或者多个人物图像,且主要与照相机及脸部构 成要素距离计算部连动。
[0105] 一般来说,缓冲器从特性上来说,保存空间不多,因此,在本发明中,构成为在被拍 摄者进入虹膜拍摄空间前,将照相机所拍摄的人物图像在仅计算脸部构成要素距离后立即 删除。
[0106] 另外,当被拍摄者进入了虹膜拍摄空间时,必须从照相机所拍摄的人物图像中取 得眼部图像,不删除人物图像而将其保存一定时间。
[0107]为此,在本发明中,也可以使缓冲器包括分开承担上述的作用的2个缓冲器,或者 对缓冲器追加特定的保存空间,在保存通过照相机拍摄的人物图像时将其保存于特定的保 存空间等,设为符合本发明的目的和主旨的各种构成。
[0108]接着,具体说明脸部构成要素距离计算部。
[0109] 图5是简略示出本发明的一实施例所涉及的脸部构成要素距离计算部的构成框 图。
[0110] 如图5所示,本发明的一实施例所涉及的脸部构成要素距离计算部包括:机构(以 下,称为'元素提取部'。)501,其从人物图像提取脸部构成要素元素;机构(以下,称为'元素 距离测定部'。)502,其根据上述元素提取部提取出的脸部构成要素元素,测定脸部构成要 素元素间的距离;以及机构(以下,称为'构成要素距离计算部'。)503,其根据上述元素距离 测定部测定出的脸部构成要素元素间的距离,计算脸部构成要素距离。
[0111] 另外,也可以还单独构成在由元素提取部501提取脸部构成要素元素的过程中进 行脸部的认证和识别的脸部识别部504,还可以除了脸部识别部以外,还构成检测眼睛的伪 造 (fake eye)的眼睛伪造检测部505。
[0112]接着,详细说明上述的脸部构成要素距离计算部计算脸部构成要素距离的方法。
[0113] 图6是用于说明本发明的一实施例所涉及的计算脸部构成要素距离的方法的流程 图。
[0114] 如图6所示,本发明的一实施例所涉及的计算脸部构成要素距离的方法具有如下 步骤。
[0115] 具有:步骤(S601),首先从缓冲器所保存的人物图像中由元素提取部提取脸部构 成要素元素;步骤(S602),决定是否使用上述提取出的脸部构成要素元素由脸部识别部进 行脸部识别后进行该识别;步骤(S603),从上述识别到的脸部,由眼睛伪造检测部判别、检 测眼睛的伪造;步骤(S604),由元素距离测定部确认上述提取出的脸部构成要素元素之中 是否有能进行距离测定的脸部构成要素元素,测定脸部构成要素元素间的距离;以及步骤 (S605),根据上述测定的脸部构成要素元素间的距离,由构成要素距离计算部计算脸部构 成要素距离。
[0116] 在图6中,记载的是依次执行步骤S601至步骤S605的例子,但这只不过是示例性地 说明本发明的一实施例的技术思想,对本发明的一实施例所属技术领域的技术人员来说, 在不脱离本发明的一实施例的本质特性的范围内,也能变更图6所记载的顺序来执行或者 将步骤S601至步骤S605中的一个以上的步骤并列执行等,能进行各种修正和变形,在时间 顺序上不受图6的限制。
[0117] 接着,详细说明上述的元素提取部。
[0118] 在本发明中,元素提取部采用脸部认证系统的脸部检测、脸部识别的步骤中所使 用的周知的技术提取脸部构成要素元素。
[0119] 脸部检测是脸部识别的预处理步骤,会对脸部识别性能产生决定性影响,迄今已 知的方法有使用了 HSI颜色模型的颜色成分的基于颜色的检测方法、将颜色信息和移动信 息复合性地用于脸部检测的方法以及使用颜色信息和图像的边缘信息检测脸部区域的方 法等。
[0120]另外,脸部识别能够使用基于几何学特征(geometric feature-based)的方法、基 于模板(template-based)的方法、基于模型(model-based)的方法、使用了热红外线或者三 维脸部图像的方法等。
[0121]另外,作为脸部检测和脸部识别所使用的开放资源,OpenCV等在全世界已广泛使 用。
[0122] 因此,在本发明中,可以使用上述的现有技术中的符合从人物图像中很好地提取 脸部构成要素元素这一本发明的目的和主旨的任何技术,与脸部检测和脸部识别相关的现 有技术是公知的技术,省略其详细说明。
[0123] 元素提取部虽然是通过脸部检测、脸部识别所使用的现有技术,将眼睛(左、右)、 眉毛(左、右)、鼻子、鼻孔(左、右)、嘴巴、耳朵、下巴、脸颊、脸部边界等的全部或者一部分提 取出,但在大部分的情况下,是检测眼睛区域(左、右)。
[0124] 如果将脸部检测和脸部识别所使用的任意的方法称为A,假定由元素提取部通过A 这一方法提取了任意的k个脸部构成要素元素 al,a2,…,ak,则如4={31,32,一01^}这样以 集合的形式来表达。另外,将通过特定的方法A提取出的脸部构成要素元素间的距离以L (ai,aj)或者L(aj,ai)的形式来表达(A= {al,a2,…,ak})。
[0125] 按照这种表述,在以特定的方式B分别提取了m个脸部构成要素元素的情况下,能 够表达为B= {bl,b2,…,bm},在以特定的方式C分别提取了η个脸部构成要素元素的情况 下,能够表达为C= {cl,c2,…,cn}。
[0126] 另外,如果通过特定的方式D提取出的脸部构成要素元素存在r个(D= {dl,d2,…, dr}),则提取出的元素间的距离能够表达为L(di,dj),所存在的元素间的距离的个数为r (r-l)/2 个。
[0127] 与此相关的详细的技术构成与上述的脸部构成要素元素和脸部构成要素距离的 说明中的内容相同,因此省略。
[0128] 接着,详细说明上述的元素距离测定部。
[0129] 在测定由元素提取部提取出的脸部构成要素元素间的距离后,使用测定出的距离 的一部分或者全部。此时,是测定缓冲器所保存的人物图像的脸部构成要素元素间的像素 距离来求出脸部构成要素元素间的距离。
[0130] 另外,脸部构成要素元素间的距离也可以是根据测定的基准点的位置进行各种测 定,例如,即使同样选择了左眼和右眼,也能根据为了距离测定而选定的基准点的位置测定 各种距离。例如,眼科和眼镜相关领域所使用的瞳孔间距离(InterPupil lary distance : ΙΗ)或者?0)(以(11,(12)=1^1)是将两侧眼睛的瞳孔中心选定为基准点来测定距离。并且,整 形领域所使用的内眼角间距离(Intercanthal Distance: ΙΟ)或者ID)(L(dl,d2) = L2))是 对两侧眼睛的边界中的离鼻子部位最近的边界之间的距离进行测定。此外,还可以是如瞳 孔外侧端间的距离(L(dl,d2)=L3))、外眼角(眼睛的外侧)间距离(L(dl,d2)=L4))等,根 据基准点的位置而存在各种左眼与右眼之间的距离。
[0131] 接着,举出具体的示例来说明上述的脸部构成要素距离。
[0132] (!1)仅存在0={(11,(12}& = 2)、以(11,(12)
[0133] 这是指作为脸部构成要素元素,仅使用如左眼与右眼、左眼与鼻子、左眼与嘴巴、 右眼与鼻子、右眼与嘴巴、鼻子与嘴巴这样的2个脸部部位的情况。因此,脸部构成要素元素 间的距离分别如左眼与右眼之间的距离、左眼与鼻子之间的距离、左眼与嘴巴之间的距离、 右眼与鼻子之间的距离、右眼与嘴巴之间的距离、鼻子与嘴巴之间的距离这样仅存在1个。
[0134] (T2)存在 D={dl,d2,d3}(r = 3)、L(dl,d2)、L(dl,d3)、L(d2,d3)
[0135] 这是指作为脸部构成要素元素,使用如左眼与右眼与鼻子、左眼与右眼与嘴巴、左 眼与鼻子与嘴巴、右眼与鼻子与嘴巴这样的3个脸部部位的情况。因此,此时,脸部构成要素 元素间的距离也分别具有如下测定的值。
[0136] ?左眼与右眼与鼻子:左眼与右眼之间的距离、左眼与鼻子之间的距离、右眼与鼻 子之间的距离
[0137] ?左眼与右眼与嘴巴:左眼与右眼之间的距离、左眼与嘴巴之间的距离、右眼与嘴 巴之间的距离
[0138] ?左眼与鼻子与嘴巴:左眼与鼻子之间的距离、左眼与嘴巴之间的距离、鼻子与嘴 巴之间的距离
[0139] ?右眼与鼻子与嘴巴:右眼与鼻子之间的距离,右眼与嘴巴之间的距离,鼻子与嘴 巴之间的距离
[0140] 与此相关的详细的技术构成与上述的脸部构成要素元素和脸部构成要素距离的 说明中的内容相同,因此省略。
[0141]接着,详细说明上述的构成要素距离计算部。
[0142] 选择元素距离测定部测定出的脸部构成要素元素间的距离中的一个来使用,或者 选择2个以上的距离作为脸部构成要素距离来使用。此时,在存在2个以上的距离的情况下, 将2个以上的距离同时使用,或者将2个以上的距离变换为一个距离来使用。
[0143] 第一,在脸部构成要素元素间的距离为一个的情况下,脸部构成要素元素间的距 离为脸部构成要素距离,另外,即使脸部构成要素元素间的距离为2个以上,也能够选择任 意一个用作脸部构成要素距离。
[0144] 第二,在脸部构成要素元素间的距离为2个以上,所选择的距离也为2个以上的情 况下,可以将它们作为计算因子同时使用,也可以通过多变量回归函数变换后使用。
[0145] 接着,举出(T2)的示例具体说明由上述的2个以上的距离构成的脸部构成要素距 离。
[0146] 为了便于说明,当选择(T2)的示例中的左眼(dl)与右眼(d2)与鼻子(d3)时,脸部 构成要素元素间的距离存在L(左眼(dl),右眼(d2));L(左眼(dl),鼻子(d3));L(右眼(d2), 鼻子(d3))这3个。如果将根据这样测定的以(11,(12)、以(11,(13)、以(12,(13)这3个距离计算脸 部构成要素距离的函数设为F,则脸部构成要素距离为F(L(dl,d2),L(dl,d3),L(d2,d3))。
[0147] 首先,在使用测定出的3个距离中的一个的情况下,选择最容易测定的距离,或者 在测定的容易性相同的情况下,任意选择一个用作脸部构成要素距离。
[0148] 另外,在只是将测定出的3个距离独立同时使用的情况下,F(L(dl,d2),L(dl,d3), L(d2,d3))值能够以有序对、矩阵或者矢量的形式具有各个L(dl,d2)、L(dl,d3)、L(d2,d3) 值,最后,在将测定出的3个距离变换成一个值来使用的情况下,F(L(dl,d2),L(dl,d3),L (d2,d3))值具有通过多变量回归函数变换后的值。
[0149] 与此相关的详细的技术构成与上述的脸部构成要素元素和脸部构成要素距离的 说明中的内容相同,因此省略。
[0150] 接着,详细说明上述的脸部识别部。
[0151] -般来说,虽然作为识别这一含义的词语是使用认证(Verification)、识别 (Identification)、认识(Recognition),但在一对一(1:1)匹配的情况下使用认证 (Verification),在一对多(1 :N)匹配的情况下使用识别(Identification或者 Searching)。作为包含认证和识别的广义的识别,使用认识(Recognition)。
[0152] 脸部识别部使用上述的元素提取部中利用的脸部检测和脸部识别技术,根据缓冲 器所保存的被拍摄者的人物图像进行脸部识别。在本发明中,即使脸部识别的结果不准确, 通过在由后述的虹膜图像取得部取得虹膜识别用图像后,由虹膜识别部使其与虹膜识别的 结果结合,也能够提高准确度。
[0153] 另外,实际上,上述的在全世界已广泛用于脸部检测和脸部识别的OpenCV这样的 方案等,能够一边提取脸部构成要素元素一边同时容易地进行脸部识别。
[0154] 接着,详细说明上述的眼睛伪造检测部。
[0155] -般来说,除了虹膜识别以外,在脸部识别中,为了防止取得的是伪造的图像,也 在推进各种研究。例如,在脸部识别领域中,已广泛采用分析傅立叶频谱来检测伪造的脸部 的方法、使用了眼睛的移动的伪造检测方法、使用了眨眼的伪造检测方法等。
[0156] 而且,最近,感知瞳孔的移动来追踪视线的位置的眼动追踪(eye-tracking)技术 在迅速发展。特别是,各种现有技术之中,能够将分析实时照相机图像来检测瞳孔的移动的 视频分析方式的技术应用于虹膜识别用图像的真伪的检测。
[0157] 因此,眼睛伪造检测部可以使用上述的现有的脸部识别领域中的检测假脸的技术 和眼动追踪技术之中的符合防止取得的是伪造/变造的虹膜识别用图像(fake image)这一 本发明的目的和主旨(liveness detection)的任何技术,还能够与脸部识别部一起构成。 [0158]接着,具体说明实际距离推定部。
[0159] 图7是简略示出本发明的一实施例所涉及的实际距离推定部的构成框图。
[0160] 如图7所示,本发明的一实施例所涉及的实际距离推定部包括:机构(以下,称为 '实际距离计算部'。)701,其根据事先通过实验取得并保存于计算机或者终端机的存储器 或者数据库的表示被拍摄者与照相机之间的实际距离和脸部构成要素距离的关系的函数, 计算而推定被拍摄者与照相机之间的实际距离;以及机构(以下,称为'虹膜拍摄空间确认 部'。)702,其根据上述实际距离计算部推定出的被拍摄者与照相机之间的实际距离,确认 被拍摄者是否处于虹膜拍摄空间。
[0161]接着,具体说明实际距离计算部。
[0162] 首先,对求出表示脸部构成要素距离和被拍摄者与照相机之间的实际距离的关系 的函数的原理进行说明。
[0163] 一般来说,作为表示脸部构成要素距离和被拍摄者与照相机之间的实际距离的关 系的简单且理想的原理,有针孔照相机模型(pinhole camera model)。
[0164] 图8示例出本发明的一实施例所涉及的表示脸部构成要素距离与实际距离的关系 的针孔照相机模型(pinhole camera model)的原理。
[0165] 如图8所示,在A、a分别表示实际的物体的大小、图像内的物体的大小,f、Z表示焦 距、照相机与物体间的距离时,根据三角形的比例式能够找出如下关系(数学式1)。
[0166] a = f*(A/Z)----(数学式 1)
[0167] 因此,当将上述的数学式(1)变换为以Z为自变量的函数时,能够求出如下数学式 (数学式2)
[0168] Z = f*(A/a)----(数学式 2)
[0169] 因此,当求出相当于图像内的物体的大小(a)的人物图像中的脸部构成要素距离 时,能够使用上述的数学式(2)求出相当于照相机与物体之间的距离(Z)的被拍摄者与照相 机之间的实际距离。
[0170]但是,实际上,不是在如图8所示的二维平面上,而是在三维空间上拍摄图像,使光 轴穿过传感器中心是非常困难的。另外,由于照相机的特性(镜头的焦点、由复合镜头构成 的镜头和视角等)、难以使镜头位置对准针孔或者被拍摄者的特性(年龄等)的各种原因,无 法直接应用上述的针孔照相机模型(pinhole camera model)的原理。
[0171 ]因此,在本发明中,一边在将照相机固定的状态下使被拍摄者移动或者在被拍摄 者保持停止的状态下使照相机移动,一边测定各种位置的被拍摄者与照相机之间的实际距 离和脸部构成要素距离,对测定出的值使用统计学方法(主要是回归分析)求出表示两变量 间的关系的函数。
[0172] 图9是示例出本发明的一实施例所涉及的使用统计学方法(主要是回归分析)求出 表示脸部构成要素距离与实际距离的关系的函数的原理的图。
[0173] 如图9所示,测定被拍摄者与照相机之间的实际距离(Y变量,因变量)和脸部构成 要素距离(X变量,自变量)并将其显示于坐标轴。假如脸部构成要素距离为1个,则能够表达 为Y = H(X),假如为2个以上,则能够表达为¥ = !10^2,-_,11)。根据显示于上述坐标轴的 点,使用统计学方法(主要是回归分析)求出代表这些点的函数,在二维上一般具有Y=l/ (aX+b)的双曲线的形状,除此之外,也可以以抛物线等各种曲线来表达。在具有2个脸部构 成要素距离的三维中,函数的形状以各种立体的曲线来表达。实际上,在脸部构成要素距离 为Χ1,Χ2,···,Χη这η个的情况下,被拍摄者与照相机之间的实际距离Y成为由被表达为Y = H (XI,X2,…,Xn)的Η函数表示的多变量回归函数(regression function)。
[0174] 上述函数一般来说是对所有的用户均使用同一个函数,但考虑到照相机和传感器 的特性以及被拍摄者的年龄(儿童,老人等),在需要校正的情况下进行校正作业 (calibration)后,将按每个用户而不同的函数用于实际距离的推定。
[0175] 图10是易于理解地示例出本发明的一实施例所涉及的将瞳孔间距离用作脸部构 成要素距离而推定出的被拍摄者与照相机之间的实际距离和脸部构成要素距离的关系的 图。
[0176] 如图10所示,实际距离计算部将瞳孔间距离dl,d2,d3代入上述所求出的函数,计 算而推定被拍摄者与照相机之间的实际距离L1,L2,L3。
[0177] 接着,具体说明虹膜拍摄空间确认部。
[0178] -般来说,对门锁这样的出入口相关设备、CCTV这样的安保设备、照相机、摄像机、 摄录一体机这样的视频设备以及智能手机、平板、PDA、PC、笔记本电脑这样的智能设备等来 说,存在能够拍摄被拍摄者的清晰图像的位置(Capture Volume,以下,称为'捕捉空间'。)。 因此,从被拍摄者进入捕捉空间时的人物图像取得的眼部图像的质量高的可能性非常大。 不过,也能够使虹膜拍摄空间不是与捕捉空间准确地一致,而是选定特定基准将虹膜拍摄 空间设定得比捕捉空间大。
[0179]接着,说明在上述的虹膜拍摄空间与捕捉空间不同的情况下设定虹膜拍摄空间的 方法。
[0180] (S1)以距离为基准来设定的情况
[0181] -般来说,捕捉空间是按每个设备事先设定好的,能够以此为基准,在进入捕捉空 间的时点之前或者离开捕捉空间的时点之后空开一定的余量距离来设定虹膜拍摄空间。因 此,当进入虹膜拍摄空间时,缓冲器开始保存从照相机接收到的人物图像,当离开虹膜拍摄 空间时,结束保存。
[0182] (S2)以时间为基准来设定的情况
[0183] 也可以在进入捕捉空间的时点之前或者离开捕捉空间的时点之后空开一定的时 间余量来设定虹膜拍摄空间。因此,在进入了虹膜拍摄空间的时点这一时刻,缓冲器开始保 存从照相机接收到的人物图像,在离开虹膜拍摄空间的时点这一时刻,结束保存。
[0184] 设定上述任意的时间和距离的基准能够根据虹膜识别用图像的取得所需要的最 小限度的人物图像的个数、从人物图像取得的眼部图像的个数或者符合基准质量度的眼部 图像的个数来决定。
[0185] 在后述的眼部图像提取部中说明其详细内容,在本发明中,除了将虹膜拍摄空间 与捕捉空间特别区分开表达的情况以外,为了语言的统一性,以虹膜拍摄空间的含义使用 捕捉空间。
[0186] 另外,也可以在虹膜拍摄空间确认部中还构成提供为了引导被拍摄者进入虹膜拍 摄空间而被操作的视频向导(以下,称为'直观视频向导'。)的机构(以下,称为'直观向导 部'。)或者控制照相机的致动器(actuator)的机构(以下,称为'致动器控制部'。)。
[0187] 首先,直观向导部主要是在照相机停止而被拍摄者慢慢前后移动或者在智能手机 这样移动设备中使设备移动进行引导而进入虹膜拍摄空间的情况下使用,能够构成为提供 使用了人物图像的大小、清晰度或者颜色的直观视频向导而使得被拍摄者能够认知。
[0188] 图11是采取智能手机的屏幕来示出本发明的一实施例所涉及的向导部使用直观 视频向导告知被拍摄者接近了虹膜拍摄空间的方法的图。
[0189] 如图11所示,当智能手机所内置的照相机与被拍摄者之间的实际距离改变时,直 观视频向导会提供给智能手机的屏幕,被拍摄者能够从智能手机的屏幕直观地直接确认。
[0190] 进一步说,被拍摄者越从A位置向E位置移动,被拍摄者越接近照相机。照相机与被 拍摄者的距离越近,越使被拍摄者的人物图像的大小增加,照相机与被拍摄者的距离越远, 越使被拍摄者的人物图像的大小减小,由此,能够直观地给出与距离的远近感相关的信息。
[0191] 另外,为了告知被拍摄者处于虹膜拍摄空间的情况,在不处于虹膜拍摄空间时提 供不清晰的图像(blurry image ),在处于虹膜拍摄空间时提供清晰的图像(sharpen image),由此,使人能够直观地确认位于虹膜拍摄空间,能够将被拍摄者的便利性最大化。
[0192] 另外,在被拍摄者不处于虹膜拍摄空间时,提供设为白色或者黑色这样的无法认 知被拍摄者外貌的背景色的图像,在被拍摄者处于虹膜拍摄空间时,将所拍摄的被拍摄者 的图像的颜色原样传输,由此,使人能够直观地确认位于虹膜拍摄空间,能够将被拍摄者的 便利性最大化。
[0193] 致动器控制部主要是在被拍摄者处于停止的状态而整个照相机、照相机镜头或者 照相机传感器前后自动移动进行引导而进入虹膜拍摄空间的情况下使用,将被拍摄者的移 动最小化,诱导使眼睛凝视或者睁大等动作。
[0194] 也可以在本发明的直观向导部所使用的直观视频向导中附加产生声或者音这样 的听觉信号的机构、通过LED、闪光灯等产生视觉信号的机构或者产生振动的机构等。这使 得即使在没有像智能手机这样能够传输直观视频向导的反射镜或者LCD等显示器等的情况 下,从成本方面或者物理大小所致的空间制约方面也能充分附加设置,能容易应用。
[0195] 接着,具体说明虹膜图像取得部。
[0196] 图12是简略示出本发明的一实施例所涉及的虹膜图像取得部的构成框图。
[0197] 如图12所示,本发明的一实施例所涉及的虹膜图像取得部包括:机构(以下,称为 '眼部图像提取部'。)1201,其从在虹膜拍摄空间中拍摄并保存于缓冲器的人物图像,提取 左眼和右眼的眼部图像;机构(以下,称为'眼部图像保存部'。)1202,其将上述眼部图像提 取部提取出的眼部图像分成左眼和右眼的眼部图像进行保存;以及机构(以下,称为'眼部 图像质量测定部'。)1203,其测定上述眼部图像保存部所保存的左眼和右眼的眼部图像的 质量,评估测定出的眼部图像质量是否符合基准质量度,取得符合基准质量度的眼部图像 作为虹膜识别用图像。
[0198]接着,详细说明从在上述的虹膜拍摄空间中拍摄的人物图像取得虹膜识别用图像 的方法。
[0199] 图13是用于说明本发明的一实施例所涉及的取得虹膜识别用图像的方法的流程 图。
[0200] 如图13所示,本发明的一实施例所涉及的取得虹膜识别用图像的方法具有如下步 骤。
[0201] 具有:步骤(S1301),眼部图像提取部首先从在虹膜拍摄空间中拍摄并保存于缓冲 器的人物图像,提取左眼和右眼的眼部图像;步骤(S1302),将上述提取出的左眼和右眼的 眼部图像分开保存到眼部图像保存部;步骤(S1303),由眼部图像质量测定部测定上述所保 存的左眼和右眼的眼部图像的质量;以及步骤(S1304),由眼部图像质量测定部评估上述测 定出的眼部图像质量是否符合基准质量度,取得符合基准质量度的眼部图像作为虹膜识别 用图像。
[0202]在图13中,记载的是依次执行步骤S1301至步骤S1304的例子,但这只不过是示例 性地说明本发明的一实施例的技术思想,对本发明的一实施例所属技术领域的技术人员来 说,在不脱离本发明的一实施例的本质特性的范围内,也能变更图13所记载的顺序来执行 或者将步骤S1301至步骤S1304中的一个以上的步骤并列执行等,能进行各种修正和变形, 在时间顺序上不受图13的限制。
[0203]接着,具体说明眼部图像提取部。
[0204] 首先,说明从在虹膜拍摄空间中拍摄的人物图像提取眼部图像的原理。特别是,将 虹膜拍摄空间与捕捉空间一致的情况与虹膜拍摄空间比捕捉空间大的情况区别开来说明 提取眼部图像的原理。
[0205] 在采用不是使用红外线而是使用可见光的脸部检测和脸部识别方法的情况下,必 须还构成在虹膜拍摄空间中提供红外线照明的照明部,在使用热红外线的脸部检测和脸部 识别方法中,不必具备别的照明部。调节上述光源的方法有如下方式:第一,虽然使用可见 光照明装置,但在虹膜拍摄空间中将可见光照明装置关闭而将红外线照明装置打开;或者, 第二,使用可见光照明装置,在虹膜拍摄空间中对可见光照明装置装配有红外线滤光器,仅 将红外线用作光源。
[0206] (R1)虹膜拍摄空间与捕捉空间一致的情况
[0207] 图14是示例出本发明的一实施例所涉及的从在虹膜拍摄空间中拍摄的人物图像 提取眼部图像的原理的图。
[0208] 如图14所示,取得在被拍摄者进入虹膜拍摄空间(=捕捉空间)的情况下拍摄的多 个被拍摄者的人物图像。从所取得的多个被拍摄者的人物图像中,找出必定包含虹膜区域 的包含眼睛的一部分或者全部的眼睛部位的区域。此时所使用的方法与上述的脸部构成要 素距离计算部的元素提取部中所述的内容相同,因此省略。在找出包含虹膜的眼睛部位的 区域后,将其从人物图像中剪切出。此时,剪切出的区域具有四边形、圆形、椭圆形等预先指 定的形状,将左眼与右眼的区域同时剪切出或者分开剪切出。
[0209] (R2)虹膜拍摄空间比捕捉空间大的情况
[0210]这是虹膜拍摄空间不完全与捕捉空间一致,在进入捕捉空间的时点之前或者离开 捕捉空间的时点之后还附加了任意的时间或者距离的情况,自动取得在被拍摄者进入虹膜 拍摄空间时拍摄的多个被拍摄者的人物图像。但是,与(R1)的情况不同,不是从进入虹膜拍 摄空间时拍摄的多个被拍摄者的人物图像而是从进入捕捉空间时的多个被拍摄者的人物 图像中,找出包含虹膜的眼睛部位的区域而将其从人物图像中剪切出。
[0211]图15是用于说明本发明的一实施例所涉及的在虹膜拍摄空间比捕捉空间大的情 况下从所拍摄的人物图像提取眼部图像的原理的示例图。
[0212] 如图15所示,如果将进入虹膜拍摄空间开始拍摄的时间设为T_start,将结束的时 间设为T_end,则在两个时间之间,每秒以一定的速度自动取得T1至Τη的η个人物图像。但 是,如果将进入捕捉空间进行拍摄的时间设为Τ1,将结束的时间设为Τη,则会自动取得Τ2至 Τη-1的η-2个人物图像。因此,不是从以Τ1和Τη取得的人物图像中取得眼部图像,而是从Τ2 至Τη-1的η-2个人物图像中取得眼部图像。
[0213] 以往,用于取得虹膜识别用图像的相关处理作业是持续进行的,因此,如果门锁这 样的出入口相关设备、CCTV这样的安保设备、照相机、摄像机、摄录一体机这样的视频设备 以及智能手机、平板、PDA、PC、笔记本电脑这样的智能设备的资源和电池容量不够,则无法 持续进行取得虹膜识别用图像的作业,这方面是有限制的。特别是,在目前广泛使用的智能 手机等的小型设备中,资源和电池容量是有限的,因此,无法长时间持续进行取得虹膜识别 用图像的作业。因此,在本发明中,为了将上述的资源和电池容量的限制这一问题最小化, 从在捕捉空间中取得的人物图像中取得眼部图像。
[0214] 接着,具体说明眼部图像保存部。
[0215] 图16是用于说明本发明的一实施例所涉及的将左眼和右眼的眼部图像在形式上 区分开保存的示例图。
[0216] 如图16所示,将保存眼部图像的一个物理空间在形式上分成保存左眼的眼部图像 的空间和保存右眼的眼部图像的空间,将左眼的眼部图像和右眼的眼部图像保存到各自的 保存空间。
[0217] 图17是用于说明将本发明的一实施例所涉及的左眼和右眼的眼部图像在物理上 分开保存的示例图。
[0218] 如图17所示,将保存眼部图像的物理空间分开构成为左眼的眼部图像保存空间和 右眼的眼部图像保存空间,将左眼的眼部图像和右眼的眼部图像分别保存到各自的物理保 存空间。
[0219] 即使是从同一人物图像取得的眼部图像,左眼眼部图像的质量与右眼眼部图像的 质量也可能不同。例如,即使是同一人物图像,如果左眼是睁开的,右眼是闭上的,则左眼眼 部图像的质量与右眼眼部图像的质量肯定是不同的。因此,如图16和图17所示,从相同个数 (m个)的人物图像取得的眼部图像的个数也可以是不同的(可以是右眼为m个而左眼为η个。 或者,反过来也可以,还可以彼此是相同数量。)。考虑到这样的特性,眼部图像保存部将左 眼眼部图像和右眼眼部图像分开保存。
[0220] 接着,具体说明眼部图像质量测定部。
[0221] 眼部图像质量测定部将眼部图像保存部所保存的多个左眼和右眼的眼部图像分 开,按照测定项目(以下,称为'特性项目'。)测定眼部图像的质量(以下,称为'项目质量 度'。)。此时,项目质量度均是用数值表达的值。
[0222] 接着,详细说明上述的特性项目。特性项目包含与虹膜特性无关的一般的图像选 择所需要的项目(Α1-Α3)以及与虹膜特性有关的项目(Α4-Α12)。
[0223] 第一,有(Α1)清晰度(sharpness)、(Α2)明暗比(contrast ratio)、(A3)噪声等级 (noise level)等。第二,有(A4)虹膜区域的捕捉范围、(A5)光反射的程度、(A6)虹膜的位 置、(A7)虹膜清晰度、(A8)虹膜明暗比、(A9)虹膜噪声的程度、(A10)虹膜边界清晰度、(All) 虹膜边界明暗比、(A12)虹膜边界噪声的程度等。这些项目只不过是示例(参照表1),除此之 外,也可以根据虹膜特性附加各种测定项目,还可以将上述的项目除外。表1是示出虹膜的 特性项目的表。
[0224] 【表1】
[0226] 将由上述眼部图像质量测定部测定出的项目质量度与基准质量度进行比较,选择 符合基准质量度的眼部图像作为虹膜识别用图像。假如分开测定的左眼和右眼的眼部图像 之中的任意一方眼部图像不符合基准质量度,则将该不符合基准质量度的眼睛的眼部图像 全部舍弃,请求取得新的眼部图像,在双方均不符合基准质量度的情况下,将双方眼部图像 舍弃,请求取得新的眼部图像。因此,在选择出由符合基准质量度的一个左眼的眼部图像和 一个右眼的眼部图像构成的一对虹膜识别用图像之前,会反复请求取得新的眼部图像。
[0227] 假如符合各自的基准质量度的分开测定的左眼和右眼的眼部图像不是一个而是 多个,则从多个眼部图像之中计算评估项目质量度得到的值(以下,称为'综合质量度'。), 选择具有最高的综合质量度的眼部图像。这样的眼部图像评估过程能够在虹膜识别用图像 取得过程中实时进行。在本发明中,作为评估综合质量度的代表性方法之一,是对项目质量 度进行加权求和来测定。
[0228] 在将图像的清晰度的数值设为al,将对它的加权值设为wl,将图像的明暗比的数 值设为a2,将对它的加权值设为w2,将图像的噪声等级的数值设为a3,将对它的加权值设为 w3,将虹膜区域的捕捉范围的数值设为a4,将对它的加权值设为w4,将光反射的程度的数值 设为a5,将对它的加权值设为w5,将虹膜的位置的数值设为a6,将对它的加权值设为w6,将 虹膜清晰度的数值设为a7,将对它的加权值设为w7,将虹膜明暗比的数值设为a8,将对它的 加权值设为w8,将虹膜噪声程度的数值设为a9,将对它的加权值设为w9,将虹膜清晰度的数 值设为alO,将对它的加权值设为wlO,将虹膜边界明暗比的数值设为al 1,将对它的加权值 设为《11,将虹膜边界噪声的程度的数值设为al2,将对它的加权值设为wl2时,上述综合质 量度是将wl乘以al得到的值、w2乘以a2得到的值、w3乘以a3得到的值、w4乘以a4得到的值、 w5乘以a5得到的值、w6乘以a6得到的值、w7乘以a7得到的值、w8乘以a8得到的值、w9乘以a9 得到的值、wlO乘以alO得到的值、wll乘以all得到的值、wll乘以al2得到的值全部相加后的 值,这如数学式(3)所述。
[0229] 综合质量度=wl*al+w2*a2+w3*a3+w4*a4+w5*a5+w6*a6
[0230] +w7*a7+w8*a8+w9*a9+wl0*al0+wll*all+wl2*al2
[0231] --(数学式3)
[0232] 上述综合质量度是使用将各项目质量度乘以非负的加权值后将它们的结果相加 得到的值,能够根据特性项目的重要度调节加权值。因此,从项目质量度符合基准质量度的 多个眼部图像之中,选择上述的综合质量度值为最大的眼部图像。
[0233] 接着,详细说明上述的虹膜识别部。
[0234] 虹膜识别部使用由上述的眼部图像质量测定部取得的虹膜识别用图像进行虹膜 识别。与虹膜识别相关的现有技术是如下方式:从虹膜识别用图像提取虹膜区域,从提取出 的虹膜区域提取虹膜特征并将其代码化,将代码比较来进行认证和识别。从虹膜识别用图 像提取虹膜区域的方法有圆形边缘检测器方法、霍夫变换(Hough transform)方法、模板匹 配方法等。最近,美国的Iridian公司持有的虹膜识别的源泉专利的有效期间届满,已开发 使用了它的各种软件。
[0235] 因此,在本发明中,可以使用上述的现有技术中的符合能从虹膜识别用图像中很 好地提取出虹膜区域进行虹膜识别这一本发明的目的和主旨的任何技术,与虹膜识别相关 的现有技术是公知的技术,因此,省略其详细说明。
[0236] 在门锁这样的出入口相关设备、CCTV这样的安保设备、照相机、摄像机、摄录一体 机这样的视频设备以及智能手机、平板、PDA、PC、笔记本电脑这样的智能设备中使用虹膜识 别用图像进行虹膜识别,还能够使设备的解锁或强化安保变得容易。
[0237] 接着,说明上述的利用了脸部构成要素距离的虹膜识别用图像取得方法的技术构 成。
[0238] 本发明的一实施例所涉及的利用了脸部构成要素距离的虹膜识别用图像取得方 法按如下顺序进行(参照图4)。
[0239] 具有:步骤(S401),照相机先是处于待机状态(以下,称为'休眠模式'。),当感知到 被拍摄者时,开始拍摄人物图像,将所拍摄的人物图像保存到缓冲器;步骤(S402),根据上 述缓冲器所保存的人物图像,计算脸部构成要素距离;步骤(S403),根据上述计算出的脸部 构成要素距离,推定被拍摄者与照相机之间的实际距离,确认被拍摄者是否处于虹膜拍摄 空间;步骤(S404),当在步骤(S403)中确认为被拍摄者处于虹膜拍摄空间时,从被拍摄者的 人物图像中取得眼部图像,将左眼和右眼的眼部图像分开保存;以及步骤(S405),测定上述 眼部图像的质量,取得符合基准质量度的虹膜识别用图像。
[0240]与此相关的详细的技术构成与上述的利用了脸部构成要素距离的虹膜识别用图 像取得装置中所说明的内容相同,因此省略。
[0241]接着,说明上述的本发明的一实施例所涉及的计算脸部构成要素距离的方法。
[0242] 本发明的一实施例所涉及的计算脸部构成要素距离的方法按如下顺序进行(参照 图6)。
[0243] 具有:步骤(S601),首先从缓冲器所保存的人物图像中提取脸部构成要素元素;步 骤(S602),决定是否使用这些提取出的脸部构成要素元素进行脸部识别后进行该识别;步 骤(S603),在该进行的脸部识别中判别、检测眼睛的伪造;步骤(S604),确认上述提取出的 脸部构成要素元素之中是否有能进行距离测定的脸部构成要素元素,测定脸部构成要素元 素间的距离;以及步骤(S605),根据上述测定的脸部构成要素元素间的距离,计算脸部构成 要素距离。
[0244] 与此相关的详细的技术构成与上述的利用了脸部构成要素距离的虹膜识别用图 像取得装置中所说明的内容相同,因此省略。
[0245] 接着,说明上述的本发明的一实施例所涉及的推定实际距离的方法。
[0246] 本发明的一实施例所涉及的推定实际距离的方法按如下顺序进行。
[0247] 具有以下步骤:根据事先通过实验取得并保存于包括计算机或者智能手机在内的 各种终端机的存储器或者数据库的表示被拍摄者与照相机之间的实际距离和脸部构成要 素距离的关系的函数,计算而推定被拍摄者与照相机之间的实际距离;以及根据在该步骤 中推定出的被拍摄者与照相机之间的实际距离,确认被拍摄者是否处于虹膜拍摄空间。
[0248] 与此相关的详细的技术构成与上述的利用了脸部构成要素距离的虹膜识别用图 像取得装置中所说明的内容相同,因此省略。
[0249] 接着,说明上述的本发明的一实施例所涉及的取得虹膜识别用图像的方法。
[0250] 本发明的一实施例所涉及的取得虹膜识别用图像的方法按如下顺序进行(参照图 13)〇
[0251] 具有:步骤(S1301),首先从在虹膜拍摄空间中拍摄并保存于缓冲器的人物图像, 提取左眼和右眼的眼部图像;步骤(S1302),将上述提取出的左眼和右眼的眼部图像分开保 存;步骤(S1303),测定上述所保存的左眼和右眼的眼部图像的质量;以及步骤(S1304),评 估上述测定出的眼部图像质量是否符合基准质量度,取得符合基准质量度的眼部图像作为 虹膜识别用图像。
[0252] 另外,还能够具有使用上述所取得的虹膜识别用图像,为了设备的解锁或强化安 保而进行虹膜识别的步骤。
[0253] 与此相关的详细的技术构成与上述的利用了脸部构成要素距离的虹膜识别用图 像取得装置中所说明的内容相同,因此省略。
[0254] 以上,尽管说明了构成本发明的实施例的所有构成要素结合成一个或者相结合进 行动作的情况,但本发明不限于这些实施例。
[0255] 即,在本发明的目的范围内,也可以将上述所有构成要素之中的一个以上选择性 地结合进行动作。另外,上述所有构成要素均可以分别作为一个独立的硬件来实现,但也可 以将上述各构成要素的一部分或者全部选择性地组合,而作为具有发挥由一个或者多个硬 件组合成的一部分或者全部功能的程序模块的计算机程序来实现。
[0256] 构成这些计算机程序的代码和代码段对本发明的所属技术领域的技术人员来说 是能容易推断出的。这样的计算机程序保存于计算机可读取的保存介质(Computer Readable Media)而由计算机读出并执行,由此,能够实现本发明的实施例。作为计算机程 序的保存介质,能够包括磁记录介质、光记录介质、载波介质等。
[0257] 另外,以上所记载的"包含"、"构成"或者"具有"等用语,只要没有特别的说明,则 指的是只要包含该构成要素即可,因此,必须解释成并非是排除其它构成要素的含义,而是 还可以包含其它构成要素的含义。
[0258] 包括技术用语或者科学用语在内的所有用语,只要没有特别定义,则具有与本发 明所属技术领域的技术人员一般会理解成的含义相同的含义。如词典所定义的用语那样一 般采用的用语必须解释成与相关技术的上下文的含义一致的含义。
[0259] 工业上的可利用性
[0260] 本发明能够提供一种利用了脸部构成要素距离的虹膜识别用图像的取得装置和 方法,该装置特征在于,包含:缓冲器,其为了取得虹膜识别用图像而通过照相机拍摄并保 存一个以上的被拍摄者的人物图像;脸部构成要素距离计算部,其根据上述缓冲器所保存 的人物图像计算脸部构成要素距离;实际距离推定部,其根据上述脸部构成要素距离计算 部计算出的脸部构成要素距离推定被拍摄者与照相机之间的实际距离,根据推定出的距离 确认被拍摄者是否处于虹膜拍摄空间;以及虹膜图像取得部,其从被上述实际距离推定部 确认为处于虹膜拍摄空间的被拍摄者的人物图像中取得眼部图像,测定所取得的眼部图像 的质量,取得符合基准质量度的虹膜识别用图像,因此,工业上的可利用性极高。
【主权项】
1. 一种利用了脸部构成要素距离的虹膜识别用图像取得装置,其特征在于,包含: 缓冲器,其为了取得虹膜识别用图像而通过照相机拍摄并保存一个以上的被拍摄者的 人物图像; 脸部构成要素距离计算部,其根据上述缓冲器所保存的人物图像计算脸部构成要素距 离; 实际距离推定部,其根据上述脸部构成要素距离计算部计算出的脸部构成要素距离推 定被拍摄者与照相机之间的实际距离,根据推定出的距离确认被拍摄者是否处于虹膜拍摄 空间;以及 虹膜图像取得部,其从被上述实际距离推定部确认为处于虹膜拍摄空间的被拍摄者的 人物图像中取得眼部图像,测定所取得的眼部图像的质量,取得符合基准质量度的虹膜识 别用图像。2. 根据权利要求1所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述人物图像是拍摄包含被拍摄者的脸部的被拍摄者的一部分或者全部而得到的图 像,或者从被拍摄者的图像仅将脸部区域剪切(cropping)分离出而得到的图像。3. 根据权利要求1所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述脸部构成要素距离计算部具有: 元素提取部,其从缓冲器所保存的人物图像提取脸部构成要素元素; 元素距离测定部,其确认上述提取出的脸部构成要素元素之中是否有能进行距离测定 的脸部构成要素元素,测定能进行距离测定的脸部构成要素元素间的距离;以及 构成要素距离计算部,其根据上述测定出的脸部构成要素元素间的距离,计算脸部构 成要素距离。4. 根据权利要求3所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述元素提取部从作为脸部构成要素元素的眼睛(左、右)、眉毛(左、右)、鼻子、鼻孔 (左、右)、嘴巴、耳朵、下巴、脸颊、脸部边界之中选择一个以上,使用一部分或者全部。5. 根据权利要求3所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述元素距离测定部在测定由上述元素提取部提取出的脸部构成要素元素间的距离 后,使用测定出的距离中的一部分或者全部。6. 根据权利要求5所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述脸部构成要素元素间的距离是测定通过照相机拍摄的人物图像中的脸部构成要 素元素间的像素距离而求出的。7. 根据权利要求5所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述脸部构成要素元素间的距离根据测定的基准点的位置而不同。8. 根据权利要求5所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述脸部构成要素元素间的距离中的左眼与右眼之间的距离是从瞳孔中心间距离、内 眼角间距离、瞳孔外侧端间距离、外眼角(眼睛的外侧)间距离之中选择一种以上作为基准 点来使用的。9. 根据权利要求3所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述构成要素距离计算部根据能由上述元素距离测定部进行测定的脸部构成要素元 素间的距离的个数,分别计算脸部构成要素距离。10. 根据权利要求9所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述脸部构成要素距离的计算在脸部构成要素元素间的距离为2个以上的情况下,是 选择任意1个,或者将2个以上的距离全都作为计算因子同时使用,或者是将2个以上的距离 变换成1个值后用作脸部构成要素距离。11. 根据权利要求10所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在上述脸部构成要素元素间的距离为2个以上,从其中选择1个的情况下,选择最容易 测定的距离,或者在测定的容易性相同的情况下,任意选择1个用作脸部构成要素距离。12. 根据权利要求10所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在上述脸部构成要素元素间的距离为2个以上,将这些距离同时用作计算因子的情况 下,以有序对、矩阵或者矢量的形式表达来用作脸部构成要素距离。13. 根据权利要求10所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在上述脸部构成要素元素间的距离为2个以上,将2个以上的距离计算为1个距离来使 用的情况下,将通过多变量回归(regression)函数计算为1个值后的距离用作脸部构成要 素距离。14. 根据权利要求1所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述实际距离推定部具有: 实际距离计算部,其根据计算机或者终端机的存储器或者数据库所保存的表示被拍摄 者与照相机之间的实际距离和脸部构成要素距离的关系的函数,计算而推定被拍摄者与照 相机之间的实际距离;以及 虹膜拍摄空间确认部,其根据上述推定出的被拍摄者与照相机之间的实际距离,确认 被拍摄者是否处于虹膜拍摄空间。15. 根据权利要求14所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述函数是使用统计学方法求出改变被拍摄者与照相机之间的实际距离而得到的被 拍摄者与照相机之间的实际距离和脸部构成要素距离的关系而得到的。16. 根据权利要求15所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 为了求出上述函数而使用的统计学方法是利用将脸部构成要素距离用作自变量,将被 拍摄者与照相机之间的实际距离用作因变量的回归分析。17. 根据权利要求14所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述函数是对所有的用户均使用同一个函数,或者进行校正作业而按每个用户分开使 用。18. 根据权利要求17所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述校正作业是考虑到照相机和传感器的特性或者被拍摄者的年龄而进行校正。19. 根据权利要求1至14中的任一项所述的利用了脸部构成要素距离的虹膜识别用图 像取得装置,其特征在于, 上述虹膜拍摄空间是在进入捕捉空间的时点之前或者离开捕捉空间的时点之后附加 一定的距离,设定得比捕捉空间大。20. 根据权利要求1至14中的任一项所述的利用了脸部构成要素距离的虹膜识别用图 像取得装置,其特征在于, 上述虹膜拍摄空间是对进入捕捉空间的时点之前的时刻或者离开捕捉空间的时点之 后的时刻附加一定的时间,设定得比捕捉空间大。21. 根据权利要求19所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 设定上述任意的时间和距离的基准是根据虹膜识别用图像取得所需要的最小限度的 人物图像的个数、从人物图像取得的眼部图像的个数或者符合基准质量度的眼部图像的个 数而定的。22. 根据权利要求14所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述虹膜拍摄空间确认部具有直观视频向导部,上述直观视频向导部提供直观视频向 导以使被拍摄者位于虹膜拍摄空间。23. 根据权利要求22所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述直观视频向导采用利用了人物图像的大小、清晰度和颜色中的一种以上的图像。24. 根据权利要求23所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 照相机与被拍摄者的距离越近则越使人物图像的大小增加而提供上述利用了人物图 像的大小的图像,照相机与被拍摄者的距离越远则越使人物图像的大小减小而提供上述利 用了人物图像的大小的图像。25. 根据权利要求23所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在被拍摄者不处于虹膜拍摄空间时,提供不清晰的图像(blurry image)作为上述利用 了人物图像的清晰度的图像,在被拍摄者处于虹膜拍摄空间时,提供清晰的图像(sharpen image)作为上述利用了人物图像的清晰度的图像。26. 根据权利要求23所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在被拍摄者不处于虹膜拍摄空间时,以无法认知被拍摄者外貌的背景色提供人物图像 作为上述利用了人物图像的颜色的图像,在被拍摄者处于虹膜拍摄空间时,原样提供所拍 摄的被拍摄者的人物图像的颜色作为上述利用了人物图像的颜色的图像。27. 根据权利要求22所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在上述直观视频向导中附加产生声或者音这种听觉信号的机构、通过LED、闪光灯产生 视觉信号的机构以及产生振动的机构中的一种以上。28. 根据权利要求14所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述虹膜拍摄空间确认部使整个照相机、照相机镜头或者照相机传感器前后移动而使 得被拍摄者在停止的状态下处于虹膜拍摄空间来拍摄人物图像。29. 根据权利要求1所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其特 征在于, 上述虹膜图像取得部具有: 眼部图像提取部,其从在虹膜拍摄空间中拍摄并保存于缓冲器的人物图像中提取左眼 和右眼的眼部图像; 眼部图像保存部,其将由上述眼部图像提取部提取出的眼部图像分成左眼的眼部图像 和右眼的眼部图像进行保存;以及 眼部图像质量测定部,其测定上述眼部图像保存部所保存的左眼和右眼的眼部图像的 质量,评估测定出的眼部图像质量是否符合基准质量度,取得符合基准质量度的眼部图像 作为虹膜识别用图像。30. 根据权利要求29所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述眼部图像提取部在虹膜拍摄空间与捕捉空间(capture vo 1 ume)相同的情况下,从 在虹膜拍摄空间中拍摄的被拍摄者的人物图像中剪切出眼睛部位的区域,将剪切出的人物 图像用作眼部图像。31. 根据权利要求29所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述眼部图像提取部在虹膜拍摄空间比捕捉空间(capture volume)大的情况下,从在 捕捉空间中拍摄的被拍摄者的人物图像中将眼睛部位的区域同时剪切出或者分开剪切出, 将剪切出(cropping)的人物图像用作眼部图像。32. 根据权利要求30或31所述的利用了脸部构成要素距离的虹膜识别用图像取得装 置,其特征在于, 上述眼睛部位的区域包含必定包含虹膜区域的、眼睛区域的一部分或者全部。33. 根据权利要求30或31所述的利用了脸部构成要素距离的虹膜识别用图像取得装 置,其特征在于, 上述眼睛部位的区域是按四边形、圆形、椭圆形中的预先指定的图形剪切出的区域。34. 根据权利要求30或31所述的利用了脸部构成要素距离的虹膜识别用图像取得装 置,其特征在于, 在上述虹膜拍摄空间中不通知被拍摄者而自动以一定的速度拍摄多个人物图像。35. 根据权利要求30或31所述的利用了脸部构成要素距离的虹膜识别用图像取得装 置,其特征在于, 将取得上述眼部图像的空间限定为捕捉空间而将电力和资源的效率性最佳化。36. 根据权利要求29所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述眼部图像保存部将左眼和右眼的眼部图像在形式上或者在物理上分开保存。37. 根据权利要求36所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述在形式上分开保存是,将保存眼部图像的1个物理空间在形式上分成左眼的眼部 图像的保存空间和右眼的眼部图像的保存空间来进行保存。38. 根据权利要求36所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述在物理上分开保存是,将保存眼部图像的物理空间分开构成为左眼的眼部图像的 保存空间和右眼的眼部图像的保存空间来进行保存。39. 根据权利要求29所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述眼部图像质量测定部将左眼和右眼的眼部图像分开而测定质量。40. 根据权利要求29所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 测定质量的项目包含与虹膜特性无关的一般的图像选择所需要的质量项目以及与虹 膜特性有关的质量项目。41. 根据权利要求40所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 与上述虹膜特性无关的一般图像选择所需要的质量项目包含清晰度、明暗比、噪声等 级中的一种以上,与虹膜特性有关的质量项目包含虹膜区域的捕捉范围、光反射的程度、虹 膜的位置、虹膜清晰度、虹膜明暗比、虹膜噪声的程度、虹膜边界清晰度、虹膜边界明暗比、 虹膜边界噪声的程度中的一种以上。42. 根据权利要求29所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述眼部图像质量测定部从分开测定了质量的左眼和右眼的眼部图像之中,选择由符 合基准质量度的单个的左眼和右眼的眼部图像构成的一对虹膜识别用图像。43. 根据权利要求42所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 虹膜识别用图像取得装置在符合基准质量度的单个的左眼和右眼的眼部图像中的任 意一方眼部图像不存在的情况下,将该一方眼部图像全部舍弃,请求取得新的眼部图像。44. 根据权利要求42所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在符合基准质量度的单个的左眼和右眼的眼部图像双方均不存在的情况下,将该双方 眼部图像全部舍弃,请求取得新的眼部图像。45. 根据权利要求42所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 在符合基准质量度的左眼和右眼的眼部图像存在多个的情况下,从它们之中选择综合 质量度最高的眼部图像。46. 根据权利要求45所述的利用了脸部构成要素距离的虹膜识别用图像取得装置,其 特征在于, 上述综合质量度是通过由下述的数学式(3)决定的加权求和而测定的: {综合质量度=wl*al+w2*a2+w3*a3+w4*a4+w5*a5+w6*a6 +w7*a7+w8*a8+w9*a9+wl0*al0+wll*all+wl2*al2 (数学式3) 其中,在将图像的清晰度的数值设为al,将对它的加权值设为wl,将图像的明暗比的数 值设为a2,将对它的加权值设为w2,将图像的噪声等级的数值设为a3,将对它的加权值设为 w3,将虹膜区域的捕捉范围的数值设为a4,将对它的加权值设为w4,将光反射的程度的数值 设为a5,将对它的加权值设为w5,将虹膜的位置的数值设为a6,将对它的加权值设为w6,将 虹膜清晰度的数值设为a7,将对它的加权值设为w7,将虹膜明暗比的数值设为a8,将对它的 加权值设为w8,将虹膜噪声的程度的数值设为a9,将对它的加权值设为w9,将虹膜清晰度的 数值设为a 10,将对它的加权值设为w 10,将虹膜边界明暗比的数值设为a 11,将对它的加权 值设为《11,将虹膜边界噪声的程度的数值设为al2,将对它的加权值设为wl2时,综合质量 度是将wl乘以al得到的值、w2乘以a2得到的值、w3乘以a3得到的值、w4乘以a4得到的值、w5 乘以a5得到的值、w6乘以a6得到的值、w7乘以a7得到的值、w8乘以a8得到的值、w9乘以a9得 到的值、wlO乘以alO得到的值、wll乘以all得到的值、wll乘以al2得到的值全部相加后的 值}。47. 根据权利要求1至3中的任一项所述的利用了脸部构成要素距离的虹膜识别用图像 取得装置,其特征在于, 还包含脸部识别部,上述脸部识别部在计算上述脸部构成要素距离的过程中进行脸部 识别。48. 根据权利要求1或3所述的利用了脸部构成要素距离的虹膜识别用图像取得装置, 其特征在于, 还包含眼睛伪造检测部,上述眼睛伪造检测部采用脸部识别领域中检测假脸的技术和 眼动追踪技术,用于防止取得伪造/变造的人物图像。49. 根据权利要求29、42以及45中的任一项所述的利用了脸部构成要素距离的虹膜识 别用图像取得装置,其特征在于, 还包含虹膜识别部,上述虹膜识别部使用上述所取得的虹膜识别用图像,为了设备的 解锁或者强化安保而进行虹膜识别。50. 根据权利要求1至18中的任一项所述的利用了脸部构成要素距离的虹膜识别用图 像取得装置,其特征在于, 还包含:在虹膜拍摄空间中将可见光照明装置关闭(off)并将红外线照明装置打开 (on)的机构;或者可在可见光照明装置打开的情况下使得允许红外线通过的滤光器位于照 明装置之前而仅使红外线通过的机构。51. -种利用了脸部构成要素距离的虹膜识别用图像取得方法,其特征在于,具有: 照相机处于待机状态,当感知到被拍摄者时,开始拍摄人物图像,将所拍摄的人物图像 保存到缓冲器的步骤; 根据上述缓冲器所保存的人物图像,计算脸部构成要素距离的步骤; 根据上述计算出的脸部构成要素距离,推定被拍摄者与照相机之间的实际距离,确认 被拍摄者是否处于虹膜拍摄空间的步骤;以及 从被确认为处于上述虹膜拍摄空间的被拍摄者的人物图像中取得眼部图像,测定所取 得的眼部图像的质量,取得符合基准质量度的虹膜识别用图像的步骤。52. 根据权利要求51所述的利用了脸部构成要素距离的虹膜识别用图像取得方法,其 特征在于, 根据上述缓冲器所保存的人物图像,计算脸部构成要素距离的步骤具有: 从缓冲器所保存的人物图像提取脸部构成要素元素的步骤; 确认上述提取出的脸部构成要素元素之中是否有能进行距离测定的脸部构成要素元 素,测定脸部构成要素元素间的距离的步骤;以及 根据上述测定出的脸部构成要素元素间的距离,计算脸部构成要素距离的步骤。53. 根据权利要求52所述的利用了脸部构成要素距离的虹膜识别用图像取得方法,其 特征在于, 还具有决定是否使用上述提取出的脸部构成要素元素进行脸部识别后进行该识别的 步骤。54. 根据权利要求53所述的利用了脸部构成要素距离的虹膜识别用图像取得方法,其 特征在于, 决定是否进行上述脸部识别后进行该识别的步骤包含使用眼睛伪造检测部来判别、检 测眼睛的伪造。55. 根据权利要求51所述的利用了脸部构成要素距离的虹膜识别用图像取得方法,其 特征在于, 根据上述计算出的脸部构成要素距离,推定被拍摄者与照相机之间的实际距离,确认 被拍摄者是否处于虹膜拍摄空间的步骤具有: 根据存储器或者数据库所保存的表示被拍摄者与照相机之间的实际距离和脸部构成 要素距离的关系的函数,计算而推定被拍摄者与照相机之间的实际距离的步骤;以及 根据在上述步骤中推定出的被拍摄者与照相机之间的实际距离,判断被拍摄者是否处 于虹膜拍摄空间的步骤。56. 根据权利要求51所述的利用了脸部构成要素距离的虹膜识别用图像取得方法,其 特征在于, 从被确认为处于虹膜拍摄空间的被拍摄者的人物图像中取得眼部图像,测定所取得的 眼部图像的质量,取得符合基准质量度的虹膜识别用图像的步骤具有: 从在虹膜拍摄空间中拍摄并保存于缓冲器的人物图像中提取左眼和右眼的眼部图像 的步骤; 将上述提取出的左眼和右眼的眼部图像分开保存的步骤; 测定上述所保存的左眼和右眼的眼部图像的质量的步骤;以及 评估上述测定出的眼部图像质量是否符合基准质量度,取得符合基准质量度的眼部图 像作为虹膜识别用图像的步骤。57. 根据权利要求56所述的利用了脸部构成要素距离的虹膜识别用图像取得方法,其 特征在于, 还具有使用上述所取得的虹膜识别用图像,为了设备的解锁或者强化安保而进行虹膜 识别的步骤。58. -种计算机或者终端机可读取的记录介质,其特征在于, 为了进行权利要求51至57中的任一项所述的利用了脸部构成要素距离的虹膜识别用 图像取得方法而搭载于计算机或者终端机,记录有用于执行利用了脸部构成要素距离的虹 膜识别用图像取得方法的各步骤的程序。
【文档编号】G06K9/46GK105874473SQ201480072094
【公开日】2016年8月17日
【申请日】2014年12月30日
【发明人】金大训, 崔炯仁, 田秉镇, 阮氏坦庭, 崔秀真, 金幸文
【申请人】虹膜技术公司