专利名称：视觉感知装置及其控制方法
技术领域：
本发明涉及一种电子装置及其控制方法，特别是关于一种视觉感知装置以及控制 该视觉感知装置中目标物件的方法。
背景技术：
由于电子装置(例如手机)的人机交互领域的不断发展，从最初的按键交互方式 逐步发展到目前的笔触摸和手指触摸的交互方式，因此人机交互变得越来越方便。然而，这 种依然通过手动来实现人机交互的模式对于残疾用户或者因为某些疾病导致手活动受限 的终端用户来说就显得有些困难。因此，一种基于眼控捕捉技术就逐步应用到电子装置中， 即利用视觉感知与电子装置进行人机交互是一个很不错的交互方式。目前，已存在视觉感知和视觉焦点捕捉的装置及类似的显示产品(例如LCD)，这 些带有视觉捕捉的LCD能够计算出终端用户视觉凝视在LCD的坐标或区域，通过眼睛凝视 时间长短或眨眼方式可以控制目标对象的选择。然而，由于视觉捕捉系统的不精确和不可 靠性，从而导致用户不能准确地捕捉到LCD中显示的目标对象。
发明内容
鉴于以上内容，有必要提供一种视觉感知装置来减少视觉捕捉的不确定性和不可 靠性，减少利用手动进行人机交互的次数，同时达到省电节能的效果。此外，还有必要提供一种视觉感知装置控制方法来减少视觉捕捉的不确定性和不 可靠性，减少利用手动进行人机交互的次数，同时达到省电节能的效果。一种视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕以及存储单元。 其中，该处理单元包括影像处理模块、视觉校准模块、游标控制模块以及对象控制模块。所 述的影像处理模块用于当用户凝视显示屏幕中的目标对象时，控制摄像单元摄取用户眼睛 的视觉影像，处理该视觉影像获得视觉焦点位置，以及计算一个用于校准该视觉焦点位置 的视觉校准偏移量。所述的视觉校准模块用于根据所述的视觉校准偏移量对视觉焦点位置 进行坐标校准得到校准后的视觉焦点。所述的游标控制模块用于选择视觉焦点周围区域作 为视觉游标，以及判断视觉游标在目标对象上的停留时间是否大于指定时间。所述的对象 控制模块，用于当停留时间大于指定时间时控制视觉游标选定目标对象，以及当停留时间 小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。 —种视觉感知装置控制方法包括如下步骤(a)计算一个用于校准视觉焦点位置 的视觉校准偏移量；(b)控制摄像单元摄取用户凝视显示屏幕中目标对象时的视觉影像； (C)处理该视觉影像获得用户凝视目标对象的视觉焦点位置；(d)根据视觉校准偏移量对 视觉焦点位置进行坐标校准；(e)选择视觉焦点周围区域作为视觉游标；(f)判断视觉游标 的停留时间是否大于指定时间；(g)如果视觉游标的停留时间大于指定时间，则控制视觉 游标选定目标对象；(h)如果视觉游标的停留时间小于等于指定时间时控制下一个目标对 象进入视觉游标区域内供用户浏览目标对象。
相较于现有技术，所述视觉感知装置及其控制方法通过眼睛凝视和按键结合的方 式处理目标对象，减少了视觉捕捉的不确定性和不可靠性，也减少了利用手动进行人机交 互，同时实现了省电节能的效果。
图1是本发明视觉感知装置较佳实施例的架构图。图2是本发明视觉感知装置控制方法较佳实施例的流程图。图3是图2中步骤S20的计算视觉校准偏移量的细化流程图。
具体实施例方式如图1所示，是本发明视觉感知装置较佳实施例的架构图。该视觉感知装置包括 处理单元1、摄像单元2、显示单元3、显示屏幕4以及存储单元5。所述的摄像单元2、显示 单元3以及存储单元5分别与处理单元1直接相连接，显示单元3与显示屏幕4直接相连 接。摄像单元2用于摄取用户通过眼睛凝视目标对象时产生的视觉影像，并将该视觉影像 传递给处理单元1进行处理从而获得视觉焦点。显示单元3用于产生校准视觉焦点的基准 点并在显示屏幕4上显示该基准点，以及在显示屏幕4上显示用户所需操作的目标对象。存 储单元5用于存储作为校准视觉焦点位置的视觉校准偏移量，该视觉校准偏移量包括宽度 偏移量(记为“k”)以及高度偏移量(记为“h”)，其用于对用户凝视显示屏幕4中目标对 象时所产生的视觉焦点进行位置校准。处理单元1用于对摄取的视觉影像进行影像处理得到视觉焦点，计算所述的视觉 校准偏移量，并利用该视觉校准偏移量对视觉焦点进行视觉位置校准，以及根据视觉焦点 位置来控制显示屏幕4中显示的目标对象。所述的处理单元1包括影像处理模块11、视觉 校准模块12、游标控制模块13以及对象控制模块14。所述的影像处理模块11用于当用户凝视显示屏幕4中的目标对象时，控制摄像单 元2摄取用户眼睛的视觉影像，通过处理该视觉影像获得视觉焦点位置，计算一个用于校 准该视觉焦点位置的视觉校准偏移量，并将该视觉校准偏移量存储于存储单元5中。所述的视觉校准模块12用于根据所述的视觉校准偏移量对视觉焦点位置进行坐 标校准得到校准后的视觉焦点坐标，从而使视觉感知装置100能够准确地捕捉到用户视觉 焦点。在本实施例中，假如影像处理模块11获取的视觉焦点位置坐标为(Xtl,Ytl),视觉校准 模块12将视觉焦点的Xtl坐标乘以宽度偏移量k，将视觉焦点的Xtl坐标乘以高度偏移量h， 从而得到校准后的视觉焦点坐标(X，Y)。所述的游标控制模块13用于选择视觉焦点周围较小区域作为视觉游标，以及判 断显示单元3是否捕捉到视觉游标。当显示单元3捕捉到视觉游标时，所述的显示单元3 以高亮区域在显示屏幕上显示该视觉游标，当显示单元没有捕捉到视觉游标时，所述的显 示单元3控制显示屏幕4工作于省电模式下。所述的游标控制模块13还用于判断目标对象是否完全出现在视觉游标范围内， 如果目标对象没有完全出现在视觉游标范围内，则用户眼睛在显示屏幕上继续移动视觉来 凝视该目标对象让摄像单元2继续摄取视觉影像，如果目标对象完全出现在视觉游标范围 内，则游标控制模块13判断视觉游标范围内是否有多个目标对象。当视觉游标范围内有多个目标对象时，所述的对象控制模块14将视觉游标范围内的多个目标对象进行放大并产 生一个图标视窗显示该多个放大的目标对象供用户操作该多个目标对象。所述的游标控制模块13还用于判断视觉游标在目标对象上的停留时间是否大于 指定时间(例如2秒)。当停留时间大于指定时间时，所述的对象控制模块14控制视觉游 标选定目标对象，当停留时间小于等于指定时间时，所述的对象控制模块14控制下一个目 标对象进入视觉游标区域内供用户浏览目标对象。如图2所示，是本发明视觉感知装置控制方法较佳实施例的流程图。步骤S20，影像处理模块11计算一个用于校准视觉焦点位置的视觉校准偏移量，并将该视觉校准偏移 量存储于存储单元5中。所述视觉校准偏移量用于对用户凝视显示屏幕4中目标对象时 所产生的视觉焦点位置进行校准，从而使所述视觉感知装置能够准确地捕捉到用户视觉焦 点。所述计算视觉校准偏移量的方法在下图3进行描述。步骤S21，当用户凝视显示屏幕4所显示的目标对象时，影像处理模块11控制摄像 单元2摄取用户眼睛的视觉影像。步骤S22，影像处理模块11通过处理该视觉影像获得用 户凝视目标对象的视觉焦点位置。在本实施例中，为了得到清晰的视觉影像，该影像处理模 块11可以清除视觉影像中的杂质像点，对视觉影像进行灰度处理，以及对影像灰度值进行 均值化处理。步骤S23，视觉校准模块12根据视觉校准偏移量对视觉焦点位置进行坐标校准。 在本实施例中，假如影像处理模块11获取的视觉焦点位置坐标为(Xo，Ytl)，视觉校准模块12 将视觉焦点的Xtl坐标乘以宽度偏移量k，将视觉焦点的Xtl坐标乘以高度偏移量h，从而得到 校准后的视觉焦点坐标(X，Y)。步骤S24，游标控制模块13选择视觉焦点周围较小区域作为视觉游标。步骤S25， 游标控制模块13根据视觉焦点位置判断显示单元3是否捕捉到视觉游标。如果显示单元 3没有捕捉到视觉游标，则流程转向步骤S32。步骤S26，如果显示单元3捕捉到视觉游标， 则显示单元3以高亮区域在显示屏幕4上显示该视觉游标。步骤S27，游标控制模块13判断目标对象是否完全出现在视觉游标范围内。如果 目标对象没有完全出现在视觉游标范围内，则流程转向步骤S21，即用户眼睛可在显示屏幕 4上继续移动视觉来凝视该目标对象，从而让摄像单元2摄取另外的视觉影像。步骤S28， 如果目标对象完全出现在视觉游标范围内，则游标控制模块13判断视觉游标范围内是否 只有一个目标对象。如果视觉游标范围内多于一个目标对象，则流程转向步骤S33。步骤S29，如果视觉游标范围内只有一个目标对象，则游标控制模块13判断视觉 游标在该目标对象的停留时间是否大于指定时间(例如2秒)。步骤S30，如果停留时间大 于指定时间，表明用户需要选择一个目标对象，则对象控制模块14控制视觉游标选定该目 标对象。步骤S31，如果停留时间小于等于指定时间，表明用户只需要浏览目标对象而无需 选择目标对象，则对象控制模块14控制下一个目标对象进入视觉游标区域内浏览目标对 象。步骤S32，显示单元3控制显示屏幕4工作于省电模式下，使显示屏幕4进入屏幕 保护方式，从而达到省电节能的效果。所述的省电模式可以关闭显示屏幕4，也可以使显示 屏幕4处于半透明状态。步骤S33，对象控制模块14将视觉游标范围内的多个目标对象进行放大，并产生一个图标视窗显示该多个放大的目标对象。步骤S34，用户可以在该图标视窗上采用选择或 浏览该多个目标对象，因此可以有效地避免视觉捕捉的不确定性和不可靠性。如图3所示，是图2中步骤S20的计算视觉校准偏移量的细化流程图。步骤S201， 处理单元1初始化显示单元3，控制显示单元3产生四个基准点，并在显示屏幕4上显示该 四个基准点。步骤S202，当用户眼睛分别凝视上述四个基准点时，影像处理模块11控制摄 像单元2分别摄取用户眼睛凝视的四幅视觉影像。步骤S203，影像处理模块11清除每一幅 视觉影像中的杂质像点，并对每一幅视觉影像的像素进行灰度处理得到影像灰度值数组。 步骤S204，影像处理模块11对每一影像灰度值数组中的像素值进行均值化处理。在本实施 例中，假如将一幅视觉影像中的像素值范围规定为0至100，则将像素值超过100的像素进 行均值化。步骤S205，影像处理模块11获取每一幅视觉影像的中心位置。步骤S206，影像 处理模块11分别计算每一个中心位置的坐标对应于每一个基准点的视觉校准偏移量，该 视觉校准偏移量包括宽度偏移量k以及高度偏移量h。本实施例中，假如一个基准点的坐标 为(X1, Y1),以及用户凝视该基准点时的视觉影像的中心位置坐标为(a，b)。影像处理模块 11将视觉影像的中心位置的a坐标除以基准点的X1坐标得到宽度偏移量k，将中心位置的 b坐标除以基准点的X1坐标得到高度偏移量h。
本发明所述的视觉感知装置以及控制该视觉感知装置中目标物件的方法，通过眼 睛凝视和按键结合处理目标对象的方式，弥补了视觉捕捉的不确定性和不可靠性，减少了 利用手动方式进行人机交互的次数，同时也实现了省电节能的效果。对于视觉捕捉的不确 定性和不可靠性，视觉游标区域中或许会存在多于一个的目标对象，采用弹出放大目标对 象的图标视窗，用户可以在弹出的图标视窗上再进行目标对象的操作。
权利要求
一种视觉感知装置，该视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕以及存储单元，其特征在于，所述的处理单元包括影像处理模块，用于当用户凝视显示屏幕中的目标对象时，控制摄像单元摄取用户眼睛的视觉影像，处理该视觉影像获得视觉焦点位置，以及计算一个用于校准该视觉焦点位置的视觉校准偏移量；视觉校准模块，用于根据所述的视觉校准偏移量对视觉焦点位置进行坐标校准得到校准后的视觉焦点；游标控制模块，用于选择校准后的视觉焦点周围区域作为视觉游标，以及判断视觉游标在目标对象上的停留时间是否大于指定时间；对象控制模块，用于当停留时间大于指定时间时控制视觉游标选定该目标对象，以及当停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用户浏览目标对象。
2.如权利要求1所述的视觉感知装置，其特征在于，所述的游标控制模块还用于判断 显示单元是否捕捉到视觉游标，当显示单元捕捉到视觉游标时，显示单元以高亮区域在显 示屏幕上显示该视觉游标，当显示单元没有捕捉到视觉游标时，显示单元控制显示屏幕工 作于省电模式下。
3.如权利要求1所述的视觉感知装置，其特征在于，所述的游标控制模块还用于判断 目标对象是否完全出现在视觉游标范围内，当目标对象没有完全出现在视觉游标范围内， 则摄像单元继续摄取下一幅视觉影像，当目标对象完全出现在视觉游标范围内，则游标控 制模块判断视觉游标范围内是否只有一个目标对象。
4.如权利要求3所述的视觉感知装置，其特征在于，当所述的视觉游标范围内有多个 目标对象时，所述的对象控制模块将视觉游标范围内的多个目标对象进行放大并产生一个 图标视窗显示该多个放大的目标对象供用户操作该多个目标对象。
5.如权利要求1所述的视觉感知装置，其特征在于，所述的存储单元用于存储所述的 视觉校准偏移量，该视觉校准偏移量包括宽度偏移量以及高度偏移量，用于对用户凝视显 示屏幕中目标对象时所产生的视觉焦点进行位置校准。
6.一种视觉感知装置控制方法，该视觉感知装置包括处理单元、摄像单元、显示单元、 显示屏幕以及存储单元，其特征在于，该方法包括如下步骤(a)计算一个用于校准视觉焦点位置的视觉校准偏移量；(b)控制摄像单元摄取用户凝视显示屏幕中目标对象时的视觉影像；(c)处理该视觉影像获得用户凝视目标对象的视觉焦点位置；(d)根据视觉校准偏移量对视觉焦点位置进行坐标校准；(e)选择校准后的视觉焦点周围区域作为视觉游标；(f)判断视觉游标在目标对象上的停留时间是否大于指定时间；(g)如果停留时间大于指定时间，则控制视觉游标选定该目标对象；(h)如果停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域内供用 户浏览目标对象。
7.如权利要求6所述的视觉感知装置控制方法，其特征在于，所述的步骤(c)包括清 除所述的视觉影像中的杂质像点，对视觉影像进行灰度处理，以及对该影像灰度值进行均值化处理。
8.如权利要求6所述的视觉感知装置控制方法，其特征在于，该方法还包括如下步骤 判断显示单元是否捕捉到视觉游标；如果显示单元捕捉到视觉游标，则显示单元以高亮区域在显示屏幕上显示该视觉游标；如果显示单元没有捕捉到视觉游标时，则显示单元控制显示屏幕工作于省电模式下。
9.如权利要求6所述的视觉感知装置控制方法，其特征在于，该方法还包括如下步骤 判断目标对象是否完全出现在视觉游标范围内；如果目标对象没有完全出现在视觉游标范围内，则执行步骤(b)摄取下一幅视觉影像；如果目标对象完全出现在视觉游标范围内，则判断视觉游标范围内是否有多个目标对象。
10.如权利要求9所述的视觉感知装置控制方法，其特征在于，该方法还包括如下步骤如果视觉游标范围内只有一个目标对象，则执行步骤(f)判断视觉游标的停留时间是 否大于指定时间；如果视觉游标范围内有多个目标对象，则将视觉游标范围内的多个目标对象进行放大 并产生一个图标视窗显示该多个放大的目标对象供用户操作该多个目标对象。
全文摘要
一种视觉感知装置包括处理单元、摄像单元、显示单元、显示屏幕和存储单元。该处理单元包括影像处理模块，用于当用户凝视显示屏幕中的目标对象时，控制摄像单元摄取用户眼睛的视觉影像，处理视觉影像获得视觉焦点位置，计算视觉校准偏移量；视觉校准模块，用于根据视觉校准偏移量对视觉焦点位置进行坐标校准；游标控制模块，用于选择视觉焦点周围区域作为视觉游标，判断视觉游标的停留时间是否大于指定时间；对象控制模块，用于当停留时间大于指定时间时控制视觉游标选定目标对象，当停留时间小于等于指定时间时控制下一个目标对象进入视觉游标区域。实施本发明，减少视觉捕捉的不可靠性以及利用手动交互的次数，同时实现省电节能的效果。
文档编号G06F3/048GK101840265SQ20091030101
公开日2010年9月22日 申请日期2009年3月21日 优先权日2009年3月21日
发明者张伟 申请人:深圳富泰宏精密工业有限公司;奇美通讯股份有限公司