显示装置、车辆和显示方法

显示装置、车辆和显示方法
【专利摘要】本发明涉及显示装置、车辆和显示方法，其通过识别用户的眼睛来识别用户的意图，并将识别结果应用到设备控制过程，由此极大地提高用户的输入单元操控行为的方便性。显示装置包括：控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中；显示单元，其被配置为显示用于生成脑电图(EEG)信号的视觉刺激信号和基本视觉信息；以及EEG分析器，其被配置为确定所生成的EEG信号占有的频率。
【专利说明】
显示装置、车辆和显示方法
技术领域
[0001]本发明的实施例涉及显示装置、车辆和显示方法，其能够识别用户的眼睛并提供所识别的用户的眼睛的反馈。
【背景技术】
[0002]通常，为了允许用户控制设备并获得必要的信息，用户必须用手直接操控输入单元。然而，如果用户当前驾驶车辆或者不能自由地使用他或她的手，则用户可能难以操控输入单元，并且可能在其他任务(例如，车辆行驶)中发生意想不到的麻烦。
[0003]因此，需要开发一种技术，用于在最小化输入单元的操控次数的同时识别用户的意图，并基于所识别的结果控制设备或提供必要的信息。
[0004]最近，许多开发者和公司已经深入研究了通过识别用户的眼睛来识别用户的意图的技术。假设将该技术应用于设备控制方法，则输入单元操控操作中的一些或全部操作能够用注视特定区域的用户的行为替代，而不直接操作输入单元，使得用户能够更方便地控制对应的设备并且能够容易地从设备获得期望的信息。

【发明内容】

[0005]因此，本发明的一个方面提供了显示装置、车辆和显示方法，其通过识别用户的眼睛来识别用户的意图，并将识别结果应用到设备控制过程，由此极大地提高用户的输入单元操控行为的方便性。
[0006]本发明的其他方面的一部分将在以下的描述中阐述，并且一部分将是从描述中显而易见的，或者可以通过实践本发明而获得。
[0007]根据本发明的一方面，一种显示装置包括:控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中；显示单元，其被配置为显示用于生成脑电图(EEG)信号的视觉刺激信号和基本视觉信息；以及脑电图(EEG)分析器，其被配置为确定所生成的EEG信号占有的频率。
[0008]视觉刺激信号生成的EEG信号可以包括稳态视觉诱发电位(SSVEP)。
[0009]显示单元可以以移动图像或静止图像的方式显示基本视觉信息。
[0010]如果基本视觉信息是以移动图像的形式显示的，则控制器可以在不显示构成移动图像的帧的特定时间处插入视觉刺激信号。
[0011]该显示装置还可以包括:通信单元，其被配置为从用于检测用户的EEG信号的脑电图检测器接收所生成的EEG信号。
[0012]控制器可以生成控制信号，以激活与所生成的EEG信号占有的频率对应的功能。
[0013]控制器可以将显示单元的画面图像划分为多个区域，并将具有不同频率的视觉刺激信号插入在所划分的区域上显示的基本视觉信息中。
[0014]EEG分析器可以基于所生成的EEG信号占有的频率来识别用户的眼睛。
[0015]根据本发明的另一方面，一种车辆包括:控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中；显示单元，其被配置为显示用于生成脑电图(EEG)信号的视觉刺激信号和基本视觉信息；以及通信单元，其被配置为从用于检测用户的EEG信号的EEG检测器接收EEG信号；以及脑电图(EEG)分析器，其被配置为确定用户的EEG信号占有的频率，并基于所确定的频率来确定用户注视的区域。
[0016]视觉刺激信号生成的脑电图(EEG)信号可以包括稳态视觉诱发电位(SSVEP)。
[0017]显示单元可以包括多个显示器。
[0018]显示单元可以包括音频视频导航(AVN)显示器、集群显示器和平视显示器。
[0019]控制器可以将具有不同频率的视觉刺激信号插入到在多个显示器上分别显示的基本视觉信息中。
[0020]控制器可以控制与多个显示器当中的、用户注视的显示器相关的功能。
[0021]该车辆还可以包括:输入单元，其被配置为从用户接收控制命令。控制器可以根据从用户操控的输入单元接收到的控制命令来控制与用户注视的显示器相关的功能。
[0022]控制器可以将不同的视觉刺激信号插入到在显示单元的不同区域上显示的视觉信息中。
[0023]如果用户注视显示单元的区域中的一个，则控制器可以立刻执行与区域中的这一个区域对应的功能，使得立刻执行的功能可以被确定为快捷方式功能。
[0024]该车辆还可以包括:扬声器，其被配置为输出声学信号或声音信号。
[0025]如果用户注视显示单元持续预定参考时间或更长，则控制器通过显示单元和扬声器中的至少一个输出警告消息。
[0026]如果用户未注视交通灯，则控制器可以通过显示单元和扬声器中的至少一个输出警告消息。
[0027]如果用户注视交通灯当中的红灯并且如果车辆未停止行驶，则控制器可以通过显示单元和扬声器中的至少一个输出警告消息。
[0028]显示单元可以放大与用户频繁使用的功能对应的区域的显示尺寸或者用户频繁注视的区域的显示尺寸。
[0029]控制器可以将用户频繁使用的功能或者用户频繁注视的功能确定为快捷方式功會K。
[0030]根据本发明的另一方面，一种显示装置包括:控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中；显示单元，其被配置为显示用于生成脑电图(EEG)信号的视觉刺激信号和基本视觉信息。
[0031]根据本发明的另一方面，一种用于接收注视广告显示设备的用户的脑电图(EEG)信号的车辆，所述广告显示设备不仅显示基本视觉信息，还显示根据预定频率被插入基本视觉信息中的视觉刺激信号，所述车辆包括:EEG分析器，其被配置为确定用户的EEG信号占有的频率，并基于所确定的频率来确定用户注视的区域；以及控制器，如果用户注视的区域是广告显示设备，则控制器被配置为通过显示单元或输出单元提供与广告显示设备关联的信息。
[0032]显示单元可以包括音频视频导航(AVN)显示器、集群显示器和平视显示器。
[0033]平视显示器可以使用增强现实技术显示与广告显示设备关联的信息。
[0034]根据本发明的另一方面，一种显示方法包括以下步骤:根据预定频率将视觉刺激信号插入基本视觉信息中；接收用户的脑电图(EEG)信号；通过分析接收到的EEG信号来确定用户注视的区域；以及执行与用户注视的区域对应的控制功能。
[0035]确定用户注视的区域的步骤可以包括:确定接收到的EEG信号占有的频率；以及确定所确定的频率是否与视觉刺激信号的预定频率相同。
[0036]该显示方法还可以包括以下步骤:将显示视觉刺激信号的区域映射到与该区域对应的控制功能，并存储映射结果。
【附图说明】
[0037]从下面结合附图对实施例进行的描述中，本发明的这些方面和/或其他方面将变得明显和更容易理解，在附图中:
[0038]图1是示出根据本发明的实施例的显示装置的方框图；
[0039]图2和图3是示出在根据本发明的实施例的显示装置上显示的示例性视觉刺激信号;
[0040]图4到图6示出视觉刺激信号的示例性插入格式，所述视觉刺激信号具有特定频率并且被插在基本视觉信息帧之间；
[0041]图7是示出根据本发明的实施例的用于通过将不同频率分配到显示单元的各区域来显示视觉刺激信号的示例性方法的概念性示图；
[0042]图8是示出根据本发明的实施例的脑电图(EEG)检测器的外观的视图；
[0043]图9是示出根据本发明的实施例的EEG检测器的控制方框图；
[0044]图10是示出根据本发明的实施例的显示装置的EEG分析器的详细方框图；
[0045]图11是示出根据本发明的实施例的进一步包括存储设备的显示装置的控制方框图；
[0046]图12是示出根据本发明的实施例的车辆中所包含的显示装置的方框图；
[0047]图13是示出根据本发明的实施例的车辆的内部结构的视图；
[0048]图14是示出平视显示器和关联的构成元件的视图；
[0049]图15是示出根据用户注视区域的示例性控制操作的概念性示图；
[0050]图16是示出用于将一个显示器划分为多个区域并将不同频率分配到所划分的区域的示例性方法的概念性示图；
[0051]图17是示出用于在所划分的区域上显示具有不同频率的视觉刺激信号的示例性方法的概念性示图；
[0052]图18和图19是示出根据用户注视区域的其他控制操作的概念性示图；
[0053]图20是示出当显示单元的画面图像被划分为多个区域时，用于调整多个区域的尺寸的示例性方法的概念性示图；
[0054]图21示出用户的使用历史信息的各种利用领域；
[0055]图22是示出根据用户注视区域的控制操作的另一个示例的概念性示图；
[0056]图23是示出在用户注视红色交通灯的情况中使用的控制操作的示例的概念性示图；
[0057]图24是示出在用户未注视交通灯的情况中使用的控制操作的示例的概念性示图；
[0058]图25到图27是示出在用户注视位于车辆外的标识牌的情况中使用的示例性控制操作的概念性示图；
[0059]图28是示出通过识别用户的眼睛来控制空调设备或全自动座椅设备的车辆的方框图；
[0060]图29示例性示出当通过识别用户的眼睛来控制空调设备或全自动座椅设备时，在显示单元上显示的画面图像；
[0061]图30是示出根据本发明的实施例的显示方法的流程图；
[0062]图31是示出在使用根据本发明的实施例的显示方法的情况下，基于用户注视区域通过输入单元确定控制对象的方法的流程图；
[0063]图32是示出在使用根据本发明的实施例的显示方法的情况下，立刻执行与用户注视区域对应的功能的方法的流程图；
[0064]图33是示出在使用根据本发明的实施例的显示方法的情况下，根据用户的使用历史信息来控制显示画面图像的构成元素的方法的流程图；
[0065]图34是示出当用户注视外部视觉刺激信号时所使用的显示方法的流程图；以及
[0066]图35是示出基于用户的使用历史信息来控制显示画面图像的构成元素的另一个方法的流程图。
【具体实施方式】
[0067]现在将详细参考本发明的实施例，其示例在附图中示出，其中贯穿全文，相同的参考数字指示相同元件。在下文中将参考图1描述根据本发明的实施例的显示装置、车辆和显示控制方法。
[0068]图1是示出根据本发明的实施例的显示装置的方框图。
[0069]参考图1，根据实施例的显示装置100包括:显示单元140，其被配置为向用户提供视觉信息；控制器130，其被配置为控制显示单元140 ;通信单元110，其用于从EEG检测器200接收脑电图(EEG)信号，EEG检测器200已经检测到接收视觉信息的用户的EEG信号；以及EEG分析器120，其被配置为通过分析接收到的EEG信号来识别用户的意图。
[0070]显示装置100能够通过以最小化用作用户和设备之间的接口设备的输入单元的物理操控次数并使用最小化的输入单元的操控次数来控制显示装置100的方式，识别用户的眼睛，以此识别用户的意图。
[0071]为了正确地识别用户的眼睛，显示装置100可以测量并分析用户的脑电图(EEG)信号。EEG信号是当使用电极测量通过合成从脑神经生成的电信号而采集的精细大脑头皮信号时获得的电位。更详细地，可以使用稳态视觉诱发电位(SSVEP)。SSVEP是当用户注视具有恒定频率的视觉刺激信号时，从负责大脑的视觉区域的枕叶附近导出的EEG信号。由于SSVEP具有与视觉刺激信号的频率分量相同的频率分量，因此将施加到用户的视觉刺激信号的频率与用户的EEG信号的频率进行比较，使得能够确定用户是否注视对应的视觉刺激信号。
[0072]为了使用SSVEP识别用户的眼睛，控制器130可以控制显示单元140显示视觉信息，视觉信息包括具有预定频率的视觉刺激信号。在该情况下，需要将与预定频率有关的信息预先存储在显示装置100中，但频率的大小不受限制。
[0073]如果EEG检测器200检测到用户的EEG信号并将EEG信号传输到显示装置100，则通信单元100接收EEG信号并将接收到的EEG信号传输到EEG分析器120。虽然出于方便描述的目的，实施例公开了 EEG检测器200与显示装置100分开，但是应当注意，EEG检测器200还可以被包含在显示装置100中。
[0074]EEG分析器120可以确定由EEG检测器200检测到的用户EEG信号是否具有特定频率。特定频率意味着预定频率。为此，可以使用各种分析方法。例如，可以使用功率谱密度分析方法或典型相关分析方法。另外，在分析EEG信号之前可以执行预处理，例如放大或过滤，并且因此将在下文中详细给出其详细描述。
[0075]控制器130可以针对EEG信号的分析结果执行控制过程。例如，如果用户的注视对应于显示单元140的控制过程，则控制器130可以控制显示单元140显示用户期望的画面图像。如果用户的注视对应于其他设备的控制过程，则控制器130可以将控制信号传输到对应的设备。下文中将描述基于EEG分析结果的详细控制操作。
[0076]图2和图3示出在根据本发明的实施例的显示装置上显示的示例性视觉刺激信号。
[0077]如上所述，控制器130可以控制显示单元140显示视觉信息，视觉信息包括具有特定频率的视觉刺激信号。SSVEP可以由光驱动响应(photic driving response)生成。当用户集中地注视以特定频率闪烁的图案或闪烁时，大脑的光驱动响应指示在枕叶视觉皮层处测量到相同频率。
[0078]作为用于生成具有特定频率的视觉刺激信号的视觉刺激图案的代表性示例，具有矩形图案的第一图案(P1)和不具有矩形图案的第二图案(P2)可以彼此交叉，如图2中所示，或者具有不同检查图案的第三和第四图案(P3、P4)可以彼此交叉，如图3中所示，从而形成频率。然而，图2和图3中示出的视觉刺激图案仅仅为示例，用于使显示装置100生成具有特定频率的视觉刺激信号，并且本发明的显示装置100的范围和精神不限于此。
[0079]图4到图6示出具有特定频率且插入在基本视觉信息帧之间的视觉刺激信号的示例性插入格式。
[0080]在显示单元140上显示的视觉信息可以包括用于生成EEG信号的视觉刺激信号、以及基本视觉信息。控制器130可以将用于生成EEG信号的视觉刺激信号插入在显示单元140上显示的基本视觉信息中。基本视觉信息可以被显示在显示单元140上，以便向用户提供信息或内容。基本视觉信息可以以如下方式生成具有特定频率的EEG信号，即基本视觉信息能够与用于识别用户的意图的视觉刺激信号区分开。例如，基本视觉信息可以包括导航画面图像信息、音频画面图像信息、视频画面图像信息等。
[0081]另外，基本视觉信息可以是移动图像或静止图像。如果基本视觉信息是移动图像，则可以将视觉刺激信号插入在构成移动图像的帧之间，即，视觉刺激信号可以被插入在没有显示帧的时间处或者没有显示帧的区间中。如果基本视觉信息是静止图像，则可以将视觉刺激信号插入在连续显示静止图像的时间中。替换地，可以根据预定帧速率以与移动图像相同的方式显示静止图像，并且也可以根据需要将视觉刺激信号插入在静止图像帧之间。
[0082]如图4中所示，如果以在显示单元140上每秒显示η个帧的帧速率(即，nFPS)显示移动图像，则控制器130可以将用于生成EEG信号的视觉刺激信号插入在各个帧(FpF2、F3……Fn)之间。更详细地，可以将Hi1视觉刺激信号插入在第一帧(F1)的显示时间U1)与第二帧(F2)的显示时间(t2)之间，并且可以将m2视觉刺激信号插入在第二帧(F2)的显示时间(t2)与第三帧(F3)的显示时间(t3)之间。类似地，还可以将视觉刺激信号插入在剩余时间之间，并且可以将mn i视觉刺激信号插入在第(η-1)个帧的显示时间与第η个帧的显示时间(tn)之间。在该情况下，Hi1Nmnl可以是等于或大于零‘0’的整数，并且可以具有相同值或不同值。
[0083]控制器130可以调整被插入到各个帧中的视觉刺激信号的数目(mi?mn J，使得其能够成为期望的频率。
[0084]例如，如图5中所示，Hi^mn i中的每个可以被分配‘I’。更详细地，如果将一个视觉刺激信号插入在所有帧之间，则可以显示每秒(η-1)个视觉刺激信号(VSpVS2……VSn 在该情况下，可以将显示单元140上显示的视觉刺激信号的频率设置为(n-l)Hz。
[0085]在另一个示例中，如图6中所示，以交替地插入视觉刺激信号的方式，在用于显示第一帧(F1)的第一时间U1)与用于显示第二帧(F2)的第二时间(t2)之间插入单个视觉刺激信号，并且在用于显示第二帧(F2)的第二时间(t2)与用于显示第三帧(F3)的第三时间(t3)之间不插入视觉刺激信号。在该情况下，一秒可以显示(n-l)/2(这里η为奇数)个视觉刺激信号(VSp VS2……VSn 1/2)，并且可以将显示单元140上显示的每个视觉刺激信号的频率设置为(n-l)/2Hz。
[0086]如上所述，控制器130将基本视觉信息(S卩，用户期望的TV节目、电影、导航画面图像等)控制为在没有变化的情况下显示，并且同时在用户不能够识别的瞬间期间将视觉刺激信号插入基本视觉信息中，使得控制器130能够有效地使用显示器，而不造成眼睛疲劳或用户不便性，并且能够识别用户的眼睛。
[0087]图7是根据本发明的实施例示出通过将不同频率分配到显示单元的相应区域来显示视觉刺激信号的示例性方法的概念性示图。
[0088]参考图7，控制器130可以将显示单元140的画面图像划分为多个区域，并且在各个区域中显示具有不同频率的视觉刺激信号。例如，如从图7中可以看出，显示单元140的画面图像被划分为四个区域(mi)。具有XHz频率的视觉刺激信号可以被显示在第一区域(R1)上，具有YHz频率的视觉刺激信号可以被显示在第二区域(R2)上，具有ZHz频率的视觉刺激信号可以被显示在第三区域(R3)上，并且具有WHz频率的视觉刺激信号可以被显示在第四区域(R4)上。在该情况下，X、Y、Z和W可以由不同的频率值表示。
[0089]参考图7，如果一个画面图像中包含的若干区域显示具有不同频率的视觉刺激信号，则能够使用仅一个画面图像来识别各种用户意图。
[0090]如果用户注视显示单元140上显示的视觉刺激信号，则生成与视觉刺激信号的频率同步的EEG信号，并且由EEG检测器200检测EEG信号。
[0091]图8是示出根据本发明的实施例的脑电图(EEG)检测器的外观的视图。图9是示出根据本发明的实施例的EEG检测器的控制方框图。
[0092]参考图8，EEG检测器200以可佩戴方式形成，使得用户能够佩戴EEG检测器200。由用户佩戴的EEG检测器200可以有线或无线地连接到显示装置100。
[0093]参考图9，EEG检测器200可以包括用于检测EEG信号的电极单元210以及用于将电极单元210检测到的信号传输到显示单元100的发送器。
[0094]电极单元210可以包括能够附接到头皮的多个EEG测量电极，并且多个EEG测量电极可以被分类为信号电极和参考电极。
[0095]如果将若干EEG测量电极附接到枕叶，则可以通过EEG测量电极测量当信号在神经系统中的颅神经之间传递时生成的电流。
[0096]发送器220可以有线地或无线地将电极单元210检测到的EEG信号传输到显示装置100。在该情况下，传输的EEG信号可以是模拟信号或数字信号。当传输数字EEG信号时，可以在发送器220中包含模数转换器(ADC)，用于将检测到的EEG信号转换为数字EEG信号。
[0097]如果EEG检测器200有线地连接到显示装置100，则发送器200可以包括用于将EEG检测器200连接到显示装置100的电缆。在该情况下，显示装置100的通信单元110可以包括能够连接到电缆的端子。
[0098]如果EEG检测器200无线地连接到显示装置100，则发送器220和通信单元110中的每一个可以包括从以下中选择的至少一个通信模块:蓝牙通信模块、蓝牙低功耗(BLE)通信模块、超宽带(UWB)、ZigBee、数字生活网络联盟(DLNA)模块、近场通信(NFC)模块等。
[0099]然而，EEG检测器200和显示装置100之间的通信方案不限于以上示例，并且在不脱离本发明的范围和精神的情况下，EEG检测器200和显示装置100也能够使用除以上提到的示例以外的其他通信方案与彼此通信。
[0100]另一方面，EEG检测器200可以将电极单元210检测到的EEG信号转换为原始信号(raw signal)，并且可以将原始EEG信号传输到显示装置100。如果需要，EEG检测器200执行原始信号的预处理(例如，放大、过滤等)，然后根据需要传输预处理后的结果信号。在前者情况下，已经接收到EEG信号的显示装置100可以执行预处理。虽然显示装置100的实施例包括前者情况和后者情况，但是以下实施例将示例性地公开显示装置100执行预处理的后者情况。
[0101]图10是示出根据本发明的实施例的显示装置的EEG分析器的详细方框图。图11是示出根据本发明的实施例的进一步包括存储设备的显示装置的控制方框图。
[0102]参考图10，如果通信单元110从EEG检测器200接收到用户的EEG信号，则EEG分析器120可以分析用户EEG信号并识别用户的眼睛。例如，如从图10中可以看出，EEG分析器120可以包括用于预处理EEG信号的预处理器121以及用于分析EEG信号的频率分量的频率分析器122。
[0103]尽管附图中未示出，但是如果从EEG检测器200接收到的EEG信号为模拟信号，则通信单元110或EEG分析器120可以包括ADC，并且EEG分析器120可以分析由ADC转换的数字EEG信号。
[0104]EEG检测器200的EEG信号可能包括由头皮中的信号传播、眨眼、面部肌肉的运动、周边环境以及在显示单元140上显示的基本视觉信息产生的噪声。因此，预处理器121可以放大用户EEG信号或者可以过滤噪声。
[0105]更详细地，仅特定区域的频率可以通过频带滤波器(例如，高通滤波器)，或者可以通过空间滤波器去除或加强空间频带。例如，可以使用高通滤波器切断小于0.1Hz的频率信号，或者可以使用空间滤波器将低权重分配到从运动皮层的周边部分生成的信号，并且可以放大要被测量的运动皮层的EEG信号。
[0106]例如，空间滤波器可以是公共平均参考(CAR)滤波器、大表面拉普拉斯(大SL)滤波器、小表面拉普拉斯(小SL)滤波器、公共空间模式(CSP)滤波器等中的任一个。
[0107]替换地，可以使用噪声移除算法移除EEG信号的噪声，例如，独立成分分析(ICA)算法、线性判别分析(LDA)算法、主成分分析(PCA)算法、典型相关分析(CCA)算法等。
[0108]频率分析器122可以分析EEG信号的频率分量。例如，频率分析器122可以通过傅里叶变换计算基于频率的功率谱，并且可以通过将功率谱值的幅值彼此进行比较来搜索特定频率分量。
[0109]另一方面，从注视视觉刺激信号的用户生成的EEG信号可以包括指示视觉刺激信号频率的基频和指示基频的倍数的谐频。因此，频率分析器122还可以通过倒谱分析来确定EEG信号的频率分量。
[0110]EEG分析器120可以确定在参考时间或更多时间期间是否生成了特定频率分量。例如，假设将参考时间设置为5秒，如果在5秒或更多秒期间生成了特定频率分量，则这意味着用户注视对应的区域。替换地，这意味着用户试图执行与用户注视的对应区域对应的功能。作为结果，在用户短暂地注视特定区域而没有任何意图的情况中，能够防止特定功能被执行。
[0111]以上提到的EEG分析器120的构造和详细操作仅仅为示例性的，并且显示装置100的实施例的范围或精神不限于此。因此，在不脱离本发明的范围或精神的情况下，不但以上提到的示例而且其他方法或其他构造也可以应用于本发明的实施例，只要能够辨别EEG检测器200检测到的EEG信号的频率。
[0112]参考图11，显示装置100可以进一步包括存储设备160。可以将视觉刺激信号的频率数据库(DB) 161存储在存储设备160中。与特定频率对应的功能或者与功能对应的区域可以被映射并存储在频率DB161中。
[0113]存储设备160可以包括读存取存储器(RAM)、只读存储器(R0M)、硬盘驱动器(HDD)、磁盘、光盘、固体静态磁盘等。
[0114]例如，收音功能可以被映射到8Hz频率，蓝牙功能可以被映射到1Hz频率，导航功能可以被映射到15Hz频率，以及电话功能可以被映射到12Hz频率。在该情况下，如果EEG检测器200检测到的用户EEG信号包括15Hz频率，则EEG分析器120能够识别用户选择导航功能。
[0115]控制器130可以生成控制信号，用于根据EEG分析器120的判定结果控制设备。在该情况下，如果要被控制的设备是外部设备，则控制器130将控制信号传输到外部部分。如果显示单元140是控制目标，则控制器130可以将控制信号重新传输到显示单元140。
[0116]EEG分析器120可以包括存储器和微处理器，存储器存储用于执行以上提到的构成元件的操作的程序和数据，微处理器通过执行存储在存储器中的程序来处理数据。另外，EEG分析器120中所包含的各构成元件可以由额外的微处理器实现，并且EEG分析器120的两个或更多个构成元件可以共享微处理器。
[0117]控制器130可以包括存储器和微处理器，存储器存储用于生成控制信号的程序和数据，微处理器通过执行存储在存储器中的程序来处理数据。在该情况下，控制器130可以与EEG分析器120共享存储器或微处理器，并且还可以与显示装置100的其他构成元件共享存储器或微处理器。
[0118]另外，在存储设备160中可以包括被配置为存储控制器130和EEG分析器120的程序和数据的存储器。
[0119]根据实施例的显示装置100可以被包含在车辆中。下文中将详细描述包括根据实施例的显示装置100的车辆。
[0120]图12是根据本发明的实施例示出在车辆中所包含的显示装置的方框图。图13是根据本发明的实施例示出车辆的内部结构的视图。图14是示出平视显示器以及关联的构成元件的视图。
[0121]如果显示装置100被包含在车辆中，则用于显示视觉刺激信号的显示单元140可以包括音频视频导航(AVN)显示器141、集群显示器142和平视显示器143。虽然出于方便描述的目的，图12的显示单元140包括AVN显示器141、集群显示器142和平视显示器143，但是应当注意，图12的显示单元140还可以选择性地包括AVN显示器141、集群显示器142和平视显示器143中的一个或多个。
[0122]如从图12中可以看出，用户可以注视在AVN显示器141、集群显示器142和平视显示器143中的至少一个上显示的视觉信息。尽管注视视觉信息的用户识别不出视觉刺激信号，但是用户也能够注视视觉刺激信号。如果EEG检测器200检测到用户EEG信号并将检测到的EEG信号传输到显示装置100，则EEG分析器120可以通过分析EEG信号来识别用户意图，并且控制器130可以生成与用户意图对应的控制信号。
[0123]参考图13中示出的车辆I的内部部件，AVN显示器141可以以用户(具体地，车辆驾驶者)在驾驶时查看或操控所显示的图像的方式安装到仪表板10的中央面板11。中央面板11可以指示仪表板10的中央区域，其包括设置在驾驶者座椅191FL和乘客座椅191FR之间的控制仪表盘。
[0124]可以由液晶显示器(IXD)、发光二极管(LED)、等离子体显示板(TOP)、有机发光二极管(OLED)、阴极射线管(CRT)等中的任一个来实现AVN显示器141。
[0125]中央面板11可以不仅包括AVN显示器141，还包括通风口 181，通过该通风口排出从空调设备180 (图28中示出)生成的暖空气或冷空气。
[0126]车辆可以包括托盘42和中央控制台40，托盘设置在驾驶者座椅19IFL和乘客座椅191FR之间以便存放物品，中央控制台包括变速杆41。在中央控制台40中可以包含AVN输入单元171。例如，AVN输入单元171可以由旋钮(jog-shuttle)或控制杆实现。如果由旋钮实现AVN输入单元171，则用户可以通过向前或向后以及向左或向右移动旋钮，或者通过按压或旋转旋钮来控制AVN功能。然而，图13中示出的旋钮仅仅是能够应用到车辆I的实施例的示例，并且还可以通过硬键而不是旋钮或控制杆来实现AVN输入单元171。
[0127]另一方面，成形为硬键的辅助输入单元173可以被安装到与AVN显示器141邻近的区域。替换地，如果由触摸屏实现AVN显示器141，则成形为软键的辅助输入单元173还可以被安装到AVN显示器141的一个区域。
[0128]可以以当前驾驶车辆的驾驶者能够识别仪表面板上显示的信息的方式，将仪表集群112设置在仪表板10的区域中的、面向方向盘12的区域。可以由液晶显示器(LCD)、发光二极管(LED)、等离子体显示板(TOP)、有机发光二极管(OLED)、阴极射线管(CRT)等中的任一个实现集群显示器142。
[0129]仪表集群112可以进一步包括集群显示器142、用于指示车辆速度的速度计144a以及用于指示车辆RPM的RPM计144b。集群显示器142可以被设置在速度计144a和RPM计144b之间，如图13中所示。然而，本发明的范围或精神不限于此，并且没有限制根据实施例的集群显示器142的详细位置。
[0130]以硬键形状形成的集群输入单元172被安装到方向盘12的一个区域，使得控制方向盘12的车辆驾驶者能够操控集群输入单元172。替换地，以杆形状形成的集群输入单元172被安装到方向盘12的后侧，使得用户推动或者拉动杆状集群输入单元172，或者向上或向下移动杆状集群输入单元172，以便控制仪表集群112。
[0131]平视显示器143可以不直接向用户提供视觉信息，并且可以反射视觉信息且在车辆I的挡风玻璃30上显示反射的视觉信息。参考图14，在挡风玻璃30的一个区域30a上显示平视显示器143的输出图像，并且下文中将参考图14描述平视显示器和关联的构造。
[0132]参考图14，可以在车辆I的前面设置平视显示器143，并且可以在平视显示器143的前面设置反射板143a。如果平视显示器143在向前方向中输出图像，则输出图像自反射板143a反射并被投影到挡风玻璃30上。在该情况下，挡风玻璃30可以作为组合器操作。
[0133]投影的图像自挡风玻璃30反射并被传递给用户5的眼睛。尽管用户5观看到在挡风玻璃30的显示区域30a上显示的如图5中所示的图像，但是用户的眼睛观看到的图像是在挡风玻璃30的外面形成的虚拟图像31a。
[0134]图14中示出的平视显示器143和关联的构造仅仅为示例性的，平视显示器143可以包括多个反射板143a，可以不包括反射板143a，或者可以额外地包括衍射元件。
[0135]还可以单独地包括用于操控平视显示器143的输入单元。安装到方向盘12的集群输入单元172还可以用作操控平视显示器143的输入单元。
[0136]替换地，分别设置在方向盘12的左侧和右侧的集群输入单元172中的一个可以操作为用于操控集群显示器142的输入单元，并且另一个还可以用作操控平视显示器143的输入单元。
[0137]替换地，以杆形状形成的每个集群输入单元172被安装到方向盘12的后侧，使得用户推动或拉动杆状集群输入单元172，或者向上或向下移动杆状集群输入单元172，以便控制平视显示器143。
[0138]另一方面，虽然出于方便描述的目的，图13示例性地公开了用于控制AVN显示器141的输入单元、用于控制集群显示器的输入单元以及用于控制平视显示器的输入单元，但是可以仅使用以上提到的输入单元中的一些，使得仅一个输入单元可以接收用于控制多个显示单元的命令。例如，AVN输入单元171可以不仅接收用于控制AVN显示器的命令，还可以接收用于控制集群显示器142或平视显示器143的命令。
[0139]图15是示出根据用户注视区域的示例性控制操作的概念性示图。
[0140]如上所述，显示装置100通过分析用户EEG信号来确定用户注视区域，并控制与用户注视区域对应的设备。例如，如果用户5注视AVN显示器141、集群显示器142和平视显示器143中的任一个，则用户5可以通过操控设置在车辆I中的输入单元来显示用户注视的显示器。为此，可以将具有不同频率的视觉刺激信号分别插入在AVN显示器141、集群显示器142和平视显示器143上显示的视觉信息中。
[0141]图15示出用户5注视AVN显示器141的示例性情况。参考图15，如果用户注视AVN显示器141，则在用户5的枕叶中会产生具有在AVN显示器上显示的视觉刺激信号的频率的EEG信号。如果EEG检测器200检测到用户5的EEG信号，则EEG分析器120可以通过分析检测到的EEG信号来确定频率。如果EEG信号的频率是与AVN显示器141对应的频率(即，如果EEG信号的频率是在AVN显示器141上显示的视觉刺激信号的频率)，则这意味着用户当前注视AVN显示器141。在该情况下，关联的信息被映射到具有特定频率的视觉刺激信号的显示区域并且被映射到具有对应频率的视觉刺激信号的显示区域，使得可以使用所存储的频率数据库(DB)。
[0142]如果用户5注视AVN显示器141，则这意味着可以使用输入单元来控制AVN功能。因此，尽管用户5操控某一输入单元，但是控制器130能够根据该操控控制AVN功能，并且控制器130还可以控制显示单元140或扬声器150，以便输出与对应功能对应的输出内容。虽然图15示出用户5操控AVN输入单元171，但是还可以通过操控集群输入单元172来控制AVN功能。虽然用户5注视集群显示器142或平视显示区域30a，但是还可以通过操控AVN输入单元171来控制集群显示器142或平视显示器143。
[0143]另一方面，图7示例性地公开了一个画面被划分为多个区域并且不同的频率被分配到多个区域。因此，AVN显示器141、集群显示器142或平视显示器143被划分为多个区域，并且可以根据用户注视哪个区域来使用不同的控制方法。下文中将参考图16和图17给出其详细描述。
[0144]图16是示出将一个显示器划分为多个区域并将不同频率分配到区域的示例性方法的概念性示图。图17是示出在所划分的区域上显示具有不同频率的视觉刺激信号的示例性方法的概念性示图。
[0145]参考图16，AVN显示器141被划分为四个区域(RpHR4)。收音功能可以被分配到第一区域(R1),蓝牙功能可以被分配到第二区域(R2)，导航功能可以被分配到第三区域(R3)，并且电话功能可以被分配到第四区域(R4)。
[0146]为了确定用户5注视四个区域中的哪个区域，可以在四个区域上显示具有不同频率的视觉刺激信号。参考图17，如果用户注视收音区域(R1)，则可以在收音区域(R1)上显示指示收音功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。两个视觉刺激信号被插入到两个连续帧中，以便生成频率。
[0147]如果用户注视蓝牙区域(R2)，则可以在蓝牙区域(R2)上显示指示蓝牙功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。将一个视觉刺激信号插入在两个连续帧之间，使得可以生成与在收音区域(R1)上显示的视觉刺激信号的频率不同的频率。
[0148]如果用户注视导航区域(R3)，则可以在导航区域(R3)上显示指示导航功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。可以将一个视觉刺激信号交替地插入在两个连续帧之间，使得可以生成与在收音区域(R1)和蓝牙区域(R2)上显示的视觉刺激信号的那些频率不同的频率。
[0149]如果用户注视电话区域(R4)，则可以在电话区域(R4)上显示指示电话功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。可以将三个视觉刺激信号插入在两个连续帧之间，使得可以生成与在收音区域(R1)、蓝牙区域(R2)和导航区域(R3)上显示的视觉刺激信号的那些频率不同的频率。
[0150]参考图16，如果用户5注视蓝牙区域(R2)，则在枕叶中会产生具有被分配到蓝牙区域(R2)的频率的EEG信号，并且EEG检测器200可以检测该EEG信号。EEG分析器120分析检测到的EEG信号，使得确定出用户5当前注视蓝牙区域。
[0151]如果用户5注视蓝牙区域，则这意味着用户5期望通过操控输入单元来控制蓝牙功能。因此，尽管用户5操控某一输入单元，但是控制器130能够根据该操控控制蓝牙功能，并且可以控制显示单元140或扬声器150，以便输出与蓝牙功能对应的内容。
[0152]虽然图16示例性地公开了用户5操控AVN输入单元171，但是应注意，还可以通过操控集群输入单元172来控制蓝牙功能。
[0153]另一方面，显示单元140的画面图像当中的仅一些区域也可以用于识别用户的眼睛。另外，如果用户注视特定区域，则这意味着可以通过操控输入单元来控制与对应区域对应的功能。然而，注视特定区域的用户的操作还可以用作控制命令的输入行为。下文中将参考图18和图19给出其详细描述。
[0154]图18和图19是示出根据用户注视区域的其他控制操作的概念性示图。
[0155]参考图18，可以在显示单元140上显示与当前执行的功能关联的主画面图像140a。例如，主画面图像140a可以是导航画面图像。可以在显示单元140的一个区域上显示结束按钮区域140e。如果用户注视结束按钮区域140e，则可以在结束按钮区域140e上显示指示能够终止当前执行的功能的视觉信息，并且可以将具有特定频率的视觉刺激信号插入在构成视觉信息的帧之间。与特定频率有关的信息可以被存储在存储设备160中。
[0156]如果用户5注视结束按钮区域140e，则在枕叶中会产生具有在结束按钮区域140e上显示的视觉刺激信号的频率的EEG信号，并且EEG检测器200可以检测到EEG信号。EEG分析器120分析检测到的EEG信号，使得EEG分析器120可以确定出用户5注视结束按钮区域140e。
[0157]如果用户5注视结束按钮区域140e，则这意味着用户期望终止导航功能。因此，控制器130可以立刻终止导航功能，并且可以在显示单元140上显示初始菜单画面图像140f而不是导航画面图像140a。
[0158]如从图19中可以看出，可以根据各个功能显示多个快捷方式区域，在这些区域中能够根据用户的眼睛的识别立刻执行对应功能。在该情况下，快捷方式区域可以指示在没有额外操控的情况下立刻执行对应功能。参考图19，可以在显示单元140的一些部分上显示与当前执行的功能关联的主画面图像140a，并且可以在显示单元140的其他部分上显示视频快捷方式区域140b和导航快捷方式区域140c。
[0159]控制器130可以在视频快捷方式区域140b和导航快捷方式区域140c上显示具有不同频率的视觉刺激信号。在该情况下，可以在主画面图像140a上显示与当前执行的功能关联的基本视觉信息，并且在主画面图像140a上可以不显示用于识别用户的眼睛的视觉刺激信号。
[0160]如果用户注视视频快捷方式区域140b，则可以在视频快捷方式区域140b上显示视频快捷方式功能能够被执行的基本视觉信息，并且可以在构成基本视觉信息的帧之间插入视觉刺激信号。如果用户注视导航快捷方式区域140c，则可以在导航快捷方式区域140c上显示导航快捷方式功能能够被执行的基本视觉信息，并且可以在构成基本视觉信息的帧之间插入视觉刺激信号。
[0161]如果用户5注视视频快捷方式区域140b，则在用户5的枕叶中会产生具有在视频快捷方式区域140b上显示的视觉刺激信号的频率的EEG信号，并且EEG检测器200可以检测到EEG信号。EEG分析器120分析检测到的EEG信号，使得EEG分析器120可以确定出用户5当前注视视频快捷方式区域140b。
[0162]如果用户5注视视频快捷方式区域140b，则这意味着用户5期望执行视频功能。因此，控制器130可以立刻执行视频功能。同时，显示单元140的主画面图像140a可以切换至视频画面图像，并且可以显示音频快捷方式区域140d而不是视频快捷方式区域。
[0163]尽管图19出于方便描述的目的，示例性地公开了视频快捷方式区域和导航快捷方式区域，但是本发明的范围和精神不限于此，并且对快捷方式功能的类别和数目没有限制。另外，可以根据用户的使用历史适应性地建立数目和类别。例如，存储设备160可以存储指示哪个功能被用户频繁选择的特定信息，或者可以存储指示哪个功能被频繁使用的特定信息。另外，可以将用户频繁选择或使用的功能设置为快捷方式功能。可以根据累积的使用历史信息周期性地更新该快捷方式功能。可以基于从输入单元或EEG分析结果接收到的输入控制命令信息来获得使用历史信息。
[0164]另外，即使当一个画面如图16所示被划分为多个区域时，也可以根据用户的使用历史信息适应性地调整每个区域的尺寸。下文中将参考图20给出其详细描述。
[0165]图20是示出当显示单元的画面图像被划分为多个区域时，用于调整多个区域的尺寸的示例性方法的概念性示图。
[0166]参考图20，当显示单元140的一个画面图像被划分为多个区域并且在各区域上显示具有不同频率的视觉刺激信号时，可以在尺寸上放大与用户频繁选择的功能对应的区域，使得可以显示放大的区域。
[0167]例如，如果用户频繁地选择收音功能，则可以放大收音区域(R1)的尺寸，如图20中所示。另外，可以根据用户选择的频率的顺序调整剩余区域的尺寸。
[0168]另外，可以根据需要，根据用户选择的频率的顺序调整各区域的位置。例如，与频繁选择的功能对应的区域可以被布置在画面上方或者布置在画面的中心部分处。
[0169]图21示出用户的使用历史信息的各种利用领域。
[0170]参考图21，以上提到的用户的使用历史信息可以以数据库(DB)的形式存储，并且该DB在下文中将被称为使用数据库(DB) 162。在使用DB 162中可以仅存储通过用户眼睛的识别而决定的使用历史信息，在使用DB 162中也可以存储基于输入单元的操控而决定的使用历史，并且在使用DB 162中也可以存储由每个功能的执行历史决定的使用历史。
[0171]使用历史信息可以被用于在一个车辆I内显示以上提到的用户适应性画面图像。如果使用历史信息是从由多个用户使用的多个车辆收集的，则所收集的历史信息可以被用作用于客户研究或市场研究的大数据。
[0172]通过基于大数据的客户调查，可以识别车辆的哪个功能是用户首选的，使得可以基于识别结果研发新的车辆。例如，当若干用户执行特定功能时，如果确定出控制命令是通过对用户的眼睛的识别而不是通过操控输入单元来频繁输入的，则在安装到车辆的用户界面中反映该优选项，并且可以自定义用户界面。
[0173]另外，还可以基于用户首选功能执行车辆销售的营销。
[0174]图22是示出根据用户注视区域的控制操作的另一个示例的概念性示图。
[0175]虽然以上提到的示例公开了注视特定区域的用户的特定操作指示用户期望执行与用户注视区域对应的特定功能，但是如果作为车辆驾驶者的用户注视显示单元140很长一段时间，则以上提到的用户操作会妨碍安全驾驶。
[0176]参考图22，如果用户5注视显示单元140，则在枕叶中会产生具有在显示单元140上显示的视觉刺激信号的频率的EEG信号。如果EEG检测器200检测到用户5的EEG信号，则EEG分析器120分析检测到的EEG信号，使得确定检测到的EEG信号是否具有视觉刺激信号的频率，并且还确定是否在预定参考时间或更多时间期间生成具有对应频率的EEG信号。在以上提到的示例中，将预定参考时间被设置为2秒。
[0177]如果分析结果指示，用户5注视AVN显示器141持续2秒或更多秒，则控制器130可以通过显示器141或扬声器150通知车辆驾驶者警告消息。例如，可以在AVN显示器141上以文本形式显示用于命令车辆驾驶者集中精力驾驶的警告消息，或者可以通过扬声器150以听觉方式输出警告消息。如果需要，声音类型警告消息可以被单独输出，或者可以与文本类型警告消息同时输出。
[0178]虽然图22示例性地示出用户注视AVN显示器141，但是即使当用户注视集群显示器142或平视显示区域30a持续一预定参考时间或更多时间时，也可以显示警告消息。在该情况下，当用户注视集群显示器142时，也可以在集群显示器142上显示警告消息。当用户注视平视显示器143时，也可以在平视显示器143上显示警告消息。
[0179]可以通过试验、统计分析或模拟来建立参考时间。安装到车辆I的若干显示单元(141、142、143)被安装在不同的位置处。当用户注视各显示单元(141、142、143)时，根据用户注视显示单元(141、142、143)中的哪个，用户的驾驶状态受到不同的影响，使得可以将不同的参考时间分配到各个显示单元(141、142、143)。例如，可以将最短参考时间分配到离用户的视线最远的AVN显示器141，并且可以将最长参考时间分配到在挡风玻璃30上显示的平视显示器143。
[0180]另一方面，不仅当用户注视位于车辆I内部的显示时，而且当用户注视位于车辆I外部的显示时，也可以识别用户的眼睛并且可以执行与用户的眼睛对应的关联控制。下文中将参考图23到图27给出其详细描述。
[0181]图23是示出在用户注视红色交通灯的情况中使用的控制操作的示例的概念性示图。图24是示出在用户没有注视交通灯的情况中使用的控制操作的示例的概念性示图。
[0182]参考图23，当位于道路上方的交通灯310显示红灯(311R)、黄灯(3110)和绿灯(311G)时，可以以与用于允许显示单元140在视觉信息段之间插入视觉刺激信号的本方法相同的方式，插入具有特定频率的视觉刺激信号。例如，可以将15Hz的视觉刺激信号插入红灯(311R)中，可以将27Hz的视觉刺激信号插入黄灯(3110)中，以及可以将32Hz的视觉刺激信号插入绿灯(311G)中。该频率信息可以被存储在存储设备160中。位于道路上方的所有交通灯可以具有相同频率，或者根据安装位置，可以具有不同频率。如果交通灯根据安装位置具有不同频率，则可以使用地图数据和车辆位置信息来获取与安装在当前位置的交通灯对应的频率信息。
[0183]参考图23，如果用户注视红灯(311R)，则在枕叶中会产生具有在红灯(311R)上显示的视觉刺激信号的频率的EEG信号。如果EEG检测器检测到用户5的EEG信号，则EEG分析器120可以通过分析检测到的EEG信号来确定频率，并且还可以基于所确定的频率来确定用户5注视红灯。
[0184]控制器130可以确定车辆I是否停止行驶。如果确定结果指示，虽然用户5注视红灯(31 IR)，但是车辆I未停止行驶，则控制器130可以通过显示单元140和扬声器150中的至少一个向用户5提供警告消息。例如，可以在显示单元140上以文本形式显示警告消息，其用于由于红灯而指示车辆驾驶者停止行驶，或者可以通过扬声器150以听觉方式输出警告消息。如果需要，声音类型警告消息可以被单独输出，或者可以与文本类型警告消息同时输出。
[0185]另外，如果自动制动系统(ABS)被安装到车辆1，则还可以自动地停止车辆I。
[0186]另一方面，虽然存在交通灯310，但是如果用户5没有注视交通灯310，则存在发生意外交通事故的可能性。如图24中所示，如果用户5在交通灯310的安装位置处没有注视交通灯310，则在枕叶中不会产生具有在红灯(311R)、黄灯(3110)和绿灯(311G)上显示的视觉刺激信号的频率的EEG信号。
[0187]如果EEG检测器200检测到用户5的EEG信号，则EEG分析器120可以通过分析检测到的EEG信号来确定频率，并且可以基于所确定的频率来确定出用户没有注视交通灯。在该情况下，可以不仅使用从全球定位系统(GPS)接收到的车辆位置信号，还使用存储在存储设备160中的地图数据来确定交通灯是否位于当前位置处的信息。交通灯的位置信息可以被包含在地图数据中。
[0188]如果用户5在交通灯的位置处没有注视交通灯，则控制器130可以通过显示单元140和扬声器150中的至少一个显示警告消息。例如，可以在显示单元140上以文本形式显示警告消息，要求车辆驾驶者观看交通灯，或者还可以通过扬声器150以听觉方式输出警告消息。如果需要，声音类型警告消息可以被单独输出，或者可以与文本类型警告消息同时输出。
[0189]图25到图27是示出在用户注视位于车辆外部的标识牌的情况中使用的示例性控制操作的概念性示图。
[0190]驾驶车辆的用户可以通过挡风玻璃30或安装到车辆I的其他玻璃观看周边环境。驾驶车辆的用户可以不仅观看车辆行驶所需的交通灯，还可以观看位于车辆附近的广告显示设备320 (例如，各种标识牌)。
[0191]可以将具有特定频率的视觉刺激信号插入在广告显示设备320上显示的基本视觉信息中。在该情况下，在广告显示设备320上而不是在车辆I上显示视觉刺激信号，并且广告显示设备320可以是以上提到的显示装置100的示例。另外，车辆I的控制器130可以不将视觉刺激信号插入基本刺激信号中。然而，在广告显示设备320上显示的视觉刺激信号的频率可以被预先存储在存储设备160中。
[0192]如果用户5注视广告显示设备320，则在枕叶中会产生具有在广告显示设备320上显示的视觉刺激信号的频率的EEG信号。如果EEG检测器220检测到用户5的EEG信号，则EEG分析器120可以通过分析检测到的EEG信号来确定频率，并且可以基于所确定的频率来确定用户5注视广告显示设备320。
[0193]与各广告显示设备对应的关联信息可以被存储在存储设备160中。可以从对应的广告显示设备320的企业(或公司)接收存储在存储设备160中的关联信息。控制器130可以搜索与用户注视的广告显示设备320对应的关联信息，并且可以通过显示单元140和扬声器150中的至少一个提供关联信息。
[0194]如从图25中可以看出，如果用户5注视特定汽车销售公司的广告显示设备320，则可以提供与特定汽车销售公司的促销关联的信息。例如，如从图26中可以看出，可以在平视显示区域30a上以文本形式显示与新汽车测试驱动事件关联的信息。替换地，如从图27中可以看出，关联信息可以使用增强现实技术与广告显示设备320重叠，使得重叠结果可以显示在广告显示设备320上。替换地，虽然未在附图中示出，但是关联信息还可以以全息图形式显示。也就是说，不限制用于提供与用户注视的广告显示设备关联的信息的方案。
[0195]另一方面，可以根据对用户眼睛的识别，通过显示单元140或扬声器150显示警告消息、信息或内容，并且还可以根据对用户眼睛的识别来控制车辆的其他功能。下文中将参考图28和图29给出其详细描述。
[0196]图28是示出用于通过识别用户的眼睛来控制空调设备或全自动座椅设备的车辆的方框图。图29示例性示出当通过识别用户的眼睛来控制空调设备或全自动座椅设备时，在显示单元上显示的画面图像。
[0197]参考图28，车辆I可以进一步包括:空调设备180，用于调整车辆I的内部空间的温度；以及全自动座椅设备190，用于自动调整车辆座椅的位置。控制器130可以根据对用户眼睛的识别结果来控制空调设备180和全自动座椅设备190。
[0198]参考图29，AVN显示器141被划分为四个区域況、R2、R3、R4)，收音功能可以被分配到第一区域(R1),空调功能可以被分配到第二区域(R2)，导航功能可以被分配到第三区域(R3),并且座椅控制功能可以被分配到第四区域(R4)。
[0199]为了区分用户5注视四个区域中的哪个，可以在四个区域上显示具有不同频率的视觉刺激信号。另外，如果用户注视收音区域(R1)，则可以在收音区域(R1)上显示指示收音功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。如果用户注视空调区域(R2)，则可以在空调区域(R2)上显示指示空调控制功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。如果用户注视导航区域(R3)，则可以在导航区域(R3)上显示指示导航功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。如果用户注视座椅控制区域(R4),则可以在座椅控制区域(R4)上显示指示座椅控制功能的选择的视觉信息，并且可以在构成视觉信息的帧之间插入视觉刺激信号。
[0200]如果用户5注视座椅控制区域(R4)，则生成具有在座椅控制区域(R4)上显示的视觉刺激信号的频率的EEG信号。如果EEG检测器200检测到用户5的EEG信号，则EEG分析器分析检测到的EEG信号，使得可以确定用户5注视座椅控制区域(R4)。
[0201]如图29中所示，座椅控制区域(R4)可以被绘有阴影或者由粗线表示，使得可以提供用户注视座椅控制区域(R4)的用户操作的反馈。
[0202]座椅位置的设置值可以被预先存储在全自动座椅设备190中。例如，如果预先存储了四个设置值(即，#1设置、#2设置、#3设置和#4设置)，则可以在AVN显示器141上显示能够选择四个设置值中的一个的画面图像。可以将一个画面图像划分为四个区域(R41、R42、R43, R44)，并且可以将四个区域(R41、R42、R43、R44)分别分配到#1设置、#2设置、#3设置和#4设置。可以在各区域上显示具有不同频率的视觉刺激信号。在该情况下，可以使用在构成基本视觉信息的帧之间插入视觉刺激信号的方法。
[0203]例如，如果用户5注视M设置区域(R44)，则可以生成具有在M设置区域(R44)上显示的视觉刺激信号的频率(即，与#4设置区域(R44)对应的频率)的EEG信号。如果EEG检测器200检测到EEG信号，则EEG分析器分析检测到的EEG信号，并基于分析结果来确定频率。如果用户5注视基于所确定的频率的M设置区域(R44)，则控制器130将控制信号传输到全自动座椅设备190，使得可以根据#4设置值调整用户5的座椅位置。在该情况下，所调整的座椅可以是驾驶者座椅(191FL)或乘客座椅(191FR)，并且可以在选择设置值之前输入信息，其与指示将控制哪个座椅的选择有关。
[0204]虽然附图中未示出，但是可以在显示单元140上显示能够选择温度控制功能的区域，并且可以将具有特定频率的视觉刺激信号插入在对应的区域上显示的视觉信息中。如果用户5注视对应的区域并生成了具有特定频率的EEG信号，则控制器130可以通过控制空调设备180来调整车辆内部空间的空气温度。在该情况下，如果确定出用户注视对应的区域，如图15中所示，则可以根据用户对输入单元的操控来控制空调设备180，并且用于选择对应区域的温度的按钮被配置为使得对用户眼睛的识别能够被映射到温度选择。在后者情况下，可以在不对输入单元进行额外操控的情况下，将这种温度控制立刻调整到用户期望的温度。
[0205]如上所述，以上提到的显示装置100将具有特定频率的视觉刺激信号插入在显示器上显示的基本视觉信息中，测量当用户注视显示器时生成的具有特定频率的EEG信号，并确定用户意图，并且公开了包括显示装置100的车辆I。在以上提到的实施例中使用的特定功能和显示画面图像仅出于说明目的而公开，并且根据实施例的显示装置100和车辆I的范围和精神不限于此。因此，在将具有特定频率的视觉刺激信号插入在显示器上显示的基本视觉信息中并且测量当用户注视显示器时生成的具有特定频率的EEG信号的条件下确定用户意图之后，不管通过对用户眼睛的识别而执行的功能的类别如何，或者显示画面图像的构成如何，根据实施例的显示装置100或车辆I还可以应用于其他示例，而不脱离本发明的范围和精神。
[0206]下文中将描述根据实施例的显示方法。根据实施例的显示装置100或车辆I可以用于执行显示方法。因此，以上提到的显示装置100或车辆I的描述还可以应用于显示方法的实施例，并且为了方便描述，以下实施例将示例性公开用于使用车辆I执行显示方法的方法。
[0207]图30是根据本发明的实施例的显示方法的流程图。
[0208]参考图30，在操作510中，将视觉刺激信号插入基本视觉信息中。基本视觉信息被显示在显示单元140上，以便向用户提供信息或内容。生成具有特定频率的EEG信号，使得结果EEG信号与用于识别用户意图的视觉刺激信号区分开。另外，基本视觉信息可以在移动图像或静止图像中形成。如果基本视觉信息在移动图像中形成，则可以将视觉刺激信号插入在构成移动图像的帧之间。如果基本视觉信息在静止图像中形成，则可以将视觉刺激信号可以插入用于显示静止图像的过程中。替换地，可以以与移动图像相同的方式，根据预定帧速率显示静止图像，并且也可以将视觉刺激信号插入在静止图像帧之间。
[0209]在操作511中，使用EEG检测器200检测用户的EEG信号。如果用户注视具有特定频率的视觉刺激信号，则生成具有与特定频率相同的频率的EEG信号。因此，在从注视视觉刺激信号的用户检测到的EEG信号中包含特定频率分量。
[0210]在操作512中，EEG分析器120分析检测到的EEG信号，并且在操作513中，确定用户注视的区域。更详细地，EEG分析器120可以通过频率分析来辨别EEG信号的频率分量，并且可以不仅使用预先存储在存储设备160中的特定频率而且还使用与映射到特定频率的区域有关的信息来确定用户注视的区域。
[0211]如果确定了用户注视的区域，则在操作514中，基于用户注视的区域来控制设备。用户注视的区域以及与用户注视的区域对应的设备的控制操作可以被映射并存储在存储设备160中。例如，如果用户注视特定区域，则与要被控制的设备有关的信息以及与设备控制方法有关的信息可以被存储在存储设备160中。如果用户注视特定区域，则根据存储在存储设备160中的信息生成控制信号，并且可以将控制信号传输到对应的设备。
[0212]例如，可以基于用户注视的区域来确定要由输入单元控制的控制目标，可以立刻执行与用户注视的区域对应的功能，并且可以根据用户的使用历史信息来控制显示画面图像的构成。另外，如果用户5在交通灯的位置处没有注视交通灯，或者如果确定出虽然红灯亮，但是车辆没有停止行驶，则可以通过显示单元140和扬声器150中的至少一个输出警告消息。另外，如果用户注视显示单元140持续一预定参考时间或更长，则该用户注视行为持续很长时间可能妨碍安全驾驶，使得可以向用户提供将用于通知用户该妨碍的警告消息。
[0213]虽然为了方便描述，在显示方法中实施EEG检测，但是根据实施例的显示方法的范围或精神不限于EEG检测。
[0214]下文中将详细给出设备控制方法的详细实施例。
[0215]图31是示出在使用根据本发明的实施例的显示方法的情况下，用于基于用户注视的区域，通过输入单元确定控制对象的方法的流程图。
[0216]参考图31，在操作520中，将视觉刺激信号插入基本视觉信息中。例如，可以在AVN显示器141、集群显示器142和平视显示器143中的至少一个上显示视觉刺激信号，并且在各显示器上显示的视觉刺激信号可以具有不同频率。另外，如图16中所示，一个显示画面图像被划分为多个区域，并且可以分别在各区域中显示具有不同频率的视觉刺激信号。
[0217]在操作521中，使用EEG检测器200检测用户的EEG信号。从注视视觉刺激信号的用户检测到的EEG信号可以具有特定频率分量。与特定频率分量有关的信息可以被预先存储在存储设备160中。
[0218]在操作522中，EEG分析器120分析检测到的EEG信号，并在操作523中，确定用户注视区域。更详细地，EEG分析器120可以通过频率分析来辨别EEG信号的频率分量，并且可以不仅使用预先存储在存储设备160中的特定频率，还使用与映射到特定频率的区域有关的信息来确定用户注视的区域。
[0219]在操作524中，基于所确定的用户注视的区域，建立将由输入单元操控的目标对象，并且在操作525中，通过操控输入单元来控制目标对象的操作。例如，如果用户驾驶车辆1，并且如果用户注视的区域是AVN显示器141，则可以通过用户输入的或从输入单元接收的控制命令来控制AVN显示器141或AVN终端。也就是说，如果用户操控输入单元，则可以控制与用户注视的区域对应的功能或设备。在该情况下，将由用户操控的输入单元可以是任意输入单元。在该情况下，如果用户注视AVN显示器141，则虽然用户操控集群输入单元172，但是也能够控制AVN显示器141或AVN终端。作为结果，输入单元可以用于多个目的或用途，使得安装到车辆I的多个输入单元并非仅用于控制特定功能，而是所需的输入单元可以用于根据环境控制所需的功能。
[0220]图32是示出在使用根据本发明的实施例的显示方法的情况下，用于立刻执行与用户注视的区域对应的功能的方法的流程图。
[0221]参考图32，在操作530中，可以将视觉刺激信号插入基本视觉信息中。视觉刺激信号可以被显示在显示画面图像的一些区域上，如图18或图19中所示，并且可以在一些区域上显示具有与不同快捷方式功能对应的不同频率的视觉刺激信号。
[0222]在操作531中，使用EEG检测器200检测用户的EEG信号。从注视视觉刺激信号的用户检测到的EEG信号可以包括与用户注视的区域的视觉刺激信号的频率相同的频率分量。
[0223]在操作532中，EEG分析器120分析检测到的EEG信号，并在操作533中，确定用户注视的区域。更详细地，EEG分析器120可以通过频率分析来辨别EEG信号的频率分量，并且可以不仅使用预先存储在存储设备160中的特定频率，还使用与映射到特定频率的区域有关的信息来确定用户注视的区域。
[0224]另外，在操作534中，立刻执行与用户注视的区域对应的功能。虽然以上提到的示例公开了，如果用户注视特定区域，则可以通过操控输入单元来控制与对应区域对应的功能，但是注视特定区域的用户的用户操作也可以被用作控制命令的输入。如从以上提到的示例中可以看出，如果用户注视特定区域，则可以在没有输入单元的额外操控的情况下，立刻执行响应于特定区域的结束功能、导航功能、收音功能、蓝牙功能或视频功能。
[0225]图33是示出在使用根据本发明的实施例的显示方法的情况下，用于根据用户的使用历史信息来控制显示画面图像的构成要素的方法的流程图。
[0226]参考图33，在操作540中，可以将视觉刺激信号插入基本视觉信息中并显示所述视觉刺激信号。
[0227]在操作541中，使用EEG检测器200检测用户的EEG信号。如果用户注视具有特定频率的视觉刺激信号，则生成具有与特定频率相同的频率的EEG信号。从注视视觉刺激信号的用户检测到的EEG信号可以包括特定频率分量。
[0228]在操作542中，EEG分析器120分析检测到的EEG信号，并在操作543中，确定用户注视的区域。更详细地，EEG分析器120可以通过频率分析来辨别EEG信号的频率分量，并且可以不仅使用预先存储在存储设备160中的特定频率，还使用与映射到特定频率的区域有关的信息来确定用户注视的区域。
[0229]在操作544中，用户注视的区域被存储在存储设备160中，使得可以生成与用户的使用历史有关的数据库(DB)。
[0230]可以重复地执行操作540到544。如果累积了用户注视区域的存储行为，则生成使用历史的数据库(DB)。如从图16中可以看出，将一个显示画面图像划分为多个区域，并且将不同的功能分别映射到各区域，使得在操作545中，可以根据用户注视各区域次数来调整各区域的尺寸。例如，如图20中所示，可以放大用户频繁注视的区域的尺寸并显示所述区域。例如，如果用户频繁地选择收音功能，则可以放大收音区域(Rl)的尺寸并显示该区±或，并且可以根据用户选择的频率的顺序来调整剩余区域的尺寸。
[0231]图34是示出当用户注视外部视觉刺激信号时使用的显示方法的流程图。
[0232]参考图34，在操作550中，在基本视觉信息之间插入视觉刺激信号并显示所述视觉刺激信号。在该情况下，显示基本视觉信息和视觉刺激信号的显示器与安装到车辆中的显示器不相同，并且可以是广告显示设备320，例如位于周边区域的各种标识牌。在广告显示设备320上显示的视觉刺激信号的频率可以被预先存储在存储设备160中。
[0233]在操作551中，检测用户的EEG信号，在操作552中，分析检测到的EEG信号，并且在操作553中，确定用户注视的区域。
[0234]与各广告显示设备对应的关联信息可以被存储在存储设备160中。可以从广告显示设备320的企业或公司接收所存储的关联信息。在操作554中，控制器130可以搜索与用户5注视的广告显示设备320对应的关联信息，并且可以通过显示单元140和扬声器150中的至少一个提供关联信息。如果通过显示单元140提供关联信息，则关联信息可以以文本形式显示，或者关联信息可以使用增强现实技术与广告显示设备320重叠，使得重叠结果可以在广告显示设备320上显示。
[0235]图35是示出基于用户的使用历史信息来控制显示画面图像的构成要素的另一个方法的流程图。
[0236]参考图35，在操作560中，将视觉刺激信号插入基本视觉信息中并显示所述视觉刺激信号，并且在操作561中，使用EEG检测器200检测用户EEG信号。EEG分析器120在操作562中分析检测到的EEG信号，并在操作563中确定用户注视的区域。在操作564中，用户注视的区域被存储在存储设备160中。
[0237]可以重复地执行以上提到的操作560到564。如果累积了用户注视的区域的存储行为，则可以生成与使用历史有关的数据库(DB)。
[0238]图18、图19和图32所示的示例公开了，如果用户注视特定区域，则可以立刻执行与特定区域对应的功能。可以基于与使用历史相关的DB记录通过用户注视行为立刻执行的功能。例如，在操作565中，与用户频繁注视的区域对应的功能可以被记录为快捷方式功會K。
[0239]另一方面，与使用历史有关的DB可以不仅包括基于注视特定区域的用户的行为确定的使用历史，还包括基于从输入单元接收到的控制命令确定的使用历史。
[0240]另外，使用历史信息可以用于在车辆I内显示以上提到的用户适应性画面图像。如果从若干用户使用的若干车辆收集使用历史信息，则所收集的历史信息可以被用作客户研究或市场研究使用的大数据。
[0241]根据本发明的实施例的显示设备、车辆和显示方法可以将具有特定频率的视觉刺激信号插入基本视觉信息中，以便识别用户的眼睛，并且可以减小用户的眼睛疲劳且可以实现显示器的高效使用。
[0242]另外，通过识别用户的眼睛来识别用户意图，并且使用所识别的用户意图来控制设备，使得可以提高操控输入单元的用户的便利性并且可以保证车辆安全性。
[0243]如从以上描述显而易见的，根据实施例的显示装置、车辆和显示方法可以通过识别用户的眼睛来识别用户的意图，并且可以将识别结果应用到设备控制过程，从而提高操控输入单元的用户的便利性。
[0244]虽然已经示出并描述了本发明的几个实施例，但是本领域技术人员将理解，可以在不脱离本发明的原理和精神的情况下，对这些实施例作出改变，本发明的范围由权利要求以及它们的等效物限定。
【主权项】
1.一种显示装置，包括: 控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中； 显示单元，其被配置为显示用于生成脑电图(EEG)信号的所述视觉刺激信号和所述基本视觉信息；以及 脑电图(EEG)分析器，其被配置为确定所生成的EEG信号占有的频率。2.根据权利要求1所述的显示装置，其中所述视觉刺激信号生成的EEG信号包括稳态视觉诱发电位(SSVEP)。3.根据权利要求1所述的显示装置，其中所述显示单元以移动图像或静止图像的方式显示所述基本视觉信息。4.根据权利要求3所述的显示装置，其中: 如果所述基本视觉信息是以所述移动图像的形式显示的，则所述控制器在不显示构成所述移动图像的帧的特定时间处插入所述视觉刺激信号。5.根据权利要求1所述的显示装置，还包括: 通信单元，其被配置为从用于检测用户的EEG信号的脑电图检测器接收所生成的EEG信号。6.根据权利要求5所述的显示装置，其中所述EEG分析器基于所生成的EEG信号占有的频率来识别用户的眼睛。7.根据权利要求1所述的显示装置，其中所述控制器生成控制信号，以激活与所生成的EEG信号占有的频率对应的功能。8.根据权利要求1所述的显示装置，其中所述控制器将所述显示单元的画面图像划分为多个区域，并将具有不同频率的视觉刺激信号插入在所划分的区域上显示的基本视觉信息中。9.一种车辆，包括: 控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中； 显示单元，其被配置为显示用于生成脑电图(EEG)信号的所述视觉刺激信号和所述基本视觉信息；以及 通信单元，其被配置为从用于检测用户的EEG信号的EEG检测器接收EEG信号；以及 脑电图(EEG)分析器，其被配置为确定用户的EEG信号占有的频率，并基于所确定的频率来确定用户注视的区域。10.根据权利要求9所述的车辆，其中所述视觉刺激信号生成的脑电图(EEG)信号包括稳态视觉诱发电位(SSVEP)。11.根据权利要求10所述的车辆，其中所述显示单元包括多个显示器。12.根据权利要求11所述的车辆，其中所述控制器将具有不同频率的视觉刺激信号插入到在所述多个显示器上分别显示的基本视觉信息中。13.根据权利要求12所述的车辆，其中所述控制器控制与所述多个显示器当中的、用户注视的显示器相关的功能。14.根据权利要求13所述的车辆，还包括: 输入单元，其被配置为从所述用户接收控制命令， 其中所述控制器根据从所述用户操控的输入单元接收到的控制命令来控制与用户注视的显示器相关的功能。15.根据权利要求9所述的车辆，其中所述控制器将不同的视觉刺激信号插入到在所述显示单元的不同区域上显示的不同视觉信息中。16.根据权利要求15所述的车辆，其中如果所述用户注视所述显示单元的区域中的一个，则所述控制器立刻执行与所述区域中的所述一个对应的功能，使得立刻执行的功能被确定为快捷方式功能。17.根据权利要求16所述的车辆，其中所述控制器将所述用户频繁使用的功能或者所述用户频繁注视的功能确定为所述快捷方式功能。18.根据权利要求9所述的车辆，还包括: 扬声器，其被配置为输出声学信号或声音信号。19.根据权利要求18所述的车辆，其中如果所述用户注视所述显示单元持续预定参考时间或更长，则所述控制器通过所述显示单元和所述扬声器中的至少一个输出警告消息。20.根据权利要求18所述的车辆，其中如果所述用户未注视交通灯，则所述控制器通过所述显示单元和所述扬声器中的至少一个输出警告消息。21.根据权利要求18所述的车辆，其中如果所述用户注视交通灯当中的红灯并且如果所述车辆未停止行驶，则所述控制器通过所述显示单元和所述扬声器中的至少一个输出警告消息。22.根据权利要求9所述的车辆，其中所述显示单元放大与所述用户频繁使用的功能对应的区域的显示尺寸或者所述用户频繁注视的区域的显示尺寸。23.根据权利要求9所述的车辆，其中所述显示单元包括音频视频导航(AVN)显示器、集群显示器和平视显示器。24.一种显示装置，包括: 控制器，其被配置为根据预定频率将视觉刺激信号插入基本视觉信息中； 显示单元，其被配置为显示用于生成脑电图(EEG)信号的所述视觉刺激信号和所述基本视觉信息。25.—种用于接收注视广告显示设备的用户的脑电图(EEG)信号的车辆，所述广告显示设备不仅显示基本视觉信息，还显示根据预定频率被插入所述基本视觉信息中的视觉刺激信号，所述车辆包括: EEG分析器，其被配置为确定所述用户的EEG信号占有的频率，并基于所确定的频率来确定用户注视的区域；以及 控制器，如果用户注视的区域是所述广告显示设备，则所述控制器被配置为通过显示单元或输出单元提供与所述广告显示设备关联的信息。26.根据权利要求25所述的车辆，其中所述显示单元包括音频视频导航(AVN)显示器、集群显示器和平视显示器。27.根据权利要求26所述的车辆，其中所述平视显示器使用增强现实技术显示与所述广告显不设备关联的?目息。28.一种显示方法，包括以下步骤: 根据预定频率将视觉刺激信号插入基本视觉信息中； 接收用户的脑电图(EEG)信号；通过分析接收到的EEG信号来确定用户注视的区域；以及执行与用户注视的区域对应的控制功能。29.根据权利要求28所述的显示方法，其中确定用户注视的区域的步骤包括:确定接收到的EEG信号占有的频率；以及确定所确定的频率是否与所述视觉刺激信号的预定频率相同。30.根据权利要求28所述的显示方法，还包括以下步骤:将显示所述视觉刺激信号的区域映射到与该区域对应的控制功能，并存储映射结果。
【文档编号】G06F3/01GK105988582SQ201510789290
【公开日】2016年10月5日
【申请日】2015年11月17日
【发明人】洪起范, 闵柾晌
【申请人】现代自动车株式会社