用户接口和以3d手势模式无接触操作以硬件构成的操作元件的方法
【专利摘要】一种用户接口以及一种用于以3D手势无接触地操纵用户接口的以硬件构成的操作元件的方法。在此推荐一种用户接口和用于以3D手势无接触地操纵用户接口的以硬件构成的操作元件(12)(以下称为“按钮”)的方法，借助该方法通过在自由空间中实施的手势(以下称为3D手势)操作用户接口。所述方法包含步骤：?检测(100)用户的手(4)，?将所述手(4)与用户接口(1)的配属按钮(12)的区域相关联(200)，并且作为对此的响应，?向用户输出(300)提示(14,16)。
【专利说明】用户接口和从3D手势模式无接触操作从硬件构成的操作元件 的方法 现有技术
[0001] 本发明设及一种用户接口 W及一种用于无接触地操纵用户接口的W硬件构成的 操作元件Γ按钮"、"滑动调节器"、"旋按调节器"等)的方法。本发明尤其设及一种用于与运 种按钮无接触交互的新型方法。
[0002] 在自由空间中的手势操作优点在于越来越高的任意性。用户借助运种手势能够与 人机接口相互交流，而无需与输入设备发生肢体接触。例如通过基于光学和/或红外线的系 统识别所述手势并且转换成控制指令。至今，手势操作仅局限于W软件呈现的开关面或其 他交互区域。
[0003] DE102012000263A1公开了通过使用在Ξ维空间中实施的手势来操作车辆中功能 的方法和装置。若通过设置在车辆的车顶区域中的检测设备检测到用户的手在第一预定时 长中出现在有效的检测区域中，则激活手势控制。
[0004] DE102006037156A1描述一种交互的操作装置，通过该操作装置实现了对在显示装 置上显示的图形内容的手势操作。根据检测的操作意图，在显示装置上显示的图形内容被 显示用于激活与其关联的功能。在接近开关面时例如开关面放大显示。
[0005] DE102009008041A1公开了一种用于操作具有触摸屏的汽车的方法，其中设置用于 识别用于实施或启动实施汽车功能的手势。若在触摸屏的周围在没有触摸触摸屏的情况下 实施手的手势，则汽车的功能被实施。
[0006] 所述技术可能性通过前述现有技术仅能不充分地利用。因此本发明所要解决的技 术问题在于满足之前显示的需求。
【发明内容】
[0007] 前述技术问题按照本发明通过具有按照权利要求1所述的特征的方法W及通过具 有按照权利要求9所述的特征的用户接口解决。此外，还推荐用户终端设备、计算机程序产 品、信号串和行进器用于解决所述技术问题。所述方法用于无接触地操作W硬件构成的操 作元件。作为硬件构成的操作元件（出于简洁性W下常常称为"按钮"）在本发明的范畴中理 解为运样的元件，其外观不是主要通过位于其后的屏幕确定，例如其在所谓的触摸屏的透 明的触敏表面中是运种情况。运种操作元件在现代汽车中数量很多且种类多样，用于例如 实现座椅调节、空调调节、音乐播放的调节等。仅举例地将运些已知形式称为"按键"、"按 钮"、"旋钮"、"旋按钮"和"滑动调节器"Γ滑扭"）。按照本发明描述的用户接口设置为在3D 手势模式中也可W识别在空间中自由实施的手势(3D-手势)并且作为控制指令被接收。为 此在第一步骤中传感式检测用户的手。现有技术中尤其基于光学和/或红外线的系统被用 作传感器，但本发明不局限于运些实施形式。所述传感器具有检测区域，其中其能够足够高 分辨率地检测到通过用户的手实施的手势，用于根据预定的参照对该手势进行分类或评 估。在第二步骤中，将手分配给用户接口的配属于按钮的区域。换句话说，传感式监测的检 测区域的部分区域被分配给按钮，因此与按钮关联的功能能够通过检测区域的部分区域被 调用。3D检测区域和在用户接口的显示屏上显示的区域优选运样与用户表面相互对应，即 在图形用户表面(grafi Schen Ben泌ze抗)b:er.Mdie)上的每个区域对应传感式监测的检测 区域的相应部分区域。在运种情况中，也为按钮分配了在图形用户表面上的对应区域。此外 若手进入(检测区域或图形用户表面的)配属按钮的区域，则为用户发出提示。换句话说，用 户获知运样的事实，即其手已经到达配属按钮的检测区域。通过运种方式可W实现不同的 操作步骤，其在本发明的描述中被详细描述。用户通过本发明至少获知，当前是否已经建立 与按钮无接触的交互，或者其手是否为此必须进入到配属按钮的区域中。
[000引从属权利要求显示了本发明的扩展设计。
[0009] 如上所述，若用户已经将其手放入配属按钮的区域中，则用户可W实施用于启动 配属该按钮的功能的手势。运种手势例如可W是点击手势(也称为"敲击手势"）、拖拉和/或 投放(化ag and化op)手势、长按(英文"Long Press")手势或类似手势。按钮的关联的功能 例如是调用配属按钮的菜单点（例如："导航"、"广播"、"车载电脑"、巧通信思'等）。通过运 种方式用户不必接触按钮并且因此也不必离开其舒适的乘坐位置来启动与按钮关联的功 能。通过运种方式可W提高按照本发明构造的行进器的交通安全性，因为驾驶员的乘坐位 置仅需为了操作按钮而略微改变。
[0010] 检测区域的配属按钮的区域位于检测区域的边缘区域中。所述区域通常也配属在 显示单元上显示的图形用户表面的边缘区域。因为在显示单元的边界内通常不设置按钮 (屏幕始终是封闭的面），但是显示单元常常被硬件操作元件环绕，由此实现特别直观可见 的关联。当显示单元的仅在按钮的高度上设置的边缘区域的部段为观察者关联按钮，并且 其他边缘区域配属其他按钮时，则实现了特别直观的关联。通过运种方式尤其产生运种可 能性，即多个或全部的围绕显示单元的按钮按照本发明通过3D手势操作。
[0011] 提示的输出例如可W在显示单元(屏幕)上进行，方法是配属按钮的区域被光学地 凸显。例如还可W在屏幕上显示按钮的光学再现。其优选在配属按钮的区域中并且在按钮 外进行，其中可选地其他屏幕内容被叠加。作为备选或补充可W借助声电转换器输出信息。 作为备选或补充，按钮自身被光学地凸显。在现有技术中，调用预定功能的按钮可W廉价地 和运行可靠地借助发光二极管(LED)背光照明。因此按钮的光学凸显通过改变光颜色和/或 光强度进行。光强度的改变例如通过调制用于产生闪光信号的能量供给装置进行。
[0012] 在预定时长结束之后，所述提示结束并且按钮的光学再现的显现逆向地进行。在 此按钮的光学再现优选沿相反方向离开，其W原方向显现。换句话说，当扭矩布置在显示单 元右侧时，光学再现向左插入显示单元的图形内容中，并且在预定的时长结束后或者手从 用户接口的配属按钮的区域离开时，光学再现向右滑出。
[0013] 为了光学地显示所述再现具有大量的造型可能性，它们W下仅扼要地讨论。光学 再现例如作为显示单元的其他图形内容的（部分)透明的叠加而被叠放。通过运种方式可W 凸显所述显现的临时的特性。作为备选或补充，光学再现可W动画显示并且在此具有不同 的透明值、波状的运动和/或位置改变的闪光或"闪烁"。作为前述构造可能性的补充(借助 所述构造标出光学再现的临时特性），还可W附加地实现所述再现的视觉上吸引人的造型。
[0014] 按照本发明的第二主题推荐一种用户接口，其具有用于识别在空间中自由实施的 手势的传感器。此外提供一种显示单元(例如矩阵显示器的形式或"屏幕及一种用于W 传感器的信号识别多个手势的评估单元。所述评估单元例如设计为电子控制器并且包含可 编程的处理器。设置在显示单元旁边的、w硬件构成的操作元件配备至少一个预定的功能。 换句话说，可能在显示单元上叠加的触敏的操作表面在本发明的范畴中不能理解为"按 钮"。按照本发明，用户接口设置用于作为对借助评估单元识别到的、在配属按钮的3D检测 区域中的出现的响应，为用户输出提示。结合按照本发明的方法所作的说明运样适用于按 照本发明的用户接口的特征、特征组合和由此得出的优点，即为了避免重复而引用上述说 明。
[0015] 按照本发明的第Ξ主题推荐一种用户终端设备，其例如是移动电子设备。尤其电 子无线通信设备（智能手机、笔记本电脑、平板电脑等)理解为按照本发明可用的用户终端 设备。用户接口被集成在用户终端设备中，借助其用户终端设备设置用于实施按照本发明 第一主题所述的方法。所述特征和优点相应地得出。
[0016] 按照本发明的第四主题推荐一种计算机程序产品（例如数据存储器），在其上保存 指令，该指令使得用户接口的可编程处理器能够实施按照本发明第一主题所述的方法的步 骤。所述计算机程序产品可W设计为CD、DVD、蓝光盘、闪存、硬盘、RAM/R0M、缓存等。
[0017] 按照本发明的第五主题推荐一种再现所述指令的信号串，其使得用户接口的可编 程处理器能够实施按照本发明第一主题所述的方法的步骤。通过运种方式还可W保护对于 运种情况的指令的信息技术的提供，即为此需要的存储器位于所附权利要求的适用范围之 外。
[0018] 按照本发明的第六主题推荐一种行进器，其例如设计为轿车、运输器、卡车、陆地 和/或水上交通工具。该行进器包含按照本发明第二主题的用户接口，其中显示单元设计为 固定安装在行进器的仪表盘的中央屏幕和/或设计为行进器的组合仪表盘。通过运种方式， 结合按照本发明的用户接口阐述的特征、特征组合和由此产生的优点能够通过按照本发明 的行进器实现。
【附图说明】
[0019] W下参照附图详细描述本发明的实施例。在附图中：
[0020] 图1示出在按照本发明的行进器的实施例中的按照本发明的用户接口的实施例的 部件的示意概览图；
[0021] 图2示出在按照本发明的用户终端设备的实施例中的按照本发明的用户接口的第 二实施例的部件的示意概览图；
[0022] 图3示出按照本发明的用户接口的第一操作步骤的视图；
[0023] 图4示出用于操作按照本发明的用户接口的可能的手势的选择；
[0024] 图5示出用于无触摸操作按钮的操作步骤的视图；
[0025] 图6示出与图5中所示的操作步骤相连的操作步骤的视图；
[0026] 图7示出与图6中所示的操作步骤相连的操作步骤的视图；
[0027] 图8示出用户与第一按钮的光学再现的交互的视图；
[00%]图9示出用户与第二按钮的光学再现的交互的视图；
[0029] 图10示出用于无触摸地操作按照根据本发明的用户接口的第二实施例的按钮的 操作步骤的视图；
[0030] 图11示出与图10所示的操作步骤相连的操作步骤的视图；和
[0031] 图12示出按照本发明的方法的实施例的步骤的流程图。
【具体实施方式】
[0032] 图1示出作为行进器的轿车10,其中屏幕3作为按照本发明的用户接口 1的显示单 元嵌入仪表盘中。传感器5设置在屏幕3下方，所述传感器在屏幕3之前的空间中展开检测区 域9。扬声器11设置用于为用户输出提示。最后包含用来提供用于手势识别的预定义参照的 数据存储器8。前述部件与电子控制器7形式的评估单元信息技术地相连。电子控制器7此外 设置用于在屏幕3上显示菜单形式的图形内容2。
[0033] 图2示出在按照本发明的智能手机20形式的用户终端设备的实施例中、按照本发 明的用户接口的实施例的部件的概览图。智能手机20的按键6部分地剖切，从而能够看到位 于按键后的部件。智能手机20的屏幕3呈现为显示单元，处理器7呈现为评估单元，闪存8呈 现为存储器件，并且扬声器呈现为按照本发明的用户接口 1的信号输出装置。此外红外LED 条5作为传感器与微处理器7信息技术地相连。微处理器也与天线17禪连，用于与无线基站 或其他用户设备无线地通信。
[0034] 图3示出作为显示单元的屏幕3,在所述屏幕上显示了用于选择广播电台的菜单2。 用户的手4位于传感器5在屏幕3前方的检测区域9中（传感器和检测区域运二者都未示出）， 用户通过手可W实施用于操作导航的3D手势。
[0035] 图4示出用于与按照本发明的用户接口 1交互的可能的手悬停和手势。在子视图a 中手4的打开的手屯、朝向屏幕3。手4的手指展开并略微分开。在子视图b中示出手4的指示手 势，其中仅手4的食指4展开，而其余手指弯曲成拳头。在子视图C中示出点击手势或敲击手 势，其中手4的食指首先展开并接下来朝向屏幕3弯折用于激活与开关面关联的功能。
[0036] 图5示出用户接口的屏幕3,其上显示用于选择电台的菜单2作为图形内容。用户的 手4位于(未示出的）检测区域的右上边缘区域中。该区域配属在屏幕3上通过红色框15标注 的区域。在该区域右侧布置四个按钮12a、12b、12c、12d。所述按钮12a、12b、12c、12d作为按 键配属功能"导航"、"交通提醒"、"车载电脑"、"主菜单"。镜像地在屏幕3的左侧设置四个其 他按钮12e、12f、12g、l化，其配属功能"广播V'媒体V甫话'和"通话'。
[0037] 图6示出用于为用户输出W下提示的可能性，即其手4停留在配属按钮12a、12b、 12c、12d的用户接口的区域中。作为对此的响应，（未示出的)评估单元开始在菜单2中插入 或与菜单2重叠地示出按钮12a、12b、12c、12d的光学再现14a、14b、14c、14d。
[0038] 图7示出图6所示布局在进一步的插入过程的视图。
[0039] 图8示出图7所示布局在插入过程结束时的视图。再现14a、14b、14c、14d和所配属 的按钮12曰、126、12(3、12(1分别位于屏幕边缘的相同高度上。最上的按钮12曰通过光学再现 14a表征。为了与按钮12a交互，用户将其手4放入检测区域的配属于光学再现14a的部分区 域中，运通过红框15显示。在此，红框15仅表征一个过程，该过程在图形的用户接口的区域 中也称为"鼠标经过事件"。在现有技术中所有用于光学凸显开关面的已知措施可W被采 用，W便W光学方式响应也用于光学再现14a的所述过程。为了选择与光学再现14a或按钮 12a关联的功能"导航"，用户此时可W用其手4实施点击手势或敲击手势。备选的、用户可W 向下改变其手4的位置，由此在图9中所示的、用于交通通知的相应视图出现。
[0040] 图10示出具有备选构造的用户接口的操作步骤的视图。用户将其手4放入(未示出 的)检测区域的下部区域中，该区域配属屏幕3的菜单2的下部区域。该区域通过红框15光学 地凸显。设置在屏幕3的下方的开关面12i、12k、121、12m、1化和12p配属空调设备。扬声器/ 音符标志16显示了声音提示的输出，借助其用户获知其手4进入了特征化的区域中。
[0041] 图11显示了用户的手4在图10中凸显的区域中停留的结果。在此手4处于（未示出 的)检测区域的部分区域中，该部分区域配属用于放脚空间的空气分布(参照红框15)。对应 的功能调用的可能性再次通过输出声音信号(通过扬声器/音符标志16表征)提醒。通过水 平运动，用户的手4也可W操作光学再现141、14以141、1411或149，用于控制与它们关联的功 能。W硬件构成的按钮121、12以121、12111、1化、1化的接触操作通过运种选项明显没有发生。
[0042] 图12显示按照本发明的方法的实施例的方法步骤。在此，在步骤100中用户的手被 传感式检测，并且在步骤200中将配属用户接口的按钮的区域与手关联。换句话说需要检 巧。，手位于运样的区域中，该区域按照本发明地设置用于无接触地操作按钮。作为对步骤 300的相应，为用户输出运样的提示，即他的手位于用于无接触操作按钮的区域中。为此在 用户接口的屏幕上、在按钮的高度上显示按钮的光学再现。在步骤400中在该区域中检测到 用户的预定义的手势，其与按钮关联的功能相关联。所述手势例如是用于操作所述再现的 点击手势或敲击手势。作为对该预定义的手势的响应，在步骤500中调用与按钮关联的功 能。结果是，W硬件构成的并且用于触摸操作的操作元件仅通过实施3D手势就能被使用W 调用相关联的功能。
[0043] 尽管按照本发明的主题和有利的实施形式借助结合附图描述的实施例被详细说 明，而对于本领域技术人员仍可修改和组合所示实施例的特征，只要不脱离本发明的通过 权利要求限定的保护范围即可。
[0044] 附图标记清单
[0045] 1用户接口
[0046] 2 菜单
[0047] 3 屏幕 [004引 4用户的手
[0049] 5红外L邸条/传感器
[0050] 6 按键
[0化1] 7电子控制器/处理器
[0化2] 8数据存储器
[0化3] 9检测区域
[0054] 10 汽车
[0化5] 11扬声器
[0化6] 12按钮
[0化7] 14光学再现
[0化引 15红框
[0化9] 16声音提示
[0060] 17 天线
[0061 ] 20智能手机
[0062] 100-500 方法步骤
【主权项】
1. 一种用于以3D手势无接触地操纵用户接口（1)的以硬件构成的操作元件（12)的方 法，所述操作元件以下称为"按钮"，借助该方法通过在自由空间中实施的手势能够操作用 户接口（ 1 )，所述手势以下称为3D手势，所述方法包含以下步骤： -检测（100)用户的手(4)， -将所述手(4)与用户接口（1)的配属按钮(12)的区域相关联(200)，并且作为对此的响 应， -向用户输出（300)提示（14,16)。2. 按照权利要求1所述的方法，还包含： -在配属按钮(12)的区域中识别(400)用户的预定义的手势，并且 -启动(500)与按钮(12)关联的功能。3. 按照权利要求2所述的方法，其中，配属按钮（12)的区域位于检测区域(9)的边缘区 域中和/或用户接口（1)的显示单元(3)的边缘区域中。4. 按照前述权利要求之一所述的方法，其中，按钮（12)与用户接口（1)的屏幕相邻地布 置。5. 按照前述权利要求之一所述的方法，其中，所述提示（14，16)的输出（300) -在屏幕上和/或 -借助声电转换器(11)，和/或 -借助按钮（12)的光学凸显、尤其借助LED进行。6. 按照前述权利要求之一所述的方法，其中，所述提示（14,16)包含按钮（12)的光学再 现（14)在屏幕(3)上的显现。7. 按照权利要求6所述的方法，其中，光学再现（14)的显现在屏幕（3)的边缘区域（13) 上进行，该边缘区域紧邻所述按钮(12)。8. 按照权利要求6或7所述的方法，其中，光学再现（14)的显现在离开配属按钮（12)的 区域之后经过预定的时长后结束。9. 一种用户接口，包含： -用于识别在空间中自由实施的手势的传感器(5)，所述手势以下称为3D手势， -显示单元(3)， -用于识别传感器(5)的信号的形式的多个手势的评估单元(7)，和 -设置在显示单元(3)旁边的、以硬件形式构成的操作元件（12)，该操作元件以下称为 "按钮"， 其中，用户接口（1)设置为，作为对借助评估单元(7)识别的、在配属按钮（12)的区域中 的3D手势的响应，向用户输出（300)提示（14,16)。10. 按照权利要求9所述的用户接口，其中，按钮（12)设计为旋转调节器、开关、滑块调 节器或类似装置。11. 按照权利要求9或10所述的用户接口，其中，传感器(5)是光学传感器和/或在红外 区域起作用的传感器。12. -种用户终端设备，尤其是电子的无线通信设备，包含按照权利要求9至11之一所 述的用户接口（1)。13. -种包含指令的计算机程序产品，当所述指令在按照权利要求9至11之一所述用户 接口（1)的评估单元(7)上实施时，所述指令触发评估单元(7)实施按照权利要求1至8之一 所述的方法的步骤。14. 一种再现指示的信号串，当所述指令在按照权利要求9至11之一所述用户接口（1) 的评估单元(7)上实施时，所述指令触发评估单元(7)实施按照权利要求1至8之一所述的方 法的步骤。15. -种行进器，包含按照权利要求9至11之一所述用户接口（1)，其中显示单元（3)设 计为固定安装在行进器（10)的仪表盘中的中央屏幕和/或设计为行进器（10)的多功能仪 表。
【文档编号】G06F3/023GK105992990SQ201580007947
【公开日】2016年10月5日
【申请日】2015年2月9日
【发明人】H.怀尔德, M.P.切尔尼克
【申请人】大众汽车有限公司