专利名称：一种3d虚拟投影及虚拟触摸的用户交互界面及实现方法
技术领域：
本发明涉及显示设备，尤其涉及一种在显示设备中实现3D虚拟投影及虚拟触摸的用户交互界面及实现方法。
背景技术：
目前，已经有出现在虚拟屏幕上实现触摸的操作，但还没有在3D虚拟显示的用户交互界面上实现虚拟触摸操作。例如，专利号为200910197205. 2，专利名称为“一种可视可操作无实体的触摸屏系统”中，公开了一种可视可操作无实体的触摸屏系统，该系统由一台计算机，两个网络摄像头，一个头戴式显示器，以及一个标定参照物组成，该参照物标定了一个虚拟触摸屏。用户可以通过头戴式显示器观察含有虚拟触摸屏的现实世界。并且可以直接用手操作没有实体的触摸屏。本发明采用两个摄像头进行实时的图像采集。计算机系统根据摄像头输入的图像。在标定参照物的配合下进行空间定标与指尖位置动作识别，并且合成相应的图像。头戴式显示器把含有虚拟触摸屏的图像输出给用户。用户通过头戴式显示器直接观察到虚拟触摸屏的反馈。该专利中，虽然实现了在虚拟屏幕上进行触摸的操作，但未实现在3D虚拟显示的用户交互界面上实现虚拟触摸工作。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种给用户带来全新的交互体验的3D虚拟投影及虚拟触摸的用户交互界面及实现方法。本发明的技术方案为一种3D虚拟投影及虚拟触摸的用户交互界面，其包括以下部件
深度探测器用于探测用户头部及手部与3D显示设备的距离信息； 双眼图像视差计算模块根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到距用户头部臂长范围的双眼图像视差；
双眼图像处理模块将左右眼显示的图像处理达到双眼图像视差计算模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；
3D显示设备把双眼图像处理模块进行处理过的双眼视差图像以3D显示，使用户交互界面以3D虚拟投影的方式显示在用户头部臂长范围内；
手势识别模块使用摄像头摄取用户手部运动轨迹，并结合深度探测器得到的用户手部与3D显示设备的距离信息，识别手势； 摄像头摄取用户手部的运动轨迹；
虚拟触摸控制器接收手势识别模块的信息，并做出相应反应； 其中，所述深度探测器的输出端与双眼图像视差计算模块的输入端连接，双眼图像视差计算模块的输出端与双眼图像处理模块的输入端连接；双眼图像处理模块的输出端与 3D显示设备连接；手势识别模块的输入端分别与深度探测器和摄像头连接，手势识别模块的输出端与虚拟触摸控制器连接。所述3D显示设备为电视机、电脑、一体机或手机等手持显示设备。本发明中，3D虚拟投影及虚拟触摸的用户交互界面的实现方法包括以下步骤
1)、深度探测器探测得到用户头部和手部与3D显示设备距离信息，并将探测的距离信息发送给双眼图像视差计算模块；
2)、双眼图像视差计算模块根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到用户头部臂长范围的双眼图像视差，并将双眼图像视差信息发送给双眼图像处理模块；
3)、双眼图像处理模块根据接收的双眼图像视差信息，将左右眼显示的图像处理达到双眼视差模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；
4)、3D显示模块接收双眼图像处理模块发送的处理好的3D图像，以3D方式显示并将图像虚拟投影在用户臂长范围；
5)、手势识别模块根据深度探测器和摄像头识别到用户手势及手指移动轨迹，并将接收的信息发送给虚拟触摸控制器，虚拟触摸控制器根据用户手势及移动轨迹做出相应的反应。本发明所述步骤5中，当用户做出手势动作时，深度探测器探测用户手指到3D显示设备的距离，并将获取的距离信息发送给手势识别模块；摄像头摄取用户手势动作的图像，也将获取的信息发送给手势识别模块，手势识别模块接收两者的信息后，与3D虚拟显示的用户交互界面的位置做比对，判断用户是否触摸到3D虚拟显示的用户交互界面，并将判断结果发送给虚拟触摸控制器，若有触摸到，则虚拟触摸控制器做出反应，在用户手指触摸到的3D虚拟显示的用户交互界面上产生诸如水波纹或高亮等变化；若没触摸到，虚拟触摸控制器则不反应；
当用户手指在3D虚拟显示的用户交互界面上移动时，摄像头摄取手指移动轨迹，并将获取的信息发送给手势识别模块，手势识别模块判别用户的手势，并将判断结构发送给虚拟触摸控制器，虚拟触摸控制器收到信息后，做出相应反应。采用本发明的技术方案，综合利用深度探测技术，3D显示技术以及手势识别技术， 创造出一种全新的3D虚拟触摸交互方式，克服目前触摸不能离开屏幕，而手势不能与交互的对象距离较远的问题；用户不仅可以实现在虚拟屏幕上进行触摸操作，还可实现3D虚拟投影。本发明不仅可以实现增加一种带反馈的，虚拟投影、虚拟触摸的3D用户界面，而且带给用户使用方便和全新的交互体验。
下面结合附图和具体实施方式
对本发明作进一步详细的说明 图1是发明的结构示意图2是本发明的流程图。
具体实施例方式下面结合具体实施方式
对本发明作进一步详细的说明
如图1或图2所示，本发明的技术方案为一种3D虚拟投影及虚拟触摸的用户交互界面，其包括以下部件
深度探测器1 用于探测用户头部及手部与3D显示设备4的距离信息； 双眼图像视差计算模块2 根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到距用户头部臂长范围的双眼图像视差；
双眼图像处理模块3 将左右眼显示的图像处理达到双眼图像视差计算模块2计算的双眼图像视差，再将处理后的图像发送给3D显示设备4 ；
3D显示设备4 把双眼图像处理模块3进行处理过的双眼视差图像以3D显示，使用户交互界面以3D虚拟投影的方式显示在用户头部臂长范围内；
手势识别模块5 使用摄像头摄取用户手部运动轨迹，并结合深度探测器得到的用户手部与3D显示设备的距离信息，识别手势； 摄像头6 摄取用户手部的运动轨迹；
虚拟触摸控制器7 接收手势识别模块的信息，并做出相应反应； 其中，所述深度探测器1的输出端与双眼图像视差计算模块2的输入端连接，双眼图像视差计算模块2的输出端与双眼图像处理模块3的输入端连接；双眼图像处理模块3的输出端与3D显示设备4连接；手势识别模块5的输入端分别与深度探测器1和摄像头6连接，手势识别模块5的输出端与虚拟触摸控制器7连接。所述3D显示设备4为电视机、电脑、一体机或手机等手持显示设备。本发明中，3D虚拟投影及虚拟触摸的用户交互界面的实现方法包括以下步骤
1)、深度探测器1探测得到用户头部和手部与3D显示设备4距离信息，并将探测的距离信息发送给双眼图像视差计算模块2 ；
2)、双眼图像视差计算模块2根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到用户头部臂长范围的双眼图像视差，并将双眼图像视差信息发送给双眼图像处理模块3 ；
3)、双眼图像处理模块3根据接收的双眼图像视差信息，将左右眼显示的图像处理达到双眼视差模块计算2的双眼图像视差，再将处理后的图像发送给3D显示设备4 ；
4)、3D显示模块4接收双眼图像处理模块3发送的处理好的3D图像，以3D方式显示并将图像虚拟投影在用户臂长范围；
5)、手势识别模块5根据深度探测器1和摄像头6识别到用户手势及手指移动轨迹，并将接收的信息发送给虚拟触摸控制器7，虚拟触摸控制器7根据用户手势及移动轨迹做出相应的反应。本发明所述步骤5中，当用户做出手势动作时，深度探测器1探测用户手指到3D 显示设备4的距离，并将获取的距离信息发送给手势识别模块5 ；摄像头6摄取用户手势动作的图像，也将获取的信息发送给手势识别模块5，手势识别模块5接收两者的信息后，与 3D虚拟显示的用户交互界面的位置做比对，判断用户是否触摸到3D虚拟显示的用户交互界面，并将判断结果发送给虚拟触摸控制器7，若有触摸到，则虚拟触摸控制器7做出反应， 在用户手指触摸到的3D虚拟显示的用户交互界面上产生诸如水波纹或高亮等变化；若没触摸到，虚拟触摸控制器7则不反应；
当用户手指在3D虚拟显示的用户交互界面上移动时，摄像头6摄取手指移动轨迹，并将获取的信息发送给手势识别模块5，手势识别模块5判别用户的手势，并将判断结构发送给虚拟触摸控制器7，虚拟触摸控制器7收到信息后，做出相应反应。例如若用户触摸到的是按键，虚拟触摸控制器7则响应这个按键功能；若触摸到的是缩放按键，则虚拟触摸控制器7响应屏幕缩放功能。若手势识别模块5检测到触摸有手的位移，则虚拟触摸控制器7 根据预先设定的手势定义做出相应反应。 采用本发明的技术方案，综合利用深度探测技术，3D显示技术以及手势识别技术， 创造出一种全新的3D虚拟触摸交互方式，克服目前触摸不能离开屏幕，而手势不能与交互的对象距离较远的问题，给用户提供一种带反馈的，虚拟投影、虚拟触摸的3D用户界面，而且带给用户使用方便和全新的交互体验。
权利要求
1.一种3D虚拟投影及虚拟触摸的用户交互界面，其特征在于其包括以下部件深度探测器用于探测用户头部和手部与3D显示设备的距离信息；双眼图像视差计算模块根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到距用户头部臂长范围内的双眼图像视差；双眼图像处理模块将左右眼显示的图像进行处理达到双眼图像视差计算模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；3D显示设备把双眼图像处理模块处理过的双眼视差图像以3D显示，使用户交互界面以3D虚拟投影的方式显示在用户头部臂长范围内；手势识别模块使用摄像头摄取用户手部运动轨迹，并结合深度探测器得到的用户手部与3D显示设备的距离信息，识别手势；摄像头摄取用户手部的运动轨迹；虚拟触摸控制器接收手势识别模块的信息，并做出相应反应；其中，所述深度探测器的输出端与双眼图像视差计算模块的输入端连接，双眼图像视差计算模块的输出端与双眼图像处理模块的输入端连接；双眼图像处理模块的输出端与 3D显示设备连接；手势识别模块的输入端分别与深度探测器和摄像头连接，手势识别模块的输出端与虚拟触摸控制器连接。
2.根据权利要求1所述的3D虚拟投影及虚拟触摸的用户交互界面，其特征在于所述 3D显示设备为电视机、电脑、一体机、手机或手持显示设备。
3.—种3D虚拟投影及虚拟触摸的用户交互界面的实现方法，其特征在于所述实现方法包括以下步骤1)深度探测器探测得到用户头部和手部与3D显示设备距离信息，并将探测的距离信息发送给双眼图像视差计算模块；2)双眼图像视差计算模块根据接收的距离信息计算出将用户交互界面通过3D显示虚拟投影到用户头部臂长范围的双眼图像视差，并将双眼图像视差信息发送给双眼图像处理模块；3)双眼图像处理模块根据接收的双眼图像视差信息，将左右眼显示的图像处理达到双眼视差模块计算的双眼图像视差，再将处理后的图像发送给3D显示设备；4)3D显示模块接收双眼图像处理模块发送的处理好的3D图像，以3D方式显示并将图像虚拟投影在用户臂长范围；5)手势识别模块根据深度探测器和摄像头识别到用户手势及手指移动轨迹，并将接收的信息发送给虚拟触摸控制器，虚拟触摸控制器根据用户手势及移动轨迹做出相应的反应。
4.根据权利要求3所述的3D虚拟投影及虚拟触摸的用户交互界面的实现方法，其特征在于所述步骤5中，当用户做出手势动作时，深度探测器探测用户手指到3D显示设备的距离，并将获取的距离信息发送给手势识别模块；摄像头摄取用户手势动作的图像，也将获取的信息发送给手势识别模块，手势识别模块接收两者的信息后，与3D虚拟显示的用户交互界面的位置做比对，判断用户是否触摸到3D虚拟显示的用户交互界面，并将判断结果发送给虚拟触摸控制器，若有触摸到，则虚拟触摸控制器做出反应，在用户手指触摸到的3D 虚拟显示的用户交互界面上产生水波纹或高亮变化；若没触摸到，虚拟触摸控制器则不反应；当用户手指在3D虚拟显示的用户交互界面上移动时，摄像头摄取手指移动轨迹，并将获取的信息发送给手势识别模块，手势识别模块判别用户的手势，并将判断结果发送给虚拟触摸控制器，虚拟触摸控制器收到信息后，做出相应反应。
全文摘要
本发明公开一种3D虚拟投影及虚拟触摸的用户交互界面及实现方法，包括深度探测器、双眼图像视差计算模块、双眼图像处理模块、3D显示设备、手势识别模块、摄像头和虚拟触摸控制器。深度探测器探测得到用户头部和手部与3D显示设备距离信息；双眼图像视差计算模块根据距离信息计算双眼图像视差，双眼图像处理模块根据双眼图像视差信息处理图像，再将处理后的图像发送给3D显示设备虚拟投影在用户臂长范围；手势识别模块根据深度探测器和摄像头识别到用户手指移动轨迹，虚拟触摸控制器根据用户手势及移动轨迹做出相应的反应。本发明不仅可以实现增加一种带反馈的，虚拟投影、虚拟触摸的3D用户界面，而且带给用户使用方便和全新的交互体验。
文档编号G06F3/01GK102508546SQ20111033654
公开日2012年6月20日 申请日期2011年10月31日 优先权日2011年10月31日
发明者陈阳 申请人:冠捷显示科技(厦门)有限公司