大屏幕交互系统及其交互方法
【专利摘要】本发明提供大屏幕交互系统及其交互方法，包括：获取屏幕图像信息的设备端；与所述设备端连接，接收所述设备端图像信息的服务端；与所述服务端连接，接收所述服务端的信息并显示于屏幕上的客户端；与所述客户端连接的拼接控制器。本发明提供大屏幕交互系统及其交互方法，使得大屏幕交互系统交互技术精度高、灵活、触控面积做得很大。
【专利说明】
大屏幕交互系统及其交互方法
技术领域
[0001]本发明涉及人机交互领域，尤其涉及大屏幕交互系统及其交互方法。
【背景技术】
[0002]进入智能时代，触摸屏技术越来越受到关注，广泛地应用于各个领域。触摸屏不仅消除了鼠标，给用户带来极大的方便之外，给人机交互这个领域，也带来了前所未有的发展。
[0003]目前除了手机、电脑等小型设备的触摸技术之外，更趋向于研究大尺寸的触摸屏。通常使用的雷达触控，其成本高、触控精度低;红外框触摸屏，由于本身的技术问题，边框尺寸无法做大，而且只能触控单个信号，信号尺寸与边框大小一致。
【发明内容】
[0004]为了解决上述问题，本发明提供大屏幕交互系统及其交互方法，使得大屏幕交互系统交互技术精度高、灵活、触控面积做得很大。
[0005]本发明的大屏幕交互系统，包括:获取屏幕图像信息的设备端；与上述设备端连接，接收上述设备端图像信息的服务端;与上述服务端连接，接收上述服务端的信息并显示于屏幕上的客户端;与上述客户端连接的拼接控制器。
[0006]优选地，上述设备端包括获取屏幕图像信息的摄像机和与上述摄像机连接的设备端丰吴块。
[0007]优选地，上述设备端模块包括用于调度整个控制流程的设备端核心控制单元;与上述摄像机连接的摄像头数据采集单元;与上述摄像头数据采集单元和上述设备端核心控制单元连接的核心算法分析单元;与上述设备端核心控制单元连接的本地触控消息转化单元;与上述设备端核心控制单元连接的USB遥控检测单元;与上述设备端核心控制单元连接的服务器数据交换单元。
[0008]优选地，上述客户端包括用于调度整个控制流程的客户端核心控制单元；与上述客户端核心控制单元连接的网络连接单元;与上述客户端核心控制单元连接的本地触控事件转换单元;与上述客户端核心控制单元连接的手势识别算法单元。
[0009]优选地，上述客户端为台式电脑、笔记本电脑、安卓手机、安卓平板。
[0010]优选地，还包括多个设备端和多个客户端。
[0011]优选地，上述设备端、上述服务端、上述客户端以及上述拼接控制器是通过局域网连接。
[0012]本发明还提供大屏幕交互系统的交互方法，包括:
[0013]S1:上述摄像机获取图像信息；
[0014]S2:上述设备端模块接收上述摄像机的图像信息进行数据处理，上述设备端模块将触控数据传输给上述服务端；
[0015]S3:上述客户端接收上述服务端的触控数据，并通过同步上述拼接控制器完成动作响应。
[0016]优选地，根据权利要求7上述的大屏幕交互系统方法，上述S2步骤包括:
[0017]S201:开始；
[0018]S202:读取本地配置文件；
[0019]S203:加载摄像头，如果成功加载，则继续下一步，如果没有成功加载，则出现错误提示，然后结束；
[0020]S204:改变摄像头参数；
[0021]S205:遥控器按键检测；
[0022]S206:模式切换，如果需要模式切换，则回到S204步骤，如果不需要模式切换，则继续下一步；
[0023]S207:异步停止，如果是，则结束，如果不是，则继续下一步；
[0024]S208:图像获取；
[0025]S209:算法触控点识别；
[0026]S210:实物交互模式，如果是，则执行实物文件打开操作，然后回到S205步骤，如果不是，则继续下一步；
[0027]S211:网络模式，如果是，则继续下一步，如果不是则本地产生触控消息，然后回到S205步骤；
[0028]S212:触控数据发送至服务器，重新回到S205步骤。
[0029]优选地，上述S3步骤包括:
[0030]S301:开始；
[0031]S302:加载本地配置；
[0032]S303:确认是否成功登陆至服务器，如果成功，则继续下一步，如果没有成功，则返回第S302步骤；
[0033]S304:接收触控数据；
[0034]S305:是否终止，如果是，则结束，如果不是，则继续下一步；
[0035]S306: TU1协议转换成本地多点触控事件，重新回到S304步骤。
[0036]优选地，上述S3步骤包括:
[0037]S301:开始；
[0038]S302:加载本地配置；
[0039]S303:确认是否成功登陆至服务器，如果成功，则继续下一步，如果没有成功，则返回第S302步骤；
[0040]S304:接收触控数据；
[0041]S305:手势；
[0042]S306:根据手势响应对应的操作，重新回到S304步骤；
[0043]S307:是否终止，如果是，则结束，如果不是，则继续下一步；
[0044]S308: TU1协议转换成本地多点触控事件，重新回到S304步骤。
[0045]优选地，上述S305步骤包括:手势M，其对应额操作为显示恢复到默认场景。
[0046]优选地，上述S305步骤包括:手势W，其对应额操作为进入窗口调整模式。
【附图说明】
[0047]图1为本发明的大屏幕交互系统；
[0048]图2为本发明的设备端模块示意图；
[0049]图3为本发明的客户端模块示意图；
[0050]图4为本发明的设备端模块的工作步骤流程图[0051 ]图5为本发明的客户端模块的工作步骤流程图；
[0052]图6为本发明的客户端模块的另一种工作步骤流程图；
[0053]图7为本发明的客户端模块的另一种工作步骤流程图。
【具体实施方式】
[0054]以下结合【具体实施方式】进一步详细说明本发明的技术方案。应当理解，此处描述的【具体实施方式】仅仅用以解释本发明，并不用于限定本发明。
[0055]图1为本发明的大屏幕交互系统。如图1所示，本发明的大屏幕交互系统包括:获取屏幕A图像信息的设备端10;与上述设备端10连接，接收上述设备端10图像信息的服务端20;与上述服务端20连接，接收上述服务端20的信息并显示于屏幕A上的客户端30;与上述客户端30连接的拼接控制器40。
[0056]在这里，设备端10、服务端20、客户端30以及拼接控制器是通过局域网50连接。
[0057]上述设备端10包括获取屏幕A图像信息的摄像机11和与上述摄像机11连接的设备端丰旲块12。
[0058]如图1所示，使用图1的大屏幕交互系统的交互方法，包括:
[0059]S1:上述摄像机11获取图像信息；
[0060]S2:上述设备端模块12接收上述摄像机11的图像信息进行数据处理，上述设备端模块12将触控数据传输给上述服务端20;
[0061]S3:上述客户端30接收上述服务端20的触控数据，并通过同步上述拼接控制器40完成动作响应。
[0062]图2为本发明的设备端模块示意图。如图2所示，上述设备端模块12包括用于调度整个控制流程的设备端核心控制单元;与上述摄像机连接的摄像头数据采集单元，该摄像头数据采集单元主要负责对多个摄像头进行图像采集和参数控制;与上述摄像头数据采集单元和上述设备端核心控制单元连接的核心算法分析单元，该核心算法分析单元对图像中手指触控点进行识别和轨迹优化;与上述设备端核心控制单元连接的本地触控消息转化单元，该本地触控消息转化单元将算法识别的触控点转换为Windows下多点触控消息；与上述设备端核心控制单元连接的USB遥控检测单元，该USB遥控检测单元对遥控器按键进行实时检测并对其按键值进行解码;与上述设备端核心控制单元连接的服务器数据交换单元，该服务器数据交换单元建立起设备端10与服务端20的通信，包括登录连接、触控数据发送以及广播消息发送等。
[0063]图4为本发明的设备端模块的工作步骤流程图。如图4所示，本发明大屏幕交互系统的交互方法，上述S2步骤包括
[0064]S201:开始；
[0065]S202:读取本地配置文件；
[0066]S203:加载摄像头，如果成功加载，则继续下一步，如果没有成功加载，则出现错误提示，然后结束；
[0067]S204:改变摄像头参数；
[0068]S205:遥控器按键检测；
[0069]S206:模式切换，如果需要模式切换，则回到S204步骤，如果不需要模式切换，则继续下一步；
[0070]S207:异步停止，如果是，则结束，如果不是，则继续下一步；
[0071]S208:图像获取；
[0072]S209:算法触控点识别；
[0073]S210:实物交互模式，如果是，则执行实物文件打开操作，然后回到S205步骤，如果不是，则继续下一步；
[0074]S211:网络模式，如果是，则继续下一步，如果不是则本地产生触控消息，然后回到S205步骤；
[0075 ] S212:触控数据发送至服务器，重新回到S205步骤。
[0076]综上所述，本发明的大屏幕交互系统的设备端10主要作用在于，完成图像传感器数据采集;实现对图像多点触控的识别;对遥控进行检测和动作响应;将触控数据本地转换为触控消息，实现对电脑的操作;将触控数据传送至服务端，供服务端进行级联处理;实现对图像区域的选择，并调取打开本地应用程序，实现实物交互。
[0077]图3为本发明的客户端模块示意图。如图3所示，本发明大屏幕交互系统的客户端30包括用于调度整个控制流程的客户端核心控制单元，该客户端核心控制单元调度其他模块，保证系统稳定运行;与上述客户端核心控制单元连接的网络连接单元，该网络连接单元为客户端30与服务端20之间的通信提供支持，接收来自服务端20的触控数据；与上述客户端核心控制单元连接的本地触控事件转换单元，该本地触控事件转换单元将触控数据转换成Windows触控事件，从而在Windows系统产生触控响应;与上述客户端核心控制单元连接的手势识别算法单元，该手势识别算法单元将识别出触控轨迹中符合特定轨迹的操作，从而快捷地执行某个功能。
[0078]图5为本发明的客户端模块的工作步骤流程图。如图5所示，本发明的大屏幕交互系统方法，上述S3步骤包括:
[0079]S301:开始；
[0080]S302:加载本地配置；
[0081 ] S303:确认是否成功登陆至服务器，如果成功，则继续下一步，如果没有成功，则返回第S302步骤；
[0082]S304:接收触控数据；
[0083]S305:是否终止，如果是，则结束，如果不是，则继续下一步；
[0084]S306: TU1协议转换成本地多点触控事件，重新回到S304步骤。
[0085]图6为本发明的客户端模块的另一种工作步骤流程图。如图6所示，本发明的大屏幕交互系统方法，上述S3步骤包括:
[0086]S301:开始；
[0087]S302:加载本地配置；
[0088]S303:确认是否成功登陆至服务器，如果成功，则继续下一步，如果没有成功，则返回第S302步骤；
[0089]S304:接收触控数据；
[0090]S305:手势；
[0091 ] S306:根据手势响应对应的操作，重新回到S304步骤；
[0092]S307:是否终止，如果是，则结束，如果不是，则继续下一步；
[0093 ] S308: TU1协议转换成本地多点触控事件，重新回到S304步骤。
[0094]图7为本发明的客户端模块的另一种工作步骤流程图。如图7所示，本发明的大屏幕交互系统方法，上述S305步骤包括:M手势，其对应的操作为显示恢复到默认场景或者上述S305步骤包括:W手势，其对应的操作为进入窗口调整模式。
[0095]要说明的是，本发明的手势形式和对应的操作可以根据具体的需求进行提前设定，并不局限于【具体实施方式】中公开的内容。
[0096]综上所述，本发明的大屏幕交互系统的客户端30主要作用在于，接收上述服务端20的多点触控数据;将触控数据转化为本地触控消息;接收上述服务端20遥控数据，完成动作响应。
[0097]另外，本发明的大屏幕交互系统，上述客户端为台式电脑、笔记本电脑。
[0098]另外，本发明的大屏幕交互系统，还包括多个设备端和多个客户端。
[0099]另外，本发明的大屏幕交互系统，上述设备端10、上述服务端20以及上述客户端30是通过局域网50连接。
[0100]综上所述，本发明提供大屏幕交互系统及其交互方法，使得大屏幕交互系统交互技术精度高、灵活、触控面积做得很大。
[0101]以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。
【主权项】
1.大屏幕交互系统，其特征在于，包括:获取屏幕图像信息的设备端；与所述设备端连接，接收所述设备端图像信息的服务端;与所述服务端连接，接收所述服务端的信息并显示于屏幕上的客户端;与所述客户端连接的拼接控制器。2.根据权利要求1所述的大屏幕交互系统，其特征在于，所述设备端包括获取屏幕图像信息的摄像机和与所述摄像机连接的设备端模块。3.根据权利要求1或2所述的大屏幕交互系统，其特征在于，所述设备端模块包括用于调度整个控制流程的设备端核心控制单元;与所述摄像机连接的摄像头数据采集单元;与所述摄像头数据采集单元和所述设备端核心控制单元连接的核心算法分析单元;与所述设备端核心控制单元连接的本地触控消息转化单元;与所述设备端核心控制单元连接的USB遥控检测单元;与所述设备端核心控制单元连接的服务器数据交换单元。4.根据权利要求1所述的大屏幕交互系统，其特征在于，所述客户端包括用于调度整个控制流程的客户端核心控制单元;与所述客户端核心控制单元连接的网络连接单元;与所述客户端核心控制单元连接的本地触控事件转换单元;与所述客户端核心控制单元连接的手势识别算法单元。5.根据权利要求1或4所述的大屏幕交互系统，其特征在于，所述客户端为台式电脑、笔记本电脑、安卓手机、安卓平板。6.根据权利要求1所述的大屏幕交互系统，其特征在于，还包括多个设备端和多个客户端。7.根据权利要求1所述的大屏幕交互系统，其特征在于，所述设备端、所述服务端、所述客户端以及所述拼接控制器是通过局域网连接。8.使用权利要求1所述的大屏幕交互系统的交互方法，其特征在于，包括: SI:所述摄像机获取图像信息； S2:所述设备端模块接收所述摄像机的图像信息进行数据处理，所述设备端模块将触控数据传输给所述服务端； S3:所述客户端接收所述服务端的触控数据，并通过同步所述拼接控制器完成动作响应。9.根据权利要求8所述的大屏幕交互系统方法，其特征在于，所述S2步骤包括: S201:开始； S202:读取本地配置文件； S203:加载摄像头，如果成功加载，则继续下一步，如果没有成功加载，则出现错误提示，然后结束;S204:改变摄像头参数； S205:遥控器按键检测； 5206:模式切换，如果需要模式切换，则回到S204步骤，如果不需要模式切换，则继续下一步; 5207:异步停止，如果是，则结束，如果不是，则继续下一步； S208:图像获取； S209:算法触控点识别； S210:实物交互模式，如果是，则执行实物文件打开操作，然后回到S205步骤，如果不是，则继续下一步； S211:网络模式，如果是，则继续下一步，如果不是则本地产生触控消息，然后回到S205步骤； S212:触控数据发送至服务器，重新回到S205步骤。10.根据权利要求8所述的大屏幕交互系统方法，其特征在于，所述S3步骤包括: S301:开始； S302:加载本地配置； S303:确认是否成功登陆至服务器，如果成功，则继续下一步，如果没有成功，则返回第S302步骤; S304:接收触控数据； 5305:是否终止，如果是，则结束，如果不是，则继续下一步； 5306: TU1协议转换成本地多点触控事件，重新回到S304步骤。11.根据权利要求8所述的大屏幕交互系统方法，其特征在于，所述S3步骤包括: S301:开始； S302:加载本地配置； S303:确认是否成功登陆至服务器，如果成功，则继续下一步，如果没有成功，则返回第S302步骤; S304:接收触控数据； S305:手势; 5306:根据手势响应对应的操作，重新回到S304步骤； 5307:是否终止，如果是，则结束，如果不是，则继续下一步； 5308: TU1协议转换成本地多点触控事件，重新回到S304步骤。12.根据权利要求11所述的大屏幕交互系统方法，其特征在于，所述S305步骤包括:M手势，其对应的操作为显示恢复到默认场景。13.根据权利要求11所述的大屏幕交互系统方法，其特征在于，所述S305步骤包括:W手势，其对应的操作为进入窗口调整模式。
【文档编号】G06F3/0484GK105988711SQ201610349011
【公开日】2016年10月5日
【申请日】2016年5月24日
【发明人】谭登峰, 邱虎, 宋志标
【申请人】北京仁光科技有限公司