一种交互现实系统和方法
【专利摘要】本发明是一种交互现实系统和方法，由现实世界(1)、摄像机(2)和计算机(3)三个部分组成，现实世界(1)包含有机器人和场景。摄像机(2)通过WiFi模块将现实世界(1)图像实时传给计算机(3)，并在计算机(3)的多点触摸显示屏上显示。当操作员用手指直接拖动显示屏上的机器人图像时，计算机(3)通过WiFi模块向该机器人发送移动遥控指令，该机器人随着手指的拖动，完成前进、后退、转弯、停止等作业。操作员可以在计算机(3)显示屏上标记多个机器人图像，拖动其中任何一台机器人，所有被标记的机器人都会做相同的作业，以此完成多台机器人的同时遥控。与已有系统相比，本发明对多机器人的遥控更自然、简单和便捷。
【专利说明】一种交互现实系统和方法
【技术领域】
[0001]本发明涉及人与机器人交互方式，特别是一种人与现实世界中多个机器人交互的系统和方法，属于人机交互领域。
【背景技术】
[0002]一般机器人都具有遥控功能。通过遥控装置，在可视范围内遥控机器人进行作业，也可以通过视频图像遥控可视范围以外的机器人进行作业。遥控机器人直接受控于人类，能够将人类智慧和机器人自主能力相结合，高效率、高质量完成作业，这类机器人仍然是未来机器人的主流。遥控机器人主要由遥控装置、视频监控装置、自主机器人等三个部分组成。遥控装置包含方向十字键和功能键，也有的遥控装置包含方向手柄(或方向盘)和功能键。操作员通过视频监控装置观测现场，通过遥控装置向机器人发送指令，远距离遥控机器人完成作业。近几年，出现了触摸屏遥控装置，比如iPad机器人、iPad航模、iPad潜艇等，在iPad触摸屏上显示相应的方向十字键(或方向盘)和功能键图标，通过触摸图标遥控机器人完成作业。
[0003]目前设计的遥控装置尽管很人性化，但仍然需要操作员具有良好的遥控操作技能；尤其在遥控多个机器人时，需要多人操作多个对应的遥控装置，产生多人之间的同步、合作与竞争等控制问题。
【发明内容】
[0004]本发明针对上述问题，提出一种交互现实系统(Interactive Reality Systems,IRS)和方法。
[0005]本发明的基本思想是通过摄像机建立现实世界中机器人和其在计算机多点触摸显示屏上的图像之间的对应关系，操作员直接触摸显示屏上的机器人图像，就能实现对现实世界中机器人的遥控，称这种遥控方式为触摸图像遥控(Tele-Control by TouchingImages, TCTI)。触摸图像遥控不是触摸显示屏上的遥控健图标，而是直接触摸显示屏上的机器人图像。
[0006]本发明的目的是建立一种交互现实系统，操作员用手指触摸计算机的多点触摸显示屏，直接拖动显示屏中的机器人图像，就能完成机器人前进、后退、转弯、停止等遥控作业；操作员能够在显示屏上标记多个机器人图像，拖动任何一个机器人图像，其它机器人图像也一起被拖动，完成现实世界中多个机器人的遥控。本发明的另一个目的是建立一种交互现实方法，使用摄像机将现实世界的图像传给一定距离以外的计算机，并显示在计算机的多点触摸显示屏上，通过直接触摸现实世界的图像，实现人与现实世界的交流和互动。
[0007]本发明的目的是通过以下技术方案实现的。
[0008]1.一种交互现实系统，由现实世界(I)、摄像机(2)和计算机(3)等三个部分组成，现实世界(I)中包含有机器人和场景，机器人、摄像机(2)和计算机(3)都包含有WiFi模块，计算机(3)还包含有多点触摸显示屏、计算模块和控制模块，所述现实世界(I)中机器人用于完成其在场景中的作业任务，摄像机(2)用于完成现实世界(I)的图像获取，并通过WiFi模块实时传给计算机(3)的任务，其特征在于，所述计算机(3)的计算模块用于建立现实世界(I)的机器人与多点触摸显示屏上机器人图像的对应关系，并在多点触摸显示屏上显示具有对应关系的图像，以及识别操作员在多点触摸显示屏上触摸图像的动作，计算机(3)的控制模块将触摸图像的动作转换为对应机器人可以识别的指令，通过WiFi模块向现实世界(I)中对应的机器人发出，使其按照指令完成作业任务
[0009]一种交互现实方法，其特征在于，摄像机(2)通过WiFi模块将现实世界(I)图像实时传给计算机(3)，计算机(3)的计算模块对图像中的机器人进行实时的识别和定位计算，操作员用手指直接拖动多点触摸显示屏上的机器人图像，遥控机器人在现实世界(I)做相应的动作；通过该种方法循环往复，操作员可以通过多点触摸显示屏实时控制现实世界(I)中的机器人完成作业任务。
[0010]所述方法还包括现实世界(I)中多个机器人和多点触摸显示屏中机器人图像的对应关系的建立，该建立过程可以通过以下两种方式中的任何一种实现:
[0011]一、计算机(3)的控制模块通过WiFi模块给现实世界(I)中的某一个机器人发送特定运动的遥控指令，操作员对多点触摸显示屏中做相应运动的那个机器人进行标记，计算机(3)的计算模块将该机器人图像存储下来，用于后续的识别和定位，完成对应关系的建立；
[0012]二、计算机(3)的控制模块通过WiFi模块给现实世界(I)中的某一个机器人发送特定运动的遥控指令，计算机(3)的计算模块自动检测做相应动作的那个机器人并进行标记，将该机器人图像存储下来，用于后续的识别和定位，完成对应关系的建立。
[0013]操作员可以在多点触摸显示屏上标记多个机器人图像，拖动任何一个机器人图像，所有被标记的机器人都在现实世界(I)做相同的动作，实现多台机器人的遥控。
[0014]操作员在多点触摸显示屏上对现实世界(I)的场景图像进行标记，标记特定的点或区域，当现实世界(I)的机器人与这些点或区域的距离低于阈值L，控制模块自动向对应的机器人发出相关指令，遥控机器人做相应的动作。
[0015]本发明具有如下优点:
[0016]1、遥控直观。在触摸屏上看到机器人图像，直接拖动机器人图像，可以看到机器人是否按照操作人员的意图运动。
[0017]2、遥控自然。操作人员用手指拖动机器人图像是按照自然的方式进行的，比如，向前拖动是前行，向左拖动是左转等。
[0018]3、遥控多个机器人更加容易、便捷。通过“成组”功能键，将多个机器人划为一组，遥控任何一个机器人等于遥控整组机器人做相同的作业。
[0019]4、能够对现实世界进行虚拟标记，为机器人自主作业提供信息。在现实世界(I)的图像上，通过画线和画圈设置壁垒、禁区或工作区，实现对现实世界(I)的标记，无需到现实世界现场设置实物，提高工作效率。特别是机器人可以到达而人员无法到达的现场，这种标记方法更加有效。
[0020]5、更加通用的遥控功能，硬件系统不变，只改变软件，就可以改变功能，升级容易，成本低。
【专利附图】
【附图说明】
[0021]图1为本发明组成结构示意图。
[0022]图2为本发明实施例示意图。
[0023]图3为本发明实施例中多点触摸显示屏功能菜单健示意图。
[0024]图4为本发明实施例中遥控单个机器人示意图。
[0025]图5为本发明实施例中遥控多个机器人示意图。
[0026]图6为本发明实施例中在多点触摸显示屏上对场景进行标记示意图。
[0027]附图标记:现实世界-1 ;摄像机-2 ;计算机_3。
[0028]实施方式
[0029]下面结合附图和实施例对本发明的工作过程作进一步说明。
[0030]一种交互现实系统，由现实世界(I)、摄像机(2)和计算机(3)等三个部分组成，如图1所示。现实世界(I)中包含有机器人和场景，机器人有WiFi模块；机器人具有感知和定位等自主能力，具有自主避障功能。摄像机(2)包含有WiFi模块，计算机(3)包含有计算模块、WiFi模块、控制模块和多点触摸显示屏，具有强大的计算和存储能力。现实世界
(I)的机器人、摄像机(2)、计算机(3)直接通过WiFi模块连接的。摄像机(2)通过WiFi模块将现实世界(I)图像实时传给计算机(3)，计算机(3)的计算模块对图像中的机器人进行实时的定位计算，建立现实世界(I)的机器人与多点触摸显示屏上机器人图象的对应关系，并在多点触摸显示屏上显示具有这种对应关系的图像。操作员触摸显示屏上的机器人图像，计算机(3)的计算模块识别该触摸动作，并由控制模块生成控制指令，通过WiFi模块向对应的机器人发送，完成对现实世界(I)中机器人的遥控。
[0031]摄像机(2)安装在现实世界(I)中一个固定位置，获取现实世界(I)的图像，并通过WiFi模块实时传给计算机(3)。在现实世界(I)中安装多个固定摄像机，能完成现实世界(I)的多方位图像获取任务。当使用多个摄像机(2)时，计算机(3)需要分屏显示，或使用对应的多台计算机(3)。
[0032]计算机(3)的计算模块能够对摄像机(2)拍摄的现实世界⑴的图像中的机器人进行实时检测、跟踪、识别和定位，该定位信息和多点触摸阵列形成对应关系，这种对应关系使得计算机能够准确感知操作员是否触摸到对应的机器人图像。不同的触摸动作表示不同的遥控指令，选择自然的拖动动作，机器人会随着手指的拖动而移动，可以做到机器人跟随手指移动。对于一个正在移动的机器人，手指按住多点触摸显示屏上的机器人图像，现实世界(I)中的机器人就在计算机(3)的控制模块的控制下停止移动。
[0033]操作员可以在多点触摸显示屏上对现实世界(I)的图像进行标记，标记特定的点或区域，并赋予特定的含义，比如禁止区域、沙地区域、目的地点等。无需到现实世界⑴中去设置实物。当机器人与这些点或区域的距离低于一个预先设定的阈值L时，计算机(3)的控制模块自动发出指令，遥控对应的机器人做相应的动作，比如遇到禁止区域，机器人无需自主感知，控制模块直接向该机器人发出指令，遥控该机器人远离禁止区域。此时，操作员也无法通过拖动该机器人进入禁区。
[0034]操作员还可以在多点触摸显示屏上标记多个机器人图像，标记后，拖动任何一个机器人图像，所有被标记的机器人都在现实世界(I)做相同的动作，实现多个机器人的遥控。
[0035]本发明还需要建立现实世界⑴中机器人和计算机(3)显示的机器人图像之间的对应关系。如果只有一个机器人，图像中的机器人就是现实世界中的那个机器人，无需建立遥控对应关系。但现实世界(I)中有多个机器人时，计算机(3)的多点触摸显示屏上将显示多个机器人图像，此时需要建立现实世界(I)中的机器人和多点触摸显示屏中机器人图像的对应关系，称为遥控对应关系。有了遥控对应关系，则拖动多点触摸显示屏中某一个机器人图像时，计算机(3)的控制模块就可以通过WiFi模块向该机器人发送遥控指令，对应的机器人做相应的动作。
[0036]下面是建立遥控对应关系的二种技术。
[0037]第一种是交互式遥控对应技术。计算机(3)的控制模块通过WiFi模块给现实世界(I)中的一个机器人发送特定运动的遥控指令，操作员对多点触摸显示屏中做相应运动的机器人进行标记，完成遥控对应关系的建立。这种技术也叫点名技术，点到谁的名字，谁就给出动作，然后用户对其标记，计算机(3)的计算模块将图像存储下来，为后续的机器人识别和定位提供模板信息。
[0038]第二种是图像识别遥控对应技术。在机器人上贴有标签，比如用不同颜色的组合作为标签，就像足球运动员身背号码一样，由计算机对标签进行识别，建立遥控对应关系。也可以采用计算机自动点名技术，即计算机(3)的控制模块自动给某一个机器人发送特定动作指令，计算机(3)的计算模块自动检测做特定动作的机器人，并进行标记以及将其图像存储下来，为后续的机器人识别和定位提供模板信息。
[0039]下面结合一个具体的实施例对上述内容作进一步说明。
[0040]图2是本发明实施例示意图，在现实世界(I)中有6个机器人，分成白和黑2队对阵，每队3个。在现实世界⑴中，固定安装一台摄像机(2)，摄像机⑵通过WiFi模块将现实世界(I)的图像实时传给计算机(3)，并在多点触摸显示屏上直接显示。
[0041]白和黑两队机器人分别由两位用户作为领队来遥控。黑色手指代表黑队机器人领队，白色手指代表白队机器人领队。
[0042]计算机(3)的多点触摸显示屏上有功能菜单健，如图3所示。按功能菜单健，菜单展开，出现5个功能键:删除、成组、障碍、对应、确认。
[0043]本发明系统有两种状态，一种是设置状态，一种是遥控状态。菜单展开，处于设置状态，此时可以建立遥控“对应”关系，可以设置“障碍”，也可以“成组”机器人等。
[0044]本系统开始工作时，按功能菜单健，菜单展开，按“对应”健，然后采用交互式对应技术，建立现实世界(I)中6个机器人和计算机(I)多点触摸显示屏上6个机器人图像之间的对应关系。可以重复建立对应关系。按菜单中的确认健，菜单收回，系统进入遥控状态。
[0045]图4所示的是白和黑两队领队分别用手指触摸自己的机器人队员图像，领队手指拖动任何一个机器人的图像，对应的机器人随着手指的移动而移动，能完成诸如前进、后退、左转、右转等运动，实现了通过触摸显示屏遥控机器人的目的。
[0046]当遥控多个机器人做同样的运动或同时运动到同一位置时，领队按功能菜单健，菜单展开，按“成组”健，然后在多点触摸显示屏上将这些机器人图像圈起来，形成遥控区域，领队手指拖动遥控区域的任何一个机器人图像，则遥控区域中的所有机器人图像都被拖动，实现了通过触摸一个机器人图像能遥控多个机器人的目的，如图5所示。
[0047]本发明不仅可以对现实世界(I)中的机器人进行遥控和设置，还可以对场景进行设置。现实世界(I)中的机器人具有感知、定位和避障功能，也可以识别和理解场景，比如障碍物，特定目标等，但识别和理解都有一定的局限性，比如识别率、计算时间等。在交互现实系统中，由于操作员直接通过计算机(3)的多点触摸显示屏看到现实世界(I)中的机器人和场景，可以直接对场景进行交互标记，标记特定的点和区域。无需人员直接到现实世界的现场设置实物标记，可以有效的提高工作效率，特别是机器人可以到达而人员无法到达的现场，这种标记方法更加有效。
[0048]图6是本实施例在场景中设置的禁止线和禁止区域。按功能菜单健，菜单展开，按其中的“障碍”健，然后在多点触摸显示屏上的场景图像中画线，比如，机器人在道路上运动，可以在路牙或水沟边上划线，告知机器人这是路牙或水沟，不可越界；也可以将场景图像某一个特定区域圈起来，如图6中的三角区域，表示该区域是障碍物或陷阱，机器人不能踏入，比如水池或沙地等。当机器人接近这些点或区域时，计算机(3)的控制模块会自动给机器人发出指令，来遥控机器人做相应的动作，此时，即使操作人误操作，也无法拖动机器人进入这些障碍区。
[0049]本领域技术人员都了解，本系统可以完成的功能不只包含实施例中所述，还可以通过功能菜单健设置更多的功能，比如设置某一个机器人为队长，设置一个机器人为另一个机器人的卫兵等。
[0050]以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种交互现实系统，由现实世界(I)、摄像机(2)和计算机(3)等三个部分组成，现实世界(I)中包含有机器人和场景，机器人、摄像机(2)和计算机(3)都包含有WiFi模块，计算机(3)还包含有多点触摸显示屏、计算模块和控制模块，所述现实世界(I)中机器人用于完成其在场景中的作业任务，摄像机(2)用于完成现实世界(I)的图像获取，并通过WiFi模块实时传给计算机(3)的任务，其特征在于，所述计算机(3)的计算模块用于建立现实世界(I)的机器人与多点触摸显示屏上机器人图像的对应关系，并在多点触摸显示屏上显示具有对应关系的图像，以及识别操作员在多点触摸显示屏上触摸图像的动作，计算机(3)的控制模块将触摸图像的动作转换为对应机器人可以识别的指令，通过WiFi模块向现实世界(I)中对应的机器人发出，使其按照指令完成作业任务。
2.一种交互现实方法，其特征在于，摄像机(2)通过WiFi模块将现实世界(I)图像实时传给计算机(3)，计算机(3)的计算模块对图像中的机器人进行实时的识别和定位计算，操作员用手指直接拖动多点触摸显示屏上的机器人图像，遥控机器人在现实世界(I)做相应的动作；通过该种方法循环往复，操作员可以通过多点触摸显示屏实时控制现实世界的机器人完成作业任务。
3.根据权利要求2所述的一种交互现实方法，其特征在于，所述方法还包括现实世界(I)中多个机器人和多点触摸显示屏中机器人图像的对应关系的建立，该建立过程可以通过以下两种方式中的任何一种实现: 一、计算机(3)的控制模块通过WiFi模块给现实世界(I)中的某一个机器人发送特定运动的遥控指令，操作员对多点触摸显示屏中做相应运动的那个机器人图像进行标记，计算机(3)的计算模块将该机器人图像存储下来，用于后续的识别和定位，完成对应关系的建立； 二、计算机(3)的控制模块通过WiFi模块给现实世界(I)中的某一个机器人发送特定运动的遥控指令，计算机(3)的计算模块自动检测做相应动作的那个机器人并进行标记，并将机器人图像存储下来，用于后续的识别和定位，完成对应关系的建立。
4.根据权利要求2所述的一种交互现实方法，其特征在于，操作员可以在多点触摸显示屏上标记多个机器人图像，拖动任何一个机器人图像，所有被标记的机器人都在现实世界(I)做相同的动作，实现多台机器人的遥控。
5.根据权利要求2-4任一所述的一种交互现实方法，其特征在于，操作员在多点触摸显示屏上对现实世界(I)的场景图像进行标记，标记特定的点或区域，当现实世界(I)的机器人与这些点或区域的距离低于阈值L，控制模块自动向对应的机器人发出相关指令，遥控机器人做相应的动作。
【文档编号】G05D1/02GK104238418SQ201410468689
【公开日】2014年12月24日 申请日期:2014年9月15日 优先权日:2014年7月2日
【发明者】贾云得 申请人:北京理工大学