在虚拟现实环境中提供增强的教学和训练的系统和方法【专利说明】在虚拟现实环境中提供增强的教学和训练的系统和方法[0001]本美国专利申请要求2011年4月7日递交的待审定的美国专利申请序号13/081，725的优先权，并且是所述待审定的美国专利申请(13/081,725)的部分继续(CIP)专利申请，所述待审定的美国专利申请通过引用被全部并入本文并且所述待审定的美国专利申请要求2010年5月27日递交的美国临时专利申请序号61/349，029的优先权，并且所述美国临时专利申请进一步要求2009年7月10日递交的待审定的美国专利申请序号12/501，257的优先权，并且是所述待审定的美国专利申请(12/501,257)的部分继续(CIP)专利申请，所述待审定的美国专利申请(12/501,257)通过引用被全部并入本文。
技术领域：
[0002]某些实施方案涉及虚拟现实仿真。更具体地，某些实施方案涉及用于在虚拟环境中增强焊接教学和训练的系统和方法。【
背景技术：
】[0003]在真实世界的焊接和训练中，焊接学员可能不得不使用真实的焊接设备和材料，所述真实的焊接设备和材料会是昂贵的。另外，真实世界的焊接环境会存在针对学员的安全隐患，并且，因此，指导机构可能不得不承担重大的责任保险，所述责任保险会是昂贵的。对于焊接学员而言，容易地理解他正在做错的内容并且作出改正的能力在真实世界的焊接环境中会花费很多时间并且耗费焊接指导者很多时间。另外，容易地获取附加的教学材料或焊接指导者帮助的能力在真实世界的焊接环境中可能是非常有限的。[0004]通过将这样的途径与如参照附图在本申请其余内容中阐述的本发明的实施方案进行比较，本领域技术人员将清楚常规的、传统的以及已提出的途径的其他限制和缺点。【
发明内容】[0005]根据权利要求11的一个实施方案提供虚拟现实弧焊系统。系统包括基于可编程处理器的子系统、空间追踪器、至少一个模拟焊接工具以及至少一个使用者界面，所述空间追踪器被可操作地连接到基于可编程处理器的子系统，所述至少一个模拟焊接工具被配置来由空间追踪器在空间上追踪，所述至少一个使用者界面被配置来允许使用者执行将信息输入到所述系统中以及作出选择中的一个或更多个。系统进一步包括通信部件，所述通信部件被可操作地连接到基于可编程处理器的子系统并且被配置来接入外部通信基础设施。另外，虚拟现实焊接系统被配置来响应于使用者请求，使用通信部件经由外部通信基础设施将使用者引导到一个或更多个因特网上与焊接教学和理论相关的预先识别的网站。特别优选的是，如果使用者请求由以下内容中的一个或更多个提示:使用者、人类焊接指导者或者被配置在基于可编程处理器的子系统上的智能代理，和/或，如果系统进一步包括一个或更多个音频转换器装置，所述音频转换器装置被可操作地连接到基于可编程处理器的子系统并且被配置来便利使用通信部件经由外部通信基础设施在远程位置的使用者和焊接指导者之间的音频通信，和/或，如果系统进一步包括一个或更多个视频装置，所述视频装置被可操作地连接到基于可编程处理器的子系统并且被配置来便利使用通信部件经由外部通信基础设施在远程位置的使用者和焊接指导者之间的可视通信，和/或，如果虚拟现实焊接系统被进一步配置来使用通信部件经由外部通信基础设施接收来自在远程位置的远程装置的命令，其中所述命令被配置来指导对虚拟现实焊接系统进行故障检测或者改变虚拟现实焊接系统的设置中的一个或更多个，和/或，如果远程装置包括手持式移动装置、桌上型个人计算机装置或者由远程使用者操作的服务器计算机中的一个。[0006]根据权利要求1的另一个实施方案提供虚拟现实弧焊系统。系统包括系统包括基于可编程处理器的子系统、空间追踪器、至少一个模拟焊接工具以及至少一个显示装置，所述空间追踪器被可操作地连接到基于可编程处理器的子系统，所述至少一个模拟焊接工具被配置来由空间追踪器在空间上追踪，所述至少一个显示装置被可操作地连接到基于可编程处理器的子系统。系统被配置来在虚拟现实环境中仿真焊缝熔池并且在至少一个显示装置上实时显示仿真的焊缝熔池，所述焊缝熔池响应于使用者对至少一个模拟焊接工具的操控并且具有实时熔融金属流动性和散热特征。系统被进一步配置来当仿真的焊缝熔池的至少一个特征与所述至少一个特征的的理想的量偏离多于确定的量时，将理想焊缝熔池的图像重叠并且显示到仿真的焊缝熔池上。[0007]根据权利要求12的进一步的实施方案提供虚拟现实弧焊系统。系统包括基于可编程处理器的子系统，所述基于可编程处理器的子系统可操作来执行编码指令。编码指令包括呈现引擎，所述呈现引擎被配置来生成由使用者在虚拟现实焊接系统上创建的虚拟焊件的三维(3D)呈现。编码指令进一步包括分析引擎，所述分析引擎被配置来执行3D虚拟焊件的仿真的测试并且生成相应的测试数据。编码指令还包括至少一个智能代理(IA)，所述至少一个智能代理(IA)被配置来基于至少测试数据，生成针对使用者的推荐的校正动作。特别优选的是，如果推荐的校正动作包括要被改变的使用者的焊接技术，和/或，如果推荐的校正动作包括要由使用者查看的储存在虚拟现实焊接系统上的训练材料，和/或，如果推荐的校正动作包括要由使用者完成的定制训练计划，和/或，如果推荐的校正动作包括要由使用者改变的虚拟现实焊接系统的设置。[0008]根据权利要求13的另一个实施方案提供方法。方法包括在虚拟现实焊接系统的一个或更多个显示装置上为使用者显示虚拟焊接环境，其中虚拟焊接环境由虚拟现实焊接系统生成并且在虚拟焊接环境内仿真一个或更多个不安全状况。方法进一步包括在使用者已经经由虚拟现实焊接系统的使用者界面正确地识别针对虚拟现实焊接系统的一个或更多个不安全状况之后，允许使用者使用虚拟现实焊接系统继续执行虚拟焊接活动。[0009]根据权利要求6的进一步的实施方案提供方法。方法包括在虚拟现实焊接系统上针对焊接工艺设置多个焊接参数，其中针对焊接工艺多个焊接参数中的至少一个被不适当地设置。方法还包括使用者使用具有设置的多个焊接参数的虚拟现实焊接系统来执行虚拟焊接活动以创建虚拟焊件。方法进一步包括使用者在虚拟现实焊接系统的至少一个显示装置上观察虚拟焊件，并且至少基于所述观察，试图识别至少一个被不适当地设置的焊接参数。[0010]从以下的说明和附图将更完整地理解要求保护的本发明的这些和其他特点，以及本发明的图示说明的实施方案的细节。【附图说明】[0011]图1图示说明在实时虚拟现实环境下提供弧焊训练的系统的系统方框图的示例性实施方案；[0012]图2图示说明结合的仿真焊接控制台和图1的系统的观察者显示装置(ODD)的示例性实施方案；[0013]图3图示说明图2的观察者显示装置(ODD)的示例性实施方案；[0014]图4图示说明图2的仿真的焊接控制台的前部分的示例性实施方案，示出物理焊接使用者界面(WUI);[0015]图5图示说明图1的系统的模拟焊接工具(MffT)的示例性实施方案；[0016]图6图示说明图1的系统的桌台/底座(table/stand)(T/S)的示例性实施方案；[0017]图7A图示说明图1的系统的管焊接(pipewelding)试样(coupon)(WC)的示例性实施方案；[0018]图7B图示说明安装于图6的桌台/底座(T/S)的臂的图7A的管状WC;[0019]图8图示说明图1的空间追踪器(ST)的示例性实施方案的各种部件；[0020]图9A图示说明图1的系统的戴于面部的(face-mounted)显示装置(FMDD)的示例性实施方案；[0021]图9B为图9A的FMDD如何被固定在使用者的头部上的示意图；[0022]图9C图示说明安装于焊接头盔内的图9A的FMDD的示例性实施方案；[0023]图10图示说明图1的系统的基于可编程处理器的子系统(PPS)的子系统方框图的示例性实施方案；[0024]图11图示说明图10的PPS的图形处理单元(GPU)的方框图的示例性实施方案；[0025]图12图示说明图1的系统的功能方框图的示例性实施方案；[0026]图13为使用图1的虚拟现实训练系统的训练方法的实施方案的流程图；[0027]图14A-14B根据本发明的实施方案图示说明焊接像元(weldingpixel)(焊元(wexel))移置图(displacementmap)的概念；[0028]图15图示说明仿真于图1的系统中的平坦焊接试样(WC)的试样空间(couponspace)和焊缝空间(weldspace)的示例性实施方案；[0029]图16图示说明仿真于图1的系统中的拐角(T型接头)焊接试样(WC)的试样空间和焊缝空间的示例性实施方案；[0030]图17图示说明仿真于图1的系统中的管焊接试样(WC)的试样空间和焊缝空间的示例性实施方案；[0031]图18图示说明图17的管焊接试样(WC)的示例性实施方案；[0032]图19A-19C图示说明图1的系统的双移置熔池模型的概念的示例性实施方案；[0033]图20图示说明独立式虚拟焊件检验(VWI)系统的示例性实施方案，该独立式虚拟焊件检验系统能够仿真虚拟焊件的检验并且显示在检验之下的虚拟焊件的动画以进行观察由于与焊件相关联的各种特征产生的效果；[0034]图21图示说明评估在虚拟现实空间中呈现的基线虚拟焊件的质量的方法的示例性实施方案的流程图；[0035]图22-24图示说明针对相同的虚拟焊件段的仿真的弯曲测试、仿真的拉伸测试以及仿真的断裂测试的虚拟动画的实施方案；[0036]图25图示说明在实时虚拟现实环境中提供弧焊训练的系统的系统方框图的第二示例性实施方案；[0037]图26图示说明示出图25的虚拟现实弧焊系统如何可以经由外部通信基础设施联接到远程装置的系统方框图；[0038]图27图示说明示出仿真的焊缝熔池的显示的虚拟焊缝的示例性实施方案，所述虚拟焊缝在虚拟焊接工艺期间使用图1或图25的虚拟现实弧焊系统被创建；以及[0039]图28图示说明图27的显示的虚拟焊缝，所述虚拟焊缝具有重叠到仿真的焊缝熔池的图像上的理想焊缝熔池的图像。【具体实施方式】[0040]作为虚拟焊接工艺的一部分，表征缺陷或不连贯性的数据可以通过使用虚拟现实焊接仿真器系统(例如，虚拟现实弧焊(VRAW)系统)预先限定虚拟焊件或创建虚拟焊件被捕获为所述虚拟焊件的限定(definit1n)的部分。所述VRAW系统包括基于可编程处理器的子系统、空间追踪器、至少一个模拟焊接工具以及至少一个显示装置，所述空间追踪器可操作地连接到所述基于可编程处理器的子系统，所述至少一个模拟焊接工具能够被所述空间追踪器在空间上追踪，所述至少一个显示装置可操作地连接到所述基于可编程处理器的子系统。所述系统能够在虚拟现实空间中仿真具有实时熔融金属流动性和散热特征的熔池。所述系统还能够在所述显示装置上实时地显示所述仿真的熔池。当被显示时，所述仿真的熔池的实时熔融金属流动性和散热特征提供实时可视反馈给所述模拟焊接工具的使用者，允许所述使用者响应于所述实时可视反馈而实时地调节或保持焊接技法(即帮助使用者正确地学习焊接)。所显示的熔池是基于使用者的焊接技法和所选择的焊接工艺与参数而将会被形成于真实世界中的熔池的表征。通过观看熔池(例如形状、颜色、熔渣、大小、堆叠的币状体(stackeddimes))，使用者可以修正其技法来进行良好的焊接并确定被完成的焊接类型。所述熔池的形状响应于焊枪或焊条的运动。如本文所使用的，术语“实时”意指以与使用者在真实世界的焊接情景下将会感知和体验的相同的方式，在仿真的环境下及时感知和体验。此外，所述熔池响应于包括重力的物理环境的作用，允许使用者以各种位置(包括仰焊(overheadwelding))和各种管焊接角度(例如1G、2G、5G、6G)逼真地练习焊接。这样的实时虚拟焊接场景导致虚拟焊件的数据表征的生成。[0041]图1图示说明系统100的系统方框图的示例性实施方案，系统100在实时虚拟现实环境下提供弧焊训练。系统100包括基于可编程处理器的子系统(PPS)110。PPS100提供被配置作为用于提供虚拟焊件的3D动画呈现的呈现引擎的硬件与软件。PPS110还提供被配置作为用于进行虚拟焊件的测试和检验的分析引擎的硬件与软件。在图1的系统的上下文中，虚拟焊件是已通过仿真焊接工艺而形成焊道或焊接接缝的焊接试样的所得仿真。[0042]系统100进一步包括可操作地连接到PPS110的空间追踪器(ST)120。系统100还包括可操作地连接到PPS110的物理焊接使用者界面(WUI)130，以及可操作地连接到PPS110和ST120的戴于面部的显示装置(FMDD)140(参见图9A-9C)。然而，特定的实施方案可以不提供FMDD。系统100还包括可操作地连接到PPS110的观察者显示装置(ODD)150。系统100还包括可操作地连接到ST120和PPS110的至少一个模拟焊接工具(MffT)160。系统100还包括桌台/底座(T/S)170，以及能够被附接到T/S170的至少一个焊接试样(WC)180。根据本发明可替换的实施方案，提供模拟气罐(未示出)，所述模拟气罐仿真保护气体源并具有可调节的流量调校器(flowregulator)。[0043]图2图示说明结合的仿真焊接控制台135(仿真焊接电源使用者界面)和图1的系统100的观察者显示装置(ODD)150的示例性实施方案。物理WUI130位于控制台135的前部分上，并且提供旋钮(knobs)、按钮以及操纵杆，用于各种模式和功能的使用者选择。根据本发明的实施方案，ODD150被附接到控制台135的顶部分。MffT160放置在附接到控制台135的侧部分的托架(holder)中。在内部，控制台135容纳PPS110以及ST120的一部分。[0044]图3图示说明图2的观察者显示装置(ODD)150的示例性实施方案。根据本发明的实施方案，ODD150为液晶显示(LCD)装置。其他显示装置也是可能的。例如，根据本发明的另一实施方案，ODD150可以为触控屏幕显示器。ODD150从PPS110接收视频(例如SVGA格式)并且显示来自PPS110的信息。[0045]如图3所示，ODD150能够显示呈现各种焊接参数151的第一使用者场景，焊接参数151包括位置、末端到工件间隙(tiptowork)、焊接角度、行进角度以及行进速度。这些参数可以以图形的形式实时被选择并显示并且被用于教导适当的焊接技法。此外，如图3所示的，ODD150能够显示仿真的焊接不连贯性状态152，包括例如不适当的焊缝大小、不佳的焊道布置、凹入的焊道、过于外凸、咬边、多孔、未焊透、夹渣、过度飞溅、过度填充以及烧穿(焊穿)。咬边是熔入邻近焊缝或焊缝焊根(root)的基底金属的且没有被焊缝金属填充的凹槽(groove)。咬边常常是由于不正确的焊接角度造成的。多孔是由固化期间的夹气形成的空腔类不连贯，常常是由电弧过于远离试样移动而造成的。这样的仿真焊接不连贯性状态由系统100在仿真焊接工艺期间生成，以使用仿真焊接试样形成虚拟焊件。[0046]再有，如图3所示的，ODD150能够显示使用者选择内容153，包括菜单、动作、视觉提示、新试样以及最终行程(endpass)。这些使用者选择内容被关联到控制台135上的使用者按钮。当使用者经由例如ODD150的触控屏幕或者经由物理WUI130进行各种选择时，所显示的特征可以改变以对使用者提供选择的信息和其他选项。此外，ODD150可以显示佩戴FDMM140的焊接者以与所述焊接者相同角度的视野或者以各种不同的角度(例如由指导人员选择的)可见的视图。ODD150可以由指导人员和/或学员出于各种训练目的进行观看，包括针对虚拟焊件的破坏性/非破坏性的测试与检验。例如，所述视图可以围绕已完成的焊缝转动，以允许由指导人员进行的目检。根据本发明可替换的实施方案，来自系统100的视频可以经由例如互联网被发送到远端位置，来进行远端观看和/或评论。另外，可以提供音频，允许学员和远端指导人员之间的实时音频通信。[0047]图4图示说明图2的仿真的焊接控制台135的前部分的示例性实施方案，示出物理焊接使用者界面(WUI)130。而1130包括对应于显示在ODD150上的使用者选择内容153的一组按钮131。按钮131被着色以对应于显示在ODD150上的使用者选择内容153的颜色。当按钮131中的一个被按下时，信号被发送到PPS110来激活对应的功能。WUI130还包括操纵杆132，操纵杆132能够被使用者使用来选择显示在ODD150上的各种参数和选择内容。WUI130还包括用于调节焊丝送进速度/安培数的刻度盘或旋钮133，以及用于调节伏特/微调的另一刻度盘或旋钮134。WUI130还包括用于选择弧焊工艺的刻度盘或旋钮136。根据本发明的实施方案，三种弧焊工艺是可选择的，包括具有气体保护和自保护过程的焊剂芯弧焊(FCAW);包含短弧、轴向喷射(axialspray)、STT以及脉冲的气体保护金属极弧焊(GMAW);气体保护钨极弧焊(GTAW);以及包含E6010、E6013和E7018电极的自动保护金属极弧焊(SMAW)。WUI130还包括用于选择焊接极性的刻度盘或旋钮137。根据本发明的实施方案，三种弧焊极性是可选择的，包括交流电(AC)、正接直流电(DC+)以及负接直流电(DC-)ο[0048]图5图示说明图1的系统100的模拟焊接工具(MffT)160的示例性实施方案。图5的MffT160仿真用于板焊接(platewelding)和管焊接的手工焊接工具，并且包括夹持器161和仿真的手工焊条162。在MffD160上的触发装置用于将信号传送到PPS110来激活所选择的仿真的焊接工艺。仿真的手工焊条162包括触觉型(tactilely)阻力末端163，用于仿真发生在例如真实世界的管焊接中的焊根焊道(rootpass)焊接过程期间或者焊接平板时的阻力反馈。如果使用者过于背离焊根移动仿真的手工焊条162，该使用者将能够感觉或觉察到较低的阻力，从而获得用于调节或保持当前焊接工艺的反馈。[0049]要考虑的是，手工焊接工具可以包括致动器(未示出)，所述致动器在虚拟焊接工艺期间缩回仿真的手工焊条162。也就是说，当使用者从事虚拟焊接活动时，夹持器161和仿真的手工焊条162的末端之间的距离被减小来仿真焊条的消耗。消耗速率，即手工焊条162的缩回，可以由PPS110控制，并且更具体地，可以由PPS110执行的编码指令控制。仿真的消耗速率还可以取决于使用者的技法。在此值得一提的是，当系统100便利利用不同类型焊条的虚拟焊接时，消耗率或手工焊条162的减少可以随所使用的焊接过程和/或系统100的设置而变化。[0050]根据本发明的其他实施方案，其他模拟焊接工具也是可能的，包括例如仿真手持半自动焊枪的MWD，所述MffD具有被送进通过所述枪的焊丝焊条。此外，根据本发明的其他特定实施方案，即使在系统100中工具不会用于实际上创建真实的电弧，真实的焊接工具可以用作MffT160来更好地仿真使用者手中的所述工具的实际感觉。再者，可以提供仿真的打磨工具(grindingtool)用来在仿真器100的仿真的打磨模式下使用。类似地，可以提供仿真的切割工具，用来在仿真器100的仿真的切割模式下使用(例如，举例说明，如在火焰切割和等离子切割中使用的仿真的切割工具)。另外，可以提供仿真的气体保护钨极弧焊(GTAW)焊炬或填充物材料，用来在仿真器100中使用。[0051]图6图示说明图1的系统100的桌台/底座(T/S)170的示例性实施方案。T/S170包括可调节的桌台171、底座或基座172、可调节的臂173以及立柱174。桌台171、底座172以及臂173的每个被附接到立柱174。桌台171和臂173的每个能够相对于立柱174被手动地向上、向下和转动地调节。臂173用于支当前第1页1 2 3 4 5 6