一种基于肢体动作进行情感运算的3D校园导览方法及系统与流程

本发明涉及人机交互
技术领域：
，特别涉及一种基于肢体动作进行情感运算的3d校园导览方法及系统。
背景技术：
：人类情感的表达不只仅限于使用语言的方式来进行交流，脸部的表情也会流露出内在所隐含的情绪状态，ekman与friesen(1957)就曾提出了六种人类基本的情绪类型，以及其相对应的脸部情绪的特征，分别为惊讶、害怕、生气、快乐、悲伤以及厌恶，利用人脸的特征来揭露一个人内心真实的情绪反应。此外也有其他学术上的研究认为，除了脸部的表情之外，语音识别或是生理辨识也可以作为内在情绪状态的线索之一(e.g.,schulleretal.2011)。另外，尽管关于肢体动作是否可以反映出内心情绪状态的部分一直有所争议，然而近年来已经有越来越多的研究指出了与之相反的观点，他们认为肢体语言也可以与情感有所关联，并且可以当作辨识一个人内部情绪的重要特征(schouwstraetal.1995；coulson2008；daeletal.1995；bretanetal.2015；陈廷暐2011)。picard(1997)认为情感不只是人与人之间交流的工具，同时也可以是人类与计算机进行互动的另一种手段，并且如果要让计算机具有智能的话，那么我们就必须要让计算机拥有情绪，以及具备辨别情绪的能力，并能够对情绪做出回馈。因此，为了能让人机互动(human–computerinteraction；hci)的机制可以变得更人性化、互动上更加的自然，近年来将情绪视为人类与计算机互动的关键因素，并尝试结合情感运算(affectivecomputing)在广泛的领域中进行应用的研究已经越来越多了。目前，许多结合情感运算相关领域的研究大多都是运用人脸情绪的特征辨识，或是依照生理辨识来给予适当的回馈，然而针对姿势来进行肢体情绪辨识的应用相对是比较少的，尤其在导览系统的应用当中，虽然有许多使用肢体动作来当作浏览3d虚拟环境的操作工具，但是将肢体语言进行情感的分析，并在互动中加入情绪回馈之应用并不多。技术实现要素：本发明目的在于克服现有技术的不足，提出一种基于肢体动作进行情感运算的3d校园导览方法及系统，除了会根据动作指令做出在3d环境移动的操作，还能透过使用者在操作过程中的姿势信息，来辨识动作中所隐含的情感表达，并且会根据使用者的姿势做情绪的判断，将情感运算结合到3d体感导览应用中，并给予适当的回馈，有助于使用者融入3d校园导览系统，于3d的校园情境中进行互动。本发明解决其技术问题所采用的技术方案是：一种基于肢体动作进行情感运算的3d校园导览方法，包括：通过kinect体感摄影机捕捉使用者全身的骨架姿势，以进行肢体动作的侦测及辨识；通过计算机接收并识别所述kinect体感摄影机发送的肢体动作，与预设的动作行为进行匹配；如果识别出所述肢体动作为移动控制姿势，则进行动作类别判断，并在已建立的3d校园环境导览应用中进行虚拟角色的视角移动移动操作，当虚拟角色靠近指定的区域和对象时，根据事先在数据库中建立好的内容，在画面上显示相对应的信息介绍，所述信息介绍为简要的基本区域介绍；如果识别出所述肢体动作为肢体情绪动作，则进行情绪种类的判断，并在已建立的3d校园环境导览应用中显示回馈内容；所述情绪种类包括生气、焦虑及有趣；所述回馈内容包括操作指令说明、所在的环境地图及更详细的信息内容。所述预设的动作行为包括向前伸出右手与肩膀距离大于30公分、向前伸出左手与肩膀距离大于30公分、身体向右倾大于15度、身体向左倾大于15度、双脚离地超过10公分、身体向前倾且双手大幅举起、身体向前倾且双手举起或交错及身体向后倾或挺直且双手大幅举起。如果匹配到的动作行为为向前伸出右手与肩膀距离大于30公分、向前伸出左手与肩膀距离大于30公分、身体向右倾大于15度、身体向左倾大于15度或双脚离地超过10公分，则判断为移动控制姿势；如果匹配到的动作行为为身体向前倾且双手大幅举起、身体向前倾且双手举起或交错及身体向后倾或挺直且双手大幅举起中的一种，则判断为肢体情绪动作。所述动作类别包括右手向前伸、左手向前伸、身体向右倾、身体向左倾和跳跃；所述视角移动移动操作包括角色向前走、角色向后退、角色向右转、角色向左转和角色跳跃；所述动作行为为向前伸出右手与肩膀距离大于30公分时，对应的动作类别为右手向前伸，对应的视角移动移动操作为角色向前走；所述动作行为为向前伸出左手与肩膀距离大于30公分时，对应的动作类别为左手向前伸，对应的视角移动移动操作为角色向后退；所述动作行为为身体向右倾大于15度时，对应的动作类别为身体向右倾，对应的视角移动移动操作为角色向右转；所述动作行为为身体向左倾大于15度时，对应的动作类别为身体向左倾，对应的视角移动移动操作为角色向左转；所述动作行为为双脚离地超过10公分时，对应的动作类别为跳跃，对应的视角移动移动操作为角色跳跃。所述动作行为为身体向前倾且双手大幅举起时，对应的情绪种类为生气，对应的回馈内容为显示操作指令说明；所述动作行为为身体向前倾且双手举起或交错时，对应的情绪种类为焦虑，对应的回馈内容为显示所在的环境地图；所述动作行为为身体向后倾或挺直且双手大幅举起时，对应的情绪种类为有趣，对应的回馈内容为显示更详细的信息内容。所述kinect体感摄影机架设于距离使用者2公尺远的地方来进行全身动作的捕捉与辨识。所述3d校园环境导览应用能够进行3d校园环境展示及显示校园资讯。一种基于肢体动作进行情感运算的3d校园导览系统，包括：肢体动作侦测及辨识模块，用于通过kinect体感摄影机捕捉使用者全身的骨架姿势，以进行肢体动作的侦测及辨识；肢体动作判断模块，用于通过计算机接收并识别所述肢体动作侦测及辨识模块发送的肢体动作，与预设的动作行为进行匹配；判断所述肢体动作为移动控制姿势或肢体情绪动作，如果为移动控制姿势，发送给行动控制模块处理；如果为肢体情绪动作，发送给情感运算模块处理；行动控制模块，进行动作类别判断，并在已建立的3d校园环境导览应用中进行虚拟角色的视角移动移动操作，当虚拟角色靠近指定的区域和对象时，根据事先在数据库中建立好的内容，在画面上显示相对应的信息介绍，所述信息介绍为简要的基本区域介绍；情感运算模块，进行情绪种类的判断，并在已建立的3d校园环境导览应用中显示回馈内容；所述情绪种类包括生气、焦虑及有趣；所述回馈内容包括操作指令说明、所在的环境地图及更详细的信息内容。所述3d校园导览系统还包括：动作行为预设模块，用于定义动作行为；所述动作行为包括向前伸出右手与肩膀距离大于30公分、向前伸出左手与肩膀距离大于30公分、身体向右倾大于15度、身体向左倾大于15度、双脚离地超过10公分、身体向前倾且双手大幅举起、身体向前倾且双手举起或交错及身体向后倾或挺直且双手大幅举起；动作类别预设模块，用于定义动作类别；所述动作类别包括右手向前伸、左手向前伸、身体向右倾、身体向左倾和跳跃；视角移动移动操作预设模块，用于定义基本操作指令；所述基本操作指令包括角色向前走、角色向后退、角色向右转、角色向左转和角色跳跃；情绪种类预设模块，用于定于情绪种类；所述情绪种类包括生气、焦虑及有趣；回馈内容预设模块，用于定于显示的回馈内容；所述回馈内容包括操作指令说明、所在的环境地图及更详细的信息内容；移动控制姿势关联模块，用于关联动作行为、动作类别和视角移动移动操作；所述动作行为为向前伸出右手与肩膀距离大于30公分时，对应的动作类别为右手向前伸，对应的视角移动移动操作为角色向前走；所述动作行为为向前伸出左手与肩膀距离大于30公分时，对应的动作类别为左手向前伸，对应的视角移动移动操作为角色向后退；所述动作行为为身体向右倾大于15度时，对应的动作类别为身体向右倾，对应的视角移动移动操作为角色向右转；所述动作行为为身体向左倾大于15度时，对应的动作类别为身体向左倾，对应的视角移动移动操作为角色向左转；所述动作行为为双脚离地超过10公分时，对应的动作类别为跳跃，对应的视角移动移动操作为角色跳跃；肢体情绪动作关联模块，用于关联动作行为、情绪种类和回馈内容；所述动作行为为身体向前倾且双手大幅举起时，对应的情绪种类为生气，对应的回馈内容为显示操作指令说明；所述动作行为为身体向前倾且双手举起或交错时，对应的情绪种类为焦虑，对应的回馈内容为显示所在的环境地图；所述动作行为为身体向后倾或挺直且双手大幅举起时，对应的情绪种类为有趣，对应的回馈内容为显示更详细的信息内容。与现有技术相比，本发明具有如下有益效果：本发明提出一种基于肢体动作进行情感运算的3d校园导览方法及系统，除了会根据动作指令做出在3d环境移动的操作，还能透过使用者在操作过程中的姿势信息，来辨识动作中所隐含的情感表达，并且会根据使用者的姿势做情绪的判断，将情感运算结合到3d体感导览应用中，并给予适当的回馈，有助于使用者融入3d校园导览系统，于3d的校园情境中进行互动。附图说明图1是本发明方法的流程图；图2是本发明系统交互流程示意图；图3是本发明体感摄影机所取得的深度影像；其中图3(a)为身体向左倾，图3(b)为右手向前伸；图4是本发明3d校园导览系统呈现的基本画面；图5是本发明3d校园导览系统呈现的信息内容显示画面；其中图5(a)为信息简介内容的呈现画面，图5(b)为详细的说明显示画面；图6是本发明3d校园导览系统呈现的信息协助显示画面；其中图6(a)为显示完整的楼层地图信息，图6(b)为显示操作指令画面。具体实施方式一种基于肢体动作进行情感运算的3d校园导览方法，参见图1所示，包括：步骤101，通过kinect体感摄影机捕捉使用者全身的骨架姿势，以进行肢体动作的侦测及辨识；步骤102，通过计算机接收并识别所述kinect体感摄影机发送的肢体动作，与预设的动作行为进行匹配；如果识别出所述肢体动作为移动控制姿势，转步骤103；如果识别出所述肢体动作为肢体情绪动作，转步骤104；步骤103，进行动作类别判断，并在已建立的3d校园环境导览应用中进行虚拟角色的视角移动移动操作，当虚拟角色靠近指定的区域和对象时，根据事先在数据库中建立好的内容，在画面上显示相对应的信息介绍，所述信息介绍为简要的基本区域介绍；步骤104，进行情绪种类的判断，并在已建立的3d校园环境导览应用中显示回馈内容；所述情绪种类包括生气、焦虑及有趣；所述回馈内容包括操作指令说明、所在的环境地图及更详细的信息内容。对应的，一种基于肢体动作进行情感运算的3d校园导览系统，包括：肢体动作侦测及辨识模块，用于通过kinect体感摄影机捕捉使用者全身的骨架姿势，以进行肢体动作的侦测及辨识；肢体动作判断模块，用于通过计算机接收并识别所述肢体动作侦测及辨识模块发送的肢体动作，与预设的动作行为进行匹配；判断所述肢体动作为移动控制姿势或肢体情绪动作，如果为移动控制姿势，发送给行动控制模块处理；如果为肢体情绪动作，发送给情感运算模块处理；行动控制模块，进行动作类别判断，并在已建立的3d校园环境导览应用中进行虚拟角色的视角移动移动操作，当虚拟角色靠近指定的区域和对象时，根据事先在数据库中建立好的内容，在画面上显示相对应的信息介绍，所述信息介绍为简要的基本区域介绍；情感运算模块，进行情绪种类的判断，并在已建立的3d校园环境导览应用中显示回馈内容；所述情绪种类包括生气、焦虑及有趣；所述回馈内容包括操作指令说明、所在的环境地图及更详细的信息内容。具体的，整个系统包括三部分：3d校园环境导览应用、体感辨识部分及情感运算部分。本实施例中，3d校园环境导览应用通过软件实现，本实施例采用unity来进行系统的开发与建置，并使用javascript与c#语言来进行3d校园导览应用的程序撰写。在3d校园导览应用中，使用者可以自由地观看依据真实的校园环境所建造出来的3d模型来了解楼层内部的样貌，并且系统会实时的显示相对应区域的环境信息，以便让用户能够深入的了解更多相关学校一些设备、资源的信息。在体感辨识的部分，本实施例使用kinect体感摄影机来进行肢体动作上的辨识，由于是以使用者全身的骨架姿势来进行判断，因此我们将体感摄影机架设于距离使用者约2公尺远的地方来进行全身动作的捕捉与辨识。此外，使用者肢体行为的动作会被识别来作为导览系统中环境游览、移动操作上的判断，以及肢体情绪辨识的依据。肢体的动作除了作为上述导览系统中环境移动的操作之外，情感运算部分还会结合情感运算来作为情感辨识上的依据，判断用户与系统互动中当下所表现出来的情绪，并根据预先指定好的情绪种类做相对应的信息回馈，来帮助用户与系统能有更自然、人性化的互动，以及提升系统操作的易用性。例如，当侦测到用户在观看信息中，表现出感兴趣的情绪时，便会显示更多详细的信息提供给用户。避免在游览环境时，一下子显示过多的信息，造成用户在观看上的混乱以及视觉的疲劳。进一步的，参见图2所示，使用者透过kinect体感摄影机来捕捉深度影响的信息与骨架，以侦测姿势来进行辨识，并以此方式与3d校园导览系统展开互动，而互动的内容大致上可以分为一般指令的移动控制和肢体情绪识别与回馈。具体的，一般指令的移动控制指用户可以透过事先定义好的基本操作指令，藉由肢体动作来进行虚拟角色的视角移动操控，并且当角色靠近指定的区域和对象时，系统会根据事先在数据库中建立好的内容，在画面上显示相对应的信息介绍，此信息内容为简要的基本区域介绍；肢体情绪识别与回馈指结合情感运算来辨识肢体的情绪，并选用了生气、焦虑和感到有趣3种情绪的类别，由姿势的侦测来判断可能属于的情绪，最后做出适当的反应和回馈。进一步的，如下将对移动控制部分及肢体情绪识别与回馈部分做进一步的介绍。(1)移动控制在以unity所建置的导览系统之中，角色的移动是使用到了第一人称控制器的方式来进行视角的操作。此外，有别于第三人称控制器的摄影机是架设在虚拟人物的后方跟随拍摄，在第一人称控制器中，使用者并不会看到虚拟角色的人物，只能看到以角色的视角所拍摄到的画面。角色人物的移动控制是根据体感摄影机所拍摄到的深度影像信息来进行辨识与操控(参见图3所示)，另外表1(姿势与移动控制的指令)的部分列出了本实施例所订立的移动控制之基本操作指令，希望由肢体的姿势辨别来与整个3d校园导览应用进行互动的操作。表1动作类别动作行为互动显示内容右手向前伸向前伸出右手与肩膀距离大于30公分。角色向前走左手向前伸向前伸出左手与肩膀距离大于30公分。角色向后退身体向右倾身体向右倾大于15度。角色向右转身体向左倾身体向左倾大于15度。角色向左转跳跃双脚离地超过10公分。角色跳跃(2)肢体情绪识别与回馈如表2(情绪姿势组合与情感回馈的信息)所示，本实施例依照正向及负向的情绪，再进一步配合手部的变化来辨识姿势所表现的情绪，并且给予相关的回应内容。表2情绪种类肢体情绪行为回馈显示内容生气身体向前倾、双手大幅举起显示操作指令说明焦虑身体向前倾、双手举起或交错显示所在的环境地图有趣身体向后倾或挺直、双手大幅举起显示更详细的信息内容对于先前没有使用过相关类似的3d导览系统的用户来说，在系统上的操作会相较于有经验的使用者还来的不适应，虽然本实施例的3d导览系统在一开始会有相关姿势操作的说明，但在许多的研究中发现，用户对于系统的熟悉程度还是会影响用户对于系统使用性的感受，因此本实施例站在使用者的角度来进行互动机制的开发，当使用者因为遇到操作上的困难而感到不愉快甚至是生气时，系统能够及时的根据生气的情绪来响应使用者相关操作的说明。另一方面，为了让系统的互动能有多元及人性化的响应，当用户在系统环境中迷失方向，不知道自己位在哪一个区域位置而感到焦虑时，系统便会响应显示目前所在楼层的完整地图，以及所在的区域位置，以便帮助用户快速找回当下的方位。此外，当用户对于当前所显示的环境信息简介感到有兴趣时，系统便会进一步显示更多相关的信息让有兴趣的人来了解。本实施例的3d校园导览系统，参见图4所示，在基本的画面呈现中，右上角会有楼层区域以及小地图的显示，以便让用户了解目前所在的位置与环境，并且可以透过基本的移动控制动作指令，在导览系统的环境中进行游览。当使用者操控的虚拟人物角色接近指定的区域范围时，系统画面会呈现出简单的环境介绍，此外如果使用者在观看简要的信息介绍后，表现出感到有趣的肢体动作时，系统会依据情绪的判断来显示更详细的信息给用户观看，以此自动呈现的方式来达到结合情感运算之互动机制。如图5(a)所示为接近区域时的会显示信息简介内容的呈现画面；如图5(b)所示为判断使用者的姿势表达具有有趣的情感时，就会针对同一区域的内容作更详细的说明显示。另外当侦测到焦虑和生气的负向情绪时，系统也会根据相对应的情绪回馈反应，实时的给予协助，如图6所示。在图6的部分，图6(a)表示当使用者产生焦虑的肢体情绪反应时，将会作为环境方向迷失的判断，并立即显示完整的楼层地图信息；图6(b)则是代表了使用者产生生气的情绪反应，在此作为操作上遇到困难，可能是忘记动作的指令或是记不清楚动作的姿势，因此将会在显示一次操作指令的说明到导览系统的画面中。以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。当前第1页12