游戏中基于多模态输入的道具购买方法及系统与流程

本发明涉及机器人交互技术领域，尤其涉及一种游戏中基于多模态输入的道具购买方法及系统。

背景技术：

目前，随着网络技术的发展，游戏在移动终端得到更好的发展，鉴于移动终端的结构特殊性，游戏的操作便利性受到限制。因此，应用于游戏的语音技术开始被重视。

语音技术应用于游戏主要是玩家与玩家之间的交互，或者玩家与游戏中虚拟机器人的交互。再有就说，通过语音技术对游戏系统进行控制，然而，对于游戏系统的控制，目前来说，还是基于手动控制的基础上进行。例如，要在游戏中打开道具系统购买东西时，还是需要先打开道具主页，再一项一项的向下进行选择，如此，造成操作的繁琐，并且，由于语音识别技术具有不确定性，因此，容易造成失败。

技术实现要素：

本发明的目的是提供一种操作简单，操作步骤少，易于成功的游戏中基于多模态输入的道具购买方法及系统。

本发明的目的是通过以下技术方案来实现的：

一种游戏中基于多模态输入的道具购买方法，包括：

获取用户的多模态输入信息；

根据预设的道具信息识别策略识别多模态输入信息中的道具信息；

根据预设的意图识别策略识别多模态输入信息中的购买意图；

若多模态输入信息中的购买意图为是，则根据所述道具信息打开对应的道具购买显示框，其中，道具购买显示框的开启命令与所述道具信息关联。

优选的，所述方法还包括：

识别多模态输入信息中的购买数量信息。

优选的，所述方法还包括：

判断多模态输入信息中是否具有购买数量信息，若有，则直接完成道具的购买；若没有，则保持道具购买显示框的显示。

优选的，识别多模态输入信息中的道具信息包括：

识别道具信息中的道具属性信息。

优选的，所述方法还包括：

向用户提示是否确认购买信息，并获取用户根据所述提示信息给出的第二次多模态输入信息，识别所述第二次多模态输入信息中的确认购买信息，确认购买信息为是，根据确认购买信息完成道具的购买。

一种游戏中基于多模态输入的道具购买系统，包括：

多模态输入信息获取模块，用于获取用户的多模态输入信息；

道具信息识别模块，用于根据预设的道具信息识别策略识别多模态输入信息中的道具信息；

意图识别模块，根据预设的意图识别策略识别多模态输入信息中的购买意图；

道具购买模块，若多模态输入信息中的购买意图为是，则根据所述道具信息打开对应的道具购买显示框，其中，道具购买显示框的开启命令与所述道具信息关联。

优选的，所述系统还包括：

数量识别模块，用于识别多模态输入信息中的购买数量信息。

优选的，所述系统还包括：

购买数量确认模块，用于判断多模态输入信息中是否具有购买数量信息，若有，则直接完成道具的购买；若没有，则保持道具购买显示框的显示。

优选的，所述道具信息识别模块包括：

道具属性识别单元，用于识别道具信息中的道具属性信息。

优选的，所述系统还包括：。

购买确认模块：向用户提示是否确认购买信息，并获取用户根据所述提示信息给出的第二次多模态输入信息，识别所述第二次多模态输入信息中的确认购买信息，确认购买信息为是，根据确认购买信息完成道具的购买。

相比现有技术，本发明具有以下优点：通过对多模态输入信息中道具信息的识别，以及通过对购买意图的识别，进而识别到用户的需求，根据多模态输入信息中的道具信息，直接打开对应的道具购买显示框，这样，避免了繁琐的程序操作。同时，由于操作步骤的减少，也避免了操作失败和误操作的概率，提高了成功率。

附图说明

图1是本发明实施例一的一种基于单意图的技能包并行执行管理方法的流程图；

图2是本发明实施例二的一种基于单意图的技能包并行执行管理系统的示意图。

具体实施方式

虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。

计算机设备包括用户设备与网络设备。其中，用户设备或客户端包括但不限于电脑、智能手机、PDA等；网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云。计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制，使用这些术语仅仅是为了将一个单元与另一个单元进行区分。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

下面结合附图和较佳的实施例对本发明作进一步说明。

实施例一

如图1所示，提供了一种游戏中基于多模态输入的道具购买方法的具体实施例，该方法包括步骤：

S10、获取用户的多模态输入信息。

具体的，获取用户的多模态输入信息是通过智能终端的操作，其中，智能终端可以包括手持的移动终端如手机、平板等，或是非手持的终端设备如电脑、智能电视等。其中，所述多模态输入信息包括语音信息、手势信息、表情信息、场景信息、图像信息、视频信息、人脸信息、瞳孔虹膜信息、光感信息和指纹信息中的其中一种或几种。智能终端设置有多模态输入输入模块，如麦克风、传感器、摄像头、触摸屏等。例如，智能终端内设置有语音识别模块，一般来说，语音识别模块可以通过大规模的真实语料的词汇之间的同现概率，来识别输入的语音信息中出现的词汇，或通过人工神经网络方法和基于文法规则的语音处理机制来识别语音信息中的意义等。又如，智能终端内设置有视频识别模块，可以识别视频信息中人脸的表情等。

S20、根据预设的道具信息识别策略识别多模态输入信息中的道具信息。

具体的，以语音信息为例，可以通过大规模的真实语料的词汇之间的同现概率，来识别输入的语音信号中出现的词汇的语音识别方式为例。在语音识别系统的道具识别策略中首先大规模的采集有关道具名称以及与其相关的属性信息，例如，首先在语音系统中采集了关于“项链”的道具信息，从而，当语音信息中出现“项链”时，语音系统即可识别该道具信息。

S30、根据预设的意图识别策略识别多模态输入信息中的购买意图。

同样的，以语音信息为例，可以通过大规模的真实语料的词汇之间的同现概率，来识别输入的语音信号中出现的词汇的语音识别方式为例。在语音识别系统的道具识别策略中首先大规模的采集有关购买意图的词汇，从而，当语音信息中出现相同词汇时，语音系统即可识别该购买意图。

S40、若多模态输入信息中的购买意图为是，则根据所述道具信息打开对应的道具购买显示框，其中，道具购买显示框的开启命令与所述道具信息关联。

以语音信息为例，当语音信息中同时识别到道具信息以及购买意图时，才会执行打开对应的道具购买显示框，其中，所述对应的道具购买显示框是针对直接针对语音信息中所识别到的道具信息的直接显示页面，上面可以显示该道具的图示、名称、属性、数量等信息，用户可以通过这些信息判断是否与语音信息中的道具信息相吻合。其中，所述对应的道具购买显示框的开启命令与语音系统中的有关道具信息的词汇相关联，从而，当语音系统识别到该词汇时即执行相应的开启命令。或者，可以以语音信息结合其它多模态输入的方式来识别道具信息以及购买意图。例如，通过语音信息识别道具信息，通过表情信息识别购买意图。

在本实施例中，所述方法还包括：

S50、识别多模态输入信息中的购买数量信息。

例如，可以通过对语音信息中的购买数量进行识别，或者，可以通过对视频信息中的手势进行识别，道具系统根据所述购买数量信息，在开启对应的道具购买显示框的同时，根据所述购买数量信息修改道具的购买数量值使得对应的道具购买显示框显示与当前购买数量信息相同的值。

本实施例中，所述方法还包括：

S60、判断多模态输入信息中是否具有购买数量信息，若有，则直接完成道具的购买；若没有，则保持道具购买显示框的显示。

例如，当识别到语音信息中具有购买数量信息时，则可判断用户的购买意图和购买数量是确定的，从而，道具系统根据同时识别到的道具信息、购买意图以及购买数量，直接完成道具的购买动作。例如，当语音识别系统识别到用户的输入语音为：“我要买100个项链”，其中，“我要买”为购买意图，“100个”为购买数量，“项链”为道具信息，这样，语音识别系统同时识别到了道具信息、购买意图以及购买数量，从而可执行打开对应的道具显示框、更改道具的购买数量值、完成道具购买过程的操作。

在本实施例中，识别多模态输入信息中的道具信息包括：识别道具信息中的道具属性信息。例如，若项链中，包含了“金项链”、“银项链”、“水晶项链”等不同的属性。当通过语音信息识别到“项链”这一词汇时，对应的道具购买显示框将显示的是项链道具的上级目录，需要通过二次的语音输入并在二次输入的语音中加入道具的属性信息。也就是说，对于上位的“项链”一词，同样关联了道具系统中的有关“项链”的上级目录的道具显示框。当然，在第一次输入的语音信息中，若包含了对应的属性信息，则道具系统会根据关联的开启命令直接开启相应的道具购买显示框。例如，当语音识别系统识别到用户的输入语音为：“我要买100个水晶项链”时，语音识别系统同时识别到了道具信息、购买意图以及购买数量，从而可执行打开对应的水晶项链道具显示框、并更改水晶项链的购买数量值为100、并完成道具购买过程的操作。

作为本实施例的另一种可替代方式，对于道具的购买操作，所述方法还可以包括步骤：

S70、向用户提示是否确认购买信息，并获取用户根据所述提示信息给出的第二次多模态输入信息，识别所述第二次多模态输入信息中的确认购买信息，确认购买信息为是，根据确认购买信息完成道具的购买。例如，当语音识别系统识别到用户的输入语音为：“我要买100个水晶项链”时，向用户提示，是否确认购买100个水晶项链，用户可根据该提示信息给出第二次多模态输入信息，通过第二多模态输入信息识别其确认购买信息，完成道具的购买过程。

实施例二

如图2所示，基于上述实施例提供一种游戏中基于多模态输入的道具购买系统的具体实施例，包括：多模态输入信息获取模块10，用于获取用户的多模态输入信息；道具信息识别模块20，用于根据预设的道具信息识别策略识别多模态输入信息中的道具信息；意图识别模块30，根据预设的意图识别策略识别多模态输入信息中的购买意图；道具购买模块40，若多模态输入信息中的购买意图为是，则根据所述道具信息打开对应的道具购买显示框，其中，道具购买显示框的开启命令与所述道具信息关联。

本实施例中，所述系统还包括：

数量识别模块50，用于识别多模态输入信息中的购买数量信息。

本实施例中，所述系统还包括：

购买数量确认模块60，用于判断多模态输入信息中是否具有购买数量信息，若有，则直接完成道具的购买；若没有，则保持道具购买显示框的显示。

本实施例中，所述道具信息识别模块20包括：

道具属性识别单元，用于识别道具信息中的道具属性信息。

本实施例中，所述系统还包括：。

购买确认模块70：向用户提示是否确认购买信息，并获取用户根据所述是否确认购买信息后给出的第二次多模态输入信息，识别所述第二次多模态输入信息中的确认购买信息，确认购买信息为是，根据确认购买信息完成道具的购买。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。