基于面部运动的化身动画的利记博彩app
【专利说明】
【背景技术】
[0001]可以在诸如游戏或社交媒体平台的软件应用和各种平台中通过化身(avatar)表示用户。可以对这些化身中的某些制作动画(animate)。
【附图说明】
[0002]图1是在其中可以实现本文描述的技术的示例性环境的图。
[0003]图2图示了用于对化身的面部制作动画的两个示例性化身图像系列。
[0004]图3图示了两个示例性化身特征图像系列以及化身背景。
[0005]图4示出了图示在面部特征参数与对化身图像系列或化身特征图像系列的索引之间的示例性线性和非线性关系的图。
[0006]图5是用于对化身制作动画的第一示例性计算设备的框图。
[0007]图6是第一示例性化身动画利记博彩app的流程图。
[0008]图7是第二示例性化身动画利记博彩app的流程图。
[0009]图8是用于对化身制作动画的第二示例性计算设备的框图。
[0010]图9是可以执行指令作为实现本文描述的技术的一部分的示例性处理器核的框图。
【具体实施方式】
[0011]本文描述的技术允许基于用户的面部或头部运动(此后共同称为“面部运动”)实时地对化身制作动画。在用户的实况(live)视频中跟踪用户的面部特征，并且根据所跟踪的特征确定的面部特征参数被映射到预定的化身图像。所公开的化身动画制作技术比包括基于用户的面部运动生成复杂3D化身模型或使其变形以及基于这样的模型再现(render)化身图像的方法消耗较少的功率。相应地，采用所公开的技术的移动计算设备的电池寿命相对于使用更为计算密集型的方法的设备可以被延长。
[0012]现在参考附图，其中贯穿附图，相同的参考标号被用于指代相同的元素。在以下描述中，出于解释的目的，记载了许多具体细节以便提供其彻底的理解。然而，可能明显的是，可以在没有这些具体细节的情况下实行新颖的实施例。在其他实例中，以框图形式示出已知的结构和设备以便促进其描述。意图覆盖在权利要求书的范围之内的所有的修改、等同和替代。
[0013]图1是在其中可以实现本文描述的技术的示例性环境100的图。环境100包括第一用户110，其使用第一计算设备120与使用第二计算设备140的第二用户130经由网络(或云)150通过视频呼叫或视频会议通信。第一和第二计算设备120和140可以是任何计算设备，诸如移动设备(例如，智能电话、膝上型或平板计算机)、台式计算机或服务器，并且网络150可以是任何类型的网络，诸如局域网(LAN)、广域网(WAN)或者因特网。
[0014]运行在第一计算设备120上的视频呼叫应用的用户接口 160可以包括第二用户130的化身图像170，其占用户接口 160的大部分。可选地，用户接口 160还可以包括用户110的化身图像180，其占所述接口的较小的部分。化身图像170和180基于从用户的实况视频提取的用户110和130的面部特征，以虑及在各方之间的实时通信。即，一旦由视频捕获设备生成视频帧，就使所述视频帧针对视频化身动画制作处理可用。在其中不需要在用户之间的实时通信的某些实施例中，可以基于在任何先前的时间处捕获的存储的视频对化身制作动画。
[0015]可以通过例如被集成到计算设备中的照相机向所述计算设备提供视频，所述被集成到计算设备中的照相机诸如是被集成到智能电话或者平板计算机中的正面(front-facing)照相机(例如，照相机190和195)，或者与所述计算设备通信地親合的外部视频捕获设备，诸如親合到膝上型计算机的无线摄像机(camcorder)或者親合到台式计算机的web照相机。
[0016]一般地，基于根据在用户的视频中跟踪的面部特征确定的面部特征参数对化身制作动画。示例性面部特征包括上唇和下唇、上眼睑和下眼睑、嘴角、左眉和右眉(内端、中部和外端)、下巴、左耳和右耳、鼻尖以及左鼻翼和右鼻翼的位置。示例性面部特征参数包括头部转动的程度、头部倾斜的程度、在上唇和下唇之间的距离、在嘴角之间的距离、在上唇和鼻尖之间的距离、在鼻翼和鼻尖之间的距离、在上眼睑和下眼睑之间的距离、在眉尖(eyebrow tip)之间的距离以及在眉尖和眉中部(eyebrow middle)之间的距离。除上述列出的那些之外，还可以跟踪和确定面部特征以及面部特征参数。
[0017]所确定的面部特征参数被用于选择预定的化身图像，用于对化身制作动画。所述化身图像是预定的，因为它们已经在根据视频确定用户的面部特征参数之前生成。所述预定的化身图像可以预先安装在购买的计算设备上或者在购买之后被安装在所述设备处。可以通过例如下载支持使用本文描述的技术的化身动画制作的通信应用，或者通过分离地下载化身图像来在购买之后安装化身图像。此外，可以通过另一计算设备提供化身图像。例如，可以通过远程计算设备向计算设备提供化身图像，所述计算设备与所述远程计算设备通信。例如，作为建立视频呼叫的一部分或者在视频呼叫期间，可以通过远程计算设备提供化身图像。
[0018]预定的化身图像可以采取各种形式。例如，它们可以是简单的卡通图像，或者是根据使用专业再现引擎创建的复杂3D模型生成的图像。预定的化身图像还通常被本地存储在计算设备处。这虑及向在所述计算设备处的其他资源以及向其他计算设备快速提供化身图像，其他计算设备诸如参与与所述计算设备的视频呼叫的远程计算设备。
[0019]在某些实施例中，通过至少部分地基于根据用户的视频确定的面部特征参数，从化身图像的一个或多个系列选择化身图像来对化身制作动画。随着归因于用户的改变的面部运动的在视频中的用户的面部特征改变，选择和显示不同的化身图像，产生形成动画(animated)的化身，其外貌对应于用户的面部运动。可以对化身制作动画的方式可以基于对计算设备可用的化身图像系列。
[0020]图2图示了用于对化身制作动画的两个示例性化身图像系列200和210。系列200可以被用于对化身的嘴部的张开和闭合制作动画，并且系列210可以被用于对化身眨眼制作动画。系列200和210的每个分别包括具有相应的索引220和230的十个化身图像。化身图像系列(或者，化身特征图像系列，如以下讨论的那样)可以包括任何数量的图像。在系列中的图像的数量可以基于例如动画平滑度的期望水平以及化身图像系列可占的存储器的期望量。一般地，在所公开的技术的特定实现中跟踪的面部特征可以基于对所述设备可用的化身图像系列。例如，如果计算设备仅具有对系列200和210的访问，则所述设备仅可以跟踪涉及嘴部和眼睛的面部特征。
[0021 ] 选择在系列中的化身图像可以包括将一个或多个面部特征参数映射到图像索引。例如，在用户的上唇和下唇之间的距离可以被映射到系列200的索引220中的一个。可以使用各种映射方法。一个示例性映射包括将面部特征参数规格化成零到一的范围，并且然后执行规格化的参数到系列索引的线性映射。例如，在用户的上唇和下唇之间的距离可以被规格化成零到一的范围，并且然后上舍入为最近的十分位(round up to the nearesttenth)以生成针对系列200的索引。在某些实施例中，可以基于两个或更多的面部特征参数生成索引。例如，在用户的上唇和下唇之间的距离以及在用户的嘴角之间的距离的组合可以被映射到系列200的索引。
[0022]相应地，可以通过以按照索引值的递增顺序接连显示在系列200中的相邻的化身图像并且然后以按照索引值的递减次序接连显示来对化身制作动画以张开和闭合其嘴部。如本文中使用的那样，术语“相邻”在其指代在系列中的化身图像时意味着在由所述系列表示的动画序列中的下一个或在前的图像。例如，参考化身图像系列200，化身图像240相邻于化身图像250和260。然而，相邻的化身图像不一定接连显示。例如，所显示的化身动画可以包括在显示化身图像250 (索引=5)之后立即显示化身图像260 (索引=7)。
[0023]可以使用附加的化身图像系列来对化身制作动画，其具有不同于眨眼以及张开和闭合其嘴部的面部运动。例如，化身图像系列可以被用于使得化身打哈欠、微笑、眨眼示意(wink)、上扬其眉毛、皱眉等等。
[0024]在某些实施例中，每次使用一个化身图像系列对化身制作动画。例如，如果计算设备具有对化身图像系列200和210的访问，则化身可以被制作成眨眼或者张开以及闭合其嘴部，但是不能被制作成同时进行两者。在其他实施例中，化身图像系列可以对多个面部运动制作动画。例如，系列200和210可以被组合，以创建包括对应于在系列200中的十个嘴部图像与在系列210中的十个眼睛图像的组合的100个化身图像的化身图像系列。这样的扩展的化身图像系列可以被用于对可以同时眨眼并且张开和闭合其嘴部的化身制作动画。化身图像系列可以对多于两个的面部表情制作动画。
[0025]如果计算设备具有对多于一个化身图像系列的访问，所述化身图像系列对面部的相同区域制作动画(例如，可以对嘴部制作动画的两个系列一一一个系列对微笑制作动画并且一个系列对皱眉制作动画)