。
[0134]在框904，本地处理系统500基于本地相机信息来生成3D对象信息。该操作可需要使用深度信息来产生本地设置的真实空间中的每个对象的3D网格，并接着将视频信息应用为到3D网格上的纹理。
[0135]在框906，本地处理系统500将本地输入信息传输到由相应远程设置提供的远程处理系统中的每一个。本地输入信息可包括关于被本地处理系统500标识的对象的任意信息，诸如原始本地相机信息(在框902中接收到的)和/或经处理的3D对象信息(在框904中提供的)ο
[0136]在框908，本地处理系统500接收来自每个相应远程设置的每个远程处理系统的远程输入信息。类似于本地输入信息，远程输入信息可对应于关于被远程处理系统标识的对象的任意信息，诸如原始远程相机信息和/或经处理的远程3D对象信息。
[0137]在框910，本地处理系统500基于本地3D对象信息和远程输入信息来组成3D场景信息。该组成操作可包括将分开的3D对象投射到公共坐标空间中，并对3D场景的各个部分执行适当的缩放。组成操作还可包括将补充信息(诸如笔迹信息、检索到的文档、控制特征等)集成到3D场景中。
[0138]在框912，本地处理系统500将3D场景信息提供到本地镜子功能，例如使用图3的镜子功能314 (其使用物理半透明镜子316)或图4的镜子功能402 (其不使用物理半透明镜子)。镜子功能(314、402)创建三维虚拟空间，该三维虚拟空间显示参与者的至少一些，就好像参与者物理地出现在同一位置并看向镜子。
[0139]在另一实现中，框910还可需要生成3D场景信息的另一实例，其表示图8的虚拟实际空间820中的虚拟实际对象。框912可需要以章节D中描述的任意方式来呈现3D场景信息的这一第二实例。
[0140]E.代表性计算功能
[0141]图10阐述了可以被用来实现上文所描述的功能的任何方面的说明性计算功能1000例如，计算功能1000可被用于实现由每个本地设置提供的每个本地处理系统500的任何方面。在一种情况下，计算功能1000可对应于包括一个或多个处理设备的任何类型的计算设备。在所有情形中，计算功能1000表示一个或多个物理且有形的处理机构。
[0142]计算功能1000可包括诸如RAM 1002和ROM 1004之类的易失性和非易失性存储器，以及一个或多个处理设备1006 (例如，一个或多个CPU，和/或一个或多个GPU等等)。计算功能1000还可任选地包括诸如硬盘模块、光盘模块等等之类的各种介质设备1008。当处理设备1006执行由存储器(例如，RAM 1002、ROM 1004或在别处维护的指令时，计算功能1000可以执行上文所标识的各种操作。
[0143]更一般地，指令和其它信息可以被存储在任何计算机可读介质1010上，计算机可读介质包括但不限于静态存储器存储设备、磁存储设备、光存储设备等。术语计算机可读介质还涵盖多个存储设备。在多种情况下，计算机可读介质1010表示某种形式的物理和有形的实体。术语计算机可读介质还包括传播信号，例如经由物理管道和/或空气或其他无线介质等来传送或接收的。然而，特定术语“计算可读存储介质”和“计算机可读介质设备”明确地排除传播信号本身，但是包括所有其他形式的计算机可读介质。
[0144]计算功能1000还包括用于接收各种输入(通过输入设备1014)，以及用于提供各种输出(通过输出设备)的输入/输出模块1012。说明性的输入设备包括键盘设备、鼠标输入设备、触摸屏输入设备、姿势输入设备、语音识别机制、图像捕捉机制、跟踪机制等。一个具体的输出机制可包括呈现设备1016 ;该设备进而可对应于以上描述的镜像功能(314、402)的组件。计算功能1000还可以包括用于通过一个或多个通信管道1022与其他设备(例如，在其他设置中提供的)交换数据的一个或多个网络接口 1020。一条或多条通信总线1024将上述组件通信地耦合在一起。
[0145]通信管道1022可以以任何方式来实现，例如，通过局域网、广域网(例如，因特网)等等，或其任何组合。通信管道1022可包括可由任何协议或协议的组合管理的硬连线的链路、无线链路、路由器、网关功能、名称服务器等等的任何组合。
[0146]作为替代或除此之外，前述各节中所述的任何功能可至少部分地由一个或多个硬件逻辑组件来执行。作为示例而非限制，计算功能可使用以下的一个或多个来实现:现场可编程门阵列(FPGA);专用集成电路(ASIC);专用标准产品(ASSP);片上系统(SOC);复杂可编程逻辑器件(CPLD)等等。
[0147]最后，说明书在说明性挑战或问题的上下文中描述了各种概念。这种说明方式不构成其他人以此处所指定的方式理解和/或明确表达挑战或问题的许可。此外，所要求保护的主题也不仅限于解决提到的挑战/问题中的任意或全部的实现。
[0148]尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
【主权项】
1.一种用于提供远程沉浸式会话的参与者之间的交互的远程沉浸式环境，所述远程沉浸式环境包括: 两个或更多个设置，每个设置向所述远程沉浸式会话的本地参与者提供交互式体验，并且每个设置包括: 图像捕捉功能，所述图像捕捉功能被配置成捕捉表示与所述设置相关联的本地参与者的本地相机信息； 本地处理系统，所述本地处理系统被配置成: 接收所述本地相机信息； 基于所述本地相机信息来生成本地三维对象信息； 将本地输入信息传输到与至少一个远程参与者相关联的至少一个远程处理系统，所述本地输入信息对应于与被所述本地处理系统标识的对象相关联的任意信息； 接收来自所述至少一个远程处理系统的远程输入信息，所述远程输入信息对应于与被所述至少一个远程处理系统标识的对象相关联的任意信息； 基于所述本地三维对象信息和所述远程输入信息来组成三维场景信息；以及镜子功能，所述镜子功能被配置成基于所述三维场景信息来呈现三维虚拟空间，所述三维虚拟空间显示所述参与者中的至少一些，就好像所述参与者物理地出现在同一位置并看向镜子那样。2.如权利要求1所述的远程沉浸式环境，其特征在于，所述镜子功能包括: 用于呈现所述设置处的所述本地参与者的虚拟图像的物理半透明镜子；以及 显示设备，所述显示设备被配置成接收所述三维场景信息，并且基于所述三维场景信息，呈现至少一个远程参与者的虚拟图像。3.如权利要求1所述的远程沉浸式环境，其特征在于，所述镜子功能包括显示设备，所述显示设备被配置成接收所述三维场景信息，并且基于所述三维场景信息，呈现所述本地参与者和至少一个远程参与者的虚拟图像。4.一种远程沉浸式环境中的本地设置，所述远程沉浸式环境用于提供远程沉浸式会话的参与者之间的交互，所述本地设置包括: 图像捕捉功能，所述图像捕捉功能被配置成捕捉表示与所述本地设置相关联的本地参与者的本地相机信息； 本地处理系统，所述本地处理系统被配置成: 基于所述本地相机信息和远程输入信息来组成三维场景信息，所述远程输入信息由与至少一个远程参与者相关联的至少一个远程处理系统提供，所述远程输入信息对应于与被所述至少一个远程处理系统标识的对象相关联的任意信息；以及 将本地输入信息中的至少一些传输到所述至少一个远程处理系统，所述本地输入信息对应于与被所述本地处理系统标识的对象相关联的任意信息；以及 镜子功能，所述镜子功能被配置成基于所述三维场景信息来呈现三维虚拟空间，所述三维虚拟空间显示所述参与者中的至少一些，就好像所述参与者物理地出现在同一位置并看向镜子那样。5.如权利要求4所述的本地设置，其特征在于，所述镜子功能包括显示设备，所述显示设备被配置成接收所述三维场景信息，并且基于所述三维场景信息，呈现所述本地参与者和至少一个远程参与者的虚拟图像。6.如权利要求4所述的本地设置，其特征在于，所述镜子功能包括具有弯曲显示表面来显示所述远程沉浸式会话的所述参与者的显示设备。7.如权利要求4所述的本地设置，其特征在于，所述镜子功能使用用于呈现所述远程沉浸式会话的两个或更多个参与者的虚拟图像的手持式显示设备。8.如权利要求4所述的本地设置，其特征在于，由所述本地处理模块生成的所述三维场景?目息表不: 虚拟反射空间，所述虚拟反射空间包括从镜子表面中的反射的视角投射的一个或多个虚拟反射对象；以及 虚拟实际空间，所述虚拟实际空间包括从被放置在所述镜子表面之前的实体的视角投射的一个或多个虚拟实际对象。9.如权利要求8所述的本地设置，其特征在于，所述本地处理系统包括使得所述本地参与者能够与任意虚拟反射对象和任意虚拟实际对象进行交互的功能。10.一种由一个或多个计算机设备实现的方法，包括: 接收来自在本地设置处提供的本地图像捕捉功能的本地相机信息，所述本地设置包括用于向远程沉浸式会话的参与者提供交互式体验的设置集合中的一个； 基于所述本地相机信息来生成本地三维对象信息； 将本地输入信息传输到与所述远程沉浸式会话的至少一个远程参与者相关联的至少一个远程设置，所述本地输入信息对应于与被所述本地设置标识的对象相关联的任意信息; 接收来自所述至少一个远程设置的远程输入信息，所述远程输入信息对应于与被所述至少一个远程设置标识的对象相关联的任意信息； 基于所述本地三维对象信息和所述远程输入信息来组成三维场景信息；以及 将所述三维场景信息提供到镜子功能，所述镜子功能被配置成基于所述三维场景信息来呈现三维虚拟空间，所述三维虚拟空间显示所述参与者中的至少一些，就好像所述参与者物理地出现在同一位置并看向镜子那样。
【专利摘要】描述了提供远程沉浸式会话的参与者之间的交互的远程沉浸式环境。该环境包括两个或更多个设置，每个设置与一参与者相关联。每个设置进而包括用于呈现三维虚拟空间以供本地参与者查看的镜子功能。该虚拟空间显示参与者中的至少一些，就好像参与者物理地出现在同一位置并看向镜子那样。镜子功能可被实现为半透明镜子和显示设备的组合或被实现为仅单独操作的显示设备。根据另一特征，该环境可按允许远程沉浸式会话的任意参与者与虚拟对象进行交互的方式来呈现虚拟对象。
【IPC分类】G06F3/048, H04N7/15
【公开号】CN105075246
【申请号】CN201480009432
【发明人】A·D·威尔森, P·A·周, D·M·吉勒特, H·本克, Z·张, N·S·费什曼
【申请人】微软公司
【公开日】2015年11月18日
【申请日】2014年2月17日
【公告号】EP2959678A1, US20140232816, WO2014130378A1