图像生成装置及图像生成方法

图像生成装置及图像生成方法
【专利摘要】提供了一种用于经由网络向头戴式显示器提供云服务的图像生成装置。捕捉图像接收单元(510)接收从不同方向捕捉的多个捕捉图像。全景图像处理单元(530)合成从不同方向捕捉的多个捕捉图像，生成全景图像。格式变换单元(540)将全景图像变换成适合于头戴式显示器的规格的图像格式。全景图像传送单元(550)将经格式变换的全景图像传送给头戴式显示器。
【专利说明】图像生成装置及图像生成方法

【技术领域】
[0001]本发明涉及适用于生成要在头戴式显示器上显示的图像的装置及方法。

【背景技术】
[0002]有这样的游戏:在头上佩戴连接到游戏机的头戴式显示器并且观看在该头戴式显示器上显示的屏幕的同时通过操作控制器等来玩。在连接到游戏机的普通固定的显示器情况下，用户的视场范围伸展到显示屏幕的外部。因此，可能无法集中于显示屏幕，并且可能缺少沉浸在游戏中的感觉。在这方面，在佩戴头戴式显示器时，用户不观看在该头戴式显示器上显示的视频以外的任何事物。因此，增强了沉浸在视频世界中的感觉，并且可以进一步增强游戏的娱乐质量。
[0003]此外，当在头戴式显示器上显示全景图像以在佩戴头戴式显示器的用户旋转头部的同时显示360度全景图像或虚拟空间时，沉浸在视频中的感觉得以进一步的增强，并且还提高了诸如游戏等应用的可操作性。


【发明内容】

[0004]技术问题
[0005]然而，在头戴式显示器上显示全景图像或虚拟空间需要计算能力，并且增加了在头戴式显示器侧的处理负载。
[0006]本发明针对这样的问题做出。本发明的目的在于提供一种可以高效地生成要在头戴式显示器上显示的图像的图像生成装置以及图像生成方法。
[0007]问题的解决方案
[0008]为了解决上述问题，根据本发明的方式，提供了一种被配置为经由网络向头戴式显示器提供云服务的图像生成装置，该图像生成装置包括:拍摄图像接收部件，接收在不同的拍摄方向上拍摄的多个拍摄图像；全景图像处理部件，通过合成在不同的拍摄方向上拍摄的多个拍摄图像来生成全景图像；格式变换部件，将全景图像变换成适合于头戴式显示器的规格的图像格式；以及全景图像传送部件，将格式变换之后的全景图像传送给头戴式显示器。
[0009]本发明的另一方式还是一种图像生成装置。该装置是一种被配置为经由网络向头戴式显示器提供云服务的图像生成装置，该图像生成装置包括:位置信息接收部件，接收关于佩戴头戴式显示器的用户的位置的信息，所述信息通过包括在头戴式显示器中的位置传感器来获得；位置关系处理部件，基于多个用户之间的位置关系来确定多个用户的人物之间的位置关系；三维呈现部件，基于所确定的人物之间的位置关系，在虚拟空间中布置多个用户的人物，并且呈现该虚拟空间；以及呈现数据传送部件，将关于所呈现的虚拟空间的信息传送给头戴式显示器。
[0010]本发明的又一方式是图像生成方法。该方法是一种用于经由网络向头戴式显示器提供云服务的图像生成方法，该图像生成方法包括:拍摄图像接收步骤，接收在不同的拍摄方向上拍摄的多个拍摄图像；全景图像处理步骤，通过合成在不同的拍摄方向上拍摄的多个拍摄图像来生成全景图像；格式变换步骤，将全景图像变换成适合于头戴式显示器的规格的图像格式；以及全景图像传送步骤，将格式变换之后的全景图像传送给头戴式显示器。
[0011]本发明的又一方式还是图像生成方法。一种用于经由网络向头戴式显示器提供云服务的图像生成方法，该图像生成方法包括:位置信息接收步骤，接收关于佩戴头戴式显示器的用户的位置的信息，所述信息通过包括在头戴式显示器中的位置传感器来获得；位置关系处理步骤，基于多个用户之间的位置关系来确定多个用户的人物之间的位置关系；三维呈现步骤，基于所确定的人物之间的位置关系，在虚拟空间中布置多个用户的人物，并且呈现该虚拟空间；以及呈现数据传送步骤，将关于所呈现的虚拟空间的信息传送给头戴式显示器。
[0012]要注意的是，通过在方法、装置、系统、计算机程序、数据结构、记录介质等之间变换本发明的表达实现的以上组成元件以及方式的任意组合同样作为本发明的方式而有效。
[0013]发明的有益效果
[0014]根据本发明，可以高效地生成要在头戴式显示器上显示的图像。

【专利附图】

【附图说明】
[0015]图1是头戴式显示器的外部视图。
[0016]图2是头戴式显示器的功能框图。
[0017]图3是图像生成系统的配置图。
[0018]图4是全景图像生成装置的功能框图。
[0019]图5是视频被多个头戴式显示器共享的系统配置图。
[0020]图6是虚拟空间呈现处理装置的功能框图。
[0021]图7是辅助解释呈现虚拟空间呈现处理过程的序列图。
[0022]图8是辅助详细地解释图7中的针对另一用户的位置关系的处理过程的流程图。
[0023]图9A是辅助解释化身出现在虚拟空间中的第一用户的化身的图。
[0024]图9B是辅助解释化身出现在虚拟空间中的第二用户的化身的图。
[0025]图9C是辅助解释化身出现在虚拟空间中的第三用户的化身的图。
[0026]图9D是辅助解释化身出现在虚拟空间中的第四用户的化身的图。
[0027]图10是辅助解释使用户的化身出现在虚拟空间中的另一示例的图。
[0028]图11是辅助解释使用户的化身出现在游戏屏幕上的示例的图。
[0029]图12是辅助解释在虚拟空间和真实世界之间没有地理相关性的情况下计算用户的位置关系的得分的方法的图。
[0030]图13是辅助解释在虚拟空间和真实世界之间没有地理相关性的情况下计算用户的位置关系的得分的方法的图。
[0031]图14是辅助解释在虚拟空间和真实世界之间有地理相关性的情况下计算用户的位置关系的得分的方法的图。
[0032]图15是辅助解释在虚拟空间和真实世界之间有地理相关性的情况下计算用户的位置关系的得分的方法的图。

【具体实施方式】
[0033]图1是头戴式显示器100的外部视图。头戴式显示器100包括主体部分110、额区接触部分120以及颞区接触部分130。
[0034]头戴式显示器100是安装在用户的头上以观看在显示器上显示的静止图像、移动图像等并且收听从耳机输出的声音、音乐等的显示装置。
[0035]包括在头戴式显示器100中或者在头戴式显示器100的外部的诸如GPS (全球定位系统)这样的位置传感器可以测量用户的位置信息。另外，包括在头戴式显示器100中或者在头戴式显示器100的外部的姿势传感器可以测量诸如佩戴头戴式显示器100的用户的头部的朝向和倾斜等的姿势信息。
[0036]主体部分110包括显示器、位置信息获得传感器、姿势传感器、通信装置等。额区接触部分120和颞区接触部分130包括能够测量诸如用户的体温、脉搏、血液成分、汗液、脑电波和脑血流等生理信息的生理信息获得传感器。
[0037]头戴式显示器100还可以配备有被配置为拍摄用户的眼睛的相机。安装在头戴式显示器100上的相机可以检测用户的视线、瞳孔移动、眨眼等。
[0038]下面将描述生成要在头戴式显示器100上显示的图像的方法。然而，根据本实施例的图像生成方法并不狭义地局限于头戴式显示器100，还可以应用于佩戴眼镜、眼镜型显示器、眼镜型相机、耳机、耳麦(配备有麦克风的耳机)、听筒、耳饰、耳挂式相机、头饰、配备有相机的头饰、头带等的情况。
[0039]图2是头戴式显示器100的功能框图。
[0040]控制部件10是处理并输出诸如图像信号或传感器信号的信号、指令或者数据的主处理器。输入接口 20从触摸面板和触摸面板控制器接收操作信号或设置信号，并且向控制部件10提供信号。输出接口 30从控制部件10接收图像信号，并且使图像信号显示在显不器上。背光32向液晶显不器提供背光。
[0041]通信控制部件40经由网络适配器42或天线44通过有线或无线通信将从控制部件10输入的数据传送到外部。通信控制部件40还经由网络适配器42或天线44通过有线或无线通信从外部接收数据，并且将数据输出给控制部件10。
[0042]存储部件50临时存储由控制部件10处理的数据、参数和操作信号等。
[0043]GPS单元60接收来自GPS卫星的位置信息，并且根据来自控制部件10的操作信号将位置信息提供给控制部件10。无线电单元62接收来自无线电基站的位置信息，并且根据来自控制部件10的操作信号将位置信息提供给控制部件10。
[0044]姿势传感器64检测诸如头戴式显示器100的主体部分110的朝向和倾斜的姿势信息。姿势传感器64通过适当地组合陀螺仪传感器、加速度传感器、角加速度传感器等来实现。
[0045]外部输入输出端子接口 70是用于连接诸如USB (通用串行总线)控制器这样的外围装置的接口。外部存储器72是诸如闪速存储器这样的外部存储器。
[0046]时钟部件80根据来自控制部件10的设置信号设置时间信息。时钟部件80向控制部件10提供时间数据。
[0047]控制部件10可以向输出接口 30提供图像或文本数据以在显示器上显示图像或文本数据，并且向通信控制部件40提供图像或文本数据以向外部传送图像或文本数据。
[0048]图3是根据本实施例的图像生成系统的配置图。图像生成系统包括头戴式显示器100、云服务器200以及相机300。
[0049]头戴式显示器100是用户佩戴在用户的头上以观看诸如静止图像和移动图像的图像的头戴式显示装置的示例。头戴式显示器100包括使用有线LAN、无线LAN、蓝牙(商标)、移动电话线路等的通信功能，并且因此能够从外部输入数据并且向外部输出数据。头戴式显示器100经由网络400与云服务器200执行数据通信。另外，能够通过包括在头戴式显示器100中的GPS传感器来测量用户的位置，并且将用户的位置信息传送给云服务器200。另外，能够通过包括在头戴式显示器100中的姿势传感器来测量头戴式显示器100的朝向和倾斜，并且将姿势信息传送给云服务器200。
[0050]相机300是能够拍摄二维或三维静止图像或者二维或三维移动图像的图像数据获得装置的示例。相机300具有使用有线LAN、无线LAN、蓝牙(商标)、移动电话线路等的通信功能，并且因此能够从外部输入数据并且向外部输出数据。相机300经由网络400与云服务器200执行数据通信。另外，相机300具有记录诸如在拍摄时的曝光、透镜信息和姿势的装置信息的功能。相机300可以将装置信息与所拍摄的图像数据一起传送给云服务器200。另外，相机300可以具有使用超声波或激光通过内置或外部的距离传感器测量到被拍摄的被摄物的距离的功能。相机300可以将距离信息与所拍摄的图像数据一起传送给云服务器200。
[0051]云服务器200将通过相机300获得的图像数据处理成适合于在头戴式显示器100上进行显示的形式，并且将经处理的图像数据传送给头戴式显示器100。
[0052]例如，为了支持硬件规格彼此不同的头戴式显示器，云服务器200可以执行到针对关于分辨率、显示方法、图像质量等的每个头戴式显示器优化的数据的变换。云服务器200可以将通过相机300拍摄的图像数据处理成最适宜显示在头戴显示器上的图像数据。云服务器200可以将通过被配置为拍摄二维图像的多个相机拍摄的多个拍摄的图像处理成能够进行三维显示的图像数据。云服务器200可以从通过被配置为拍摄二维图像的多个相机拍摄的多个拍摄的图像，计算关于到被摄物的距离的数据。云服务器200可以组合通过距离传感器获得的距离数据和图像数据，从而将图像数据处理成能够进行二维显示的图像数据。云服务器200可以通过将由相机300拍摄的数据拼合到一起来生成全景图像。
[0053]因为可以在云服务器200侧，通过使用云服务，将各种处理这样地应用于图像，所以可以使得头戴式显示器100和相机300的硬件配置简单且便宜。在将通过相机300拍摄的图像传送给云服务器200，并且头戴式显示器100接收优化数据并显示优化数据时，用户可以实时地在远程地点处观看全景图像。
[0054]图4是全景图像生成装置500的功能框图。在云服务器200中实现全景图像生成装置500的功能配置。全景图像生成装置500的部分功能配置还可以在头戴式显示器100或相机300中实现。
[0055]拍摄图像接收部件510从相机300接收在不同的拍摄方向上拍摄的多个拍摄的图像，并且将多个拍摄的图像存储在图像数据存储部件520中。全景图像处理部件530通过缝合处理将在不同拍摄方向上拍摄的多个拍摄的图像拼合到一起，从而生成全景图像，多个拍摄的图像存储在图像数据存储部件520中。
[0056]格式变换部件540根据头戴式显示器100的规格变换全景图像的分辨率、纵横比、三维显示数据格式等。
[0057]全景图像传送部件550将通过格式变换部件540变换的全景图像数据传送给头戴式显示器100。
[0058]在相机300是能够进行全景拍摄的成像装置的情况下，拍摄图像接收部件510从相机300接收全景图像，并且将全景图像存储在图像数据存储部件530中。在该情况下，不需要缝合处理。因此，格式变换部件540足以从图像数据存储部件520读出全景图像，并且根据头戴式显示器100的规格变换图像格式。
[0059]在相机300具有被配置为测量到被摄物的距离的距离传感器的情况下，拍摄图像接收部件510与二维全景拍摄图像一起从相机300接收距离信息，并且将二维全景拍摄图像和距离信息存储在图像数据存储部件520中。全景图像处理部件530执行图像分析，使用距离信息从二维全景拍摄图像计算视差，并且生成包括针对左眼的图像和针对右眼的图像的三维全景图像。格式变换部件540根据头戴式显示器100的规格变换三维全景图像的分辨率、纵横比、显示数据格式等。全景图像传送部件550将三维全景图像传送给头戴式显示器100。
[0060]另外，云服务器200的全景图像处理部件530可以对通过相机300拍摄的实际拍摄的图像应用各种效果。例如，对实际拍摄的图像应用计算机图形(CG)色调、动画色调、深褐色调等。另外，全景图像处理部件530可以生成诸如游戏人物等CG，并且通过将CG重叠在通过相机300拍摄的实际拍摄的图像上来进行呈现。从而，云服务器200可以将从实际拍摄的图像和CG的合成得到的视频内容分发给头戴式显示器100。
[0061]图5是视频被多个头戴式显示器共享的系统配置图。视频共享系统包括多个头戴式显不器10a和10b以及云服务器200。头戴式显不器10a和10b经由网络400与云服务器200通信数据。
[0062]头戴式显示器10a和10b将真实世界中的用户位置信息传送给云服务器200。云服务器200将反映用户之间的位置关系的图像数据传送给头戴式显示器10a和100b。
[0063]例如，在多个用户围绕一个房间中的桌子坐着的情况下，云服务器200基于每个用户的位置信息反映虚拟世界中的化身的位置信息中的真实位置信息，从而确定化身的位置，并且在虚拟空间内呈现各个用户的化身。另外，在多个用户在电影院内或在展品前佩戴头戴式显示器的情况下，可以根据真实世界中的用户的位置将不同视点位置处的视频分发给用户的头戴式显示器。另外，在多个用户位于不同位置处的情况下，可以以化身之间的位置关系和化身的显示尺寸来反映用户的位置之间的距离。
[0064]图6是虚拟空间呈现处理装置600的功能框图。在云服务器200中实现虚拟空间呈现处理装置600的功能配置。虚拟空间呈现处理装置600的功能配置的部分也可以实现在头戴式显示器100中。
[0065]用户位置和朝向接收部件610从头戴式显示器100接收关于通过包括在头戴式显示器100中的GPS传感器获得的用户的位置的信息以及关于通过包括在头戴式显示器100中的姿势传感器获得的用户的头部的朝向的信息。用户位置和朝向接收部件610将关于用户的位置和朝向的信息与用户的标识信息相关联地存储在用户数据库660中。
[0066]位置关系处理部件620从用户数据库660读取关于多个用户的位置和朝向的信息，并且确定多个用户之间的位置关系。例如，当两个用户在真实世界中彼此面对时，将两个用户的化身的位置和朝向确定为使得在虚拟空间中化身也彼此面对。另外，当真实世界中的用户A和用户B之间的距离大于用户A和用户C之间的距离时，在虚拟空间中，用户A的化身也被布置在比用户B的化身更接近于用户C的化身的位置处。当用户A和用户B彼此面对时，用户A的化身和用户B的化身也做成彼此面对。当用户A、B和C围绕一个物体彼此面对时，用户A、B和C的化身的朝向也被确定为使得在虚拟空间中用户A、B和C的化身也围绕一个物体彼此面对。
[0067]视线方向设置部件630设置每个用户的相机位置，或者换言之，根据用户的真实方向设置虚拟空间中的多个用户视线方向。例如，当多个用户围绕一个物体时，用户面对真实物体的方向被设置为虚拟空间中的用户的视线方向。
[0068]三维呈现部件640从虚拟空间信息存储部件670读出关于虚拟空间的信息以及人物数据，并且如从每个用户的视线方向观看地执行虚拟空间的三维呈现。在虚拟空间中合成每个用户的化身。呈现数据传送部件650将虚拟空间呈现数据传送给头戴式显示器100。
[0069]图7是辅助解释虚拟空间呈现处理过程的序列图。
[0070]头戴式显示器100初始化各种变量(SlO)。包括在头戴式显示器100中的GPS传感器和姿势传感器测量用户的位置和朝向(S12)。头戴式显示器100的通信控制部件40向云服务器200传送关于用户的位置和朝向的信息。
[0071 ] 云服务器200的位置关系处理部件620基于用户的位置将用户的人物映射到虚拟空间内的位置(S14)。位置关系处理部件620计算对已经被映射在虚拟空间内的另一用户的相对位置关系，并且确定显示所述用户的人物的位置和朝向(S16)。视线方向设置部件630计算所讨论的用户的相机位置，S卩，虚拟空间中的所讨论的用户的视线方向(S18)。三维呈现部件640如从所讨论的用户的视点方向观看地执行虚拟空间的三维呈现(S20)。呈现数据传送部件650向头戴式显示器100传送三维呈现数据。
[0072]头戴式显示器100显示三维呈现数据(S22)。当满足结束条件时(S24中的是)时，结束该过程。当不满足结束条件时(S24中的否)，过程返回到步骤S12以重复从步骤S12以后的处理。
[0073]图8是辅助详细地解释图7中的步骤S16中的针对其他用户的位置关系的处理过程的流程图。
[0074]首先，确定在虚拟空间中是否已经存在化身(S30)。当在虚拟空间中尚未存在化身时(S30中的否)，使所讨论的用户的化身出现在虚拟空间中(S42)。
[0075]当在虚拟空间中已经存在化身时(S30中的是)，计算位置关系的得分(S32)。例如，基于真实世界中的用户之间的距离来获得位置关系的得分。使用真实世界中的每个用户的位置和方向信息来确定化身之间的相对位置关系，即化身之间的距离以及一个化身相对于其他化身的方向。
[0076]将参照图12至15描述步骤S32中的位置关系的得分的计算的示例。下面的描述由得分计算方法的示例的组成。然而，得分计算方法不限于此。
[0077]图12和图13是辅助解释在虚拟空间和真实世界之间没有地理相关性的情况下计算用户的位置关系的得分的方法的图。
[0078]首先，基于真实世界中的每个用户的位置的纬度和经度来获得其他用户相对于每个用户的距离和方向。通过使用GPS数据获得真实世界中的用户的位置。图12(a)示出关于真实世界中的用户1、用户2和用户3的位置的纬度和经度的数据。
[0079]图12(b)示出在真实世界中用户2和用户3相对于用户I的距离和方向。用户2相对于用户I的距离是Lr_12，用户2相对于用户I的方向是Ar_12。另外，用户3相对于用户I的距离是Lr_13，用户3相对于用户I的方向是Ar_13。此处，方向被定义为相对于纬度圈的顺时针的角度。
[0080]图12(c)类似地示出在真实世界中用户2和用户I相对于用户3的距离和方向。用户2相对于用户3的距离是Lr_32，用户2相对于用户3的方向是Ar_32。另外，用户I相对于用户3的距离是Lr_31，用户I相对于用户3的方向是Ar_31。
[0081 ] 附带地，在预先在虚拟空间中只存在一个化身的情况下，可以省略方向的计算。
[0082]接下来，基于虚拟空间中的每个用户的位置的绝对坐标，获得其他用户相对于每个用户的距离和方向。图13(a)示出虚拟空间中的用户1、用户2和用户3的位置的绝对坐标。
[0083]图13(b)示出在虚拟空间中用户2和用户3相对于用户I的距离和方向。用户2相对于用户I的距离是Lv_12，用户2相对于用户I的方向是Av_12。另外，用户3相对于用户I的距离是Lv_13，用户3相对于用户I的方向是Av_13。
[0084]图13(c)类似地示出在虚拟空间中用户2和用户I相对于用户3的距离和方向。用户2相对于用户3的距离是Lv_32，用户2相对于用户3的方向是Av_32。另外，用户I相对于用户3的距离是Lv_31，用户I相对于用户3的方向是Av_31。
[0085]接下来，将真实世界中的用户之间的距离和方向与虚拟空间中的用户之间的距离和方向相比较，以计算相关性系数。
[0086]关于用户m和用户η的在真实世界和虚拟空间中的位置关系的相关性系数Rmn通过下面的等式定义:
[0087]Rmn = | Lv_mn - Lr_mn | X | Av_mn - Ar_mn
[0088]其中，|a|是用于获得值a的绝对值的运算。
[0089]相关性系数Rmn用作用户的位置关系的得分(相关性系数越小，得分就越高，并且相关性系数越大，得分就越低)。当相关性系数Rmn等于或小于预先设置的阈值时，真实世界和虚拟空间中的位置关系被视为是相同的。
[0090]图14和图15是辅助解释在虚拟空间和真实世界之间有地理相关性的情况下计算用户的位置关系的得分的方法的图。
[0091]首先，基于关于真实世界中的每个用户的位置的纬度和经度的数据以及关于真实世界中的地理参考点的纬度和经度的数据，获得每个用户相对于真实世界中地理参考点(在该情况下为东京)的距离和方向。通过使用GPS数据获得真实世界中的用户的位置。图14(a)示出关于真实世界中的用户1、用户2、用户3以及东京的位置的纬度和经度的数据。
[0092]图14(b)示出在真实世界中用户2相对于东京的距离和方向。在真实世界中用户2相对于东京的距离是Lr_02，在真实世界中用户2相对于东京的方向是Ar_02。类似地，图14(c)示出在真实世界中用户I相对于东京的距离和方向。在真实世界中用户I相对于东京的距离是Lr_01，在真实世界中用户I相对于东京的方向是Ar_01。图14(d)示出在真实世界中用户3相对于东京的距离和方向。在真实世界中用户3相对于东京的距离是Lr_03，在真实世界中用户3相对于东京的方向是Ar_03。
[0093]接下来，基于虚拟空间中的每个用户的位置的绝对坐标和虚拟空间中的地理参考点的绝对坐标，获得在虚拟空间中每个用户相对于地理参考点(在该情况下为东京)的距离和方向。图15(a)示出虚拟空间中的用户1、用户2、用户3以及东京的位置的纬度和经度的绝对坐标。
[0094]图15(b)示出在虚拟空间中用户2相对于东京的距离和方向。在虚拟空间中用户2相对于东京的距离是Lv_02，在虚拟空间中用户2相对于东京的方向是Av_02。类似地，图15(c)示出在虚拟空间中用户I相对于东京的距离和方向。在虚拟空间中用户I相对于东京的距离是Lv_01，在虚拟空间中用户I相对于东京的方向是Av_01。图15(d)示出在虚拟空间中用户3相对于东京的距离和方向。在虚拟空间中用户3相对于东京的距离是Lv_03，在虚拟空间中用户3相对于东京的方向是Av_03。
[0095]接下来，将真实世界中的参考点和用户之间的距离和方向与虚拟空间中的参考点和用户之间的距离和方向相比较，以计算相关性系数。
[0096]关于参考点和用户m的在真实世界和虚拟空间中的位置关系的相关性系数ROm通过下面的等式定义:
[0097]ROm = | Lv_0m - Lr_0m | X | Av_0m - Ar_0m
[0098]相关性系数ROm用作用户的位置关系的得分(相关性系数越小，得分就越高，并且相关性系数越大，得分就越低)。当相关性系数ROm等于或小于预先设置的阈值时，真实世界和虚拟空间中的位置关系被视为是相同的。
[0099]将再次参照图8。确定真实世界中的位置关系与虚拟空间内的化身的位置关系是否相同(S34)。这是因为化身可以在虚拟空间内移动，因此可能从真实位置关系偏离。比较在步骤S32中获得的相关性系数Rmm(或ROm)与阈值Rth。当对于所有用户Rmn〈Rth (或者R0m<Rth)时，确定为真实世界中的位置关系和虚拟空间内的化身的位置关系相同。当真实世界中的位置关系和虚拟空间内的化身的位置关系维持在预定范围内时(S34中的是)，使所讨论的用户的化身出现在虚拟空间中(S42)。
[0100]当真实世界中的位置关系和虚拟空间内的化身的位置关系未被维持时(S34中的否)，确定在虚拟空间中是否存在接近于用户之间的真实位置关系的场所(S36)。当在步骤S34中进行比较的相关性系数与阈值的比较中关于一个或多个用户Rmn〈Rth (或R0m〈Rth)时，确定在虚拟空间中存在接近于用户之间的真实位置关系的场所。当在虚拟空间内存在接近于用户之间的真实位置关系的场所时(S36中的是)，对应于最高得分的场所被确定为场所中的最接近的场所(S38)。例如，仅使用在步骤S34中进行比较的相关性系数和阈值的比较中满足RmrKRth (或R0m〈Rth)的用户的数据来确定位置。当在虚拟空间内没有接近于用户之间的真实位置关系的场所时(S36中的否)，确定适当的场所，例如随机位置或最后部的位置(S40)。在两种情况下，都使所讨论的用户的化身出现在所确定的场所处(S42)。
[0101]图9A至9D是辅助解释使用户的化身出现在虚拟空间中的示例的图。下面的描述将由使四个用户A至D的化身700a至700d出现在虚拟空间中的示例组成。假设四个用户A至D处于真实世界中的不同场所。
[0102]如图9A所示，假设用户A已经首先登录到虚拟空间，化身700a因此已经出现在虚拟空间内。
[0103]假设其他用户即用户B、用户C和用户D在真实世界中以该次序位于更接近于用户A的位置处。例如，假设用户A位于东京，而用户B位于横滨，用户C位于神户，并且用户D位于香港。
[0104]当使用户B、用户C和用户D的化身出现在虚拟空间内时，考虑真实世界中的位置关系，首先使用户B的化身700b如图9B所示地出现，接着使用户C的化身700c如图9C所示地出现，并且最后使用户D的化身700d如图9D所示地出现。因此，位于更接近于使其化身首先出现的用户之处的用户的化身更早地出现，并且位于更远处的用户的化身慢慢地出现。通过这样根据用户之间的真实距离来改变每个用户的化身的出现的速度，可以在虚拟空间中反映真实世界中的距离感。
[0105]在以上描述中，对用户A、B、C和D在远离彼此的场所处的情况给出考虑。例如当用户A、B、C和D在同一房间中时，可以以虚拟空间内的化身700a、700b、700c和700d的朝向来反应用户A、B、C和D的朝向。例如，当用户A和用户B通过用户A和用户B之间的桌子彼此面对时，用户A的化身700a和用户B的化身700b被布置在使得用户A的化身700a和用户B的化身700b之间通过虚拟空间内的桌子彼此面对的位置处。
[0106]图10是辅助解释使用户的化身出现在虚拟空间中的另一示例的图。在图9A至9D中，基于用户B、C和D与首先使其化身700a出现在虚拟空间中的用户A的真实位置关系，确定使用户B、C和D的化身700b、700c和700d出现的次序。在图10中，用户B、C和D的化身700b、700c和700d乘坐交通工具出现。
[0107]如图10所示，位于最近于用户A的位置处的用户B的化身700b骑着自行车出现，位于下一个最接近的位置处的用户C的化身700c乘坐汽车出现，并且位于最远位置处的用户D的化身700d乘坐飞机出现。通过这样根据到使其化身首先出现的用户的距离来改变化身的交通工具，可以在虚拟空间中反映真实世界中的距离感。
[0108]如图9A至9D以及图10所述，通过根据到使其化身首先出现在虚拟空间中的用户的距离来改变其他用户的化身出现的方式，用户在头戴式显示器100上显示的虚拟空间中也可以感受真实的距离感。附带地，可以根据用户之间的真实距离来改变化身的出现的速度和交通工具的类型这两者。
[0109]图11是辅助解释使用户的化身出现在游戏屏幕上的示例的图。在游戏中反映从地球上的参考点(例如东京)到用户的真实位置的距离。然而，为了避免根据用户的真实位置的游戏中的不利之处，随机地设置参考点，或者根据条件改变参考点。
[0110]如图11所示，通过在尽可能地维持相互的位置关系的同时将用户A、B、C和D的在地球上的位置映射到游戏内的位置来显示用户A、B、C和D的化身700a、700b、700c和700d。在游戏中可以采取的位置是有限的。因此，用户A、B、C和D之间的真实位置关系不需要准确地对应于化身700a、700b、700c和700d之间在虚拟空间内的位置关系。对于真实世界中的用户之间的距离感，一定程度地反映在虚拟空间中的化身之间的位置关系就足够了。
[0111]如上所述，根据本实施例，通过将具有能够检测位置和姿势的传感器的头戴式显示器合并到云服务中，可以在虚拟空间中反映佩戴头戴式显示器的用户的真实位置关系和真实姿势，并且可以增强在头戴式显示器上显示的屏幕中的沉浸感以及可操作性。另外，可以通过使用云服务器简化在客户端侧的头戴式显示器的硬件配置。
[0112]以上基于本发明的实施例描述了本发明。实施例是说明性的，并且本领域的技术人员将理解到，实施例的组成元件和处理过程的组合容许有各种修改，并且这样的修改也落入在本发明的范围内。将描述这样的修改。
[0113]标号列表
[0114]10控制部件；20输入接口 ；30输出接口 ；32背光；40通信控制部件；42网络适配器；44天线；50存储部件；60GPS单元；62无线电单元；64姿势传感器；70外部输入输出端子接口 ；72外部存储器；80时钟部件；100头戴式显示器；110主体部分；120额区接触部分；130颞区接触部分；200云服务器；300相机；400网络；500全景图像生面装置；510拍摄图像接收部件；520图像数据存储部件；530全景图像处理部件；540格式变换部件；550全景图像传送部件；600虚拟空间呈现处理装置；610用户位置和朝向接收部件；620位置关系处理部件；630视线方向设置部件；640三维呈现部件；650呈现数据传送部件；660用户数据库；670虚拟空间信息存储部件。
[0115][产业适用性]
[0116]本发明可应用于生成要在头戴式显示器上显示的图像的技术。
【权利要求】
1.一种被配置为经由网络向头戴式显示器提供云服务的图像生成装置，该图像生成装置包括: 拍摄图像接收部件，接收在不同的拍摄方向上拍摄的多个拍摄图像； 全景图像处理部件，通过合成在不同的拍摄方向上拍摄的多个拍摄图像来生成全景图像； 格式变换部件，将全景图像变换成适合于头戴式显示器的规格的图像格式；以及 全景图像传送部件，将格式变换之后的全景图像传送给头戴式显示器。
2.根据权利要求1所述的图像生成装置， 其中，拍摄图像接收部件连同拍摄图像接收关于到被拍摄的被摄物的距离的信息；以及 全景图像处理部件使用关于到被摄物的距离的信息来计算视差，并且生成包括针对左眼的图像和针对右眼的图像的三维全景图像。
3.—种被配置为经由网络向头戴式显示器提供云服务的图像生成装置，该图像生成装置包括: 位置信息接收部件，接收关于佩戴头戴式显示器的用户的位置的信息，所述信息通过包括在头戴式显示器中的位置传感器来获得； 位置关系处理部件，基于多个用户之间的位置关系来确定多个用户的人物之间的位置关系； 三维呈现部件，基于所确定的人物之间的位置关系，在虚拟空间中布置多个用户的人物，并且呈现该虚拟空间；以及 呈现数据传送部件，将关于所呈现的虚拟空间的信息传送给头戴式显示器。
4.根据权利要求3所述的图像生成装置，还包含: 朝向信息接收部件，接收关于佩戴头戴式显示器的用户的头部的朝向的信息，所述信息通过包括在头戴式显示器中的姿势传感器来获得， 其中，位置关系处理部件基于每个用户的朝向来确定每个用户的人物的在虚拟空间内的朝向。
5.根据权利要求3或4所述的图像生成装置， 其中，三维呈现部件根据多个用户之间的真实距离来改变每个用户的人物出现在虚拟空间中的速度。
6.根据权利要求3至5中的任一项所述的图像生成装置， 其中，三维呈现部件根据多个用户之间的真实距离来改变每个用户的人物在虚拟空间中出现的时候所乘坐的交通工具的类型。
7.一种用于经由网络向头戴式显示器提供云服务的图像生成方法，该图像生成方法包括: 拍摄图像接收步骤，接收在不同的拍摄方向上拍摄的多个拍摄图像； 全景图像处理步骤，通过合成在不同的拍摄方向上拍摄的多个拍摄图像来生成全景图像； 格式变换步骤，将全景图像变换成适合于头戴式显示器的规格的图像格式；以及 全景图像传送步骤，将格式变换之后的全景图像传送给头戴式显示器。
8.一种用于经由网络向头戴式显示器提供云服务的图像生成方法，该图像生成方法包括: 位置信息接收步骤，接收关于佩戴头戴式显示器的用户的位置的信息，所述信息通过包括在头戴式显示器中的位置传感器来获得； 位置关系处理步骤，基于多个用户之间的位置关系来确定多个用户的人物之间的位置关系； 三维呈现步骤，基于所确定的人物之间的位置关系，在虚拟空间中布置多个用户的人物，并且呈现该虚拟空间；以及 呈现数据传送步骤，将关于所呈现的虚拟空间的信息传送给头戴式显示器。
9.一种用于经由网络向头戴式显示器提供云服务的程序，该程序使计算机执行: 拍摄图像接收步骤，接收在不同的拍摄方向上拍摄的多个拍摄图像； 全景图像处理步骤，通过合成在不同的拍摄方向上拍摄的多个拍摄图像来生成全景图像； 格式变换步骤，将全景图像变换成适合于头戴式显示器的规格的图像格式；以及 全景图像传送步骤，将格式变换之后的全景图像传送给头戴式显示器。
10.一种用于经由网络向头戴式显示器提供云服务的程序，该程序使计算机执行: 位置信息接收步骤，接收关于佩戴头戴式显示器的用户的位置的信息，所述信息通过包括在头戴式显示器中的位置传感器来获得； 位置关系处理步骤，基于多个用户之间的位置关系来确定多个用户的人物之间的位置关系； 三维呈现步骤，基于所确定的人物之间的位置关系，在虚拟空间中布置多个用户的人物，并且呈现该虚拟空间；以及 呈现数据传送步骤，将关于所呈现的虚拟空间的信息传送给头戴式显示器。
【文档编号】A63F13/25GK104429064SQ201380035615
【公开日】2015年3月18日 申请日期:2013年4月23日 优先权日:2012年7月11日
【发明者】大泽洋, 西牧洋一, 山岸建 申请人:索尼电脑娱乐公司