专利名称：用于自由视点视频的高效流传输的方法和设备的利记博彩app
技术领域：
本申请大体上涉及用于自由视点视频的高效流传输的方法和设备。
背景技术：
多媒体内容创建工具和显示技术的持续发展铺平了朝向不断演化的多媒体体验的道路。多视图视频是先进内容创建和消费的一种突出示例。多视图视频内容提供场景的多个视觉视图。对于三维(3-D)场景，多个摄像机的使用允许从不同视点捕获3-D场景的不同视觉透视图。装备有能够多视图渲染的装置的用户可以在3D中享受更丰富的视觉体验。广播技术正在以实现更加丰富和更加有趣的服务为目标而稳步演化。高清晰度 (HD)内容的广播正在经历着显著的进步。可扩展视频编码(SVC)正被考虑为迎合不同接收器需求的示例技术，从而使得能够高效利用广播资源。基本层(BL)可载有标准清晰度(SD) 的视频，并且增强层(EL)可以对BL进行补充以提供HD分辨率。视频技术中的另一个发展是针对多视图编码(MVC)的新标准，它被设计成H. ^4/AVC的扩展，并且包括用于提高的编码效率、减小的解码复杂度和多视图视频内容的新功能的许多新技术。
发明内容
本发明的各个方面在权利要求书中陈述。依据本发明的示例实施例，一种设备包括处理单元，该处理单元配置成接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图且由该处理单元确定；以及接收媒体数据，该媒体数据包括与合成视图关联的视频数据。依据本发明的示例实施例，一种方法包括接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图且由该处理单元确定； 以及接收媒体数据，该媒体数据包括与合成视图关联的视频数据。依据本发明的示例实施例，一种计算机程序产品，包括其中含有的计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码被配置成接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图且由该处理单元确定；以及接收媒体数据，该媒体数据包括与合成视图关联的视频数据。依据本发明的示例实施例，一种设备包括处理单元，该处理单元配置成发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，该合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。依据本发明的示例实施例，一种方法包括发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，该合成视图不同于任何可用摄像机视图； 以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
依据本发明的示例实施例，一种计算机程序产品，包括其中含有的计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码被配置成发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，该合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
为了更彻底理解本发明的示例实施例、其目的和潜在优点，现在将参考结合附图所进行的下述描述，在附图中图1为依据本发明的示例实施例的示例多视图视频捕获系统的图示；图2为依据本发明的示例实施例工作的示例视频分配系统的图示；图3a说明在示例多视图视频捕获系统中跨越多个摄像机视图的合成视图的示例；图北说明在示例多视图视频捕获系统中跨越单个摄像机视图的合成视图的示例；图如说明视频处理服务器的框图；图4b为示例流传输服务器的框图；图如为示例用户设备的框图；图fe示出的框图说明了根据示例实施例的由用户设备执行的方法；图恥示出的框图说明了由根据示例实施例的流传输服务器执行的方法；图6a示出的框图说明了根据另一示例实施例由用户设备执行的方法；图6b示出的框图说明了根据另一示例实施例由流传输服务器执行的方法；图7说明从一个活动视图到新请求的视图的场景导航的示例实施例；以及图8说明从流传输服务器到用户设备的可扩展视频数据流传输的示例实施例。
具体实施例方式通过参考附图的图1-图8来最佳地理解本发明的示例实施例及其潜在优点，相同附图标记用于各个附图的相同和相应部分。图1为依据本发明的示例实施例的示例多视图视频捕获系统10的图示。多视图视频捕获系统10包括多个摄像机15。在图1的示例中，每个摄像机15定位在所关注的三维(3-D)场景5周围的不同视点。视点至少部分基于相应摄像机相对于3-D场景5的位置和取向来限定。每个摄像机15提供3-D场景5的单独视图或者透视图。多视图视频捕获系统10同时捕获同一 3-D场景5的多个不同视图。先进渲染技术可以支持自由视图选择和场景导航。例如，接收多视图视频内容的用户可以选择3-D场景的视图以便在她/他的渲染装置上观看。用户也可以决定从正在播放的一个视图改变到不同的视图。可以在与捕获系统10的摄像机对应的视点(例如摄像机视图)之间应用视图选择和视图导航。根据本发明的至少一示例实施例，视图选择和 /或视图导航包括合成视图的选择和/或导航。例如，用户可以使用他的遥控装置或者操纵杆来导航3D场景，并且可以通过按压特定键而改变视图，该特定键用作增量步以察看全景、改变透视图、旋转、放大或缩小场景。应理解，本发明的示例实施例不限于具体用户接口或交互方法，并且暗示着用以导航3D场景的用户输入可以解释成不依赖于用户接口或交互方法的几何参数。对自由视图电视(TV)应用的支持，例如视图选择和导航，包括多视图视频数据的流传输以及有关信息的信号传输。自由视图TV视频应用的不同用户可以请求不同视图。 为了形成用于视图选择和/或视图导航的直观系统，终端用户装置利用场景几何的可用描述。终端用户装置可以进一步使用任何与可用摄像机视图关联的其它信息，特别是将不同摄像机视图彼此相关的几何信息。将不同摄像机视图彼此相关的信息优选地被总结为容易传送到视频服务器的几种几何参数。摄像机视图信息也可以使用光流矩阵将摄像机视图彼此相关，该光流矩阵限定了各视图之间在每个像素位置的相对位移。允许终端用户选择和回放合成视图，这为用户提供更丰富和更加个性化的自由视图TV体验。与合成视图的选择有关的一个挑战是如何限定合成视图。另一个挑战是如何识别足以构造或生成合成视图的摄像机视图。对足够的视频数据的最小集合的进行高效流传输从而在接收装置构造所选择的合成视图，这是又一个挑战。在本申请中描述的示例实施例公开了用于分配多视图视频内容以及实现自由视图TV和/或视频应用的系统和方法。例如，与可用摄像机视图对应的多个视频数据流的流传输会显著地消耗可用网络资源。根据本申请的至少一个示例实施例，终端用户可以选择合成视图，即，未与视频捕获系统10的可用摄像机视图其中之一对应的视图。合成视图可以通过处理一个或多个摄像机视图而构造或生成。图2为依据本发明的示例实施例工作的示例视频分配系统100的图示。在示例实施例中，视频分配系统包括通过通信网络101连接到至少一个用户设备130的视频源系统 102。通信网络101包括流传输服务器120，其配置成将多视图视频数据流传输到至少一个用户设备130。用户设备经由有线或无线链路接入通信网络101。在示例实施例中，一个或多个用户设备进一步耦合到视频渲染装置，诸如HD电视机、显示屏幕和/或类似装置。视频源系统102通过通信网络101将视频内容传送到驻留于一个或多个用户设备中的一个或多个客户端。用户设备130可以在其显示器上或者在利用有线或无线耦合到接收用户设备 130的渲染装置上回放所接收的内容。用户设备的示例包括膝上型计算机、桌上型计算机、 移动电话、电视机和/或类似装置。在示例实施例中，视频源系统102包括包括多个摄像机15的多视图视频捕获系统10、视频处理服务器110和存储单元116。每个摄像机15捕获3D场景5的单独视图。由摄像机捕获的多个视图可以基于下述而不相同摄像机的位置、摄像机的聚焦方向/取向、 和/或它们的调节，例如变焦。多个视图被编码成单个压缩视频流或者多个压缩视频流。例如，由处理服务器110或者在捕获摄像机内执行视频压缩。根据示例实施例，每个压缩视频流对应于3D场景的单独的捕获视图。根据可替换示例实施例，压缩视频流可以对应于超过一个摄像机视图。例如，多视图视频编码(MVC)标准被用于将超过一个摄像机视图压缩为单个视频流。在示例实施例中，存储单元116可以用于存储压缩和/或非压缩视频数据。在示例实施例中，视频处理服务器Iio和存储单元116为通过至少一个通信接口耦合的不同物理实体。在另一示例实施例中，存储单元116为视频处理服务器110的组件。
在示例实施例中，视频处理服务器110计算至少一个场景深度图或图像。场景深度图或图像提供关于捕获摄像机15与所捕获的场景5中一个或多个点之间的距离的信息。 在可替换实施例中，场景深度图由摄像机计算。例如，每个摄像机15计算与由该同一摄像机15捕获的场景或视图关联的场景深度图。在示例实施例中，摄像机15至少部分基于传感器数据而计算场景深度图。例如，可以通过估计两个或更多个摄像机视图之间的立体对应来计算深度图。利用立体对应而获得的视差图可以与外部和内部摄像机校准数据一起使用，从而对于每个视频帧重构场景的深度图的近似。在实施例中，视频处理服务器110生成相关视图几何。相关视图几何例如描述摄像机的相对位置、取向和/或设置。相关视图几何提供关于每个摄像机的相关定位的信息和/或与每个摄像机15关联的关于不同投影平面或视场的信息。在示例实施例中，贯穿3D场景5的捕获过程始终，处理服务器110维持和更新描述摄像机的位置、聚焦取向、调节/设置、和/或类似信息的信息。在示例实施例中，使用精确摄像机校准过程推导相关视图几何。校准过程包括确定一组内部、外部摄像机参数。内部参数将传感器相对于透镜的内部安置进行关联并将其关联到原点中心，而外部参数将相关摄像机定位关联到所成像的场景的外部坐标系统。在示例实施例中，摄像机的校准参数被存储并传送。另外，可以至少部分基于下述信息而生成相关视图几何与不同摄像机15关联的传感器的信息，对不同视图的场景分析，来自管理捕获系统10和/或提供关于摄像机的位置、取向和/或设置的信息的任何其它系统的人的人为输入。包括场景深度图、相关视图信息和/或摄像机参数的信息可以存储在存储单元116和/或视频处理服务器110中。流传输服务器120将压缩视频流传送到位于一个或多个用户设备130中的一个或多个客户端。在图2的示例中，流传输服务器120位于通信网络101中。压缩视频内容到用户设备的流传输是根据单播、组播、广播和/或其它流传输方法来执行的。本申请中的各种示例实施例描述用于流传输多视图视频内容的系统和方法。在示例实施例中，场景深度图和/或可用摄像机视图之间的相关几何被用于为终端用户提供请求和体验用户限定的合成视图的可能性。合成视图不一定与例如与捕获摄像机1对应的可用摄像机视图吻合。深度信息也可以用在一些渲染技术中，例如基于深度图像的渲染 (DIBR)，从而构造从期望视点的合成视图。与每个可用摄像机视图关联的深度图提供逐个像素信息，该信息被用于执行3-D图像翘曲。指定已有摄像机的位置和取向的外部参数，连同深度信息和合成视图的期望位置，可以提供合成视图中的任何像素点和已有摄像机视图的像素点之间的精确几何对应。针对合成视图上的每个网格点，确定指派给该网格点的像素颜色值。确定像素颜色值例如可以利用各种用于图像重采样的各种技术同时解决场景中的可见性和遮挡来实施。为了解决可见性和遮挡，采用诸如遮挡纹理、遮挡深度图和来自可用摄像机视图的透明层的其它补充信息，来提高所合成的视图的质量以及最小化其中的伪像。应理解，本发明的示例实施例并不约束于用于基于图像的渲染的特定技术或者用于视图合成的任何其它技术。图3a说明了在示例多视图视频捕获系统10中跨越多个摄像机视图90的合成视图95的示例。多视图视频捕获系统10包括索引为C1、C2、C3和C4的四个摄像机，其具有索引为V1、V2、V3和V4的四个相应的3-D场景5的摄像机视图90。合成视图95例如可以看作具有合成或虚拟视点的视图，其中没有相应摄像机置于该视点处。合成视图95包括索引为V2的摄像机视图、索引为Vl的摄像机视图的一部分和索引为V3的摄像机视图的一部分。需要重申的是，合成视图95可以利用与索引为VI、V2和V3的摄像机视图关联的视频数据来构造。合成视图95的示例构造方法包括裁剪索引为Vl和V3的摄像机视图中的有关部分以及将所裁剪的部分与索引为V2的摄像机视图合并为单个视图。在构造合成视图 95时可以应用其它处理技术。图北说明了在示例多视图视频捕获系统10中跨越单个摄像机视图的合成视图95 的示例。根据示例实施例，多视图视频捕获系统10包括索引为C1、C2、C3和C4的四个摄像机，其具有索引为VI、V2、V3和V4的四个相应的3-D场景5的摄像机视图90。图北中描述的合成视图95仅仅跨过索引为V2的摄像机视图的一部分。给定与索引为V2的摄像机视图关联的视频数据，例如可以使用图像裁剪方法和/或图像重定向技术构造图北中的合成视图95。例如在压缩域或者在空间域中可以使用其它处理方法。根据示例实施例，确定用以重构所请求的合成视图的已有视图的最小子组以最小化网络使用率。例如，可以使用由摄像机视图V1、V2和V3组成的第一子组或者使用由视图 V2和V3组成的第二子组，来构造图3a中的合成视图95。选择第二子组是因为它要求更少的带宽来传送视频以及更少的存储器来生成合成视图。根据示例实施例，确定用以重构与合成视图对应的一组分立位置的这种最小子组的预计算表，从而避免每次请求合成视图时执行该计算。在自由视图交互TV应用的情景中，可以考虑若干情形。例如，可以使用多视图视频编码(MVC)编码器或者编解码器来对与不同摄像机视图90对应的多视图视频数据进行联合编码。根据示例实施例，与不同摄像机视图90对应的视频数据被独立地编码或压缩为多个视频流。根据本申请的示例实施例，例如基于用户的请求，多个不同视频流的可用性允许将不同视频内容递送到不同用户设备130。在又一可能情形中，利用MVC编解码器联合压缩可用摄像机视图90数据的不同子组。例如，压缩视频流可包括与两个或更多交叠摄像机视图90关联的数据。根据示例实施例，由具有交叠视场的稀疏摄像机视图90所捕获的3-D场景5。至少部分基于可用摄像机视图90和/或例如位置、取向和设置的摄像机的信息，计算3-D场景深度图(多个)和相关几何。与场景深度和/或相关几何有关的信息被提供到流传输服务器120。用户设备130可以通过反馈通道而连接到流传输服务器120从而请求合成视图 95。图如说明视频处理服务器110的框图。根据示例实施例，视频处理服务器110包括处理单元115、存储器单元112和至少一个通信接口 119。视频处理服务器110还包括多视图几何合成器114和至少一个视频编码器或编解码器118。多视图几何合成器114、视频编解码器(多个)118和/或至少一个通信接口 119可以实施为软件、硬件、固件和/或软件、硬件和固件其中超过一种的组合。根据图如的示例实施例，与几何合成器114和视频编解码器(多个)118关联的功能由处理单元115执行。处理单元115包括一个或多个处理器和/或处理电路系统。多视图几何合成器114生成、更新和/或维持与不同摄像机视图90 的相关几何有关的信息。根据示例实施例，多视图几何合成器114计算相关几何方案。相关几何方案描述例如与每个摄像机视图关联的光场的边界。在可替换示例实施例中，相关几何方案可以描述每个摄像机15的位置、取向和设置。相关几何方案可以进一步描述3-D场景5相对于摄像机的位置。多视图几何合成器114至少部分基于所计算的场景深度图和 /或与摄像机的位置、取向和设置有关的其它信息，来计算相关几何方案。根据示例实施例， 场景深度图由摄像机利用例如一些传感器信息来生成，并且随后被发送到视频处理服务器 110。在可替换示例实施例中，由多视图几何合成器114计算场景深度图。形成内部、外部校准数据的摄像机的位置、取向和其它设置也可以例如由每个摄像机15自动地提供给视频处理服务器110，或者由管理视频源系统的人或系统作为输入来提供。相关几何方案和场景深度图为终端用户提供足够信息以对摄像机和合成视图进行认知选择和/或导航遍历。根据示例实施例，视频处理服务器110从摄像机接收压缩视频流。在另一示例实施例中，视频处理服务器110从摄像机或存储单元接收未压缩视频数据，并且利用视频编解码器(多个)118将其编码为一个或多个视频流。视频编解码器(多个)118在压缩视频流时使用例如与相关几何和/或场景深度图关联的信息。例如，如果将与超过一个摄像机视图关联的视频内容压缩在单个流内，则关于不同视图中的交叠区域的知识有助于实现高效压缩。未压缩视频流从摄像机被发送到视频处理服务器110或发送到存储单元116。压缩视频流存储于存储单元116中。压缩视频流经由视频处理服务器110的通信接口 119被传送到流传输服务器120。视频编解码器118的示例包括先进视频编码(AVC)编解码器、多视图视频编码(MVC)编解码器、可扩展视频编码(SVC)编解码器和/或类似编解码器。图4b为示例流传输服务器120的框图。流传输服务器120包括处理单元125、存储器单元1 和通信接口 129。视频流传输服务器120还可以包括一个或多个视频编解码器1 和/或多视图分析模块123。视频编解码器128的示例包括先进视频编码(AVC)编解码器、多视图视频编码(MVC)编解码器、可扩展视频编码(SVC)编解码器和/或类似编解码器。视频编解码器(多个)1 例如对从视频处理服务器110接收的压缩视频流进行解码，以及将它们编码为不同格式。例如，视频编解码器(多个)充当代码转换器(多个)，从而例如基于视频源系统102的能力和/或接收用户设备的能力，允许流传输服务器110接收一种或多种压缩视频格式的视频流以及传送另一种压缩视频格式的所接收的视频数据。 多视图分析模块123识别足以构造合成视图95的至少一个摄像机视图。在一示例中，该识别是至少部分基于从视频处理服务器110接收的场景深度图和/或相关几何。在可替换示例中，摄像机视图的识别是至少部分基于描述例如不同摄像机和/或合成视图之间的交叠区域的至少一个变换。取决于流传输服务器110是否识别出与合成视图95关联的摄像机视图90，流传输服务器可以包括或者可以不包括多视图分析模块123。在示例实施例中，多视图分析模块123、视频编解码器(多个)1 和/或通信接口 1 可以实施为软件、硬件、 固件和/或软件、硬件和固件其中超过一种的组合。根据图4b的示例实施例，与视频编解码器(多个)1 和多视图分析模块123关联的功能由处理单元125执行。处理单元125 包括一个或多个处理器和/或处理电路。处理单元可通信地耦合到存储器单元126、通信接口 1 和/或流传输服务器120的其它硬件组件。流传输服务器120经由通信接口 1 接收压缩视频数据、场景深度图和/或相关几何方案。压缩视频数据、场景深度图和相关几何方案可以存储于存储器单元126中。流传输服务器120经由通信接口 1 将场景深度图和/或相关几何方案转发到一个或多个用户设备130。流传输服务器还传送压缩多视图视频数据到一个或多个用户设备130。图如为用户设备130的示例框图。用户设备130包括通信接口 139、存储器单元136和处理单元135。用户设备130还包括用于解码接收的视频流的至少一个视频解码器 138。视频解码器138的示例包括先进视频编码(AVC)解码器、多视图视频编码(MVC)解码器、可扩展视频编码(SVC)解码器和/或类似解码器。用户设备130包括用于向用户显示信息和/或视频内容的显示/渲染单元132。处理单元135包括至少一个处理器和/或处理电路。处理单元135可通信地耦合到存储器单元136、通信接口 139和/或用户设备130 的其它硬件组件。用户设备130还包括多视图选择器。用户设备130还可包括多视图分析模块133。根据示例实施例，用户设备130经由通信接口 139从流传输服务器120接收场景深度图和/或相关几何方案。多视图选择器137允许用户选择优选的合成视图95。多视图选择器137包括用户接口以向用户呈现与可用摄像机视图90和/或摄像机有关的信息。 所呈现的信息允许用户对优选的合成视图95作出认知选择。例如，所呈现的信息包括与相关几何方案、场景深度图和/或可用摄像机视图的快照有关的信息。多视图选择器137可以还配置成存储用户选择。在示例实施例中，处理单元135将用户选择作为描述优选合成视图95的参数或方案发送到流传输服务器120。多视图分析模块133识别与所选择的合成视图95关联的一组摄像机视图90。该识别可以至少部分基于从流传输服务器120接收的信息。处理单元 135随后发送针对流传输服务器120的请求，其请求与所识别的摄像机视图90关联的视频数据。处理单元135从流传输服务器120接收视频数据。随后使用视频解码器(多个)138来解码该视频数据。处理单元135将所解码的视频数据显示在显示/渲染单元132 上和/或将其发送到耦合到用户设备130的另一渲染装置。视频解码器(多个)138、多视图选择器模块137和/或多视图分析模块133可以实施为软件、硬件、固件和/或软件、硬件和固件的组合。在图4c的示例实施例中，与视频解码器(多个)138、多视图选择器模块 137和/或多视图分析模块133关联的过程由处理单元135执行。根据各种实施例，可以利用包括单播、组播、广播和/或类似方式的流传输方法来执行多视图视频数据的流传输。所使用的流传输方法的选择至少部分取决于包括下述各项的因素之一多视图视频数据通过其被提供的服务的特性、网络能力、用户设备130的能力、用户设备130的位置、请求/接收多视图视频数据的用户设备130的数目和/或类似因
ο图fe示出的框图说明了根据示例实施例的由用户设备130执行的方法。在515， 由用户设备130接收与3D场景的场景几何和/或摄像机视图有关的信息。所接收的信息例如包括一个或多个场景深度图和相关几何方案。所接收的信息提供对下述各项的描述可用摄像机视图，摄像机的相对位置、取向和设置，和/或类似信息。在525，至少部分基于所接收的信息，由用户设备130选择所关注的合成视图95。相关几何和/或摄像机视图信息被显示给用户。通过指定虚拟摄像机的位置、取向和设置，用户可以例如指示所选择的合成视图。在另一实例中，用户至少部分基于可用摄像机视图90的所显示的快照和用户接口， 指示所关注的合成视图的边界。用户接口允许用户例如经由触摸屏而选择跨过一个或多个摄像机视图90的区域。附加地，用户可以使用触摸屏接口例如从而通过简单地在所期望的方向上拖动他的手指而在场景中查看全景或掠过，以及通过使用所探测的手指运动和加速度以预测方式合成新的视图。使用多点触摸装置可以实施与视频场景的另一交互方法，其中用户可以使用两个或更多手指来指示旋转或缩放等的组合效果。然而在另一实例中，用户可以使用遥控装置或操纵杆导航3D场景，并且可以通过按压特定键而改变视图，该特定键用作增量步以察看全景、改变透视图、旋转、放大或缩小从而生成具有平滑过渡效果的合成视图。通过这些不同示例暗示了本发明不限于具体用户接口或交互方法，只要用户输入被总结为特定几何参数，该几何参数可以用于合成新视图和/或可用于在各视图之间生成平滑过渡效果的中间视图。根据示例实施例，与合成视图对应的几何参数(例如合成视图相对于摄像机视图的坐标)的计算可以进一步由多视图选择器137执行。用户设备130包括多视图分析模块133，并且在535，由多视图分析模块133确定与所确定的合成视图95关联的一个或多个摄像机视图90。所识别的一个或多个摄像机视图90用于构造所确定的合成视图95。根据优选实施例，所识别的摄像机视图90构成摄像机视图的最小集合，例如其具有足以构造所确定的合成视图95的最小可能数目的摄像机视图。例如，当使用单播和/或组播流传输方法时，最小化所识别的摄像机视图的数目的一个优点为高效利用网络资源。例如，在图3a中，足以构造合成视图95的摄像机视图的最小集合包括视图VI、V2和V3。在图北中，所识别的摄像机视图的最小集合包括摄像机视图 V2。在另一示例实施例中，多视图分析模块133可以基于不同标准而识别一组摄像机视图。 例如，多视图分析模块133可以考虑到每个摄像机视图90的图像质量和/或亮度。在图北中，多视图分析模块可以识别视图V2和V3而不是仅仅V2。例如，V3和V2的使用可以提高所确定的合成视图95的视频质量。在M5，由用户设备130接收与至少一个所确定的合成视图95和/或一个或多个所识别的摄像机视图关联的媒体数据。在示例广播情形中，用户设备130接收与所有可用摄像机视图90关联的压缩视频流。用户设备130随后仅仅解码与所识别的摄像机视图关联的视频流。在其中在单播流传输会话接收媒体数据的示例情形中，用户设备130将关于所识别的摄像机视图的信息发送到流传输服务器120。用户设备130响应于所发送的信息接收与所识别的摄像机视图90关联的一个或多个压缩视频流。用户设备130也可以将关于所确定的合成视图95的信息发送到流传输服务器120。流传输服务器120至少部分基于所接收的信息来构造所确定的合成视图，并且传送与在用户设备130处确定的合成视图95 关联的压缩视频流。用户设备130接收压缩视频流并且在视频解码器138处解码该压缩视频流。在将媒体数据组播流传输到接收装置的情形，流传输服务器120在单个组播会话中传送例如与摄像机视图90关联的每个媒体流。用户设备130订阅与由多视图分析模块 133识别的摄像机视图关联的组播会话，从而接收与所识别的摄像机视图对应的视频流。在另一组播情形中，用户设备可以将关于它们的所确定的合成视图95和/或所识别的摄像机视图的信息发送给流传输服务器120。流传输服务器120在单个组播会话中传送与通常由大多数或所有接收用户设备共同识别的摄像机视图关联的多个视频流。与由单个或几个用户设备识别的摄像机视图关联的视频流可以在单播会话中传送到相应用户设备；这会要求附加的信令方案来同步动态流传输配置，但是也可以节约大量带宽，因为可以预期大多数用户将遵循陈规模式的视点变化。在另一实例中，流传输服务器120至少部分基于所接收的信息，决定在一个或多个组播会话中将传送的几个合成视图95。每个用户设备130随后订阅与由相同用户设备130确定的合成视图最接近的合成视图95关联的组播会话。用户设备130在视频解码器138解码所接收的视频数据。在555，由用户设备130显示合成视图95。用户设备130可以在其显示器132上或者在耦合到用户设备130的视觉显示装置(例如HD TV、数字投影仪、3-D显示设备和/ 或类似设备)上显示视频数据。在其中用户设备130接收与所识别的摄像机视图关联的视频流的情形中，由用户设备130的处理单元135执行进一步处理从而根据所接收的视频数据构造所确定的合成视图。图恥示出的框图说明了根据示例实施例由流传输服务器120执行的方法。在510， 由流传输服务器120将与3-D场景5的场景几何和/或可用摄像机视图90有关的信息传送到一个或多个用户设备。所传送的信息例如包括一个或多个场景深度图和相关几何方案。 所传送的信息提供了对可用摄像机视图，摄像机的相对位置、取向和设置，和/或3-D场景几何的描述。在520，由流传输服务器120传送媒体数据，该媒体数据包括与合成视图有关和/或与合成视图95关联的摄像机视图有关的视频数据。在广播情形中，例如，流传输服务器120广播与可用摄像机视图90有关的视频数据。接收用户设备随后选择与它们的所确定的合成视图95有关的视频流。由用户设备130的处理单元135执行进一步处理，从而利用先前识别的相关视频流构造所确定的合成视图。在组播情形中，流传输服务器120在单个组播会话中传送与摄像机视图90关联的每个视频流。用户设备130随后可以订阅具有与相同用户设备130所识别的摄像机视图对应的视频流的组播会话。在另一示例组播情形中，流传输服务器120还从用户设备接收关于所识别的摄像机视图和/或相应的由用户设备确定的合成视图的信息。流传输服务器120至少部分基于所接收的信息，执行优化计算并且确定所有或大多数接收用户设备共同的一组摄像机视图，并仅仅组播那些视图。在又一示例中，流传输服务器120可以在组播会话中对多个视频流分组。流传输服务器120也可以基于所接收的信息而生成一个或多个合成视图，以及在组播会话中传送针对每个所生成的合成视图的视频流。在流传输服务器 120处生成的合成视图可以例如按照下述方式生成由用户设备容纳所确定的合成视图95 同时减小由流传输服务器120组播的视频数据的数量。所生成的合成视图可以例如相同于或者略微不同于由用户设备所确定的合成视图中一个或多个。在单播情形中，流传输服务器120还从用户设备接收关于所识别的摄像机视图和 /或相应的用户设备所确定的合成视图的信息。在520，由流传输服务器120将相应请求的摄像机视图传送到一个或多个用户设备。流传输服务器120也可以生成由用户设备确定的每个合成视图95的视频流。在520，所生成的流随后被传送到相应用户设备。这种情况下， 所接收的视频流并不要求任何进一步几何处理并且可以直接地显示给用户。图6a示出的框图说明了根据另一示例实施例由用户设备130执行的方法。在615， 由用户设备130接收与场景的场景几何和/或摄像机视图有关的信息。所接收的信息例如包括一个或多个场景深度图和相关几何方案。所接收的信息提供对可用摄像机视图，摄像机的相对位置、取向和设置，和/或类似信息的描述。在625，例如由用户设备130的用户至少部分基于所接收的信息而选择关注的合成视图95。相关几何和/或摄像机视图信息被显示给用户。用户可以通过指定虚拟摄像机的位置、取向和设置，例如指示所选择的合成视图。在另一实例中，用户至少部分基于可用摄像机视图90的所显示的快照和用户接口，指示所关注的合成视图的边界。用户接口允许用户例如经由触摸屏而选择跨过一个或多个摄像机视图90的区域。附加地，用户可以使用触摸屏接口例如来通过简单地在所期望的方向上拖动他的手指而在场景中查看全景或掠过，以及通过使用所探测的手指运动和加速度以预测方式合成新的视图。例如使用多点触摸装置来实施与视频场景的另一交互方法，其中用户可以使用两个或更多手指来指示旋转或缩放等的组合效果。然而在另一实例中，用户使用遥控装置或操纵杆来导航3D场景并且通过按压特定键而改变视图，该特定键用作增量步长以察看全景、改变透视图、旋转、放大或缩小，以生成具有平滑过渡效果的合成视图。 通过这些不同示例暗示了本发明不限于具体用户接口或交互方法。用户输入被总结为特定几何参数，这些几何参数被用于合成新视图和/或可用于在各视图之间生成平滑过渡效果的中间视图。根据示例实施例，与合成视图对应的几何参数(例如合成视图相对于摄像机视图的坐标)的计算可以进一步由多视图选择器137执行。在635，由用户设备130将指示所确定的合成视图95的信息发送到流传输服务器120。所发送的信息包括所确定合成视图例如相对于可用摄像机视图90的坐标的坐标，和/或将捕获所确定的合成视图95的假想摄像机的参数。参数包括假想摄像机的位置、取向和/或设置。在645，由用户设备130接收包括与所确定的合成视图关联的视频数据的媒体数据。在示例单播情形中，用户设备130接收与所确定的合成视图95关联的视频流。用户设备130解码所接收的视频流以得到所确定的合成视图的无压缩视频内容。在另一实例中， 用户设备接收足以重构所确定的合成视图95的与一个或多个摄像机视图关联的一束视频流。该一个或多个摄像机视图在流传输服务器120处被识别。用户设备130解码所接收的视频流并且重构所确定的合视图95。在示例组播情形中，用户设备130订阅一个或多个组播会话从而接收一个或多个视频流。该一个或多个视频流可以与所确定的合成视图95和/或与由流传输服务器120 识别的摄像机视图关联。用户设备130可以进一步接收指示哪个(哪些)组播会话与用户设备130有关的信息。在655，由用户设备130在其自己显示器132上或者在耦合到用户设备130的视觉显示装置(例如HD TV、数字投影仪和/或类似装置上)显示解码的数据视频。在其中用户设备130接收与所识别的摄像机视图关联的视频流的情形中，由处理单元135执行进一步处理，从而根据所接收的视频数据构造所确定的合成视图。图6b示出的框图说明了根据另一示例实施例的由流传输服务器120执行的方法。 在610，由流传输服务器120将与场景的场景几何和/或可用摄像机视图90有关的信息传送到一个或多个用户设备130。所传送的信息例如包括一个或多个场景深度图和/或相关几何方案。所传送的信息提供对可用摄像机视图，摄像机的相对位置、取向和设置，和/或 3D场景几何的描述。在620，由流传输服务器120从一个或多个用户设备接收指示一个或多个合成视图的信息。在一个或多个用户设备处确定合成视图。所接收的信息例如包括合成视图例如相对于可用摄像机视图的坐标的坐标。在另一实例中，所接收的信息可以包括一个或多个虚拟摄像机的位置、取向和设置的参数。在630，流传输服务器120识别与至少一个合成视图95关联的一个或多个摄像机视图。例如，对于每个合成视图95，流传输服务器120识别一组摄像机视图从而重构相同合成视图95。由多视图分析模块123执行对摄像机视图的识别。在640，由流传输服务器120传送包括与一个或多个合成视图有关的视频数据的媒体数据。根据示例实施例，流传输服务器向对合成视图感兴趣的用户设备130传送与相同合成视图的所识别的摄像机视图对应的视频流。在另一示例实施例中，流传输服务器120 构造由用户设备130指示的合成视图，并且生成相应压缩视频流。所生成的压缩视频流随后传送到用户设备130。流传输服务器120可以例如构造所有指示的合成视图并且生成相应视频流，并将它们传送到相应用户设备。流传输服务器120也可以构造可以由或者不由用户设备指示的一个或多个合成视图。例如，流传输服务器120可以选择生成并且传送一定数目的合成视图，该数目小于由用户设备指示的合成视图的数目。一个或多个用户设备 130可以接收与由相同一个或多个用户设备指示的合成视图不同的合成视图的视频数据。在示例实施例中，流传输服务器120使用单播流传输以将视频流递送到用户设备。在单播情形中，流传输服务器120向用户设备130传送与由相同用户设备指示的合成视图95有关的视频数据。在可替换示例实施例中，流传输服务器120广播或组播与可用摄像机视图90关联的视频流。在组播或广播情形中，流传输服务器120进一步发送通知到一个或多个用户设备，该通知指示哪些视频流和/或流传输会话与该一个或多个用户设备 130的每一个有关。在广播服务中接收视频数据的用户设备130基于所接收的通知而仅仅解码相关视频流。用户设备130使用所接收的通知来决定订阅哪些组播会话。图7说明从一个活动视图到新请求的视图的场景导航的示例实施例。在图7的示例中存在索引为VI、V2、V3和V4的四个可用摄像机视图。根据图7，由用户消耗的当前活动视图为合成视图95A。用户随后决定切换到新请求的合成视图，例如合成视图95B。根据优选实施例，通过最小化对从流传输服务器120流传输到用户设备130的视频数据的改变， 从而对从一个视图到另一个视图的切换进行优化。例如，可以使用分别与摄像机C2和C3 对应的摄像机视图V2和V3构造图7的当前活动视图95A。例如，可以使用分别对应于摄像机C3和C4的摄像机视图V3和V4来构造所请求的新合成视图95B。用户设备130例如接收与摄像机视图V2和V3对应的视频流同时消耗活动视图95A。根据示例实施例，当从活动视图95A切换到所请求的新合成视图95B时，用户设备 130保持接收和/或解码与摄像机视图V3对应的视频流。用户设备130还开始接收和/或解码与摄像机视图V4对应的视频流，而不是与摄像机视图V2对应的视频流。在组播情形中，用户设备130订阅与摄像机视图V2和V3关联的组播会话同时消耗活动视图95A。当切换到摄像机视图95B时，用户设备130例如离开与摄像机视图V2对应的会话并且订阅与摄像机视图V4对应的组播会话。用户设备130保持消耗与摄像机视图V3对应的会话。在广播情形中，用户设备130停止解码与摄像机视图V2对应的视频流并且开始解码与摄像机视图V4对应的视频流。用户设备130还保持解码与摄像机视图V3对应的视频流。考虑这样的通常情形，其中使用具有交叠视场的稀疏阵列摄像机Ci, i = {Ρ··Ν} 来覆盖3D场景。数目N指示可用摄像机的总数。变换Hbj将与摄像机Ci对应的每个摄像机视图\映射到与摄像机Ci对应的另一视图、。根据示例实施例，Hi^j对与摄像机的相对安置和3D场景深度对应的所有几何变换的结果进行抽象。例如Hb」可以看作是至少一对视图的快照之间的4维G-D)光流矩阵。4-D光流矩阵将Vi中例如像素m = (x, y)T的每个网格位置映射到Vj中的其相应配对上，如果视图Vi和Vj在该网格位置存在交叠的话。如果没有交叠，则例如指派空指针。4-D光流矩阵还可以指示例如至少一对视图Vi和Vj之间的亮度、颜色设置和/或类似物的变化。在另一实例中，映射HiI产生二维图或图片，其指示视图\和Vj之间的交叠区域或像素。根据示例实施例，变换Hbj例如可以由流传输服务器120和/或一个或多个用户设备130在识别与合成视图95关联的摄像机视图时使用。可以例如离线预先计算任何两个已有摄像机视图90之间的变换。变换的计算在计算上要求高，并且因而离线预先计算变换Hbj允许多视图视频数据的高效且快速的流传输更加快速，且更适合于离线执行。如果一个或多个摄像机15的取向和/或设置发生改变，变换还可以例如在流传输仍在进行时被调适。根据示例实施例，可用摄像机视图90之间的变换例如由多视图分析模块123使用以识别将用于重构合成视图的摄像机视图。例如，在3-D场景导航情形中，将用户设备130当前正在观看的视图(例如活动客户端视图)标记为Va。活动客户端视图Va可以对应于已有摄像机视图90或者对应于任何其它合成视图95。在图7的示例中，Va为合成视图95A。 Va和可用摄像机视图90之间的对应例如Hpi被预计算。流传输服务器120还可以存储例如变换矩阵Hay，其中I = {Ρ··Ν}，或者只是存储用于重构Va的摄像机视图的指示。在图 7的示例中，流传输服务器可以简单地存储摄像机视图％和％指示。用户通过限定新请求的合成视图Vs，例如图7中的合成视图95B，来改变视点。流传输服务器120被告知用户设备130改变视图。例如在单播情形中，流传输服务器120确定由于相同用户设备130改变视图而传送到用户设备130的摄像机视图的改变。根据示例实施例，确定传送到用户设备130的摄像机视图的改变可以按下述实施在改变视点的更新的用户交互时，用户设备130限定新合成视图Vs的几何参数。这例如可以通过计算由于全景、缩放、透视变化和/或类似物引起的增量导致的边界区域来完成。用户设备130将所限定的新合成视图Vs的几何参数传送到流传输服务器。流传输服务器计算在Vs和当前活动视图Va中使用的摄像机视图Vi之间的变换 H^i0在此步骤中，流传输服务器识别也可以用于新合成视图的当前使用的摄像机视图。在图7的示例中，流传输服务器计算Hs — 2和Hs — 3，假设仅仅V2和V3被用于重构当前活动视图 95A。在图7的相同示例中，摄像机视图V2和V3都与Vs交叠。在与Vs交叠的任何摄像机视图均可以被消除的情况下，流传输服务器120随后比较已经计算的矩阵Hpρ在图7的示例中，流传输服务器比较Hp2和扎—3。该比较指示 Hs^2中指示的交叠区域为Hs — 3中包括的交叠区域的子区域。因而，流传输服务器决定从传送到用户设备130的视频流的列表中丢掉与摄像机视图V2对应的视频流。流传输服务器 120在传送到用户设备130的视频流的列表中保持与摄像机视图V3对应的视频流。如果在传送到用户设备130的视频流的列表中的其余视频流不足以构造合成视图vs，流传输服务器120利用其余摄像机视图继续该过程。在图7的示例中，由于V3不足以重构Vs，流传输服务器120还计算Hp工和—。图7中的摄像机视图V1不与Vs交叠，而 V4与Vs交叠。流传输服务器120随后忽略V1并且将与V4对应的视频流添加到传送的视频流的列表。
如果需要，流传输服务器如在步骤4中那样执行另外比较，从而确定列表中的任何视频流是否可以被消除。在图7的示例中，由于V3和V4足以重构Vs，以及V3和V4单独都不足以重构Vs，流传输服务器最后开始最终列表中的视频流(例如对应于V3和V4)的流传输。图8说明从流传输服务器120流传输到用户设备130的可扩展视频数据的示例实施例。流传输服务器将与摄像机视图V2、V3和V4关联的视频数据传送到用户设备130。根据图8中的示例实施例，与摄像机视图V2对应的所传送的可扩展视频数据包括基本层、第一增强层和第二增强层。与摄像机视图V4对应的所传送的可扩展视频数据包括基本层和第一增强层，而与摄像机视图V2对应的所传送的视频数据仅仅包括基本层。与摄像机视图 V2、V3和V4关联的场景深度信息还作为辅助数据流被传送到用户设备130。例如，与一个或多个摄像机视图关联的视频层的子组(不是所有层)的传送允许高效利用网络资源。在不以任何方式限制下面出现的权利要求书的范围、解读或应用的情况下，有可能的是，此处公开的一个或多个示例实施例的技术效果可以是多视图视频数据的高效流传输。此处公开的一个或多个示例实施例的另一技术效果可以是个性化的自由视图TV应用。 此处公开的一个或多个示例实施例的另一技术效果可以是增强的用户体验。本发明的实施例可以以软件、硬件、应用逻辑或者软件、硬件和应用逻辑的组合来实施。软件、应用逻辑和/或硬件可以驻留于与服务提供商关联的计算机服务器、网络服务器或者用户设备上。如果需要，部分的软件、应用逻辑和/或硬件可以驻留于与服务提供商关联的计算机服务器上，部分的软件、应用逻辑和/或硬件可以驻留于网络服务器上，并且部分的软件、应用逻辑和/或硬件可以驻留于用户设备。在示例实施例中，应用逻辑、软件或者指令集优选地保持在任何一种的各种常规计算机可读取介质上。在此文件的上下文中，“计算机可读取介质”可以是这样的任何介质或装置，其可以包含、存储、通信、传播或者传输由指令执行系统、设备或装置使用或者与之结合使用的指令。计算机可读取介质可包括计算机可读取存储介质，该计算机可读取存储介质可以是这样的任何介质或装置，其可以包含或存储由指令执行系统、设备或装置使用或者与之结合使用的指令。如果需要，此处讨论的不同功能可以按照任何顺序和/或彼此同时执行。另外，如果需要，一个或多个上文描述的功能可以是可选的或者可以被组合。尽管在独立权利要求中列出了本发明的各个方面，但是本发明的其它方面包括来自所描述的实施例和/或从属权利要求的特征与独立权利要求的特征的任何组合，并且不仅仅是权利要求中明确列出的组合。此处还指出，尽管上文描述了本发明的示例实施例，这些描述不应解读为限制含义。相反，在不背离如所附权利要求中限定的本发明范围的情况下，存在可以进行的若干变型和调整。
权利要求
1.一种设备，包括处理单元，其配置成致使该设备接收与三维场景的可用摄像机视图有关的信息；请求合成视图，所述合成视图不同于任何可用摄像机视图并且所述合成视图由该处理单元确定；以及接收媒体数据，该媒体数据包括与该合成视图关联的视频数据。
2.根据权利要求1所述的设备，其中该处理单元还配置成从所述可用摄像机视图识别与所确定的合成视图关联的一个或多个摄像机视图。
3.根据权利要求2所述的设备，其中识别与所请求的合成视图关联的一个或多个摄像机视图包括最小化所识别的摄像机视图的数目。
4.根据权利要求2-3中任意一项所述的设备，其中所接收的媒体数据包括与多个可用摄像机视图关联的多个视频流，该处理单元还配置成仅仅解码与所识别的摄像机视图关联的视频流。
5.根据权利要求2-3中任意一项所述的设备，其中该处理单元还配置成致使该设备订阅一个或多个组播会话用于接收该媒体数据，所述一个或多个组播会话和与一个或多个所识别的摄像机视图关联的一个或多个视频流有关。
6.根据权利要求2-3中任意一项所述的设备，其中该处理单元还配置成致使该设备 发送与一个或多个所识别的摄像机视图有关的信息到网络服务器；以及在单播会话中，接收与所述一个或多个所识别的摄像机视图对应的一个或多个视频流作为媒体数据。
7.根据权利要求2-6中任意一项所述的设备，其中该处理单元还配置成致使该设备 重构所请求的合成视图；以及显示所请求的合成视图。
8.根据权利要求2-3中任意一项所述的设备，其中该处理单元还配置成致使该设备 将指示一个或多个所识别的摄像机视图的信息以及与所请求的合成视图有关的信息发送到网络服务器；以及在单播会话中，接收与所请求的合成视图对应的视频流作为媒体数据，所述视频流至少部分基于该一个或多个所识别的摄像机视图以及与所请求的合成视图有关的信息来构造。
9.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备 发送与所请求的合成视图有关的信息到网络服务器；以及在单播会话中接收一个或多个视频流作为媒体数据，所述一个或多个视频流由所述网络服务器识别。
10.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备 发送与所请求的合成视图有关的信息到网络服务器；以及在单播会话中接收一个视频流作为媒体数据，所述一个流由所述网络服务器至少部分基于所述发送的信息以及与一个或多个摄像机视图关联的视频数据而生成。
11.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备 发送与所请求的合成视图有关的信息到网络服务器；接收与一个或多个视频流有关的一个或多个组播会话的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；以及订阅该一个或多个所指示的组播会话以接收与所识别的一个或多个摄像机视图关联的一个或多个视频流。
12.根据权利要求1所述的设备，其中该处理单元还配置成致使该设备 发送与所请求的合成视图有关的信息到网络服务器；接收一个或多个视频流的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；在广播会话中接收多个视频流，所述多个视频流包括所指示的一个或多个视频流；以及解码所指示的一个或多个视频流。
13.根据权利要求8-12中任意一项所述的设备，其中该处理单元还配置成致使该设备重构所请求的合成视图；以及显示所请求的合成视图。
14.一种方法，包括由用户设备接收与三维场景的可用摄像机视图有关的信息； 在该用户设备处确定合成视图，所述合成视图不同于任何可用摄像机视图； 由该用户设备从通信网络请求与所确定的合成视图关联的视频数据；以及由该用户设备接收媒体数据，该媒体数据包括与所确定的合成视图关联的视频数据。
15.根据权利要求14所述的方法，还包括从所述可用摄像机视图识别与所确定的合成视图关联的一个或多个摄像机视图。
16.根据权利要求15所述的方法，其中识别与所请求的合成视图关联的该一个或多个摄像机视图包括最小化所识别的摄像机视图的数目。
17.根据权利要求15-16中任意一项所述的方法，其中所接收的媒体数据包括与多个可用摄像机视图关联的多个视频流，所述方法包括仅仅解码与所识别的摄像机视图关联的视频流。
18.根据权利要求15-16中任意一项所述的方法，还包括订阅一个或多个组播会话用于接收该媒体数据，所述一个或多个组播会话和与一个或多个所识别的摄像机视图关联的一个或多个视频流有关。
19.根据权利要求15-16中任意一项所述的方法，还包括发送与一个或多个所识别的摄像机视图有关的信息到网络服务器；以及在单播会话中，接收与该一个或多个所识别的摄像机视图对应的一个或多个视频流作为媒体数据。
20.根据权利要求15-19中任意一项所述的方法，还包括 重构所请求的合成视图；以及显示所请求的合成视图。
21.根据权利要求15-16中任意一项所述的方法，还包括将指示一个或多个所识别的摄像机视图的信息以及与所请求的合成视图有关的信息发送到网络服务器；以及在单播会话中，接收与所请求的合成视图对应的视频流作为媒体数据，所述视频流至少部分基于该一个或多个所识别的摄像机视图以及与所请求的合成视图有关的信息来构造。
22.根据权利要求14所述的方法，还包括发送与所请求的合成视图有关的信息到网络服务器；以及在单播会话中接收一个或多个视频流作为媒体数据，所述一个或多个视频流由所述网络服务器识别。
23.根据权利要求14所述的方法，还包括发送与所请求的合成视图有关的信息到网络服务器；以及在单播会话中接收一个视频流作为媒体数据，所述一个流由所述网络服务器至少部分基于所述发送的信息以及与一个或多个摄像机视图关联的视频数据而生成。
24.根据权利要求14所述的方法，还包括发送与所请求的合成视图有关的信息到网络服务器；接收与一个或多个视频流有关的一个或多个组播会话的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；以及订阅该一个或多个所指示的组播会话以接收与所识别的一个或多个摄像机视图关联的一个或多个视频流。
25.根据权利要求14所述的方法，还包括发送与所请求的合成视图有关的信息到网络服务器；接收一个或多个视频流的指示，所述一个或多个视频流与由所述网络服务器识别的一个或多个摄像机视图关联；在广播会话中接收多个视频流，所述多个视频流包括所指示的一个或多个视频流；以及解码所指示的一个或多个视频流。
26.根据权利要求21-25中任意一项所述的方法，还包括 重构所请求的合成视图；以及显示所请求的合成视图。
27.一种设备，包括处理单元，其配置成致使该设备发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，所述合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
28.根据权利要求27所述的设备，其中媒体数据的传送包括在多个组播会话中传送与可用摄像机视图关联的视频流。
29.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息；以及在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
30.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息； 至少部分基于与所指示的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及在单播会话中传送与所述合成视图对应的所述生成的视频流。
31.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备 识别与所述合成视图关联的一个或多个摄像机视图；以及在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
32.根据权利要求27所述的设备，其中该处理单元还配置成致使该设备 识别与所述合成视图关联的一个或多个摄像机视图；至少部分基于与所识别的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及在单播会话中传送与所述合成视图对应的所述生成的视频流。
33.一种方法，包括发送与三维场景的可用摄像机视图有关的信息；从用户设备接收针对合成视图的请求，所述合成视图不同于任何可用摄像机视图；以及传送媒体数据，该媒体数据包括与所述合成视图关联的视频数据。
34.根据权利要求33所述的方法，其中媒体数据的传送包括在多个组播会话中传送与可用摄像机视图关联的视频流。
35.根据权利要求33所述的方法，还包括从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息；以及在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
36.根据权利要求33所述的方法，还包括从所述用户设备接收指示与所述合成视图关联的一个或多个摄像机视图的信息； 至少部分基于与所指示的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及在单播会话中传送与所述合成视图对应的所述生成的视频流。
37.根据权利要求33所述的方法，还包括识别与所述合成视图关联的一个或多个摄像机视图；以及在单播会话中传送与所指示的一个或多个摄像机视图对应的一个或多个视频流。
38.根据权利要求27所述的方法，还包括识别与所述合成视图关联的一个或多个摄像机视图；至少部分基于与所识别的一个或多个摄像机视图对应的视频流，生成与所述合成视图对应的视频流；以及在单播会话中传送与所述合成视图对应的所述生成的视频流。
39.一种计算机程序产品，其包括其中含有计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码配置成执行权利要求14-26中任意一项所述的过
40. 一种计算机程序产品，其包括其中含有计算机程序代码的计算机可读取介质以便与计算机一起使用，该计算机程序代码配置成执行权利要求33-38中任意一项所述的过禾呈。
全文摘要
依据本发明的示例实施例，一种设备包括处理单元，其配置成接收与三维场景的可用摄像机视图有关的信息；请求合成视图，该合成视图不同于任何可用摄像机视图并且由该处理单元确定，以及接收媒体数据，该媒体数据包括与该合成视图关联的视频数据。
文档编号H04N7/26GK102450011SQ201080023226
公开日2012年5月9日 申请日期2010年4月8日 优先权日2009年4月10日
发明者I·鲍阿齐齐, M·B·A·特里梅彻, M·M·安尼克塞拉 申请人:诺基亚公司