专利名称：用于高效2d-3d呈现的视频解码器中的纹理压缩的利记博彩app
技术领域：
本发明涉及配置成输出压缩和非压缩格式的视频数据的视频解码器。许多当今的图形用户界面(⑶I)涉及呈现视频作为3D图形场景的一部分。例如， 视频回放设备可包含利用3D呈现图形来创建3D图形场景的GUI。用户可在该GUI中导航以寻找存储在该视频回放设备上的视频。当用户在该GUI中导航时，这些视频可作为该3D 图形场景内的预览剪辑来回放。为了在3D⑶I内显示视频，首先解码视频帧，随后视频处理器使用已解码视频帧来呈现3D场景。视频处理器随后将该场景输出到显示器。目前，视频解码器以单种非压缩格式(诸如YUV 4:2:0格式)来解码视频。已解码视频从视频解码器输出到显示处理器中。显示处理器可覆盖2D图像(S卩，3D环境中的纹理)并随后向显示器输出信号，这些图像在显示器中显示。在某些情形中，显示处理器先将视频从YUV 4:2:0格式转换成RGB 8:8:8格式，然后覆盖纹理并呈现该视频以在显示设备上显不。然而，为了在3D图形场景中呈现视频，以上模型是低效的。如上所述，视频在传统上以非压缩的YUV 4:2:0格式从视频解码器输入到显示处理器的图形流水线中。显示处理器随后必须将视频帧转换成压缩格式，然后使用该压缩格式通过覆盖纹理来呈现3D GUI。 这导致用于将非压缩视频纹理加载到图形流水线中所需的额外带宽以及图形流水线中用于将非压缩纹理转换成压缩纹理的额外指令。用于减少图形流水线中所需的带宽和指令的先前解决方案已包括以将无需由显示处理器进行转换的压缩格式离线地生成视频的第二副本。然而，此类解决方案并没有考虑在视频显示设备中对诸如来自以非压缩格式向视频显示设备发送实况内容的源的视频的运行中显示。此外，需要额外的外部处理和存储器来存储该视频的附加格式。附图简述
图1是解说用于编码和解码视频信号的源设备和目的设备的框图。图2是其中合并了已解码视频的所呈现3D场景的实施例。图3是用于压缩视频帧的过程的实施例的流程图。图4是使用通过图3的过程解码的视频来呈现场景的过程的流程图。图5是图1的视频解码器的实施例的框图。详细描述以下详细描述针对某些具体实施例。然而，本文的教示可以众多不同方式来应用。 在本说明书中，参考了附图，其中相同的部件贯穿始终被指定相同的标号。一个实施例针对视频解码器，其被设计成以适合用于2D和3D图形呈现两者的格式输出已解码视频。通过将视频解码成非压缩和压缩格式两者，就能够以正确格式将视频帧发送给显示处理器(其在一个实施例中可包括2D和3D图形处理器)以减少显示处理器在所呈现3D图形用户界面(GUI)中合并视频所需的处理。
图1是解说执行本公开所描述的编码技术的视频编码和解码系统10的实施例的框图。如图1中所示，系统10包括源设备12，该源设备12经由通信信道16向目的设备14 传送经编码视频数据。源设备12可包括视频源18、视频编码器20和发射机22。源设备 12的视频源18可包括视频捕捉设备(诸如摄像机)、包含先前捕捉到的视频的视频存档、 或者来自视频内容供应商的视频馈送。作为另一替换方案，视频源18可以生成基于计算机图形的数据作为源视频，或者实况视频与计算机生成的视频的组合。在某些情形中，源设备 12可以是无线电话或视频电话，在这种情形中，视频源18可以是该电话上的摄像机。在每种情形中，捕捉到的、预先捕捉到的或者计算机生成的视频可以由视频编码器20编码以经由发射机22和通信信道16从源设备12传送给目的设备14。视频编码器20从视频源18接收视频数据。从视频源18接收到的视频数据可以是一系列视频帧。视频编码器20将这一系列帧划分成编码单元并处理这些编码单元以编码这一系列视频帧。编码单元可以是例如整个帧或帧的部分(即，片断)。因此，在某些实例中，帧可被划分成片断。视频编码器20将每个编码单元划分成像素块(在本文中被称为视频块或块)并对个体编码单元内的视频块进行操作以编码视频数据。因此，编码单元(例如，帧或片断)可包含多个视频块。换言之，视频序列可包括多个帧，帧可包括多个片断，而片断可包括多个视频块。视频块可以具有固定的或变化的大小，并且可以根据指定的编码标准而大小不同。作为示例，国际电信联盟标准化组(ITU-T)H. 264/MPEG-4第10部分，高级视频编码 (AVC)(下文称为“H. 264/MPEG-4第10部分AVC”标准)支持各种块大小(诸如用于亮度分量的16xl6、8x8或4x4像素，以及用于色度分量的8x8像素)中的帧内预测。可在各种块大小(诸如用于亮度分量的16χ16、16χ8、8χ16、8χ8、8χ4、4χ8和4x4像素以及用于色度分量的相应经缩放大小)中执行帧间预测。在H.沈4中，例如，16X16像素的每个视频块(常被称为宏块(MB))可被细分成较小大小的子块且在子块中进行帧内或帧间预测。一般而言， MB和各种子块可被认为是视频块。因此，MB可被认为是视频块，并且如果被划分或细分，那么MB本身可被认为定义了视频块集合。对于每个视频块，视频编码器20为该块选择块类型。块类型可指示该块是使用帧间预测还是帧内预测来预测以及该块的划分大小。例如，H. 264/MPEG-4第10部分AVC标准支持数种帧间和帧内预测块类型，包括帧间16x16、帧间16x8、帧间8x16、帧间8x8、帧间 8x4、帧间虹4、帧内16x16、帧内8x8、和帧内虹4。如下文详细描述的，视频编码器20可以为要编码的每个视频块选择这些块类型之一。视频编码器20还为每个视频块选择预测模式。在帧内编码视频块的情形中，预测模式可确定使用一个或更多个先前编码的视频块来预测当前视频块的方式。在H. 264/ MPEG-4第10部分AVC标准中，例如，视频编码器20可以为每个帧内4x4块选择9种可能的单向预测模式之一纵向预测模式、横向预测模式、DC预测模式、对角向下/左预测模式、对角向下/右预测模式、纵向-向右预测模式、横向-向下预测模式、纵向-向左预测模式和横向-向上预测模式。类似的预测模式被用于预测每个帧内8x8块。对于帧内16x16块， 视频编码器20可选择4种可能的单向模式之一纵向预测模式、横向预测模式、DC预测模式、和平面预测模式。在某些实例中，视频编码器20可从预测模式集合中选择预测模式，该预测模式集合不仅包括单向预测模式，而且还包括定义单向模式的组合的一种或更多种多向预测模式。例如，这一种或更多种多向预测模式可以是组合如下文更详细地描述的两种单向预测模式的双向预测模式。在为视频块选择预测模式之后，视频编码器20使用所选预测模式生成预测视频块。从原始视频块减去预测视频块以形成残差块。残差块包括对原始视频块的像素值与所生成预测块的像素值之差进行量化的像素差值的集合。残差块可以二维块格式(例如，像素差值的二维矩阵或阵列)来表示。继生成残差块之后，视频编码器20可在编码残差块之前对该块执行数种其他操作。视频编码器20可对像素值残差块应用变换(诸如整数变换、DCT变换、方向变换或小波变换)以产生变换系数块。变换系数可以是残差块的频域表示。因此，视频编码器20将残差像素值转换成变换系数(也被称为残差变换系数)。残差变换系数可被称为变换块或系数块。在应用不可分离变换时，残差变换系数可以是这些系数的一维表示，而在应用可分离变换时，残差变换系数可以是这些系数的二维表示。不可分离变换可包括不可分离的方向变换。可分离变换可包括可分离的方向变换、DCT变换、整数变换、以及小波变换。继变换之后，视频编码器20执行量化以生成量化变换系数(也被称为量化系数或量化残差系数)。量化系数也可以一维向量格式或二维块格式来表示。量化一般是指对系数进行量化以便有可能减少用于表示这些系数的数据量的过程。量化过程可减少与某些或所有系数相关联的比特深度。如本文中所使用的，术语“系数”可表示变换系数、量化系数或其他类型的系数。本公开的技术在某些实例中既可应用于残差像素值也可应用于变换系数和量化变换系数。在使用可分离变换并且以二维块格式来表示系数块时，视频编码器20将这些系数从二维格式扫描成一维格式。换言之，视频编码器20可扫描来自二维块的系数以将这些系数串行化为一维系数向量。根据本公开的一个方面，视频编码器20可基于所采集的统计来调整用于将系数块转换成一维的扫描次序。该统计可包括二维块的每个位置的给定系数值为零或非零的可能性的指示，并且例如可包括与该二维块的每个系数位置相关联的计数、概率或其他统计度量。在某些实例中，可仅针对块的系数位置子集采集统计。在评价扫描次序时，例如在特定数目的块之后，可改变扫描次序以使得块内被确定为具有非零系数的概率较高的系数位置先于该块内被确定为具有非零系数的概率较低的系数位置被扫描。 这样，初始扫描次序可被适配以便更高效地将非零系数编组在一维系数向量的开头以及将零值系数编组在一维系数向量的末尾。这又可以减少在熵编码上所用的比特数目，因为在该一维系数向量开头的非零系数之间有较短的零串而在该一维系数向量末尾有较长的零串ο继系数扫描之后，视频编码器20使用各种各样的熵编码方法(诸如上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)、行程编码或诸如此类)中的任一种来编码该编码单元的每个视频块。源设备12经由发射机22和信道16将经编码视频数据传送给目的设备14。通信信道16可包括任何无线或有线通信介质，诸如射频(RF) 频谱或者一条或更多条物理传输线，或者无线和有线介质的任何组合。通信信道16可以构成基于分组的网络(诸如局域网、广域网或者诸如因特网之类的全球网络)的一部分。通信信道16 —般表示用于从源设备12向目的设备14传送经编码视频数据的任何适宜的通信介质或者不同通信介质的集合。
目的设备14可包括接收机对、视频解码器沈、显示处理器27、以及显示设备28。 接收机M是接收视频信号的一种装置，其经由信道16从源设备12接收经编码视频比特流。视频解码器26应用熵解码来解码该经编码视频比特流以获得经编码单元的经编码视频块的头部信息、运动向量、以及量化残差系数。如上所述，由源设备12编码的量化残差系数被编码为一维向量。因此，视频解码器沈扫描经编码视频块的量化残差系数以便将一维系数向量转换成二维量化残差系数块。类似于视频编码器20，视频解码器沈可采集指示视频块中的给定系数位置为零或非零的可能性的统计并藉此以与在编码过程中使用的方式相同的方式调整扫描次序。相应地，可由视频解码器26应用互易自适应扫描次序以将串行化的量化变换系数的一维向量表示变回二维量化变换系数块。视频解码器吏用已解码头部信息和已解码残差信息来重构编码单元的每个块。具体而言，视频解码器26可生成当前视频块的预测视频块并将该预测块与相应的残差视频块组合以重构每个视频块。应注意，在某些实施例中，由视频解码器沈和视频编码器 20生成的预测块是相同的。因此，通过将在经编码视频比特流中传送的残差与预测块相组合，视频解码器26生成与视频编码器20处生成的块相同的重构块。视频解码器沈随后可存储构成视频帧的组合视频块。视频解码器26可以YUV格式和/或以下文实施例中描述的其他格式输出已解码视频。已解码视频随后被发送给显示处理器27，其覆盖纹理并呈现这些纹理和视频以供在显示设备观上显示。在某些实施例中，显示处理器27可具有有限的2D图形功能(例如，执行简单的2D覆盖和融合的能力)。在其他实施例中，显示处理器 27可包括2D和3D图形处理器，并且可执行更复杂的几何变换。目的设备14可经由显示设备观向用户显示重构的视频块作为所呈现场景的一部分。显示设备观可包括各种各样的显示设备中的任一种，诸如阴极射线管(CRT)、液晶显示器(IXD)、等离子显示器、发光二极管(LED)显示器、有机LED显示器、或另一种类型的显示单元。在某些情形中，源设备12和目的设备14可以基本上对称的方式操作。例如，源设备12和目的设备14可各自包括视频编码和解码组件。因此，系统10可支持设备12、14之间的单向或双向视频传输，例如用于视频流送、视频广播、或视频电话。包括视频编码和解码组件的设备也可构成常见的编码、存档和回放设备(诸如数字录像器(DVR))的一部分。视频编码器20和视频解码器沈可根据各种各样的视频压缩标准中的任一种来操作，诸如由运动图像专家组(MPEG)在MPEG-I、MPEG-2和MPEG-4中定义的那些标准、ITU-T H. 263标准、电影电视工程师协会(SMPTE) 42IM视频编解码器标准(常被称为“VC-1 ”)、由中国音视频编解码技术标准工作组(常被称为“AVS”)定义的标准、以及由标准机构定义或由组织开发作为专用标准的任何其他视频编码标准。尽管未在图1中示出，但在某些方面， 视频编码器20和视频解码器沈可各自分别与音频编码器和解码器集成，并且可包括恰适的MUX-DEMUX(复用-分用)单元、或其他硬件和软件，以用于处理同一数据流或分开数据流中的音频和视频两者的编码。以此方式，源设备12和目的设备14可对多媒体数据进行操作。在适用的情况下，MUX-DEMUX单元可遵循ITU H. 223复用器协议、或其他协议(诸如用户数据报协议(UDP))。在某些方面，对于视频广播，本公开中描述的技术可应用于增强型H. 264视频编码，以用于在地面移动多媒体多播(TM3)系统中使用唯前向链路(FLO)空中接口规范“Forward Link Only Air Interface Specification for Terrestrial MobileMultimedia Multicast (用于地面移动多媒体多播的唯前向链路空中接口规范)，2007年7 月公布为技术标准TIA-1099( “FLO规范”)”来递送实时视频服务。也就是说，通信信道16 可包括用于根据FLO规范等来广播无线视频信息的无线信息信道。FLO规范包括定义适用于FLO空中接口的比特流句法和语义以及解码过程的示例。替换地，可根据其他标准(诸如DVB-H (手持数字视频广播)、ISDB-T (地面综合业务数字广播)、或DMB(数字媒体广播))来广播视频。因此，源设备12可以是移动无线终端、视频流送服务器、或视频广播服务器。然而，本公开中描述的技术不限于任何特定类型的广播、多播或点对点系统。在广播的情形中，源设备12可向多个目的设备广播视频数据的若干信道，其中每个目的设备可类似于图1的目的设备14。因此，尽管图1中示出了单个目的设备14，但对于视频广播应用，源设备12将通常同时向许多目的设备广播视频内容。在其他示例中，发射机22、通信信道16和接收机M可被配置成根据任何有线或无线通信系统一包括以太网、电话(例如，POTS)、电缆、电力线和光纤系统中的一种或更多种，和/或无线系统——包括码分多址(CDMA或CDMA2000)通信系统、频分多址(FDMA) 系统、正交频分多址(OFDM)系统、时分多址(TDMA)系统(诸如GSM(全球移动通信系统)、 GPRS (通用分组无线电业务)、或EDGE (增强型数据GSM环境))、TETRA (地面集群无线电) 移动电话系统、宽带码分多址(WCDMA)系统、高数据率IxEV-DO(第一代唯演进数据)或 IxEV-DO Gold 多播系统、IEEE 802. 18 系统、MediaFLO. TM.系统、DMB 系统、DVB-H 系统中的一种或更多种，或者用于两个或更多个设备之间的数据通信的另一方案来通信。视频编码器20和视频解码器沈各自可被实现为一个或更多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、 固件或其任何组合。视频编码器20和视频解码器沈中的每一者可被包括在一个或更多个编码器或解码器中，该一个或更多个编码器或解码器中的任何一者可被整合为各个移动设备、订户设备、广播设备、服务器等中的组合编码器/解码器(CODEC)的一部分。另外，源设备12和目的设备14各自可以包括用于传送和接收经编码视频的恰适调制、解调、频率转换、滤波、和放大器组件，且在适用的情况下包括足以支持无线通信的射频(RF)无线组件和天线。然而，为便于解说，在图1中将此类组件概括为源设备12的发射机22和目的设备 14的接收机24。图5是配置成以压缩和非压缩格式两者输出视频数据的视频解码器沈的一个实施例。经编码比特流被馈送到系统500中。该比特流的各部分可对应于不同的宏块。此夕卜，这些宏块中的若干宏块可构成单个视频帧。对应于给定宏块的比特流部分在熵解码单元502处被熵解码以形成残差块。该残差块随后在逆扫描单元504处被逆扫描，在逆量化单元506处被逆量化、以及在逆变换单元508处被逆变换。生成预测宏块并在加法单元510 处相加。以上描述的预测宏块可以是两种类型的——帧内和帧间。空间补偿单元516使用相邻宏块来生成帧内预测宏块。运动补偿单元518使用存储在参考帧存储520 (其可包括存储器)处的先前/将来帧来生成帧间预测宏块。开关522可被切换成将帧内或帧间预测宏块中的任一者发送给加法单元510以生成输出信号。所得的重构宏块随后被发送给解块滤波单元512，重构宏块在此被滤波。例如，宏块边缘可被滤波以防止可能在视觉上令人不喜的成块伪像。所生成的输出是原始像素集合，其为非压缩格式输出(例如，YUV 4:2:0格式或YUV 4:2:2格式的宏块)。在一个实施例中，非压缩输出可以是大小为16x16的块。非压缩输出可被存储以用于重构其他视频帧。 对非压缩输出的修改可导致后来重构的帧中有可见伪像。该原始像素输出被发送给压缩单元514，在此该原始像素输出被转换成适合在图形流水线中使用的压缩格式输出。在一个实施例中，压缩输出可以是大小为4x4的块单元。原始像素输出还被发送给参考帧存储520 并被存储在参考帧存储520中，其可用于生成预测宏块。在一个实施例中，压缩单元514执行以下描述的过程300的步骤以生成压缩格式输出。对应于已解码压缩宏块的来自压缩单元514的输出被存储在存储器524中。随着比特流被解码，多个已解码压缩宏块被存储在存储器5M中。当对应于给定视频帧的所有宏块都已被存储在存储器5M中时，存储器524 包含压缩视频帧。在某些实施例中，该压缩视频帧随后被读入显示处理器27的3D图形流水线以用于呈现作为3D GUI或场景的一部分，这在下文描述。图2是本公开的所呈现3D⑶I 200的快照的一个实施例。在该实施例中，视频 202-216中的每一个或视频202-216的任何子集可能正在该⑶I内回放。此外，每个视频可在该GUI内相对于2D或3D平面移动，以使得该视频在继续播放的同时在该场景内改变角度和位置。在一个实施例中，显示处理器27支持能够生成3D⑶I或场景的3D图形流水线的处理。3D图形流水线可包括用于将3D场景转换成2D光栅图像的软件或固件。3D图形流水线包括一系列阶段，其中在该流水线开头输入用于生成3D图像(例如，3D环境中的纹理) 的数据(例如，场景描述数据，诸如几何形状、光照等)和图像并在该流水线末尾输出2D光栅图像。该输入在图形流水线的每个阶段被处理。一旦给定阶段的处理完成，该输入就移至下一阶段，直至其到达该图形流水线的末尾。在一个实施例中，该3D图形流水线包括建模变换阶段、逐顶点光照阶段、观察变换阶段、投影变换阶段、剪辑阶段、光栅化阶段、纹理化阶段、以及显示阶段。显示处理器27可被认为是3D图形流水线的物理化身。在该实施例中，显示处理器27在每个阶段处理输入。如关于图5所讨论的，视频解码器沈获取对应于视频帧的比特流。视频解码器沈随后将该比特流解码成压缩格式(例如，RGB 8:8:8)并存储压缩视频帧以用在3D图形流水线中。视频帧从存储移至3D图形流水线。在其他实施例中，该压缩格式的数据被直接发送给3D图形流水线。覆盖纹理并呈现3D场景，而无需流水线中的额外阶段来将该视频转换成能够在3D场景中呈现的格式。如以上讨论的，显示处理器27是3D图形流水线的物理化身并且覆盖纹理以及生成3D场景。显示处理器27随后光栅化该3D场景(即，将其转换成2D像素集合)以用于在显示设备观上显示。在某些实施例中，显示处理器27可从视频解码器26接收压缩格式和/或非压缩格式的视频帧。显示处理器27随后可呈现或者压缩格式或者非压缩格式以用于在显示设备观上显示。在一个实施例中，视频解码器沈被配置成以与显示处理器27用于压缩纹理并使用那些纹理来呈现3D场景的格式相对应的格式来输出数据。显示处理器27的不同实施例可利用一种或更多种不同的纹理压缩方案。纹理压缩方案减少了与在图形流水线中加载纹理以制作场景相关联的带宽。一个示例是将RGB 8:8:8格式的M比特图形压缩成4比特图形。纹理压缩格式的一些示例为DXT、ATI和ETCl。这些压缩技术利用块截断编码(BTC)。 在BTC中，视频帧被划分成非交迭块。这些块中的每一块随后以固定压缩比被压缩。在各种压缩格式之间变化的一个方面是它们针对不同的块特性引入的畸变量。图3是用于纹理压缩的过程300的一个实施例。在步骤302，从存储器读取非压缩格式的来自视频帧的块。在下一步骤304，对这些块进行上采样。此外，在步骤306，将这些块的色彩空间从YCbCr转换成RGB。在下一步骤308，将这些块压缩成纹理压缩格式之一。 过程300的步骤由视频解码器沈执行，且所得的压缩视频帧被发送给3D图形流水线。图4是接收经编码视频帧并生成嵌入了该视频的3D场景以用于在显示设备观上显示的过程400的一个实施例。在步骤402，视频解码器沈接收经编码视频帧。接下来，在步骤404，该视频解码器将视频帧解码成非压缩和压缩格式。在步骤404的一个替换性实施例中，视频解码器还如稍后在说明书第W042]段中描述的那样对该视频帧进行下采样。在一些实施例中，视频解码器沈并发地(即，同时或在大约相同的时间)存储该视频的已解码压缩和已解码非压缩格式两者。在一个实施例中，根据过程300生成该视频帧的压缩格式。在步骤406继续，将该压缩视频帧发送给图形流水线。在下一步骤408，显示处理器27 覆盖纹理并生成3D场景，该3D场景合并了该压缩视频帧作为该3D场景内的纹理。在另一步骤410，显示处理器27基于在步骤408创建的3D场景生成适合用于在2D显示设备28上显示的输出。在下一步骤412，在显示设备28上显示在步骤410生成的输出。在某些实施例中，通过显示处理器27呈现的视频可经历非线性几何变换。在此类实施例中，视频帧的不同部分可能被亚采样到不同程度。此类亚采样可能导致不期望的可见伪像，诸如锯齿状边缘。在某些实施例中，显示处理器27可包括抗锯齿滤波机制以减轻锯齿伪像。在其他实施例中，视频解码器26可包括抗锯齿滤波器和/或可被配置成执行各种抗锯齿技术。这些实施例可被配置成对非均勻地亚采样的视频帧进行操作。应注意，在视频呈现过程期间，视频可以与其被解码的分辨率不同的分辨率来呈现，这是称为下采样的过程。下采样器可与视频解码器交互以创建来自视频解码器的辅助输出(例如，下采样和压缩视频、下采样和非压缩视频、以及非下采样和压缩视频)。相应地，存储每个视频帧所需的存储器空间可通过对视频帧进行下采样来进一步减少。此外，应注意，尽管本公开讨论了在3D场景中插入单个视频，但本领域技术人员将认识到，该系统还可被配置成呈现合并了多个视频的3D场景。本公开中所描述的技术可在硬件、软件、固件或其任何组合中实现。描述为单元或组件的任何特征可以一起实现在集成逻辑器件中或者单独地实现为分立但可互操作的逻辑器件。如果在软件中实现，这些技术可至少部分地由包括指令的计算机可读介质来实现， 这些指令在被执行时执行以上所描述的一种或更多种方法。计算机可读介质可构成计算机程序产品的一部分，计算机程序产品可包括包装材料。计算机可读介质可以包括随机存取存储器(RAM)(诸如同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁或光数据存储介质、 等等。补充地或替换地，这些技术可以至少部分地由携带或传达以指令或数据结构形式的并且可由计算机访问、读取和/或执行的代码的计算机可读通信介质来实现。该代码可以由一个或更多个处理器执行，诸如一个或更多个数字信号处理器 (DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或者其他等效的集成或分立逻辑电路系统。相应地，如本文中所使用的术语“处理器”可以指任何前述结构或者任何其他适用于实现本文中所描述的技术的结构。另外，在一些方面，本文中所描述的功能性可被设在配置成用于编码和解码的专用软件单元或硬件单元内，或者被纳入组合视频编码器-解码器(CODEC)。将不同的特征描绘为单元旨在突出所解说设备的不同功能方面并且并非必然暗示此类单元必须由分开的硬件或软件组件来实现。确切而言，与一个或更多个单元相关联的功能性可集成在公共的或分开的硬件或软件组件内。
已描述了本公开的各种实施例。这些及其他实施例均落在所附权利要求的范围之内。
权利要求
1.一种视频解码系统，包括解码器，其被配置成接收经编码视频数据并将所述经编码视频数据解码成非压缩格式和压缩纹理格式；存储器，其被配置成存储所述非压缩格式的数据；以及显示处理器，其被配置成接收所述压缩纹理格式的数据，并且被配置成利用所述压缩纹理格式的数据和代表3D场景的输出数据来构造所述3D场景。
2.如权利要求1所述的视频解码系统，其特征在于，所述非压缩格式是YUV4:2:0格式。
3.如权利要求1所述的视频解码系统，其特征在于，所述非压缩格式是YUV4:2:2格式。
4.如权利要求1所述的视频解码系统，其特征在于，所述压缩格式是RGB格式。
5.如权利要求1所述的视频解码系统，其特征在于，所述压缩格式是DXT、ATI或ETCl 格式之一。
6.如权利要求1所述的视频解码系统，其特征在于，还包括配置成显示所述3D场景的显不器。
7.如权利要求1所述的视频解码系统，其特征在于，所述显示处理器还被配置成呈现所述非压缩格式的数据以用于显示。
8.如权利要求7所述的视频解码系统，其特征在于，所述显示处理器还被配置成接收所述非压缩格式的数据并基于所述非压缩格式的数据或所述代表3D场景的数据选择性地向显示设备输出图像。
9.如权利要求1所述的视频解码系统，其特征在于，还包括用于存储所述压缩格式的数据的存储器。
10.一种解码视频的方法，包括 接收经编码视频数据；将所述经编码视频数据解码成非压缩格式和压缩格式； 存储所述非压缩格式的数据；读取所述压缩格式的数据以用于呈现作为3D场景的一部分；以及输出代表所述3D场景的数据。
11.如权利要求10所述的方法，其特征在于，所述经编码视频数据代表2D视频场景。
12.如权利要求10所述的方法，其特征在于，所述非压缩格式是YUV4:2:0格式。
13.如权利要求10所述的方法，其特征在于，所述非压缩格式是YUV4:2:2格式。
14.如权利要求10所述的方法，其特征在于，所述压缩格式是RGB格式。
15.如权利要求10所述的方法，其特征在于，所述压缩格式是DXT、ATI或ETCl格式之。
16.如权利要求10所述的方法，其特征在于，还包括呈现所述非压缩格式的数据以用于显示。
17.如权利要求17所述的方法，其特征在于，还包括基于所述非压缩格式的数据或所述代表所述3D场景的数据选择性地向显示设备输出图像。
18.如权利要求10所述的方法，其特征在于，还包括存储所述压缩格式的数据。
19.一种视频解码器，包括 用于接收经编码视频数据的装置；用于将所述经编码视频数据解码成非压缩格式和压缩格式的装置； 用于存储所述非压缩格式的数据的装置；以及用于读取所述压缩格式的数据以用于呈现的装置。
20.如权利要求19所述的视频解码器，其特征在于，所述用于接收的装置包括解码器， 所述用于解码的装置包括所述解码器，所述用于存储的装置包括存储器，以及所述用于读取的装置包括显示处理器。
21.一种包括指令的计算机可读介质，所述指令在被执行时执行一种方法，所述方法包括接收经编码视频数据；将所述经编码视频数据解码成非压缩格式和压缩格式； 存储所述非压缩格式的数据；读取所述压缩格式的数据以用于呈现作为3D场景的一部分；以及输出代表所述3D场景的数据。
全文摘要
在视频解码系统中，一种方法和系统用于将先前编码的视频帧解码成压缩和非压缩格式。非压缩格式帧可被进一步存储并用于解码附加的视频帧。压缩格式帧可被进一步存储并被提供给显示处理器以随附加纹理一起呈现。
文档编号H04N7/26GK102474604SQ201080030305
公开日2012年5月23日 申请日期2010年6月29日 优先权日2009年6月30日
发明者R·C·纳加拉杰, S·A·莫洛伊 申请人:高通股份有限公司