专利名称：基于内容信息的可缩放性技术的编码方法和设备的利记博彩app
技术领域：
本申请案针对于用于对用于实时串流的视频数据进行视频代码变换的设备和方法，且更明确地说，针对于在移动广播应用中对用于实时串流的视频数据进行代码变换。
背景技术：
由于有限的带宽资源和可用带宽可变性的缘故，有效的视频压缩在例如无线视频串流和视频电话等许多多媒体应用中是有用的。某些视频编码标准(例如MPEG-4(IS0/IEC) ,H. 264(ITU)或类似视频编码)提供非常适合例如无线广播等应用的高效编码。一些多媒体数据(例如，数字电视呈现)通常根据例如MPEG-2等其它标准来编码。因此，在无线广播之前，使用转码器将根据一个标准(例如，MPEG-2)编码的多媒体数据代码变换或转换为另一标准(例如，H. 264)。改进速率优化的编解码器可在错误复原、错误恢复和可缩放性方面提供优点。此夕卜，使用根据多媒体数据自身确定的信息还可为编码提供额外改进，其中包括错误复原、错误恢复和可缩放性。因此，需要一种提供对多媒体数据的高效处理和压缩的转码器，其使用根据多媒体数据自身确定的信息，具有可缩放性，且具有错误复原，以用于包括串流多媒体信息的移动广播的许多多媒体数据应用中。
发明内容
所描述和说明的发明性基于内容的代码变换设备和方法中的每一者均具有若干方面，其中不是单个方面单独对其所需属性负责。在不限制此揭示内容的范围的情况下，现将简要论述其较显著的特征。在考虑此论述之后且尤其是在阅读标题为“具体实施方式
”的 部分之后，将了解这种内容驱动代码变换的特征如何提供针对多媒体数据处理设备和方法的改进。本文所描述的发明性方面涉及将内容信息用于编码多媒体数据的多种方法和编码器(例如，在转码器中使用的编码器)的多个模块或组件中。转码器可使用内容信息来协调代码变换多媒体数据。所述内容信息可从另一来源(例如，与视频一起接收的元数据)接收。转码器可经配置以通过各种不同处理操作而产生内容信息。在一些方面中，转码器产生多媒体数据的内容分类，接着在一个或一个以上编码过程中使用所述内容分类。在一些方面中，内容驱动转码器可确定多媒体数据的空间和时间内容信息，且使用所述内容信息来在信道上进行注意内容的均匀质量编码和进行基于内容分类的压缩/位分配。在一些方面中，获得或计算多媒体数据的内容信息(例如，元数据、内容量度和/或内容分类)，且接着将其提供到转码器的组件以用于处理多媒体数据以进行编码。举例来说，预处理器可使用某种内容信息来进行场景变化检测，从而执行反向电视电影(“IVTC”)、解交错、运动补偿和噪音抑制(例如，2D小波变换)和空间-时间噪音消减(例如，假像移除、去环、去块和/或去噪音)。在一些方面中，预处理器还可使用内容信息来进行空间解析度向下取样，例如在从标准清晰度(SD)向下取样到四分之一视频图形阵列(QVGA)时确定适当的“安全”和“作用处理”区域。在一些方面中，编码器包括经配置以计算内容信息的内容分类模块。所述编码器可使用内容分类来进行位速率控制(例如，位分配)以确定每一 MB的量化参数(QP)、运动估计(例如，执行颜色运动估计(ME)，执行运动向量(MV)预测)、在提供基础层和增强层方面的可缩放性和错误复原，所述错误复原通过使用内容分类来影响预测分级结构和错误复原方案(包括(例如)适应性帧内刷新、边界对准过程)且在增强层中提供冗余I帧数据而获得。在一些方面中，转码器与数据多路复用器配合使用内容分类以在信道上维持最佳多媒体数据质量。在一些方面中，编码器可使用内容分类信息以迫使I帧周期性出现在经编码数据中以允许快速信道切换。此类实施方案还可利用经编码数据中可能出于错误复原目的而需要的I块，使得可通过预测分级结构来有效组合随机存取切换和错误复原(基于(例如)内容分类)以在增加抗错性的同时改进编码效率。在一个方面中，一种处理多媒体数据的方法包含将多媒体数据的内容分类；和基于所述内容分类将所述多媒体数据编码为第一数据组和第二数据组，其中第一数据组包含系数且第二数据组包含与第一数据组系数相关联的微分改进。所述编码可包括基于多媒体数据的内容分类来确定位速率；和基于所述位速率来编码多媒体数据。将内容分类可包含确定多媒体数据的复杂性，且其中基于多媒体数据的复杂性来编码选定多媒体数据。复杂性可包含时间复杂性或空间复杂性，或时间复杂性和空间复杂性。所述编码可包括编码多媒体数据以便允许仅解码第一数据组或将第一数据组和第二数据组解码为单个组合数据组。第一微分改进可指示选定视频帧与从解码第一数据组产生的帧数据之间的差异。第一数据组可以是基础层，且第二数据组可以是增强层。此外，所述方法可包括从初始基础层残余误差系数或初始增强层残余误差系数中的一者选择系数；和基于所述系数和初始 增强层残余误差系数来计算第一微分改进。编码可进一步包含编码第一数据组中的宏区块标头信息和运动向量信息。编码可进一步包含以第一步长量化第一数据组，和以第二步长量化第二数据组，其中第一步长和第二步长通过比例因子相关。编码可进一步包括确定具有第一量化步长的第一量化参数以用于编码第一数据组，和确定具有第二量化步长的第二量化参数以用于编码第二数据组，其中第一和第二量化参数是基于选定帧数据的内容信息而确定的，且其中所述第一量化步长比所述第二量化步长粗。在另一方面中，编码包括使用I帧和P帧或其任何组合来编码第一数据组，和使用I帧、P帧和B帧或其任何组合来编码第二数据组。在另一方面中，一种用于编码多媒体数据的设备包括用于将多媒体数据的内容分类的装置；用于基于所述内容分类将所述多媒体数据编码为第一数据组和第二数据组的装置，其中第一数据组包含系数且第二数据组包含与第一数据组系数相关联的第一微分改进。所述编码装置可包含用于基于多媒体数据的内容分类来确定位速率且基于所述位速率来编码多媒体数据的装置。所述内容分类装置可包括用于确定多媒体数据的复杂性的装置，且其中基于多媒体数据的复杂性来编码选定多媒体数据，所述复杂性包含时间复杂性或空间复杂性，或时间复杂性和空间复杂性。所述编码装置可包含用以允许仅解码第一数据组或将第一数据组和第二数据组解码为单个组合数据组的装置。在另一方面中，一种设备包括内容分类模块，其经配置以将多媒体数据的内容分类且提供内容分类数据；和编码器，其经配置以基于所述内容分类将所述多媒体数据编码为第一数据组和第二数据组，其中第一数据组包含系数且第二数据组包含与第一数据组系数相关联的第一微分改进。所述编码器可包括位速率组件，其经配置以基于内容分类确定位分配，且其中所述编码组件经进一步配置以使用所述位分配来编码选定多媒体数据。在另一方面中，一种机器可读媒体包含在执行时致使机器执行以下操作的指令将多媒体数据的内容分类，且基于所述内容分类将所述多媒体数据编码为第一数据组和第二数据组，其中第一数据组包含系数且第二数据组包含与第一数据组系数相关联的第一微分改进。在另一方面中，一种处理器经配置以将多媒体数据的内容分类，且基于所述内容分类将所述多媒体数据编码为第一数据组和第二数据组，其中第一数据组包含系数且所述第二数据组包含与第一数据组系数相关联的第一微分改进。
图IA是包括用于在不同视频格式之间进行代码变换的转码器的媒体广播系统的方框图。图IB是经配置以编码多媒体数据且提供经编码第一数据组和经编码第二数据组的编码器的方框图。图IC是经配置以编码多媒体数据的处理器的方框图。图2是图I的系统的转码器的实例的方框图。图3是说明图2的转码器内使用的剖析器的操作的流程图。图4是说明图2的转码器内使用的解码器的操作的流程图。
图5是说明由图2的转码器执行的操作序列的系统时序图。图6是说明可在图2的转码器中使用的预处理器的操作和功能序列的流程图。图7是可在图2的转码器中使用的示范性两遍编码器的方框图。图8说明分类图表的实例，其说明如何使纹理值和运动值与内容分类相关联的一个方面。图9是说明用于内容分类(例如在图7的编码器中使用)的示范性操作的流程图。图10是说明速率控制(例如与图7的编码器一起使用)的操作的流程图。图11是说明示范性运动估计器(例如与图7的编码器一起使用)的操作的流程图。图12是说明示范性模式决策编码器功能(例如与图7的编码器一起使用)的操作的流程图。图13是说明实现用于图7的编码器中的可缩放性的示范性操作的流程图。图14是说明(例如)在图7的编码器中发生的实现速率失真数据流的示范性操作的流程图。图15是说明编码复杂性、分配位与人类视觉质量之间的关系的曲线图。图16是说明非线性场景检测公式的曲线图。图17A是说明处理已经获得、接收或另外可存取的多媒体数据的流程图。图17B是多媒体编码系统的方框图。图18是说明使用运动估计/补偿的解交错过程的图。图19是多媒体通信系统的方框图。图20是说明增强层和基础层中的视频位流的组织的图。图21是说明切片与视频帧边界的对准的图。图22是说明预测分级结构的方框图。图23是说明基于内容信息来编码多媒体数据的方法的过程流程图。图24是说明基于内容信息层级来编码多媒体数据以对准数据边界的方法的过程流程图。图25是说明数据帧的安全作用区域和安全标题区域的图解。图26是说明数据帧的安全作用区域的图解。图27是说明基于多媒体内容信息使用适应性帧内刷新来编码多媒体数据的过程的过程流程图。图28是说明基于多媒体内容信息使用冗余I帧来编码多媒体数据的过程的过程流程图。图29说明当前帧与先前帧之间的运动补偿向量MVp和当前帧与下一帧之间的运动补偿向量mvn。图30是说明镜头检测的过程流程图。图31是说明编码基础层和增强层的过程流程图。图32是说明编码宏区块的示意图。图33是说明用于编码基础层和增强层的模块的示意图。
图34展示基础层和增强层系数选择器过程的实例。图35展示基础层和增强层系数选择器过程的另一实例。图36展示基础层和增强层系数选择器过程的另一实例。图37是说明基于内容信息来编码多媒体数据的过程流程图。图38是说明在反向电视电影处理过程中可能的系统确定的图。图39说明宏区块中待由去块过程来滤波的边界。图40是说明空间-时间解交错过程的图。图41说明ID多相重取样的实例。图42是说明视频串流中的适应性GOP结构的实例的流程图。请注意，在适当之处，在所述附图的若干视图中，相同数字始终指代相同零件。
具体实施例方式以下详细描述针对于在此揭示内容中论述的某些方面。然而，可以许多不同方式实施本发明。此说明书中提到“一个方面”或“一方面”意指结合所述方面描述的特定特征、结构或特性包括在至少一个方面中。在所述说明书中多处出现短语“在一个方面中”、“根据一个方面”或“在一些方面中”未必全部指代相同方面，也不是与其它方面相互排斥的单独或替代方面。此外，描述可由某些方面且不由其它方面展现的各种特征。类似地，描述可能是某些方面但不是其它方面的要求的各种要求。以下描述包括多个细节以提供对所述实例的彻底理解。然而，所属领域的技术人员了解到，即使本文并未描述或说明实例或方面中的过程或装置的每个细节，也可实践所述实例。举例来说，可在不说明组件的每个电连接或每个电元件的方框图中展示电组件，以免以不必要的细节混淆所述实例。在其它情况下，可详细展示此类组件、其它结构和技术以进一步解释所述实例。本发明涉及使用正被编码的多媒体数据的内容信息来控制编码和代码变换的设备和方法。(多媒体数据的)“内容信息”或“内容”是意指与多媒体数据的内容有关的信息的广义术语，且可包括(例如)元数据、从多媒体数据计算得的量度和与一个或一个以上量度(例如，内容分类)相关联的内容相关信息。依据特定应用而定，可向编码器提供内容信息或由编码器确定内容信息。内容信息可用于多媒体数据编码的许多方面，包括场景变化检测、时间处理、空间-时间噪音消减、向下取样、针对量化、可缩放性、错误复原确定位速率、维持广播信道上的最佳多媒体质量和快速信道切换。通过使用这些方面中的一者或一者以上，转码器可协调处理多媒体数据且产生与内容有关的经编码多媒体数据。本文中描述代码变换方面的描述和图式还可应用于编码方面和解码方面。转码器设备和方法涉及从一种格式代码变换到另一格式，且本文中具体描述为涉及将MPEG-2视频代码变换为增强型可缩放H. 264格式以供经由无线信道传输到移动装置，其说明某些方面。然而，对将MPEG-2视频代码变换为H. 264格式的描述不希望限制本发明的范围，而仅仅是示范性说明本发明的某些方面。所揭示的设备和方法提供支持具有随机存取和分层能力的错误复原编码的高效结构，且还可应用于代码变换和/或编码除MPEG-2和H. 264以外的视频格式。本文所使用的“多媒体数据”或简称“多媒体”是包括视频数据(其可包括音频数据)、音频数据或视频数据和音频数据两者的广义术语。本文作为广义术语使用的“视频数据”或“视频”指代基于帧或基于场的数据，其包括一个或一个以上图像或相关图像序列，包 含文本、图像信息和/或音频数据，且还可用于指代多媒体数据(例如，可互换使用所述术语)，除非另外规定。下文描述转码器的各种组件的实例和可使用内容信息来编码多媒体数据的过程的实例。图IA是说明多媒体数据广播系统100的一些方面的数据流的方框图。在系统100中，多媒体数据提供者106将经编码多媒体数据104传达到转码器200。经编码多媒体数据104由转码器200接收，在方框110中转码器200将多媒体数据104处理为原始多媒体数据。方框110中的处理对经编码多媒体数据104进行解码和剖析，且进一步处理所述多媒体数据以准备将其编码为另一格式。将经解码多媒体数据提供到方框112，在方框112处将多媒体数据编码为预定多媒体格式或标准。一旦多媒体数据已经被编码，便在方框114处准备经由(例如)无线广播系统(例如，蜂窝式电话广播网络或经由另一通信网络)进行传输。在一些方面中，已经根据MPEG-2标准对所接收多媒体数据104进行编码。在已经解码已代码变换的多媒体数据104之后，转码器200将多媒体数据编码为H. 264标准。图IB是可经配置以执行图IA的方框110和112中的处理的转码器130的方框图。转码器130可经配置以接收多媒体数据，将多媒体数据解码并剖析为分包基本流(例如，字幕、音频、元数据、“原始”视频、CC数据和显示时间戳记)，将所述分包基本流编码为所需格式，且提供经编码数据以供进一步处理或传输。转码器130可经配置以用两个或两个以上数据组(例如，经编码的第一数据组和经编码的第二数据组)提供经编码数据，这被称为分层编码。在多个方面的一些实例中，可将分层编码方案中的各个数据组(或层)以不同质量等级进行编码，且对其进行格式化，使得在第一数据组中编码的数据与在第二数据组中编码的数据相比具有较低质量(例如，当播放时提供较低的视觉质量等级)。图IC是处理器140的方框图，处理器140可经配置以对多媒体数据进行代码变换，且可经配置以执行图IA的方框110和112中所描绘的部分或全部处理。处理器140可包括模块124a. . . n以执行本文描述的代码变换过程(包括解码、剖析、预处理和编码)中的一者或一者以上，且使用内容信息进行处理。处理器140还可包括内部存储器122，且可经配置以直接或通过另一装置间接与外部存储器120通信。处理器140还包括通信模块126，其经配置以与处理器140外部的一个或一个以上装置通信，其中包括接收多媒体数据和提供经编码数据(例如在第一数据组中编码的数据和在第二数据组中编码的数据)。在多个方面的一些实例中，可将分层编码方案中的各个数据组(或层)以不同质量等级进行编码，且对其进行格式化，使得在第一数据组中编码的数据与在第二数据组中编码的数据相比具有较低质量(例如，当播放时提供较低的视觉质量等级)。转码器130或预处理器140 (其经配置以进行代码变换)中的组件和包含在其中的过程可由硬件、软件、固件、中间件、微码或其任何组合实施。举例来说，剖析器、解码器、预处理器或编码器可以是单独组件，作为硬件、固件、中间件并入在另一装置的组件中，或在处理器上执行的微码或软件中实施，或者其组合。当在软件、固件、中间件或微码中实施时，执行运动补偿、 镜头分类和编码过程的程序码或码段可存储在例如存储媒体等机器可读媒体中。码段可表示处理程序、函数、子程序、程序、例行程序、子例行程序、模块、软件包、种类，或指令、数据结构或程序语句的任何组合。可通过传递和/或接收信息、数据、自变量、参数或存储器内容来将一个码段耦合到另一码段。转码器结构的说明性实例图2说明可用于图I的多媒体广播系统100中所说明的转码器200的转码器的实例的方框图。转码器200包含剖析器/解码器202、预处理器226、编码器228和同步层240，下文将进一步加以描述。转码器200经配置以使用多媒体数据104的内容信息进行代码变换过程的一个或一个以上方面(如本文所描述)。内容信息可通过多媒体元数据从位于转码器200外部的来源获得或由转码器(例如，由预处理器226或编码器228)计算。图2中展示的组件说明可包括在使用内容信息进行一个或一个以上代码变换过程的转码器中的组件。在特定实施方案中，可排除转码器200的组件中的一者或一者以上，或可包括额外组件。另外，描述转码器和代码变换过程的若干部分，以便允许所属领域的技术人员即使在本文未描述过程或装置的每个细节的情况下仍可实践本发明。图5说明时序图以作为转码器200的各个组件和/或过程的操作的时间关系的图解说明。如图5所示，首先在任意时间零(0)处由剖析器205(图2)接收经编码串流视频104 (经编码多媒体数据，例如MPEG-2视频)。接下来，对所述视频流进行剖析501、多路分用502和解码503，这例如通过剖析器205结合解码器214来进行。如所说明的，这些过程可并行发生(具有轻微定时偏移)，以便将处理数据的流输出提供到预处理器226 (图2)。在时间T1 504处，一旦预处理器226已经从解码器214接收到足够数据以开始输出处理结果，剩余处理步骤便变得在实质上按顺序进行，其中在预处理之后，依序发生第一遍编码505、第二遍编码506和再编码507，直到在时间Tf 508处完成再编码为止。本文描述的转码器200可经配置以对各种多媒体数据进行代码变换，且所述过程中的许多者适用于对任何类型的多媒体数据进行代码变换。虽然本文提供的一些实例明确涉及将MPEG-2数据代码变换为H. 264数据，但这些实例并不打算将本发明限于此数据。下文描述的编码方面可应用于将任何适合的多媒体数据标准代码变换为另一适合的多媒体数据标准。剖析器/解码器再次参看图2，剖析器/解码器202接收多媒体数据104。剖析器/解码器202包括传送流剖析器(“剖析器”)205，其接收多媒体数据104且将所述数据剖析为视频基本流(ES)206、音频ES 208、显示时间戳记(PTS) 210和例如字幕212等其它数据。ES携载来自单个视频或音频编码器的一种类型的数据(视频或音频)。举例来说，视频ES包含用于数据序列的视频数据，所述数据序列包括序列标头和所述序列的所有子部分。分包基本流或PES由已经制成多个包的单个ES组成,其中所述包的每一者通常以附加的包标头开始。PES流仅含有来自一个来源(例如，来自一个视频或音频编码器)的一种类型的数据。PES包具有可变长度，所述长度不对应于传送包的固定包长度，且可比传送包长得多。当从PES流形成传送包时，可紧随传送包标头之后将PES标头放置在传送包有效负载的开始处。剩余PES包内容填充连续传送包的有效负载，直到所述PES包全部被使用为止。可(例如)通过用字节(例如，字节=OxFF(全部为I))填满来将最后传送包填充到固定长度。剖析器205将视频ES 206传达到解码器214，解码器214是此处所示的剖析器/解码器202的一部分。在其它配置中，剖析器205和解码器214是单独组件。将PTS 210发送到转码器PTS产生器215，转码器PTS产生器215可产生特定针对于转码器200的单独显示时间戳记以用于排列待从转码器200发送到广播系统的数据。转码器PTS产生器215可经配置以将数据提供到转码器200的同步层240以协调数据广播的同步。
图3说明当剖析出上述各个分包基本流时剖析器205可遵循的过程300的一个实例的流程图。过程300在方框302处开始，此时从内容提供者106(图I)接收多媒体数据104。过程300前进到方框304，在此处执行剖析器205的初始化。初始化可由独立产生的获取命令306触发。举例来说，独立于剖析器205且基于外部接收的电视时间表和信道阵容信息的过程可产生获取命令306。另外，可输入实时传送流(TS)缓冲器描述符308以辅助初始化和主要处理。如方框304中所说明，初始化可包括获取命令语法验证；执行第一遍PSI/PSIP/SI (程序特定信息/程序和系统信息协议/系统信息)处理；执行具体关于获取命令或PSI/PSIP/SI 一致性验证的处理；为每一 PES分配PES缓冲器；和设定定时(例如，为了与所需获取开始瞬时对准)。PES缓冲器保存经剖析的ES数据且将每一经剖析ES数据传达到相应音频解码器216、测试编码器220、解码器214或转码器PTS产生器215。在初始化之后，过程300前进到方框310以对所接收多媒体数据104进行主要处理。方框310中的处理可包括目标包识别符(PID)滤波、连续PSI/PSIP/SI监视和处理，和定时过程(例如，为了实现所需获取时段)，使得将进入的多媒体数据传递到适当的PES缓冲器中。由于在方框310中处理多媒体数据，因而产生了程序描述符和PES缓冲器“读取”的指示，其将如下文描述与解码器214(图2)介接。在方框310之后，过程300前进到方框314，在此处发生剖析操作的终止，其中包括产生定时器中断且释放PES缓冲器以免受其消耗。请注意，PES缓冲器将存在用于程序描述符中所列举的程序的所有相关基本流，例如首频、视频和字.流。再次参看图2，剖析器205将音频ES 208发送到音频解码器216以对应于转码器实施方案，且将经编码文本216提供到同步层240并将音频信息解码。将字幕信息212递送到文本编码器220。还将来自解码器214的内建字幕(CC)数据218提供到文本编码器220，文本编码器220将字幕信息212和CC数据218编码为由转码器200实现的格式。剖析器/解码器202还包括解码器214，其接收视频ES 206。解码器214可产生与视频数据相关联的元数据，将经编码视频分包基本流解码为原始视频224(例如，以标准清晰度格式)，且处理视频ES流中的视频内建字幕数据。图4展示流程图，其说明可由解码器214执行的解码过程400的一个实例。过程400以在方框402处输入视频基本流数据206开始。过程400前进到方框404，在此处对解码器进行初始化。初始化可包括许多任务，包括检测视频序列标头(VSH);执行第一遍VSH、视频序列(VS)和VS显示延伸处理(包括视频格式、基色和矩阵系数)；和分配数据缓冲器以分别缓冲经解码图片、相关联的元数据和内建字幕(CC)数据。另外，输入由剖析器205提供的视频PES缓冲器“读取”信息406 (例如，其可由过程300在图3的方框310中产生)。在方框404处进行初始化之后，过程400前进到方框408，在此处解码器214执行视频ES的主要处理。主要处理包括针对新数据可用性来轮询视频PES缓冲器“读取”信息或“界面”;解码视频ES ;在图片边界处重建并存储像素数据；同步视频与a/v ;产生元数据并存储在图片边界处；和将CC数据存储在图片边界处。主要处理408的结果方框410包括产生序列描述符、经解码图片缓冲器描述符、元数据缓冲器描述符和CC数据缓冲器描述符。在主要处理408之后，过程400前进到方框412，在此处其执行终止过程。所述终止过程可包括确定终止条件，其包括在超过预定阈值的特定时段中未出现新数据；检测序列末端码；和/或检测明确的终止信号。终止过程可进一步包括释放经解码图片、相关联 的元数据和CC数据缓冲器以免受下文将描述的由预处理器对其的消耗。过程400在方框414处结束，在此处其可进入等待将接收视频ES作为输入的状态。预处理器图2(且图6更详细)说明可使用内容信息进行一个或一个以上预处理操作的预处理器226的样本方面。预处理器226从剖析器/解码器202接收元数据222和经解码“原始”视频数据224。预处理器226经配置以对视频数据224和元数据222执行某些类型的处理，且将经处理的多媒体(例如，基础层参考帧、增强层参考帧、带宽信息、内容信息)和视频提供到编码器228。对多媒体数据的此处理可改进数据的视觉清晰性、抗混叠和压缩效率。一般来说，预处理器226接收由剖析器/解码器202中的解码器214提供的视频序列，且将所述视频序列转换为循序视频序列以供由编码器228进一步处理(例如，编码)。在一些方面中，预处理器226可经配置以用于许多操作，包括反向电视电影处理、解交错、滤波(例如，假像移除、去环、去块和去噪音)、调整大小(例如，将空间解析度从标准清晰度向下取样到四分之一视频图形阵列(QVGA))和GOP结构产生(例如，计算复杂性映射产生、场景变化检测和衰减/闪光检测)。预处理器226可使用来自解码器的元数据来影响所述预处理操作中的一者或一者以上。元数据可包括关于、描述或分类多媒体数据内容的信息(“内容信息”)；明确地说，元数据可包括内容分类。在一些方面中，元数据不包括编码操作所需的内容信息。在此类情况下，预处理器226可经配置以确定内容信息且使用所述内容信息进行预处理操作，且/或将内容信息提供到转码器200的其它组件(例如，解码器228)。在一些方面中，预处理器226可使用此内容信息来影响GOP分割、确定适当类型的滤波且/或确定传达到编码器的编码参数。图6展示可包括在预处理器226中的各个过程块的说明性实例，且说明可由预处理器226执行的处理。在此实例中，预处理器226接收元数据和视频222、224，且将包含(已处理)元数据和视频的输出数据614提供到编码器228。通常，可接收到三种类型的视频。第一，所接收的视频可以是循序视频，其中不需要解交错。第二，视频数据可以是经电视电影处理的视频，即从24fps电影序列转换的交错视频，在此情况下所述视频。第三，视频可以是未经电视电影处理的交错视频。预处理器226可如下文描述处理这些类型的视频。在方框601处，预处理器226确定所接收的视频数据222、224是否是循序视频。在一些情况下，如果元数据包含此信息，那么这可从元数据确定，或通过视频数据自身的处理来确定。举例来说，下文描述的反向电视电影处理过程可确定所接收的视频222是否是循序视频。如果是，那么过程前进到方框607，在此处对视频执行滤波(例如，噪音抑制器)操作以减少例如白高斯噪音等噪音。如果在方框601处视频数据222、224不是循序视频，那么过程前进到方框604到达相位检测器604。相位检测器604区分起源于电视电影处理的视频与以标准广播格式开始的视频。如果作出视频经电视电影处理的决策(离开相位检测器604的“是”决策路径)，那么在反向电视电影处理606中将经电视电影处理的视频返回到其初始格式。识别并消除冗余帧，且将从同一视频帧导出的场重编为完整图像。由于经重建的胶片图像序列以1/24秒的规 则间隔进行摄影记录，因而通过使用经反向电视电影处理的图像而非经电视电影处理的数 据(其具有不规则时基)而在GOP分割器612或解码器228中执行的运动估计过程更准确。在一个方面中，相位检测器604在接收到视频帧之后作出某些决策。这些决策包括(i)本视频是否来自电视电影处理输出且3 2下拉相位是否是图38中所示的五个相位Po、P1^ P2> P3和P4中的一者；和(ii)视频作为常规NTSC产生。所述决策被表示为相位P50这些决策显示作为图2中所示的相位检测器604的输出。来自相位检测器604的标记为“是”的路径启动反向电视电影处理606，从而指示其已经具备正确的下拉相位，使得其可选出从同一摄影图像形成的场且将其组合。来自相位检测器604的标记为“否”的路径类似地启动解交错器605以将视在NTSC帧分成多个场以进行最佳处理。因为可在任何时间接收到不同类型的视频，所以相位检测器604可持续分析视频帧。作为例示，可将符合NTSC标准的视频插入到所述视频中作为商业广告。在反向电视电影处理之后，将所得循序视频发送到可用于减少白高斯噪音的噪音抑制器(滤波器)607。当认识到常规NTSC视频(来自相位检测器601的“否”路径)时，将其传输到解交错器605以进行压缩。解交错器605将交错场变换为循序视频，且可接着对循序视频执行去噪音操作。下文描述解交错处理的一个说明性实例。如电视等传统模拟视频装置以交错方式再现视频，即此类装置传输偶数编号的扫描线(偶数场)和奇数编号的扫描线(奇数场)。根据信号取样观点，这等同于以由下列等式描述的图案进行的空间-时间子取样
' {x,y,n\如果j，mOd2 = 0用于偶数场，
F(x, y, n) = < (x, y, n),,如果 v mod 2 = I 用于奇数场,
擦除，其它，⑴
^L1J其中 代表初始帧图片，F代表交错场，且(x，y，n)分别表示像素的水平、垂直和时间位置。在无损通用性的情况下，可假设在此揭示内容中n = 0始终是偶数场，使得以上等式I简化为
权利要求
1.一种编码多媒体数据的方法，其包含 将多媒体数据的内容分类； 基于所述内容分类将所述多媒体数据分割为第一数据组和第二数据组，其中根据带宽比例来界定所述分割；和 基于所述分割来编码在所述第一数据组和所述第二数据组中的所述多媒体数据，其中所述第一数据组中的数据量相对于所述第二数据组中的数据量对应于所述带宽比例。
2.根据权利要求I所述的方法，其中所述第一数据组包含系数且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。
3.根据权利要求I所述的方法，其中所述编码包含基于所述多媒体数据的所述内容分类来确定位速率，和基于所述位速率来编码所述多媒体数据。
4.根据权利要求I所述的方法，其中将内容分类包含确定所述多媒体数据的复杂性。
5.根据权利要求4所述的方法，其中所述复杂性包含时间复杂性或空间复杂性。
6.根据权利要求4所述的方法，其中所述复杂性包含时间复杂性和空间复杂性。
7.根据权利要求I所述的方法，其中编码包含编码所述多媒体数据以便允许仅解码所述第一数据组或将所述第一数据组和所述第二数据组解码为单个组合数据组。
8.根据权利要求2所述的方法，其中所述第一微分改进指示选定视频帧与从解码所述第一数据组中产生的帧数据之间的差异。
9.根据权利要求I所述的方法，其中所述第一数据组是基础层，且所述第二数据组是增强层。
10.根据权利要求9所述的方法，其进一步包含 从初始基础层残余误差系数或初始增强层残余误差系数中的一者中选择所述系数；和 基于所述系数和所述初始增强层残余误差系数来计算所述第一微分改进。
11.根据权利要求I所述的方法，其中编码进一步包含在所述第一数据组中编码宏区块标头信息和运动向量信息。
12.根据权利要求I所述的方法，其中编码进一步包含以第一步长量化所述第一数据组和以第二步长量化所述第二数据组，其中所述第一步长与第二步长通过比例因子来相关。
13.根据权利要求I所述的方法，其中编码进一步包含确定用于编码所述第一数据组的具有第一量化步长的第一量化参数和确定用于编码所述第二数据组的具有第二量化步长的第二量化参数，其中基于选定帧数据的内容信息来确定所述第一和第二量化参数，且其中所述第一量化步长比所述第二量化步长粗。
14.根据权利要求I所述的方法，其中编码包含使用I帧和P帧或其任何组合来编码所述第一数据组，和使用I帧、P帧和B帧或其任何组合编码所述第二数据组。
15.一种用于编码多媒体数据的设备，其包含 用于将多媒体数据的内容分类的装置； 用于基于所述内容分类将所述多媒体数据分割为第一数据组和第二数据组的装置，其中根据带宽比例来界定所述分割；和 用于基于所述分割来编码在所述第一数据组和所述第二数据组中的所述多媒体数据 的装置，其中所述第一数据组中的数据量相对于所述第二数据组中的数据量对应于所述带宽比例，其中所述装置中的至少一者至少部分地在所述设备的硬件中实施，其中所述用于分类的装置、所述用于分隔的装置和所述用于编码的装置中的至少一些在硬件中实施。
16.根据权利要求15所述的设备，其中所述第一数据组包含系数且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。
17.根据权利要求15所述的设备，其中所述编码装置包含用于基于所述多媒体数据的所述内容分类来确定位速率且基于所述位速率来编码所述多媒体数据的装置。
18.根据权利要求15所述的设备，其中所述内容分类装置包含用于确定所述多媒体数据的复杂性的装置，且其中基于所述多媒体数据的所述复杂性来编码所述选定多媒体数据。
19.根据权利要求18所述的设备，其中所述复杂性包含时间复杂性或空间复杂性。
20.根据权利要求18所述的设备，其中所述复杂性包含时间复杂性和空间复杂性。
21.根据权利要求15所述的设备，其中所述编码装置包含用于编码所述多媒体数据以便允许仅解码所述第一数据组或将所述第一数据组和所述第二数据组解码为单个组合数据组的装置。
22.根据权利要求16所述的设备，其中所述第一微分改进指示在选定视频帧与从解码所述第一数据组产生的帧数据之间的差异。
23.根据权利要求16所述的设备，其中所述第一数据组是基础层，且所述第二数据组是增强层。
24.根据权利要求15所述的设备，其中所述编码装置包含用于在所述第一数据组中编码宏区块标头信息和运动向量信息的装置。
25.根据权利要求15所述的设备，其中所述编码装置进一步包含用于以第一步长量化所述第一数据组且以第二步长量化所述第二数据组的装置，其中所述第一步长与第二步长通过比例因子来相关。
26.根据权利要求15所述的设备，其中所述编码装置包含用于确定用于编码所述第一数据组的具有第一量化步长的第一量化参数和确定用于编码所述第二数据组的具有第二量化步长的第二量化参数的装置，其中基于选定帧数据的内容信息来确定所述第一和第二量化参数，且其中所述第一量化步长比所述第二量化步长粗。
27.根据权利要求15所述的设备，其中所述编码装置包含 用于使用I帧和P帧编码所述第一数据组的装置；和 用于使用I帧、P帧和B帧编码所述第二数据组的装置。
28.根据权利要求23所述的设备，其中所述编码装置包含 用于从初始基础层残余误差系数或初始增强层残余误差系数中的一者中选择所述系数的装置；和 用于基于所述系数和所述初始增强层残余误差系数来计算所述第一微分改进的装置。
29.—种经配置以编码多媒体数据的设备，其包含 内容分类模块，其经配置以将多媒体数据的内容分类且提供内容分类数据；和 分割器，其基于所述内容分类将所述多媒体数据分割为第一数据组和第二数据组，其中根据带宽比例来界定所述分割；和 编码器，其经配置以基于所述分割来将所述多媒体数据编码为所述第一数据组和所述第二数据组，其中所述第一数据组中的数据量相对于所述第二数据组中的数据量对应于所述带宽比例。
30.根据权利要求29所述的设备，其中所述第一数据组包含系数且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。
31.根据权利要求29所述的设备，其中所述编码器包含位速率组件，所述位速率组件经配置以基于所述内容分类来确定位分配，且其中所述编码组件进一步经配置以使用所述位分配来编码所述选定多媒体数据。
32.根据权利要求29所述的设备，其中将内容分类包含确定所述多媒体数据的复杂性，且其中基于所述多媒体数据的所述复杂性来编码所述选定多媒体数据。
33.根据权利要求32所述的设备，其中所述复杂性包含时间复杂性或空间复杂性。
34.根据权利要求32所述的设备，其中所述复杂性包含时间复杂性和空间复杂性。
35.根据权利要求29所述的设备，其中编码包含编码所述多媒体数据以便允许仅解码所述第一数据组或将所述第一数据组和所述第二数据组解码为单个组合数据组。
36.根据权利要求30所述的设备，其中所述第一微分改进指示在选定视频帧与从解码所述第一数据组产生的帧数据之间的差异。
37.根据权利要求29所述的设备，其中所述第一数据组是基础层，且所述第二数据组是增强层。
38.一种非暂态机器可读媒体，其包含在执行时致使处理器执行以下操作的指令 将多媒体数据的内容分类； 基于所述内容分类将所述多媒体数据分割为第一数据组和第二数据组，其中根据带宽比例来界定所述分割；和 基于所述分割来编码在所述第一数据组和所述第二数据组中的所述多媒体数据，其中所述第一数据组中的数据量相对于所述第二数据组中的数据量对应于所述带宽比例。
39.根据权利要求38所述的非暂态机器可读媒体，其中所述第一数据组包含系数且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。
40.根据权利要求38所述的非暂态机器可读媒体，其中所述用以编码的指令包含用以基于所述内容分类来确定位分配的指令，且其中所述编码组件进一步经配置以使用所述位分配来编码所述选定多媒体数据。
41.根据权利要求38所述的非暂态机器可读媒体，其中将内容分类包含确定所述多媒体数据的复杂性，且其中基于所述多媒体数据的所述复杂性来编码所述选定多媒体数据。
42.根据权利要求41所述的非暂态机器可读媒体，其中所述复杂性包含时间复杂性或空间复杂性。
43.根据权利要求41所述的非暂态机器可读媒体，其中所述复杂性包含时间复杂性和空间复杂性。
44.一种处理器，其经配置以 将多媒体数据的内容分类； 基于所述内容分类将所述多媒体数据分割为第一数据组和第二数据组，其中根据带宽比例来界定所述分割；和 基于所述分割来编码在所述第一数据组和所述第二数据组中的所述多媒体数据，其中所述第一数据组中的数据量相对于所述第二数据组中的数据量对应于所述带宽比例。
45.根据权利要求44所述的处理器，其中所述第一数据组包含系数且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。
46.根据权利要求44所述的处理器，其中所述处理器进一步经配置以基于所述内容分类来确定位分配，且其中所述编码组件进一步经配置以使用所述位分配来编码所述选定多媒体数据。
47.根据权利要求44所述的处理器，其中所述处理器进一步经配置以确定所述多媒体数据的复杂性，且其中所述内容分类是基于所述多媒体数据的所述复杂性。
48.根据权利要求47所述的处理器，其中所述复杂性包含时间复杂性或空间复杂性。
49.根据权利要求47所述的处理器，其中所述复杂性包含时间复杂性和空间复杂性。
全文摘要
本发明涉及基于内容信息的可缩放性技术的编码方法和设备。本发明描述使用内容信息来编码多媒体数据的设备和方法。一种处理多媒体数据的方法包括将多媒体数据的内容分类，和基于所述内容分类来将所述多媒体数据编码为第一数据组和第二数据组，其中所述第一数据组包含系数，且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。一种用于使用内容信息来编码多媒体数据的设备包括内容分类模块，其经配置以将多媒体数据的内容分类且提供内容分类数据；编码器，其经配置以基于所述内容分类来将所述多媒体数据编码为第一数据组和第二数据组，其中所述第一数据组包含系数，且所述第二数据组包含与所述第一数据组系数相关联的第一微分改进。
文档编号H04N5/44GK102724498SQ201210162458
公开日2012年10月10日 申请日期2006年9月27日 优先权日2005年9月27日
发明者塞伊富拉·哈立德·奥古兹, 希塔拉曼·加纳帕蒂·苏布拉马尼亚, 帕尼库马尔·巴米迪帕蒂, 戈登·肯特·沃克, 田涛, 石方, 维贾雅拉克希米·R·拉韦恩德拉恩, 陈培松 申请人:高通股份有限公司