专利名称：对于数字图像流的帧进行编码和解码的方法和系统的利记博彩app
技术领域：
本发明涉及数字图像传输的领域，更具体地，涉及对于数字图像流的帧进行编码和解码的方法和系统。
背景技术：
当发送数字图像流时，通常对于图像流应用某种形式的压缩(还称为编码)，以减少数据存储量和带宽需求。例如，已知在视频压缩中使用梅花形或棋盘格局像素抽取模式。 显然地，这样的压缩导致在接收端必要的解压缩(或解码)操作，以提取原始图像流。在共同转让的美国专利申请2003/0223499中，通过去除棋盘格局模式中的像素并随后水平崩塌像素的棋盘格局模式来压缩立体视频的立体图像对。两个水平崩塌的图像并排位于一个标准图像帧中，该图像帧随后经过传统图像压缩(例如MPEG2)，并且在接收端经过传统图像解压缩。然后，进一步解码解压缩的标准图像帧，从而将其扩展到棋盘格局模式中，并在空间上内插失去的像素。尽管在视频序列的存储和广播(传输)的当前标准下，数字图像流在传输阶段经历各个层次的压缩/编码和解压缩/解码是必须的，但不可避免地出现信息的丢失和/或失真的问题。对于这些压缩/编码和解压缩/解码操作的各个不同技术在近几年有所发展， 并且不断改进，特定的目标是减少数据丢失和/或图像伪影的固有程度。然而，仍然存在很大的改进空间，特别是当涉及增加在接收端重建的图像流的质量水平时。因此，行业中存在这样的需求，S卩，提供编码和解码数字图像流的改进方法和系统。
发明内容
根据广泛方面，本发明提供一种对数字图像帧进行编码的方法。该方法包括对于帧应用编码操作，用于生成编码帧，所述编码操作包括提取帧的至少一个像素。该方法还包括在对于帧应用所述编码操作的过程中生成元数据，所述元数据表示如何从帧的其他非提取非编码像素重建至少一个提取像素。所述元数据与所述编码帧相关，用于在所述编码帧的解码时内插至少一个遗失像素。根据另一广泛方面，本发明提供一种对编码的数字图像帧进行解码以用于重建帧的原始版本的方法。所述方法包括在对于编码帧应用解码操作的过程中使用元数据，其中所述元数据表示如何从帧的其他解码像素内插帧的至少一个遗失像素。根据另一广泛方面，本发明提供一种对数字图像流的帧进行处理的系统。所述系统包括处理器，用于接收图像流的帧，所述处理器可操作为在所述帧经过编码操作时生成元数据，所述编码操作包括提取所述帧的至少一个像素，所述元数据表示如何从所述帧的其他非提取非编码像素重建所述至少一个提取像素。所述系统还包括压缩器，用于从所述处理器接收所述帧和所述元数据，所述压缩器可操作为对于所述帧和所述元数据应用压缩操作，以生成压缩帧和相关压缩元数据。所述系统包括输出端，用于发布所述压缩帧和所述压缩元数据。根据另一广泛方面，本发明提供一种对压缩图像帧进行处理的系统。所述系统包括解压缩器，用于接收压缩帧和相关压缩元数据，并对其应用解压缩操作，以生成解压缩帧和相关解压缩元数据。所述系统还包括处理器，用于从所述解压缩器接收所述解压缩帧及其相关解压缩元数据，所述处理器可操作为在对于所述解压缩帧应用解码操作的过程中使用所述解压缩元数据，以用于重建所述解压缩帧的原始版本，其中所述解压缩元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素。所述系统还包括输出端，用于发布所述解压缩帧的重建的原始版本。根据另一广泛方面，本发明提供一种对数字图像流的帧进行处理的处理单元，所述处理单元可操作为在对于图像流的帧应用编码操作的过程中生成元数据，所述编码操作包括从所述帧提取至少一个像素，其中所述元数据表示如何从所述帧的其他非提取非编码像素重建至少一个提取像素。根据另一广泛方面，本发明提供一种对解压缩图像流的帧进行处理的处理单元， 所述处理单元可操作为接收与解压缩帧相关的元数据，以及在对于所述解压缩帧应用解码操作的过程中使用所述元数据，以用于重建所述解压缩帧的原始版本，其中所述元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素。
参照附图，通过本发明的实施例的以下具体实施方式
将更好地理解本发明，其中图1是根据现有技术的生成和发送立体图像流的系统的示意性表示；图2示出根据现有技术的处理和解码压缩图像流的简化系统；图3、4和5示出根据本发明实施方式的非限制示例的准备数字图像帧用于传输的技术的变型；图6是根据本发明实施方式的非限制性示例，比较用元数据和没用元数据的用于传输数字图像帧的不同PSNR(峰值信噪比)结果的试验数据表；图7是本发明的传输技术与现有视频设备兼容的示意性视图；图8是根据本发明实施方式的非限制性示例的帧编码处理的流程图；以及图9是根据本发明实施方式的非限制性示例的压缩帧解码处理的流程图。
具体实施例方式应理解，在本说明书中可互换地使用表述“解码”和“解压缩”，以及表述“编码”和 “压缩”。此外，尽管在这里参照三维立体图像(例如电影)描述本发明的实施方式示例，应理解，本发明的范围也涵盖其他类型的视频图像。图1示出根据现有技术的生成和发送立体图像流的示例。将相机12和14代表的第一和第二图像序列源存储在共同或各个数字数据存储介质16和18中。或者，可从数字数据存储介质中存储的数字化电影或任意其他数字图片文件源提供或实时输入图像序列， 作为适用于基于微处理器的系统读取的数字视频信号。相机12和14显示在这样的位置， 其中他们各自捕获的图像序列代表情景10的具有视差的不同视图，该视图根据立体的概念模拟观察者的左眼和右眼的认识。因此，第一和第二捕获的图像序列的适当再现将使得观察者意识到情景10的三维视图。然后，通过处理器(例如20和2 将存储的数字图像序列转换成RGB格式，并馈送至移动图像混合器M的输入。由于两个原始图像序列包含太多信息，而无法直接存储在传统DVD中或无法使用MPEG2或等效多路复用协议通过传统信道直接广播，混合器M执行抽取处理，以减少每个图片的信息。更具体地，混合器M将两个平面RGB输入信号压缩或编码成一个立体RGB信号，然后在通过典型压缩器电路观压缩成标准MPEG2比特流格式之前通过处理器沈经过另一格式转换。于是，得到的MPEG2编码的立体节目可以通过例如发送器30和天线32在一个标准信道上广播，或记录在传统介质(例如DVD)上。备选传输介质可以是例如电缆分布网络或因特网。现在转到图2，其示出根据现有技术的接收和处理压缩图像流的简化计算机架构 100。如图所示，通过视频处理器106从源104接收压缩图像流102。源104可以是提供压缩(或编码)的数字化视频比特流的各种设备中的任一个，例如DVD驱动器或无线发送器， 等等。视频处理器106经由总线系统108连接至各个后端组件。在图2所示的示例中，数字视频接口(DVI) 110和显示信号驱动器112能够格式化分别在数字显示器114和PC监视器116上显示的像素流。视频处理器106能够执行各种不同任务，包括例如一些或全部视频回放任务，例如缩放、颜色转换、合成、解压缩和去交错等。典型地，视频处理器106负责处理接收的压缩图像流102，以及将压缩图像流102提交至颜色转换和合成操作，以适合特定分辨率。尽管视频处理器106还可以负责解压缩和去交错接收的压缩图像流102，这个内插功能或者可通过单独的、后端处理单元来执行。在具体的、非限制性示例中，压缩图像流 102是压缩立体图像流102，并且上述内插功能通过对接在视频处理器106和DVI 110与显示信号驱动器112两者之间的立体图像处理器118执行。这个立体图像处理器118可操作为解压缩和内插压缩立体图像流102，以重建原始左右图像序列。显然地，立体图像处理器 118成功重建原始左右图像序列的能力受到压缩图像流102中任意数据丢失或失真的很大阻碍。本发明涉及编码和解码数字图像流的帧的方法和系统，得到在传输之后重建的图像流的改进质量。宽泛地讲，当为了准备传输或记录而编码图像流的帧时，生成元数据，其中这个元数据代表帧的至少一个像素的至少一个分量的值。然后，帧及其相关元数据都经过各个标准压缩操作(例如MPEG2或MPEG等)，之后压缩帧和压缩元数据准备好向接收端传输，或在传统介质上记录。在接收端，压缩帧和相关压缩元数据经过各个标准解压缩操作，之后至少部分地基于其相关元数据进一步解码/内插帧以重建原始帧。重要地是注意，在图像帧的编码时，可对于帧的每个像素或对于帧的像素的子集生成元数据。任意这样的子集是可能的，小到图像帧的一个像素。在本发明的实施方式的具体的、非限制性示例中，对于在编码帧的阶段中提取(或去除)的帧的一些或所有像素生成元数据。在生成元数据的情况下，仅对于帧的提取像素中的所选若干像素，可基于特定提取像素的标准内插与特定像素的原始值偏差多少来作出生成特定提取像素的元数据的决定。因此，对于预定最大可接受偏差，如果特定提取像素的标准内插导致与原始像素值的偏差大于预定最大可接受偏差，则对于特定提取像素生成元数据。相反，如果特定提取像素的标准内插导致偏差小于预定最大可接受偏差，即，如果特定提取像素的标准内插的质量足够高，不需要对于特定提取像素生成元数据。有利地，通过与编码图像帧一起生成和发送/记录表征原始帧的至少某些像素的元数据，其中这个元数据可非常容易地通过标准压缩方案(例如MPEG4中使用的技术)来压缩，有可能增加在接收端重建帧的质量水平，而无需增加传输带宽或记录介质的明显负担。更具体地，当帧的编码导致帧的某些像素从帧去除，并因此没有被发送或记录，则针对这些遗失(miss)的像素的一些或全部而生成、且便随该编码帧的元数据将会缓解和改进在接收端填充遗失像素并重建原始帧的处理过程。显然地，在图像流中，尽管流的某些帧可从具有相关元数据获益，但是其他的可能不需要元数据。更具体地，如果在特定帧的编码版本的解码时应用的标准内插导致与原始特定帧的偏差被认为是可接受(例如小于预定最大可接受偏差)，那么不需要为该特定帧而生成元数据。因此，在与相关元数据一起发送或记录的压缩图像流中，某些帧可具有相关元数据，而其他可能没有，这不脱离本发明的范围。图3、4和5示出根据本发明的实施方式的非限制示例的编码数字图像帧的技术的变型。在所示示例中，数字图像帧是立体图像帧，其经过压缩编码，从而该帧包括并排合并的图像，以下将进一步详述。在这个编码的过程中，针对从帧提取或去除的至少一些像素生成元数据。然而，重要地注意，本发明的技术适用于所有类型的数字图像流，不限于图像帧的任一个特定类型的应用。即，所述技术也可应用于除了立体图像帧之外的数字图像帧。此外，可应用所述技术，而不考虑对于帧应用的编码操作的特定类型，无论他是压缩编码还是某些其他类型的编码。最后，可应用所述技术，即使在不经过任何类型的进一步编码或压缩的情况下发送/记录数字图像帧(例如，作为除了 JPEG、MPEG2或其他的未压缩数据而发送 /记录)，这不脱离本发明的范围。在图3中，其示出通过对帧的所选提取像素的每个分量生成1比特的元数据而进行的数字图像帧的编码。因此，在帧经过压缩编码时，提取各个像素，并且对于这些提取像素中的至少一个生成元数据。这个元数据代表至少一个提取像素的每个分量的近似值，并且用于与所述帧一同压缩和传输。元数据可通过询问预定元数据映射表来生成，其中这个表将不同的可能元数据值映射至不同的可能像素分量值。由于在这个示例中元数据包括每个像素分量的1个比特，所以元数据值可以是“0”或“ 1 ”。如图3所示，基于帧中的相邻像素1、2、3和4的至少一个的像素分量值生成帧的特定提取像素X的元数据。更具体地，每个可能的元数据值代表用于像素X的各个分量的不同近似值，其中像素X的各个分量的这些不同近似值采用帧中的相邻帧的分量值的不同组合的形式。在图3的非限制示例中，元数据值“0”代表(([1] + [2])/幻的分量值，而元数据“1”代表(([3]+ [4])/2)的分量值，其中[1]、[2]、[3]和[4]是相邻像素1、2、3和4的各个分量值。因此，当针对提取像素X的每个分量生成元数据的1比特时，通过确定相邻像素分量值的哪个组合最接近于像素X的各个分量的实际值来设置元数据的每个比特的值。例如，假设帧的像素为RGB格式，从而每个像素具有三个分量，并且通过3个数字的向量来定义，分别表示红、绿和蓝的强度。此外，在帧中，每个像素具有相邻像素1、2、3和 4，其每个也具有各个红、绿和蓝分量。当生成提取像素X的元数据时，对于分量)(r、Xg和Xb的每一个生成元数据的一个比特。因此，像素X的元数据可以是例如“010”，在这个情况下，Xr, Xg和胁的元数据值分别为“0”、“ 1，，和“0”。基于相邻像素分量值的预定组合设置 )(r、Xg和胁的这些元数据值，其中针对提取像素X的特定分量选择的特定元数据值代表其值最接近于所述特定分量的实际值的组合。以图3所示的预定组合为示例，像素X的元数据“010”向分量ft·、Xg和胁分配以下值，每一个为一对相邻像素的各个分量值的平均数Xr = ([lr] + [2r])/2Xg = ([3g] + [4g])/2Xb = ([lb]+ [2b] )/2图4示出图3所示的技术的变型，从而数字图像帧的编码包括针对帧的所选提取像素的每个分量生成2比特元数据。因此，元数据值可以是“00”、“01”、“10”和“11”。与每个分量1比特元数据的情况相似，每个可能元数据值代表对于提取像素X的各个分量的不同近似值，其中这些不同近似值采用在帧中相邻像素的分量值的不同组合的形式。显然地， 在每个像素的每个分量可用的元数据的比特数增加时，在设置提取像素X的每个分量的元数据值时能够选择的相邻像素分量值的可能组合数也增加。在图4的非限制性示例中，元数据值“00”代表(([1] + [2])/2)的分量值，元数据值“01”代表(([3]+ [4])/2)的分量值，元数据值“10”代表(([1] + [2] + [3] + [4])/4)的分量值，元数据值“11”代表(MAX_C0MP_VALUE-(([l] + [2] + [3] + [4])/4))的分量值，其中[1]、 [2]、[3]和[4]是相邻像素1、2、3和4的各个分量值，MAX_C0MP_VALUE是帧中像素分量的最大可能值(例如对于8比特分量，MAX_C0MP_VALUE = 255)。因此，当为提取像素X的每个分量生成元数据的2比特时，通过确定相邻像素分量值的哪个组合最接近于像素X的各个分量的实际值来设置元数据的每2个比特的值。图5示出图3所示的技术的另一变型，从而数字图像帧的编码包括针对帧的所选提取像素的每个分量生成4比特元数据。因此，元数据值可以是“0000”、“0001”、“0010”、 “0011 ”、“0100 ”、“0101 ”、“0110 ”、“0111 ”、“ 1000 ”、“ 1001 ”、“ 1010 ”、“ 1011”、“1100 ”、“ 1101”、 “1110”和“1111”之一。每个可能元数据值代表对于提取像素X的各个分量的不同近似值， 其中这个不同近似值选自帧中一个或多个相邻像素的分量值的十六(16)个不同组合。在图3中所示的技术的另一可能变型中，数字图像帧的编码包括针对帧的所选提取像素的每个分量生成大于4比特的元数据，例如5或8比特等。如果每个分量可用的元数据的比特数等于帧中每个像素分量的比特数，则对于特定提取像素而生成的元数据代表特定提取像素的每个分量的实际值，而并非代表给出每个分量的近似值的相邻像素的分量值的组合。在由M比特、3分量像素构成的帧的非限制性示例中，为所选提取像素的每个分量使用8比特元数据将会考虑到由元数据代表提取像素的分量的实际值，而并非这些分量值的简单近似。重要地注意，不管每个提取像素X的每个分量可用的元数据的比特数，相邻像素分量值的各个不同预定组合是可能的，并且可用于生成图像帧的元数据，这不脱离本发明的范围。此外，还可基于帧中非相邻像素的分量值、或帧中相邻和非相邻像素的组合的分量值生成每个提取像素X的元数据，这不脱离本发明的范围。在图3、4和5的以上示例中，描述了在图像帧的编码时，对于图像帧的所选提取像素生成元数据。帧的提取像素的任意这样的子集是可能的，小到图像帧的一个提取像素。显然地，由于元数据的生成和传输用于在接收端提供改进质量的重建图像帧(在解压缩之后)，因而可以得出，针对越大数目的提取像素生成元数据，并且帧的每个提取像素的每个分量的元数据的比特数目越大，在接收端的重建图像帧中改进质量的增加就越大。在特定的、非限制性示例中，仅对于这样的提取像素生成元数据，S卩，对于上述提取像素，发现在接收端的标准内插导致与原始像素值的偏差大于预定最大可接受偏差(即标准内插降低重建帧的质量)。因此，在标准内插导致与原始像素值的偏差小于预定最大可接受偏差的提取像素的情况下(即在接收端良好质量内插是可能的)，不需要生成元数据。在本发明的实施方式的变型示例中，在对于图像帧应用编码操作的过程中，仅对于帧的所选提取像素的所选分量生成元数据。因此，对于特定提取像素，可针对特定像素的至少一个分量生成元数据，而不必针对特定像素的所有分量。显然地，还可能，在特定提取像素的标准内插为足够高质量的情况下，不对于特定提取像素生成元数据。在具体的、非限制性示例中，可基于提取像素的特定分量的标准内插从特定像素的原始值偏差多少来作出生成提取像素的特定分量的元数据的决定。因此，对于预定最大可接受偏差，如果提取像素的特定分量的标准内插导致与原始像素值的偏差大于预定最大可接受偏差，则针对提取像素的特定分量生成元数据。相反，如果提取像素的特定分量的标准内插导致与原始像素值的偏差小于预定最大可接受偏差，即，如果特定分量的标准内插的质量足够高，不需要对于提取像素的特定分量生成元数据。在本发明的实施方式的另一变型示例中，在对于图像帧应用编码操作的过程中， 对于编码期间从帧提取或去除的图像帧的每个和全部像素的每个和全部分量生成元数据。 因此，与编码帧相关的这个元数据的提供将在接收端处对编码帧进行解码时提供遗失像素的更加简单和更加有效的内插。在实施方式的这个变型示例的特定情况下，当对于帧的每个提取像素的每个分量生成元数据，并且每个分量的元数据的比特数等于帧中每个像素分量的实际比特数时，可在接收端获得重建图像帧的最高质量。这是因为，伴随编码帧并因此在接收端可用的元数据代表在压缩编码时从帧提取或去除的每个像素的实际分量值，而无需任何近似或内插。在本发明的实施方式的另一变型示例中，图像帧的元数据的生成可包括生成元数据存在指示符标志。每个标志将与帧本身、帧的特定像素或帧的特定像素的特定分量相关， 并且将指示是否存在针对该帧、特定像素或特定分量的元数据。在1比特标志的非限制性示例中，标志可设置为“1”，以指示相关元数据的存在；设置为“0”，以指示相关元数据的不存在。在具体的、非限制性示例中，在帧的元数据的生成时，还生成元数据存在指示符标志的映射，其中针对1)帧的每个像素；幻帧的像素的子集的每个；；3)帧的每个像素的分量的子集的每个；或4)帧的像素的子集的分量的子集的每个，提供上述标志。像素的子集可包括例如，在编码期间从帧提取的一些或所有像素。在解码具有相关元数据的编码帧时，这样的元数据存在指示符标志对于以下情况特别有用仅对于在编码期间从帧提取的像素的某些生成了元数据，或仅对于某些或所有提取像素的某些分量生成了元数据。在本发明的实施方式的其他变型示例中，图像帧的元数据的生成可包括在这个元数据的报头中嵌入为此生成元数据的帧中每个像素的位置的指示。这个报头还可包括，对于每个识别的像素位置，为此生成元数据的特定分量的指示，以及对于每个这样的分量存储的元数据的比特数等。
一旦生成了图像帧的所有元数据，可通过标准压缩方案来压缩编码帧及其相关元数据，以准备传输或记录。应注意，最适合于帧的标准压缩的类型可能不同于最适合于相关元数据的标准压缩的类型。由此，帧及其相关元数据可经过不同类型的标准压缩，以准备传输，这不脱离本发明的范围。在具体的、非限制性示例中，可将图像帧的流压缩成标准MPEG2 比特流，而相关元数据的流可压缩成标准MPEG比特流。一旦压缩了编码帧及其相关元数据，他们可经由适当传输介质发送至接收端。或者，可将压缩帧及其相关压缩元数据记录在传统介质(例如DVD)上。因此，对于图像流的帧生成的元数据伴随图像流，无论后者是通过传输介质发送还是在传统介质(例如DVD)上记录。在传输的情况下，可在传输介质的并行信道中发送压缩元数据流。在记录的情况下， 在例如DVD的盘上记录压缩图像流时，可将压缩元数据流记录在用于存储专用数据的盘上提供的补充磁轨中(例如uSer_data磁轨)。或者，无论用于传输还是记录，压缩元数据可嵌入在压缩图像流的每个帧中(例如报头中)。另一选择是利用在压缩之前每个帧必须典型经历的颜色空间格式转换处理，以在图像流中嵌入元数据。在具体示例中，假设在图像流的压缩和传输/记录之前，立体图像流的每个帧从RGB格式转换成YCbCr 4:2:2颜色空间， 图像流可格式化为RGB 4:4:4流，其具有相关元数据，该相关元数据存储附加存储空间(即额外带宽)中，该附加存储空间由于从4:2:2格式切换到4:4:4格式(同时保持主视频数据为YCbCr 4:2:2)而变得可用。显然地，无论用于传输或记录，图像流的帧和相关元数据可通过各个不同方案中的任一个耦合或连接在一起(或简单地相互关联)，这不脱离本发明的范围。当压缩图像流的帧与伴随的压缩元数据通过传输介质在接收端处被接收或由播放器从传统介质(例如DVD驱动器)读取时，对压缩帧和相关元数据进行处理，以重建原始帧用于显示。这个处理包括标准解压缩操作的应用，其中可对于压缩帧应用与对于相关压缩元数据不同的解压缩操作。在这个标准解压缩之后，帧可需要进一步解码，以重建图像流的原始帧。假设帧在发送端被编码，在图像流的特定帧的解码时，使用相关元数据(如果存在)来重建特定帧。在具体的、非限制性示例中，使用与特定帧(或与特定帧的具体像素) 相关的元数据，通过询问将元数据值映射至具体像素分量值的至少一个元数据映射表(例如图3、4和5所示的表)来确定特定帧的至少一些遗失像素的近似或实际值。取决于每个像素的元数据的比特数，在元数据映射表中存储的具体像素分量值或者为遗失像素的实际分量值，或者为帧中其他像素的分量值的组合形式的近似分量值。如上所述，在具体的、非限制性示例中，本发明的元数据技术可应用于立体图像流，其中流的每个帧包括合并图像，其包含左图像序列的像素和右图像序列的像素。在一个特定示例中，立体图像流的压缩编码涉及像素提取，并生成编码帧，其每个包括由两个图像序列的像素形成的像素图案。在解码时，需要确定每个遗失像素的值，以从这些左右图像序列重建原始立体图像流。由此，在接收端使用被生成并伴随编码的立体帧的元数据，以在从每个帧解码左右图像序列时填充到至少一些遗失像素中。继续立体图像流的示例，图6是根据本发明的实施方式的非限制性示例，比较用元数据和没用元数据编码的数字图像帧的重建的不同PSNR(峰值信噪比)结果的试验数据表。本领域技术人员已知，PSNR为有损耗的压缩编码的重建质量的测量，其中在这个特定情况下，信号为原始图像帧，噪声为压缩编码引起的差错。更高PSNR反应更高质量重建。图6中所示的结果用于3个不同立体帧(TEST1、TEST2和TEST3)，其每个由M比特、3分量像素构成。这些帧经过压缩编码，其中分别不生成元数据、针对每个提取像素生成12. 5%的元数据(每个分量1比特)、针对每个提取像素生成25%的元数据(每个分量2比特)、针对每个提取像素生成50%的元数据(每个分量4比特)。结果明确显示，对于每个帧，表征帧的提取像素的元数据的提供容许在帧的重建时有更高、可配置PSNR。更具体地，对于每个帧， 针对每个提取像素的每个分量提供的元数据的比特数越大，在重建图像帧中的PSNR越大。在实施期间，上述基于元数据的编码和解码技术所必要的功能可容易地嵌入现有传输系统(或者更具体地，现有编码和解码系统)的一个或多个处理单元中。以生成和发送图1的立体图像流的系统为例，除了将两个平面RGB输入信号压缩或编码成一个立体RGB 信号的操作之外，移动图像混合器M可执行元数据生成操作。以接收和处理图2的压缩图像流为例，立体图像处理器118可在对编码立体图像流102进行解码期间，处理接收的元数据，以重建原始左右图像序列。在这些示例中，使得移动图像混合器M和立体图像处理器 118能够分别生成和处理元数据的处理包括，为这些处理单元的每个提供对于一个或多个元数据映射表的访问能力，例如图3、4和5中所示的表，其可存储在每个处理单元本地或远程的存储器中。显然地，本发明的基于元数据的编码和解码技术的基于各个不同软件、硬件和/或固件的方案也是可能的，并且包含在本发明的范围内。有利地，本发明的元数据技术允许与现有视频设备的向后兼容。图7示出这个向后兼容的非限制性示例，其中立体图像流的帧与元数据一同编码压缩，并记录在DVD上。在读取这个DVD时，不能识别或处理元数据的遗留DVD播放器700简单地忽略或扔掉这个元数据，仅发送编码的帧用于解码/内插和显示。能够理解元数据的DVD播放器702将发送编码帧和相关元数据两者用于解码和显示，或将至少部分地基于相关元数据而自己解码/ 内插编码帧，并随后将仅发送解码帧用于显示。类似地，不能够处理元数据的处理单元(例如显示器本身)将简单地忽略元数据，并且仅处理编码图像帧。可见，遗留显示器706将扔掉元数据，在无需元数据的情况下对编码帧进行解码/内插。能够处理元数据的显示器708 将至少部分地基于这个元数据对编码帧进行解码。图8是示出根据本发明的实施方式的非限制性示例的上述基于元数据的编码处理的流程图。在步骤800，接收数字图像流的帧。在步骤802，帧经历编码操作，以准备传输或记录，其中这个编码操作涉及从帧提取或去除某些像素。在步骤804，在对帧进行编码期间生成元数据，其中这个元数据代表在编码期间提取的至少一个像素的至少一个分量的值。基于特定像素或分量的标准内插与该特定像素或分量的原始值偏差多少来作出针对特定提取像素生成元数据或针对提取像素的特定分量生成元数据的决定。在步骤806，输出编码帧及其相关元数据，以准备经历标准压缩操作(例如MPEG或MPEG》，以准备传输或记录。图9是示出根据本发明的实施方式的非限制性示例的上述基于元数据的解码处理的流程图。在步骤900，接收编码图像帧及其相关元数据，他们两者先前都经历了标准解压操作(例如MPEG或MPEG2)。在步骤902，对于编码帧应用解码操作，以重建原始帧。在步骤904，在对于编码帧进行解码的过程中使用相关元数据，其中这个元数据代表在编码期间从原始帧提取的至少一个像素的至少一个分量的值。因此，在原始帧的重建时，如果存在特定遗失像素(即在原始帧的编码时提取的像素)的元数据，则这个元数据用于填充到遗失像素或这个遗失像素的至少一个分量中，而并非执行标准内插操作。在步骤906，输出重建的原始帧，以准备经历标准处理操作，以准备用于显示。 尽管示出了各个实施例，但这用于描述而非限制本发明的目的。各个可能修改和不同配置对于本领域技术人员是显而易见的，并且在由所附权利要求特别限定的本发明的范围内。
权利要求
1.一种对数字图像帧进行编码的方法，包括a.对于帧应用编码操作，用于生成编码帧，所述编码操作包括提取所述帧的至少一个像素；b.在对于帧应用所述编码操作过程中生成元数据，所述元数据表示如何从帧的其他非提取非编码像素重建所述至少一个提取像素；c.将所述元数据与所述编码帧相关，用于在所述编码帧的解码时内插至少一个遗失像O
2.如权利要求1所述的方法，其中所述元数据代表帧的至少一个提取像素的至少一个分量的值。
3.如权利要求2所述的方法，其中对于所述至少一个提取像素的每一个，所述元数据代表相应提取像素的至少一个分量的近似值。
4.如权利要求3所述的方法，其中所述近似值是帧中至少一个相邻非提取非编码像素的至少一个分量值的组合。
5.如权利要求2所述的方法，其中对于所述至少一个提取像素的每一个，所述元数据代表相应提取像素的至少一个分量的实际值。
6.如权利要求1至5中任一项所述的方法，其中在所述帧经历编码操作时，针对从帧提取的每个像素生成所述元数据。
7.如权利要求6所述的方法，其中针对帧的每个提取像素的至少一个分量生成所述元数据。
8.如权利要求1至7中任一项所述的方法，其中所述方法还包括识别元数据的生成所针对的帧的每个像素。
9.如权利要求8所述的方法，其中对于帧生成元数据包括对于帧的至少一个像素生成指示符，所述指示符揭示出对于各个像素是否存在元数据。
10.如权利要求1至9中任一项所述的方法，其中所述方法还包括识别元数据的生成所针对的帧的每个像素的每个分量。
11.如权利要求10所述的方法，其中对于帧生成元数据包括对于帧的至少一个像素的至少一个分量生成指示符，所述指示符揭示出对于各个分量是否存在元数据。
12.如权利要求1至5中任一项所述的方法，其中，对于在编码操作期间从帧提取的每个像素，所述方法还包括确定是否要针对各个像素生成元数据。
13.如权利要求12所述的方法，其中，对于在编码操作期间从帧提取的每个像素，各个像素的标准内插导致与各个像素的原始值的偏差，所述确定包括将每个像素的偏差与预定最大可接受偏差相比较。
14.如权利要求13所述的方法，其中如果特定像素的偏差大于预定最大可接受偏差， 则针对特定像素生成元数据。
15.如权利要求13所述的方法，其中如果特定像素的偏差小于预定最大可接受偏差， 则针对特定像素不生成元数据。
16.如权利要求1至5中任一项所述的方法，其中，对于在编码操作期间从帧提取的每个像素，所述方法还包括确定是否要针对各个像素的每个分量生成元数据。
17.如权利要求16所述的方法，其中，对于在编码操作期间从帧提取的每个像素，各个像素的每个分量的标准内插导致与各个分量的原始值的偏差，所述确定包括将每个像素的每个分量的偏差与预定最大可接受偏差相比较。
18.如权利要求17所述的方法，其中如果特定分量的偏差大于预定最大可接受偏差， 则针对特定分量生成元数据。
19.如权利要求17所述的方法，其中如果特定分量的偏差小于预定最大可接受偏差， 则针对特定分量不生成元数据。
20.如权利要求1至19中任一项所述的方法，其中所述元数据包括对于每个提取像素的可变比特数目的数据。
21.如权利要求20所述的方法，其中所述元数据包括对于所述至少一个提取像素的每一个的每个分量的可变比特数目的数据。
22.如权利要求20或21所述的方法，其中所述元数据包括对于所述至少一个提取像素的每一个的每个分量的1比特的数据。
23.如权利要求20或21所述的方法，其中所述元数据包括对于所述至少一个像素的每一个的每个分量的X ^2比特的数据。
24.如权利要求5所述的方法，其中帧的每个像素包括X比特的数据和Y个分量，所述元数据包括对于所述至少一个像素的每一个的每个分量的X/Y比特的数据。
25.如权利要求1所述的方法，其中所述生成元数据包括询问预定元数据映射表。
26.如权利要求25所述的方法，其中所述预定元数据映射表将元数据值映射至像素分量值。
27.如权利要求沈所述的方法，其中所述预定元数据映射表的像素分量值是近似像素分量值。
28.如权利要求沈或27所述的方法，其中所述预定元数据映射表的像素分量值是帧的至少一个像素的至少一个分量值的组合的形式。
29.如权利要求沈所述的方法，其中所述预定元数据映射表的像素分量值是实际像素分量值。
30.如权利要求1至四中任一项所述的方法，其中所述图像帧为立体图像帧。
31.如权利要求30所述的方法，其中对于所述立体图像帧应用的编码操作为压缩编码操作，并且包括将压缩的左眼和右眼图像合并在一起。
32.如权利要求31所述的方法，其中所述立体图像帧的编码产生包括并排合并的图像的帧的编码版本。
33.如权利要求31所述的方法，其中所述立体图像帧的编码产生包括彼此相邻安排的第一和第二像素图案的帧的编码版本，所述第一像素图案由来自左眼图像的像素形成，所述第二像素图案由来自右眼图像的像素形成。
34.一种对编码数字图像帧进行解码以用于重建帧的原始版本的方法，所述方法包括 在对于编码帧应用解码操作的过程中使用元数据，其中所述元数据表示如何从帧的其他解码像素内插帧的至少一个遗失像素。
35.如权利要求34所述的方法，其中所述元数据代表在帧的编码期间从帧的原始版本提取的至少一个像素的至少一个分量的值。
36.如权利要求35所述的方法，其中所述元数据与在帧的编码期间从帧的原始版本提取的所有像素相关。
37.一种对数字图像流的帧进行处理的系统，所述系统包括a.处理器，用于接收图像流的帧，所述处理器可操作为在所述帧经历编码操作时生成元数据，所述编码操作包括提取所述帧的至少一个像素，所述元数据表示如何从所述帧的其他非提取非编码像素重建所述至少一个提取像素；b.压缩器，用于从所述处理器接收所述帧和所述元数据，所述压缩器可操作为对于所述帧应用第一压缩操作和对于所述元数据应用第二压缩操作，以生成压缩帧和相关压缩元数据；c.输出端，用于发布所述压缩帧和所述压缩元数据。
38.如权利要求37所述的系统，其中所述元数据代表所述帧的至少一个提取像素的至少一个分量的值。
39.如权利要求37或38所述的系统，其中对于所述帧的所述至少一个提取像素的每一个，所述元数据代表相应像素的至少一个分量的近似值。
40.如权利要求39所述的系统，其中所述近似值是帧中至少一个相邻像素的至少一个分量值的组合。
41.如权利要求37或38所述的系统，其中对于所述帧的所述至少一个像素的每一个， 所述元数据代表相应像素的至少一个分量的实际值。
42.如权利要求37至41中任一项所述的方法，其中所述处理器针对在所述编码操作期间从所述帧提取的所有像素生成所述元数据。
43.如权利要求42所述的系统，其中所述处理器针对每个提取像素的每个分量生成所述元数据。
44.如权利要求37所述的系统，其中，对于在所述编码操作期间从所述帧提取的每个像素，所述处理器可操作为确定是否要针对各个像素生成元数据。
45.如权利要求44所述的系统，其中，对于在所述编码操作期间从所述帧提取的每个像素，各个像素的标准内插导致与各个像素的原始值的偏差，所述处理器可操作为将每个像素的偏差与预定最大可接受偏差相比较。
46.如权利要求45所述的系统，其中仅当特定像素的偏差大于预定最大可接受偏差时，所述处理器针对特定像素生成元数据。
47.一种对压缩图像帧进行处理的系统，所述系统包括a.解压缩器，用于接收压缩帧和相关压缩元数据，所述解压缩器可操作为对于所述压缩帧应用第一解压缩操作和对于所述压缩元数据应用第二解压缩操作，以生成解压缩帧和相关解压缩元数据；b.处理器，用于从所述解压缩器接收所述解压缩帧及其相关解压缩元数据，所述处理器可操作为在对于所述解压缩帧应用解码操作的过程中使用所述解压缩元数据，以用于重建所述解压缩帧的原始版本，其中所述解压缩元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素；c.输出端，用于发布所述解压缩帧的所述原始版本。
48.如权利要求47所述的系统，其中所述元数据代表所述解压缩帧的所述原始版本的至少一个像素的至少一个分量的值。
49.一种对数字图像流的帧进行处理的处理单元，所述处理单元可操作为在对于图像流的帧应用编码操作的过程中生成元数据，所述编码操作包括从所述帧提取至少一个像素，其中所述元数据表示如何从所述帧的其他非提取非编码像素重建所述至少一个提取像素。
50.一种对解压缩图像流的帧进行处理的处理单元，所述处理单元可操作为接收与解压缩帧相关的元数据，并在对所述解压缩帧应用解码操作的过程中使用所述元数据，以用于重建所述解压缩帧的原始版本，其中所述元数据表示如何从所述解压缩帧的其他解码像素内插所述解压缩帧的至少一个遗失像素。
全文摘要
一种对数字图像帧进行编码和解码的方法和系统。在对于帧应用编码操作过程中生成元数据，其中这个编码操作包括提取帧的至少一个像素。元数据表示如何从帧的其他非提取非编码像素重建至少一个提取像素。然后，对于编码帧以及对于元数据应用标准压缩操作，以准备传输或记录。在接收端，编码帧及其相关元数据经过标准解压缩，之后在对于编码帧应用解码操作的过程中使用元数据，以用于重建原始帧。
文档编号G06T9/00GK102301396SQ200980155649
公开日2011年12月28日 申请日期2009年7月14日 优先权日2008年12月2日
发明者E·福尔丁, N·鲁蒂埃 申请人:森西欧技术公司