专利名称:用于在电信通信系统中传送视频帧的方法和设备的利记博彩app
技术领域:
本发明涉及在一个电信通信系统中用于编码和译码一个视频帧的方法和设备,当该视频帧由一串连续的静态的帧组成时,其中发送的帧一般被分成帧块或段,例如像素组,对在每个帧块中的每个帧和数据的细节一般包括指示该帧块的亮度,颜色和位置的信息。
背景技术:
由于需要大量数据传送一个视频帧,在电信通信系统中,例如电视电话,电视会议系统或国际互联网连接中传送视频帧是要求的一个任务,因为需要多位传送数据,所以该数据传输率必须更高。已开发各种方法来解决该问题。为传送一个帧,该帧通常分成其大小被选择适应该系统的帧块。帧块信息一般包括在该帧本身中的该帧块的亮度、颜色和位置的信息。该帧块数据由每块使用理想的编码方法进行压缩。压缩是基于排除次要的数据。压缩方法主要分为三类视频冗余简缩,空间冗余简缩和暂时冗余简缩。压缩时一般用这些方法的各种组合。
例如应用YUV颜色模式到频谱冗余简缩。YUV颜色模式使用这样一个事实,即人类眼睛对亮度的改变灵敏于对色度即颜色的改变。该YUV模式具有一个亮度分量(Y)和两个色度分量(U,V)。该色度分量也是二次取样的。例如,按H.263视频编码标准一个亮度块是16×16个像素和覆盖与亮度块相同区域的该两个色度块是8×8个像素。一个亮度块和两个色度块的组合在该标准中被称为一个宏块。
为减小空间冗余,使用例如离散余弦变换(DCT),其中被压缩的块最好是8×8个像素。在DCT中,一个帧块的像素表示被变换到一个空间频率表示。此外,只有存在在一个帧块中的信号频率具有高幅度系数,而不存在一个帧块中的信号的系数接近零。DCT也是一种无损耗变换以及只是在量化时对信号引起干扰。
可以通过利用这样一个事实来减小暂时冗余,即连续帧通常彼此是类似的,所以替代压缩每个单独帧将产生该帧块的移动数据。基本原理如下探索已更早被编码的尽可能好的一个参考块用于被编码的帧块,模拟该参考块和被编码的该帧之间的移动和传送计算的移动矢量系数到接收机。在被编码的该块和该参考块之间的差被表示成一个预测误差分量或帧。问题是发现通过比较所要求的产生尽可能好的一个编码系数的一个参考块(足够好的图像质量和尽可能少的位数)和高的计算能力和由此还有计算时间。
发明内容
本发明的目的在于提供一种改进编码视频帧的方法,改进的视频编码器和改进的用户终端。本发明是基于使用至少一个或多个参考帧或参考块和一个或多个较早编码的邻接块的帧再生数据以便编码该帧再生数据。为使用选择按本发明方法或按其他已知方法编码的帧再生数据和移动数据取决于所要求的编码效率是如何用足够的图像质量得到的。
在一个电信通信系统中用编码视频帧的方法达到该目的。该方法包括形成连续的静态帧的一个视频帧,存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据,借助一个或多个较早编码的邻接块确定被编码块的移动数据,该邻接块借助该存储的参考帧来形成,确定被编码的帧的帧再生数据,为使用选择代表被编码的块的帧再生数据和移动数据,从而提供了具有预定图像质量的一个预定的编码效率。
在一个电信通信系统中,用编码视频帧的方法达到该目的,包括形成连续的静态帧的一个视频帧,存储至少一个帧的帧再生数据作为较早的编码的邻接块的一个参考帧和移动数据,仅使用具有用来编码被编码块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的移动数据,为使用选择帧再生数据和移动数据,从而提供了具有预定图像质量的一个预定的编码效率。
本发明还涉及一个用户终端包括用于形成连续静态帧的一个视频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据的装置,用于借助一个或多个较早编码的邻接块确定被编码块的移动数据的装置,该邻接块借助存储的参考帧来形成,用于确定被编码帧的帧再生数据的装置,用于为使用选择代表被编码块的帧再生数据和移动数据的装置,从而提供了具有预定图像质量的一个预定的编码效率。
本发明还涉及一个用户终端包括用于形成连续静态帧的一个视频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据的装置,用于仅使用具有用来编码被编码块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的移动数据的装置,用于为使用选择帧再生数据和移动数据的装置,从而提供了具有预定图像质量的一个预定的编码效率。
本发明还涉及一个视频编码器包括用于形成连续静态帧的一个视频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据的装置,用于借助一个或多个较早编码的邻接块的移动数据确定被编码块的移动数据的装置,该邻接块借助存储的参考帧来形成,用于确定被编码帧的帧再生数据的装置,用于为使用选择代表被编码块的帧再生数据和移动数据的装置,从而提供了具有预定图像质量的一个预定的编码效率。
本发明还涉及一个视频编码器包括用于形成连续静态帧的一个视频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据的装置,用于仅使用具有用来编码被编码块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的移动数据的装置,用于为使用选择帧再生数据和移动数据的装置,从而提供了具有预定图像质量的一个预定的编码效率。
本发明还涉及能由计算机读出并执行电信通信系统中编码视频帧方法的计算机程序,其包括形成连续静态帧的一个视频帧,存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据,借助一个或多个较早编码的邻接块的移动数据确定被编码块的移动数据,该邻接块借助存储的参考帧来形成,确定被编码帧的帧再生数据,为使用选择代表被编码块的帧再生数据和移动数据,从而提供了具有预定图像质量的一个预定的编码效率。
本发明还涉及能由计算机读出并执行电信通信系统中编码视频帧方法的计算机程序,其包括形成连续静态帧的一个视频帧,存储至少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数据,仅使用具有用来编码被编码块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的移动数据,为使用选择帧再生数据和移动数据,从而提供了具有预定图像质量的一个预定的编码效率。
本发明的方法和设备提供在计算时间和计算效率方面的节省,同时保持良好的图像质量。
以下借助参照附图的优选实施例描述本发明,其中图1说明一个电信通信系统的例子,图2a-2c说明使用一个参考帧的矢量的一个估算过程,图3说明使用邻接块的一个移动矢量的一个估算过程,图4是一个流程图,说明寻找一个参考块和预测一个移动矢量的方法步骤,图5说明寻找一个参考块和预测一个移动矢量的一个例子,图6说明编码器的一个例子,图7说明译码器的一个例子,图8说明用户终端的一个例子,图9说明寻找一个参考块和预测一个移动矢量的第二个例子。
具体实施例方式
图1以简化方式说明能应用本发明解决方案的一个数字数据传输系统。这里是一个蜂窝无线电系统的一部分,该系统包括一个基站104,它用无线电连接108和110同用户终端100和102连络,用户终端100和102可以是固定安置的终端或在一个运载工具中或可以是便携式的终端。在该基站中的收发信机连接到一个天线单元,由它实施对用户终端的无线电链路。该基站还与一个发送连接网络中另外处的终端的基站控制器106连接。该基站控制器以集中的方式控制若干与其连接的基站。在该基站控制器中的一个控制单元维护调用控制,数据业务控制,移动性管理,收集统计量,和发信令。
蜂窝无线电系统也可连接到公共电话网络,其中代码转换机属于该系统的情况将用在该公共电话网络和该蜂窝无线电网络之间的语音的不同的数字编码格式变换到彼此相适应,例如从该固定网络的64Kbit/s转换到蜂窝无线电网络格式(例如13Kbit/s)和反过来也一样。
对本专业技术人员显见的是,本发明也可应用到固定的电信通信系统,例如国际因特网。
编码一个视频帧的目的在于减少传送该帧所要求的位数。图2a-2c以简单方式表示移动的现有技术编码方法,其基于使用较早存储在存储器中的一个参考帧预测一个帧块(术语块也在文本中使用)的移动矢量。这种编码类型称为交互编码,其意味着在压缩编码情况下使用一串帧中的帧之间的类似性。
在图2a-2c示例中,参考帧206已被分成多个块或段并较早被编码。图2b-2c并不表示多个帧块。该参考帧可以是在该帧串中被编码的帧之前或之后。图2a表示被编码的目前帧204,它也被分成多个块,其中为清晰起见只表示一块200。这些块的尺寸是N×M。这些块一般是正方形的,即N=M,但是例如按它们的几何尺寸,也可以是矩形的。表示在图2c中的目前块200和参考块214在几何尺寸上并不要求类似,这是因为实际上拍成电影的目标也改变,例如旋转或扭曲。该块的尺寸和形状被确定适合用于每个考虑下列要素的情况,例如一个小的块尺寸提供一较好的图像,但降低了确定的移动矢量的可靠性,因为该确定是仅借助几个像素进行的。如果使用较小的块,则还必须产生更多的移动矢量数据,这是因为接着必须将该帧分成更多的块。此外,当块尺寸大时,确定移动矢量中的快算法是更有效的。例如,在某些目前视频编码标准中N=M=16。
为了估算该移动,在用于被编码的块200的参考帧206中寻找尽可能配对的一个参考块是图2c中的214。这些参考块的适合性取决于选择标准。该选择标准的目的一般是寻找一个块,借助该块有可能以这样一种方式将要求传送该被编码块的位数减到最小,即图像质量将保持十分良好。这样该选择标准将取决于应用目标而可以变化。
搜索通常在一个区域中的参考帧206中和由图2b和2c中搜索区域210描绘的极近距离的某个区域中进行,该一个区域是对应目前帧204中被编码的块200的一个帧位置中。通过限制该搜索区域小于整个参考帧,将减少搜索使用的时间和所要求的计算。确定该搜索区域的尺寸以适用于应用目标,例如通过基于较早编码的帧串的帧确定移动是慢或快;如果移动慢,则搜索区域可限制得小于移动快的情况。在预测移动矢量的周围一般进行这种搜索。
在图2a-2c的例子中帧块的位置是用该块左上角中的座标(x,y)表示的。座标x表示在水平方向的像素或块的位置,而座标y表示在垂直方向的像素或块的位置。该被编码的块的座标标记为202。在图2c中,在搜索区域210中已找可能最好的参考帧块214。座标(x,y)208是这些位置,在那里可能是被编码的块200,如果它没有移动并且由此和坐标202相同。它们被这样表示其目的用于说明。块212描绘块200,如果它没有移动并且它们被这样表示目的是为了说明。现在被编码的帧块的移动能表示成从座标(x+u,y+v)216到座标(x,y)208的改变。通常,座标(x,y)如上定义,所以被编码的块的移动矢量218可表示成坐标(u,v)·移动矢量也可使用移动矢量系数和移动模的定义来表示。
图3以一个简单方式表示现有技术移动编码方法,该编码方法基于使用被编码帧的较早编码的邻接块预测一个被编码帧块的移动矢量系数。已经较早地被编码并用来预测该被编码帧块的移动矢量系数的该被编码的帧块304的邻接块在此被称预测候选。在图3中,该预测候选是邻接块300,302,306。预测候选300,302,306在图3例中用某些像素位置308,310,312标记用于识别。预测候选306是在该编码块的左边并用像素位置308标记,预测候选300高于被编码块并用像素位置310标记,而预测候选302是在该编码块的右上角用像素位置312标记。如由图3看出,像素位置308,310,312是以很贴近编码块304地驻留在它们的块中。应当指出邻接块的数量和位置相对被编码块可以与图3中所表示的不相同。
在图3所示的情况中,三个预测候选全部用来预测该被编码块304的移动矢量系数。所要求的移动矢量系数例如可以预测为从这些预测候选得到的移动矢量系数的一个中值。也有可能只使用一个预测候选以预测该块304的移动矢量系数,在此情况下,该系数从该预测块306的移动矢量系数,该预测块300的移动矢量系数或该预测块302的移动矢量系数得到。
还可以使用比贴近距离更远的较早编码的邻接块,但在此情况下应考虑在块移动方面的差异通常随距离增长而增加。
帧间的和帧内的编码典型地是编码视频帧中的一块接一块所组合以得到最可能好的结果。一个内部编码帧能在适当的间隔上传送以防止从一帧到另一个帧由该传输频道引起的可能的误差的积累,从而最后导致帧解码的失败。
能使用图2a-2c和3中所示的方法于编码和解码。按编码器使用的方法,必要的帧数据被传输到解码器作为一个位流。
应指出,如在图3中所示的那样,块也可以分段。最好在这样一些情况中分段,即在那里帧的不同部分以不同的方式移动,例如背景保持相同,而一个单独目标例如一个人,一辆车或类似物在移动。一个帧块可以通过按段垂直地分割它进行分段,如在块300中那样,这里没有水平地分块的例子,或如在块306那样在两个方向进行分块。依靠分段通过使用另一个已编码帧的一适当部分还可能减少传输的位数。
当确定被编码的帧块的移动矢量系数时,使用各种已知的移动估算模式。不同的模式适于确定例如表示垂直的和水平的移动或表示转动不同的移动。这样的模式包括拟似的移动模式,其中一个像素,帧段或块的移动由一个公式表示,其中ΔX和Δy形成移动矢量ΔX(x,y)=a0+a1x+a2yΔy(x,y)=b0+b1x+b2y (1)其中a0,a1,a2,b0,b1和b2是移动矢量系数以及x和y是矢量分量,其中x表示在水平方向一个像素或一个块的位置,而y表示在垂直方向一个像素或一个块的位置,或转换模式,其中一个像素,帧段或块的移动由一个公式表示,其中ΔX和Δy形成移动矢量ΔX(x,y)=a0Δy(x,y)=b0(2)其中a0和b0是移动矢量系数,x和y是矢量分量。所使用的移动模式存储在编码器和解码器的存储器中。如果某些移动模式用于编码中,则该编码器按移动(例如向上移动,指示在编码中使用的向上移动的一个模式)选择模式,而按该使用的模式的信息与该移动矢量系数一起传输到该解码器。
图4是表示视频帧编码方法步骤的流程图。在下列说明书中,例如,一个帧块系指按由像素形成的YUV模式的一个块,段或宏块。在方块400开始执行该方法。
在方块402中,一个视频帧由连续的静态帧形成。为形成该视频帧,静态帧最好在这样一个速度上传送,在该速度上,似人可视系统不再区分彼此分开的帧。
在方块404中,帧块的编码再生数据(例如像素的颜色和亮度以及从计算移动矢量系数得到的预测误差帧)存储在存储器中。帧再生数据例如按应用标准H.263或MPEG编码。如上描述移动矢量系数和预测误差帧的定义。一个或多个参考帧由存储在存储器中的帧再生数据形成。此外,较早编码的邻接块的移动数据,即移动矢量系数和一个可能使用的移动模式存储在存储器中。最优选使用紧靠该被编码的块的邻接块,但有时也可能使用在该帧中远离的较早编码的块。
在方块406中,被编码块的移动数据借助较早编码的邻接块确定,最好使用一个或多个邻接块的移动矢量系数。
在方块408中,使用例如一个参考帧确定被编码块的再生数据。
该方法能通过仅使用该邻接块计算被编码帧块的移动数据来加强,该邻接块具有被用来编码该被编码块的帧再生数据的相同参考帧。通常在该相同帧串中的帧之间存在着类似性,所以很可能的是在一个较早编码的帧中找到相应于该被编码块的块或十分类似的块,由此已找到一个合适的参考块用于一个较早编码的邻接块。例如,在该参考帧中将使用一个或多个邻接块的移动矢量系数和将限制该被编码块的参考块的搜索区域到由该邻接块的移动矢量系数确定的环境。
对于其中只有一个帧间编码的邻接块具有与被编码的块相同的参考帧的情况,该邻接块的移动矢量被选择为一个移动矢量候选,另外的候选例如可以是由某些邻接块移动矢量计算的一个中值。
应指出,用来编码该块的块以相同方式(帧间)编码,该被编码的块将用此方式编码,即,如果邻接块是内部编码的,则它不具有参考帧。如果不存在具有参考帧的预测候选,则可使用现有技术的内部编码或可检测存储在存储器中的所有参考帧。
一个参考块是帧块,那样即用其编码帧块的帧再生数据的视频编码器按压缩编码方式使用。选择尽可能与被编码块配对的和由较早编码并存储在存储器中的一个或多个参考帧搜索的一个帧块作为该参考块,由此预测误差帧保持尽可能小。
在方块410中,选择该编码方法,用该方法,该被编码的帧块的帧再生数据和移动数据能被最有利地编码,即,一个预定的编码效率随一个预定的图像质量实现。应指出,尽管选择该被编码块的编码方法或者是借助邻接块的移动数据的上述编码方法,或者任何现有技术方法,例如帧间编码(inter-coding)方法,其中被编码块直接借助从参考帧获得的参考块编码的。在选择编码方法时,其目的可以例如是使位数尽可能少同时图像质量对应正常视频图像,或者使位数配对使用的标准,即使更少的位数将足以获得按应用目标的图像质量。
例如可以借助拉格朗日(Lagrangian)函数估算编码效率,其确定最有效的段和编码并且它是L(SK)=D(SK)+λR(SK) (3)其中D(SK)是去扩展(despread)帧中产生的误差。
R(SK)是要求传送该帧的位数,和λ是拉格朗日常数。
拉格朗日函数描绘了在被传送帧的质量和传输路径上要求的带宽之间的连接;通常,图像质量越高,带宽越大。选择最有利的压缩编码经常是在要求的位数和图像质量之间的折衷。
箭头412描绘该方法的一块接一块的重复性直到该帧被编码为止。应指出该方法最好重复直到帧串中的所有帧被编码为止。
在方块414中执行方法结束。
图5说明当仅使用具有用于编码被编码块的帧再生数据的相同参考帧的邻接块时,预测移动矢量和获得一个参考块的例子。应指出,在编码块时通常也使用现有技术方法。最后,该编码方法被选择用于提供具有满意图像质量的编码效率达到要求的使用场合。
被编码的帧页500分为多个块,其中只表示几个块乃是为清楚起见。块506是被编码的一个。帧502,504,532和508是存储在存储器中的参考帧。标记号码1的较早编码的邻接块的块510和514的参考帧是帧502。与帧502相比较,被编码的块506和参考块510和514在帧500中不移动。在图中标记号码2的邻接块512的参考帧是帧504,以及在图中标记号码4的邻接块516的参考帧是帧508。将帧504和508相比较,在帧500中的块已移动。帧532在编码被编码块506的邻接块的任一块时并未加以使用,即它不是任一邻接块的一个参考帧,所以在该例中未使用该帧532去获得用于被编码的块506的一个参考帧。
接着,邻接块510和514用作被编码块506的移动矢量的预测候选。进行检测为的是观察预测候选的编码类型(帧间)是否与在编码目前块中使用的一个相同。如果相同,则块526被用作一个参考块而移动矢量系数通过计算已由比较块510和518的位置得到的移动矢量系数的一个平均值或中值而得到,据此得到移动矢量系数用于邻接块510,和块514和520的位置,据此得到移动矢量系数用于邻接块514。此外,通过将被编码的块506与参考块526相比较确定一个预测误差帧。在图5的例子中,在帧500和502中的块位置未改变,所以移动矢量系数未被确定。
接着,检测邻接块512的编码类型,如果它与在目前块506中使用的一个相同,则在帧504中寻找一个参考块,而由比较块512和522得到的移动矢量系数用作块506的移动矢量系数。然后借助该参考块528确定该预测误差帧。
接着,检测邻接块516的编码类型。如果它与在目前块506中使用的一个相同,则在帧508中寻找一个参考块,而由比较块516和524得到的移动矢量系数用作块516的移动矢量系数。然后借助该参考块530确定该预测误差帧。
块506的移动矢量系数也可以由计算块510,512和514的移动矢量系数的一个中值或平均值来得到。
同样,如果使用某些移动模式,则指示所使用的移动模式。
块534是内部编码的,所以它不具有参考帧,所以在编码块506时不使用,除非如果找到一个优选的编码方法。
邻接块的数量和位置以及存储的参考帧的数量可以不同于在图5中所示的情况。
图9说明预测移动矢量和获得一个参考块的第二个例子。在该例中,被编码的块仅借助一个邻接块进行编码,只要只有一个邻接块已被帧间编码,和该邻接块具有与被编码的块相同的参考帧。
被编码的帧900被分成多个块,其中为清楚起见只表示几个块。块912是被编码的一个块。帧902,904和906是存储在存储器中的参考帧。较早编码的邻接块914的参考帧(标记为1)是帧902,而块910的参考帧(标记为2)是帧904。块908是内部编码的,所以它不具有参考帧。
在图9中的例子将测试对于被编码的块912能否获得存储在存储器中的所有参考帧的适合的参考块,在本例中为帧902,904,906。当测试帧902是否具有一个合适的参考块时,块914的移动矢量被用作该移动矢量预测候选,因为块914仅是三个邻接块的一个块,其参考帧是帧902。当测试帧904是否具有一个合适的参考块时,块910的移动矢量用作移动矢量预测候选,因为块910仅是三个邻接块的一个块,其参考帧是帧904。帧906对任一邻接块不是一个参考帧,所以在本例中所描述的情况中,移动矢量是使用块910,914和908的一个中值预测的,例如,在该情况中,内部编码的块908的移动矢量被设置到零。
应指出,在预测被编码块的移动矢量时,有可能不仅使用邻接块的移动数据和参考帧数据,而且还使用宏块的段信息,例如该被编码块属于的段信息。邻接块的数量和位置以及存储的参考块的数量可以与图9中所示的不相同。
图6表示可实施编码视频帧的上述方法所用的一个编码器例子。视频编码器的一个设计原则在于使在被编码块In(x,y)620和预测候选(所选择的参考块)Pn(x,y)之间的预测误差帧En(x,y)600最小。该预测误差帧定义为被编码块620和该预测候选612之间的差,其在加法器632中获得,这样En(x,y)=In(x,y)-Pn(x,y) (4)预测块612是通过按本发明的优选实施例的使用一个所选参考帧和移动矢量的方法得到的。移动矢量Δx(x,y),Δy(x,y)的系数在移动矢量计算块630中形成作为预测的移动矢量和获得的差系数的和。按本发明的优选实施例,预测的移动矢量系数是使用具有与被编码块相同参考帧的邻接块的移动矢量得到的。另外的方法也用于预测移动矢量,它们中之一个是一种现有技术方法,其中被编码块是直接借助一个参考帧进行编码的。在一个帧中的所有像素的移动矢量的组称为一个移动矢量场,由于在一个帧中存在大量的像素,实际上一个帧被分成视频编码的多个块,和该移动信息被一块接一块地传送到图7中表示的接收机解码器。
从预测的移动矢量选择至少一个移动矢量或由其形成的移动矢量场在移动矢量编码块628中编码。例如其中在上面表示例子的现有技术中已知的移动模式被用于编码。编码的移动矢量或由其形成的移动矢量场被传送到多路复用器624。
在块618中,一个帧被一段接一段地或一块接一块地多个帧块形成。该参考块或预测候选具有格式Pn(x,y)=Rnk[x+Δ~x(x,y),y+Δ~y(x,y)]---(5)]]>其中一个或多个参考帧Rnk(x,y)622存储在存储器610中和其中x和y是矢量分量,x表示水平方向上一个像素,帧段或块的位置,而y表示它们在垂直方向上的位置,而 和 形成一个像素,帧段或块的移动矢量。
在块602中,预测误差帧En(x,y)600被编码,例如借助离散余弦变换(DCT),其一般表示成最终的2维序列变换。在将它们传送到多路复用器624和图7中所示的接收机解码器之前,由该DCT转换得到的系数被量化和编码。
编码器还包括其中解码预测误差帧En(x,y)的解码器块606。预测误差帧 608在加法器634中加到预测块Pn(x,y)612和得到一个解码的块 作为一个结果,从结果得到一个新的参考块,或通过组合属于相同页的块得到该参考帧614并将其存储在存储器610中。这样发射机视频编码器和接收机视频编码器都具有相同参考帧或块以便使用。
在多路复用器624中,包含移动矢量信息的信息与预测误差帧组合,和该帧信息616被传送到解码器(图7)。
可以用许多方法实施上述视频编码器功能,例如通过在一个处理器上执行的软件或通过硬件,即独立分量的逻辑设置或ASIC(应用特定的集成电路)。
图7表示解码器的一个例子,借助它可实施在视频帧传送装置中用于减小暂时冗余的上述方法。在多路分用器710中可以彼此分离接收视频信号700的编码的预测误差帧702和编码的移动矢量系数或移动矢量场系数712。
在解码器的存储器716中,存在至少一个较早编码的邻接块和/或分成多块的一个参考帧Rnk(x,y)。相同帧块和/或参考帧存储在编码器和解码器存储器中。
在块714中,以在编码块618(图6)中相同方式形成一个预测候选Pn(x,y)718。在块704中形成一个解码的预测误差帧 在加法器720中,解码的预测误差帧 和预测候选Pn(x,y)718相加在一起。由此产生该格式的一个解码的块 I~n(x,y)=Pn(x,y)+E~n(x,y)]]>=Rnk[x+Δ~x(x,y),y+Δ~y(x,y)]+E~n(x,y)---(6)]]>其中一个或多个较早编码的邻接块和/或分成多个块的参考帧Rnk(x,y)722存储在存储器716中,其中x和y是矢量分量,其中x表示在水平方向一个像素或块的位置,而y表示在垂直方向一个像素或块的位置,而 和 形成一个像素,帧段或块的移动矢量。
可以用许多方法实施上述视频编码器功能,例如通过在一个处理器上执行的软件或通过硬件,即独立元件的逻辑设置或ASIC(应用特定的集成电路)。
图8说明一个无线电系统的一个终端,借助它可实施本发明的优选实施例的方法。用户终端824的发射机和无线电系统网络元件的发射机部分地执行相同任务。终端824例如可以是一个移动电话或包括但不限制本发明的无线电部分的微计算机。所述终端包括一个天线800,其用于通过一个双工滤波器发射和接收信号。该终端还包括若干天线或一个多天线系统。该终端还包括一个发射机802,它放大一个被调信号并将其传送到该天线,一个调制器804,它按选定的调制方法用包含所要求的信息的数据信号调制载波,一个接收机806,它放大来自天线的信号,并将其下转换到一个所要求的中频或直接到基带,一个解调器808,解调接收的信号,使该数据信号能与载波分离。
该用户终端还具有一个控制块816控制终端不同部分的工作,例始照相机820和视频编解码器822,和采取必要的行动处理由一个用户产生的用户的谈话或数据,例如数字信号处理(DSP),数字-模拟转换和滤波。此外,在扩展频谱系统中例如在WCDMA中,信号频谱借助在一个发射机中的一个伪随机扩展码扩展到宽带并在接收机中去扩展,由此尽力增加信道的容量。控制块还执行编码和解码,例如信道和谈话编码。此外,该控制块采用发送的信号和信令信息匹配所使用的无线电系统的空中接口标准。用户终端包括一个或多个可以是其他多块或单独块的不同类型的存储器(未示)。在图8例中,控制块还包括控制终端工作的一个程序。在该图例子中,对一个帧的再生数据进行编码和解码的视频编码解码器822是单独的,但它也可以是该控制块816的一部分。
发送帧时,照相机820将一幅数字图像记录进存储器块818。该相机820还能直接将该图像记录到编码解码器822中。编码解码器借助上述方法之一或若干方法的组合对选择的帧进行编码。照相机820、编码解码器822和存储器818可以驻留在用户终端824中或属于单独的照相机单元826,在此情况下,照相机单元826用接口828连接到用户终端824。
用户终端的用户必要时可在显示器814上观察帧。例如编码的帧再生数据按照与谈话或文本数据相同的方式被发送到电信通信系统和另外的电话。
上述终端的工作块,例如帧编码和解码要求的控制块和编码解码块822可按多种方式实施,例如通过在一个处理器上执行的软件或通过硬件,例如独立元件的逻辑设置或ASIC(应用特定的集成电路)。图中所示的终端功能也可以不同于该图的多种方式被组合到多个工作块中,例如,该编码解码块822可以分成一个编码器和解码器。
终端的用户接口包括一个扬声器或耳机810、一个麦克风812、一个显示器814、和可能还有一个键盘,它们都连接到控制块816。
虽然以上已按附图参照例子说明了本发明,但显见的是本发明不受其限制而是在所附权利要求中公开的发明构思的范围内能以各种方式加以修改。本发明能同若干视频编码标准,例如H.263或MPEG一起应用。
权利要求
1.一种用于在包括连续静态视频帧的视频系列的视频帧中编码图像块的方法,该方法包括存储至少一个视频帧作为参考帧;存储要编码的图像块的一个或者多个先前已编码的邻接块的运动数据;为要使用相对于所存储的参考帧而经运动补偿的补偿而编码的图像帧获得第一运动数据;和为要使用所存储的、一个或者多个先前已编码的邻接块的运动数据而编码的图像块获得第二运动数据;其特征在于用于该要编码的图像块的第二运动数据从具有与用于获得第一运动数据所使用的参考帧相同的参考帧的一个或者多个先前已编码的邻接块的所存储的运动数据中获得。
2.如权利要求1所述的方法,还包括为该要编码的图像块选择运动数据以供使用,这提供具有预定的画面质量的预定的编码效率。
3.如权利要求1或者2所述的方法,其中所述参考帧被存储为块。
4.如权利要求1或者2所述的方法,其中所述参考帧被存储为帧。
5.如权利要求1或2所述的方法,其中如果仅有一个邻接块被中间编码了并且此邻接块具有与为要编码的图像块获得第一运动数据所使用的参考帧相同的参考帧,那么就仅仅使用一个先前已编码的邻接块的所存储的运动数据来编码该要编码的图像块。
6.如权利要求1或2所述的方法,其中该图像块的运动借助于运动矢量来表示。
7.如权利要求1或2所述的方法,其中该先前已编码的邻接块是该要编码的块的最接近的邻接块。
8.如权利要求1或2所述的方法,其中该先前已编码的邻接块并不在该要编码的帧块的最接近的距离处,而是远离该要编码的块。
9.如权利要求2所述的方法,还包括通过比较要编码的图像块和使用选定的运动数据而得到的预测块来获得预测误差。
10.如权利要求所述的方法2,还包括使用拉格朗日函数来估算编码效率。
11.一种用户终端,包括用于从连续的静态视频帧形成视频序列的装置;用于把至少一个视频帧存储为参考帧的装置;用于存储要编码的图像块的一个或者多个先前已编码的邻接块的运动数据的装置;用于为要使用相对于所存储的参考帧而经运动补偿的补偿而编码的图像块获得第一运动数据的装置;和用于为要使用所存储的、一个或者多个先前已编码的邻接块的运动数据而编码的图像块获得第二运动数据的装置,其特征在于所述用于获得第二运动数据的装置被安排成从具有与用于获得第一运动数据所使用的参考帧相同的参考帧的一个或者多个先前已编码的邻接块的所存储的运动数据获得所述第二运动数据。
12.如权利要求11所述的用户终端,还包括为要编码的图像块选择运动数据以供使用的装置,这提供了具有预定的画面质量的预定的编码效率。
13.如权利要求11或者12所述的用户终端,其中所述参考帧被存储为块。
14.如权利要求11或者12所述的用户终端,其中所述参考帧被存储为帧。
15.如权利要求11或者12所述的用户终端,其中如果仅有一个邻接块被中间编码了并且此邻接块具有与用于为要编码的图像块获得第一运动数据所使用的参考帧相同的参考帧,那么就仅仅使用一个先前已编码的邻接块的所存储的运动数据来编码该要编码的图像块。
16.如权利要求11或者12所述的用户终端,其中该图像块的运动借助于运动矢量来表示。
17.如权利要求11或者12所述的用户终端,其中该先前已编码的邻接块是该要编码的块的最接近的邻接块。
18.如权利要求11或者12所述的用户终端,其中该先前已编码的邻接块并不在该要编码的帧块的最接近的距离处,而是远离该要编码的块。
19.如权利要求12所述的用户终端,还包括通过比较要编码的图像块和使用选定的运动数据而得到的预测块来获得预测误差的装置。
20.如权利要求12所述的用户终端,还包括使用拉格朗日函数来估算编码效率的装置。
21.一种视频编码器,包括用于从连续静态视频帧形成视频序列的装置;用于把至少一个视频帧存储为参考帧的装置;用于存储要编码的图像块的一个或者多个先前已编码的邻接块的运动数据的装置;用于为要使用相对于所存储的参考帧而经运动补偿的补偿编码的图像块获得第一运动数据的装置;和用于为要使用所存储的、一个或者多个先前已编码的邻接块的运动数据编码的图像块获得第二运动数据的装置,其特征在于所述用于获得第二运动数据的装置被安排成从具有与用于获得第一运动数据所使用的参考帧相同的参考帧的一个或者多个先前已编码的邻接块的所存储的运动数据获得所述第二运动数据。
22.如权利要求21所述的视频编码器,包括为要编码的图像块选择运动数据以供使用的装置,这提供了具有预定的画面质量的预定的编码效率。
23.如权利要求21或者22所述的视频编码器,其中所述参考帧被存储为帧。
24.如权利要求21或者22所述的视频编码器,其中所述参考帧被存储为块。
25.如权利要求21或者22所述的视频编码器,其中如果仅有一个邻接块被中间编码了并且此邻接块具有与为要编码的图像块获得第一运动数据所使用的参考帧相同的参考帧,那么就仅仅使用一个先前已编码的邻接块的所存储的运动数据来编码该要编码的图像块。
26.如权利要求21或者22所述的视频编码器,该图像块的运动借助于运动矢量来表示。
27.如权利要求21或者22所述的视频编码器,其中该先前已编码的邻接块是该要编码的块的最接近的邻接块。
28.如权利要求21或者22所述的视频编码器,其中该先前已编码的邻接块并不在该要编码的帧块的最接近的距离处,而是远离该要编码的块。
29.如权利要求22所述的视频编码器,还包括通过比较要编码的图像块和使用选定的运动数据而得到的预测块来获得预测误差的装置。
30.如权利要求22所述的视频编码器,还包括使用拉格朗日函数来估算编码效率的装置。
全文摘要
一种在一个电信通信系统中编码视频帧的方法包括形成连续静态帧的一个视频帧,储存至少一帧的帧重现数据作为一个参考帧和较早编码的邻接块的移动数据,借助一个或多个较早编码的邻接块的移动数据确定该被编码的块的移动数据,该邻接块是借助储存的参考帧形成的,确定表示被编码块的帧重现数据和移动数据,由此提供一个预定的编码效率和图像质量。
文档编号H04N5/14GK1933603SQ20061015349
公开日2007年3月21日 申请日期2000年8月11日 优先权日2000年8月11日
发明者J·莱尼马 申请人:诺基亚有限公司