专利名称：数字化图像的图像编码的方法
背景技术：
新型的运动图像压缩方法的基础是把图像内容分解成任意边缘的图像对象。对各个图像对象分别以不同的称为视频对象平铺(VOPS)的方式编码、传输，然后在接收机中解码，重新“组合”。传统的图像压缩方法将全部图像分解为正方形的图像块。在基于对象的方法中也可以采用这种原理。在对位于各个图像块边缘的图像块编码时一般会出现问题，因为对象边缘大部分与块边缘不一致。在这种关系中，关键是对这个边缘块的所谓的运动补偿预测。
为了移动估算和移动补偿，给出了大量不同的搜索方法。对于基于块的图像压缩方法，大部分使用了所谓的“块匹配方法”。这种方法的根据是将被编码的图像块和参考图像的一个同样大小的块比较。参考图像块中的一个位于将被编码的图像块相同的位置上，另一个参考图像块相对于这个图像块局部移动。因此在水平和垂直方向上大的搜索范围中，得到很多搜索位置，所以在所谓的完全搜索(“Full-Search”)中，还必须相应执行多个块比较(“匹配”)。一般使用编码信息的绝对差的和作为各个将被编码块和参考块之间一致性的等级，上述编码信息被分别分配给每一个像素。
在本文件范围内，可以将编码信息理解为亮度信息，总使用亮度信息表示一个亮度值，每个像素总有一个亮度值，或者将编码信息理解为一个色度信息，也就是说属于各个像素的色度值。
在文件[1]中的移动补偿中公开了在移动补偿的框架下执行一次所谓的填充，其中在出自文件[1]的方法中，在参考图像RB的全部区域上进行填充，这个参考图像不属于图像对象BO。
在[2]中公开了基于信息块的图像编码方法MPEG 2。
在[3]中公开了对来自一个图像的图像对象分段的方法。
发明简述本发明的目的在于给出图像编码万法、图像解码方法以及执行该方法的一个装置，使用该装置，能够使用比已经公开的方法低的计算费用实现图像编码或者图像解码。
通过根据权利要求1的图像编码方法，根据权利要求4的图像解码方法以及根据权利要求6的装置解决这个问题。
在图像编码方法中，在图像中至少确定一个图像对象。此外，将图像分为图像块，对图像块进行移动估算。在对图形块移动估算时，进行填充，上述图像块至少具有一个图像对象的对象边缘，其中仅关于像素进行填充，这些像素位于图像对象内部。
在图像解码方法中，为了对一个至少具有一个图像对象的对象边缘的图像块进行移动补偿，同样关于图像点进行填充，这些像素位于图像对象内部。
在执行这些方法中的任一个方法的装置中，预先提供一个存储数字化图像数据的图像存储器，还提供一个或者执行图像编码方法或者执行图像解码方法的各个处理步骤的处理单元。
这两个方法以及这个装置具有显著的优点在进行图像编码或者图像解码时，显著节省了计算时间。这归因于以下内容不再依赖于在一个固定的块光栅上的轮廓信息填充对移动估算或者移动补偿必需的像素补充，而是分别补充大量图像信息，这些图像信息在考虑瞬间移动向量和已知对象轮廓的情况下是必需的。
在从属权利要求中给出本发明优选的另外设计。
在图像编码方法中，下面操作是优选的为了图像内部重建，在移动补偿的框架下使用相同的、上面已说明的方法进行填充。
使用这个优选方式，在图像编码时进一步节省了计算时间，因为在内部重建时，执行这个优选的优选方式。
此外，在图像编码的方法中，以下操作是优选的使用事先已填充的像素的编码信息值，并且在对另外的图像块的移动估算时再次使用该值。使用这个方法进一步节省计算时间，因为避免了填充在以上说明的移动估算中已经被填充的像素，并且因此避免了重复进行填充。
附图简述图中说明了本发明的实施例，此外详细说明本发明。
图示
图1具有两个计算机和一个摄像机的计算机设备；图2a和2b一个将被编码的图像(图2b)和一个参考图像(图2a)，根据该图说明图像编码方法的原理；
图3一个将被解码的图像中的一个对象边缘图像块以及一个参考图像中参考图像块；图4用于说明图像编码方法的两个将被编码的图像以及一个参考图像；图5a和5b各具有一个出自一个参考图像的参考图像块的两个将被编码的图像块；附图描述图1示出了一个拍摄图像的摄像机K。例如摄像机K可以是任意一种模拟摄像机K。它拍摄一个情景图像。这个图像或者在摄像机K中被数字化，或者被模拟传输到一个计算机R1。在这个计算机中或者处理数字化图像，或者把模拟图像转换成数字化图像，并且处理这个数字化图像。
然而摄像机K也可以是一个数字摄像机K，直接使用这种摄像机拍摄数字化图像B，为了进一步处理，将该图像输出到计算机R1。
例如可以作为一个独立的装置设计计算机R，该装置执行另外说明的处理步骤，例如可以作为一种安装在一个计算机内部的独立计算机卡。
计算机R1具有一个处理单元P，该处理单元执行移动估算或者移动补偿的附加说明的处理步骤，以及执行可能的例如图像编码的另外处理步骤。例如通过总线BU，处理单元P与一个存储器SP连接，在这个存储器SP中存储图像数据。
移动估算或者移动补偿的方法不仅可以优选的用于图像编码而且可以优选的用于图像解码。
在计算机R1中预先进行图像编码，压缩了的图像数据通过一个传输媒体M传输到另一个计算机R2，然后在这个计算机R2中进行图像解码。例如另一个计算机R2具有和第一个计算机相同的结构，也具有存储器SP，这个存储器通过总线BU与处理单元P连接。
新型的移动图像压缩方法，例如根据以后的MEPG4标准的方法，的根据是将数字化图像的图像内容分解成任意数目的图像对象BO，上述数字化图像具有任意数目的像素BP。
图2a说明一个参考图像RB，这个参考图像说明了一个具有一个对象边缘OK和图像块BB的图像对象BO。在图像解码中，参考图像已经被解码，并且以解码状态存储在计算机R1、R2的图像存储器中。
在图像解码的范围内重建现在将被预测的图像PB。
为了图像解码执行一个移动补偿，在从传输的、表示图像范围的关于在图像或者图像块中包括的图像对象BO的轮廓信息出发和从分配给将被预测的图像块PBB的移动矢量出发，重建将被预测图像PB，特别是重建将被预测的图像块PBB。
在本文件范围内，可以将填充理解为补充编码信息的最不同的方法，该编码信息被分配给图像B各个像素BP。
在这种关系中，例如可以将亮度信息(亮度信息)或者色度信息(色度信息)理解为编码信息，该信息总属于一个像素BP。
为了简单说明，根据一个例如8×8的图像块BB，说明了另外说明的方法。然而在不限制一般有效性的条件下，这种方法可以轻易用于对于宏块，这种宏块一般包括4或者16个图像块。在这种方法的框架下，可以考虑基于编码方法的其他任意的基本单位，例如矩形或者三角形等任意形状和大小的基本范围。因此可以将图形块理解成任意形状和大小的基本单位，图像块B被分成基本单位，并且对于基本单位实现各个编码方法。
可以使用不同的方式实现填充(Padding)，例如根据任一个下面优选方法a)为将被填充的像素分配编码信息的一个预定的值，b)为将被填充的像素分配编码信息的一个值，从图像块像素的编码信息中得出这个值，对于这个像素不进行填充，c)为将被填充的像素分配一个编码信息的一个值，从图像块像素的编码信息的一个平均值中得出这个值，对于这个像素不进行填充，d)为将被填充的像素分配一个编码信息的一个值，从图像块像素的编码信息的一个低通滤波器中得出这个值，对于这个像素不进行填充，e)为将被填充的像素分配一个编码信息的一个值，从图像块像素的编码信息一个预先给定的一致的投影中得出这个值，对于这个像素不进行填充，f)为将被填充的像素分配编码信息的一个值，根据一个在文件[1]
中说明的所谓重复填充得出这个值。
在对将被预测的图像PBB移动补偿时，对于分别将被预测的图像块PBB，包括图像对象BO的轮廓信息。因此对于将被预测的图像块PBB已知通过那些像素构成对象边缘OK，那些像素位于图像对象BO的范围内，那些像素BP位于图像对象BO的外部。
另外从一个参考图像块RBB出发，已知图像信息，在对参考图像RB解码时，已经使用上述参考图像块RBB的编码信息。另外为各个参考图像块分配一个移动向量BV，使用该向量，说明参考图形块RBB的局部位移，以便于局部位移参考图像块RBB，从而得出将被预测的图像块PBB。
在移动补偿时，在这个方法中，对于将被预测的图像块PBB，分别进行填充，其中仅在将被预测的图像块PBB的那些像素BP上应用填充，这些像素BP包括一个对象边缘OK，这些像素位于将被预测的图像块PBB的图像对象BO范围内。对于没有位于将被预测的图像块PBB中的图像对象BO的范围内的像素BP，不进行填充。
在图3中说明这个优选的方法，这里说明参考图像块RBB、将被预测的图像块PBB以及移动向量BV，将这个移动向量分配给参考图像块RBB。
使用字符R表示那些像素BP，对于这些像素进行填充。例如通过下面方式得出将被填充的像素将被预测的图像块PBB中的对象边缘OK和附属的参考图像块RBB的对象边缘OK重叠，并且仅对位于参考对象BO外部和位于将被预测的图像对象PBO内部的那些像素进行像素填充即填充。
此后可以通过移动向量BV，对于所有位于图像对象BO范围内的像素，通过沿着例如移动轨道移动像素，确定对移动补偿的预测。对于位于图像对象BO外部的像素BP，不确定预测。
同样在方法的一个变型中，建议首先位移在参考图像RBB的对象边缘OK范围内的像素BP，并且接着进行像素填充，直到将被预测的图像块RBB的对象边缘OK。在这种情况下，对于另一个对象边缘图像块的预测，已经填充的像素BP一般不再可用，并且必须重新被确定。
图4说明一个参考图像块RB和两个将被编码的图像CB1、CB2，对于这些图像块分别进行一次移动估算。
这里说明了参考图像块RBO，第一个图像对象BO1和第二个图像对象BO2。
对于第一个图像对象BO1和第二个图像对象BO2的对象边缘图像块，在图像编码的框架下，执行一次移动估算。
这通过下面方法来再次实现在移动估算的框架下，进行填充，并且仅对于在对象边缘图像块OBB的范围进行填充，这个范围位于第一个图像对象BO1或者第二个图像对象BO2的范围内。
对于位于各个图像对象BO1、BO2外部的像素BP不进行填充，因此不进行预测。
对于第一个对象边缘图像块OBB1和第二个对象边缘图像块OBB2，分别在图5a或者图5b中说明这个原理。另外在图5a或者图5b中使用分配给参考图像块的移动向量BV分别说明参考图像块RBB。
在参考图像块RBB中，当对于第一个对象边缘图像块OBB1移动估算时，R1表示像素，对于这个像素进行一次填充。在图5b中，对于一个使用R1表示的像素，说明并且使用R2表示一个像素，在第二个对象边缘图像块OBB2的移动估算的框架下，对这个像素进行一次填充。
在本发明的另外设计中另外建议在对对象边缘图像块OBB的移动估算后，在移动估算的框架下，分别存储被填充像素的值，并且在对于另一个对象边缘图像块OBB2的另外的移动估算时，被进一步使用，并且实际仅填充另外必需被填充的像素。
使用这种方法。在移动估算时，显著节约了计算时间。
另外，在另外设计中，当图像编码时，在内部图像重建的框架下，在对此必须的移动补偿时，同样进行上面提到的图像解码即移动补偿的方法。
在这个文件范围内，引用了下面的出版物[1]ISO/IEC JTC1/SC29/WG11，移动图片和相关音频信息的编码，MPEG 96/N1380,MPEG4 Video Verification Model，第四版，31至35页，Chicago,1996年10。Je.De Lameillieure,R.Schaefer，数字电视、电视和电影技术的MPEG-2-图像编码，48.年鉴，Nr.3,99-107页，1994。Xiaolin Wu和Yonggang Fang，基于段的预测的多解析度的图像编码器，IEEE Transactions on Image Processing，第四卷，第一期，34-36页，1995年一月
权利要求
1.对具有任意个像素的数字化图像进行图像编码的方法，-其中，在图像中，至少确定一个图像对象(BO)，该图像对象具有任意个像素，-其中图像被分为图像块，-其中对于图像块进行移动估算，-其中在估算对象边缘图像块时，执行一次填充，上述图像边缘块至少具有一个图像对象(BO)的对象边缘，-其中仅关于像素进行填充，该像素位于图像对象(BO)的范围内。
2.根据权利要求1的方法，-其中为了图像的内部重建，对进行移动估算的图像块移动补偿，-其中在对图像边缘图像块移动补偿时，执行一次填充，上述图像边缘块至少具有一个图像对象的对象边缘，和-其中仅关于像素进行填充，该像素位于图像对象(BO)的范围内。
3.根据权利要求1或者2的方法，-其中存储被填充像素的编码信息，和-在另外的图像块的移动估算时进一步使用编码信息。
4.对具有任意个像素的数字化图像进行图像解码的方法，-其中，至少含有一个图像对象(BO)，该图像对象具有任意个像素，-其中该图像具有图像块，-其中对于图像块进行移动估算，-其中在估算对象边缘图像块时，执行一次填充，上述图像边缘块至少具有一个图像对象(BO)的对象边缘，-其中仅关于像素进行填充，该像素位于图像对象(BO)的范围内。
5.根据权利要求1至4之一的方法，其中根据下面的方法实现填充-为将被填充的像素分配一个编码信息的一个预定的值，-为将被填充的像素分配一个编码信息的一个值，从图像块的像素的编码信息中得出这个值，对于这个像素不进行填充，-为将被填充的像素分配一个编码信息的一个值，从图像块的像素的编码信息的一个平均值中得出这个值，对于这个像素不进行填充，-为将被填充的像素分配一个编码信息的一个值，从图像块的像素的编码信息的一个低通滤波器中得出这个值，对于这个像素不进行填充，-为将被填充的像素分配一个编码信息的一个值，在重复填充后得出这个值。
6.对具有任意个像素的数字化图像进行图像编码的设备，具有一个处理装置，它如下设置，-在图像中，至少确定一个图像对象(BO)，该图像对象具有任意个像素，-其中图像被分为图像块，-其中对于图像块进行移动估算，-其中在估算对象边缘图像块的移动时，执行一次填充，上述边缘图像块至少具有一个图像对象(BO)的对象边缘，-其中仅关于像素进行填充，该像素位于图像对象(BO)的范围内。
7.根据权利要求6的设备，-其中为了图像的内部重建，对进行移动估算的图像块进行移动补偿，-其中在对对象边缘图像块移动补偿时，执行一次填充，上述边缘图像块至少具有一个图像对象(BO)的对象边缘，和-其中仅关于像素进行填充，该像素位于图像对象(BO)的范围内。
8.根据权利要求6或者7的设备，其中如下设置处理装置-其中存储被填充像素的编码信息，和-在另外的图像块的移动估算时再一次使用编码信息。
9.对具有任意个像素的数字化图像进行图像解码的设备，该设备具有一个处理装置，如下设置该装置-在图像中，至少含有一个图像对象(BO)，该图像对象具有任意个像素，-其中该图像具有图像块，-其中对于图像块进行移动估算，-其中在估算对象边缘图像块时，执行一次填充，上述边缘图像块至少具有一个图像对象(BO)的对象边缘，-其中仅关于像素进行填充，该像素位于图像对象(BO)的范围内。
10.根据权利要求6至9之一的设备，其中如下设置处理装置根据下面的方法实现填充-为将被填充的像素分配一个编码信息的一个预定的值，-为将被填充的像素分配一个编码信息的一个值，从图像块的像素的编码信息中得出这个值，对于这个像素不进行填充，-为将被填充的像素分配一个编码信息的一个值，从图像块的像素的编码信息的一个平均值中得出这个值，对于这个像素不进行填充，-为将被填充的像素分配一个编码信息的一个值，从图像块的像素的编码信息的一个低通滤波中得出这个值，对于这个像素不进行填充，-为将被填充的像素分配一个编码信息的一个值，在重复填充后得出这个值。
全文摘要
不仅当移动估算时而且在移动补偿时,建议了仅对对象边缘图像块(OBB)的像素进行填充,该像素位于图形块(BO)的范围内。对于位于图像对象(BO)范围外的像素不进行填充。
文档编号H04N7/32GK1231800SQ97198295
公开日1999年10月13日 申请日期1997年10月14日 优先权日1996年11月26日
发明者A·考普 申请人:西门子公司