着重区编码方法和系统的利记博彩app

专利名称：着重区编码方法和系统的利记博彩app
技术领域：
本发明涉及在静态图像编码方案中着重区(ROI)编码的方法和系统。该方法和系统特别适用于JPEG2000标准及其他基于小波的编码器(如在MPEG4中)用以压缩静态图像。
在JPEG2000中，转换的图像被按位面方式编码。这意味着，有关高转换系数的信息将比其余的信息较早地置于比特流中。目前，用于ROI编码的“基于比例缩放的编码方式”就是以此事实为基础的。对应于ROI的系数在算术编码之前被向上移位。这意味着与其不移位的情况相比，关于这些系数的信息将在比特流中更早地发送出去。在传输的早期，ROI将以比背景(BG)更好的质量重构。整个操作在分辨率和质量上都有改进。
而且，E.Atsumi和N.Farvardin发表的“基于在层次树中设立分区的有损/无损着重区编码”，见于1998年10月4日至7日在美国伊利诺伊州芝加哥举办的有关图像处理的IEEE国际会议记录(ICIP-98)，描述了基于比例缩放的编码方法的总体思想。另外，ROI编码是在1996年10月8目美国专利5,563,960中公开的，尽管该文中所述的ROI编码方法仅执行对图像数据的比例缩放而非对其系数的比例缩放。
使用上述方法对图像以不同比特率编码时，编码器需要有关于图象的哪部分应该以何比特率编码的信息。鉴于ROI或许容易在空间域内描述，它在转换域内将更复杂。至此编码器和解码器必须获得有关ROI形状的信息，因此在表示纹理信息的比特之外还需要额外的比特。另外，需要形状编码器(在发射机中)和形状解码器(在接收机中)，令整个系统实现起来更加复杂和昂贵。该解码器还不得不产生ROI掩码，即它不得不定义哪些是重建ROI所需的系数，参阅Charilaos Christopoulos(编者)于1998年10月5日出版的ISO/IECJTC1/SC29/WG1 N988 JPEG2000验证模型2.0/2.1版，并且这增加了接收器的计算复杂性和存储要求，而接收器本应该尽可能地简单。
目前解决这些问题所用的方法是将对ROI的描述包含在比特流的空间域中。于是在编码器和解码器两者中产生转换域必需的ROI系数的掩码(ROI掩码)，参阅例如Charilaos Christopoulos(编者)于1998年10月5日出版的ISO/IEC JTC1/SC29/WG1 N988 JPEG2000验证模型2.0/2.1版。该编码器将形状信息编码并且携带形状信息的编码比特流被加至总比特流中，且被发送到接收机。该接收机从形状信息中解码得到形状，产生ROI掩码然后将图像的纹理信息解码。
在ROI形状简单(如矩形或圆)的情况下，形状信息不需要很多比特。然而，既使在这些简单情况下，接收机也不得不产生ROI掩码，这意味着接收机需要具有与整个图像(仅1比特/象素)一样大的存储空间，并且具有相当的计算复杂性(因为生成掩码类似于作小波变换)。对于复杂的ROI，这意味着在编码器和解码器之间需要传递很多信息，且计算复杂性成为一个问题。关于形状信息的附加的开销是值得注意的，尤其是对于低比特率。
而且，共同未决的瑞典专利申请9703690-9和9800088-8描述了一种方法，其中编码器和解码器两者都需要使用和定义ROI掩码，即，需要找出哪些系数属于该ROI或是该ROI所必需的。概要本发明的一个目的是提供一种方法和系统，从而无须在ROI编码方案中发送形状信息。
通过以下方法和系统来达到所述目的，在所述方法和系统中ROI系数被这样编码使得它们被最先发送出去并且能被接收机解码而无须发送ROI的边界。
在最佳实施例中，属于ROI的系数被移位，使得最小的ROI系数比最大的背景系数还大。接收机则可执行相反程序并由此得到ROI。
通过指定该系数需要被移位多少以避免发送形状信息，可以获得几点好处。由此，就可能避免发送形状信息和避免在编码器侧进行形状编码。而且，在接收机侧不需要形状解码器，也不需要接收机产生ROI掩码。
而且在另一最佳实施例中，还避免了在编码器和解码器端所需的移位(或比例缩放操作)。
图2是说明在依照第二实施例的编码器中执行的步骤的流程图。
图3是说明在依照第三实施例的编码器中执行的步骤的流程图。
图4是说明在依照第一和第二实施例的解码器中执行的步骤的流程图。
图5是说明在依照第三实施例的解码器中执行的步骤的流程图。
图6是说明在依照第四实施例的编码器中执行的步骤的流程图。
图7是说明在依照第四实施例的解码器中执行的步骤的流程图。
图8是所用的比特流语法的图表说明。
图9是另一可选的比特流语法的图表说明。
详细描述

图1中示出说明依照第一实施例的编码器中执行的步骤的流程图。由此，首先在步骤101收到输入图像且指定其着重区(ROI)。接着，在步骤103，接收到ROI和背景(BG)所要求的比特率或质量。因此在步骤105，图像被转换到小波域。接着在步骤107，例如采用在Charilaos Christopoulos(编者)于1998年10月5日出版的ISO/IECJTC1/SC29/WG1 N988 JPEG2000验证模型2.0/2.1版中所描述的方法，计算ROI掩码。
因此在步骤109，得到在BG(背景)或整个图像中最大小波系数(MAX-Coeff)。在步骤111中ROI掩码中所有系数被移位如此之多以致ROI掩码中最小系数大于MAX-Coeff。然后在步骤113，图像被熵编码直到获得在步骤103指定的ROI质量或比特率和BG质量或比特率。
接着，在步骤115，移位值被加进比特流以便解码器能发现并读取它。这对于解码器是需要的，因为解码器需要知道系数应向下移位多少。随后，在步骤117，加上对ROI掩码中的系数编码所需的字节数。在步骤119，步骤117的结果被用作编码器的输出。
如果这样选择移位值，使得ROI掩码中最小系数大于BG中的最大系数，则在编码中仅将ROI系数编码，直到BG系数变得不容忽视。在该阶段，所有ROI系数已被编码并且必须在接收机中向下移位，而剩余的系数对应于BG并且无须向下移位。接收机需要知道对应于ROI系数全编码(即在第一个BG系数开始被编码的时刻)的字节(或比特)数。这个信息被放入比特流信头中并由接收机提取。
作为例子，假设ROI系数被向左移位8次(即每个ROI系数乘上28)，这样所有ROI系数则变得大于最大的BG系数。然后编码开始并且当所有ROI系数都被编码后，ROI系数所需的移位值和字节数(Nbytes-ROI)被放入比特流信头。编码又象平常一样继续。解码器收到比特流并开始解码。当解码器解码到少于Nbytes-ROI的一定字节数时，它把每个系数向下移位。
应该注意的是，有一些重建的BG系数为零，因为他们在此阶段未被编码，并且既然解码器对此一无所知，他们将被向下移位。直到接收的字节数等于Nbytes-ROI时，所有系数在接收机中被向下移位。此阶段之后，没有系数被向下移位。此处应注意，ROI系数从他们为零编码时起不再被更新。
使用这个方法，解码器不需要任何形状信息。解码器不需要知道哪些系数对应于一个ROI，因为它将把所有系数向下移位，即BG系数将为零直至所有ROI系数被编码。解码器无须产生任何ROI掩码，使编码方案更加简单。解码器要做的唯一事情是将接收的ROI系数向下移位。
图2中示出说明编码器的第二实施例中执行的步骤的流程图。图2中流程图与图1中流程图几乎完全一样，除了在步骤109和111中如步骤209和211所示，得到最大量化系数并将其移位。
使用依照第二实施例的方法和编码器，存储移位后的系数所需的存储空间更少，因为量化系数小于初始系数。
图3中示出说明编码器的第三实施例中执行的步骤的流程图。图3中流程图不同于图1和图2的流程图，其中对ROI掩码中系数编码所需的字节数不存储在比特流中。因而，图3中流程图不包括相当于步骤117和217的步骤317。即使该字节数被存储，也不会在解码器中用到。因而，第三实施例与第一和第二实施例类似，但需要存储在比特流中的信息更少。
下面将说明对应于以上结合图1-3所描述的不同编码方案的解码器操作。由此，图4中示出说明依照第一和第二实施例的解码器中执行的步骤。
首先，在步骤401，收到比特流的信头，该信头是按照结合图1和图2在上文描述的算法被编码的。获得了关于所用移位值的信息和对应于ROI系数(即那些被移位的)的字节数(ROI-bytes)。接着，在步骤403，收到比特流中的其余部分。在步骤405，如果收到的字节数小于ROI-bytes，在对系数进行熵解码后，他们被按移位值向下移位。应注意，直到这个阶段BG系数都是被编码至零，所以向下移位不影响他们。通过逆小波变换可获得中间重建的图像。
接着，在步骤407，评估收到的字节数是否小于ROI-bytes，如果是，则返回步骤403；否则继续进行到步骤409。在步骤409，收到比特流的剩余部分。现在这对应于BG数据，因而从该阶段起，不再将系数向下移位。最后，在步骤411，逆小波变换给出重建的图像。
应注意，对于解码器并不真正需要知道字节数。这是因为解码器可以按比例缩小以上所有系数，其中移位值shitf-value是上述所用的移位值。
图5中示出说明被安排来将比特流解码的解码器中执行的步骤的流程图，该比特流是按照结合图3的上述第三实施例编码的。
由此，首先在步骤501，收到该编码的比特流。获得有关所用移位值的信息。接着，在步骤503，评估收到的系数是否大于2(移位值)，如果是，则在步骤504按该移位值向下移位该系数；否则程序继续进行至505。在步骤505，确定不向下移位该系数。最后，在步骤507，对从步骤504和505的输出值作逆小波变换，给出重建的图像。
应注意，在浮点小波中或许会出现一些问题，其中一些系数可能在0和1之间，因而他们在编码器中移位后永远不会变得大于2(移位值)。这意味着它们在解码器从未被向下移位。为避免此类问题，可以采用依照第二实施例的编码器，其中量化系数被移位，因为量化系数都是整数。
上述方法要求编码器将系数向上移位，即把他们乘以一定的系数。尽管该操作的计算复杂性小，但另一种替代方法有时更好，它避免发送形状信息和将解码器的计算复杂性最小化，这也避免了解码器中的向下移位操作。
图6中示出说明在提供编码的比特流而无须向下移位的编码器中执行的步骤的流程图。
由此，首先在步骤601，收到要被编码的输入图像，其ROI已被指定。在步骤603，收到ROI和BG所要求的比特率或质量。接着，在步骤605图像被转换到小波域并且存储到第一存储器(MEM1)。
因此，在步骤607，如上文所述生成ROI掩码。在步骤609，第一存储器(MEM1)的内容被拷贝到第二存储器(MEM2)。步骤609仅在BG信息要用在后来的阶段上时才需要。然后在步骤611所有ROI掩码外的MEM1的系数被置为零。在步骤613，利用 JPEG2000编码方法将MEM1中小波系数编码。
应注意，对于所有系数都作了编码。然而，既然BG系数为零，实际上仅对ROI系数作了编码(相当于零的BG系数也被编码，但他们不占用很多比特率)。
MEM1的编码一直执行，直到所要求的比特率(ROI质量的ROI率)，然后在步骤615，编码器将切换并从MEM2中的系数开始编码。在步骤617，所有ROI掩码中的系数则在MEM2中被设置为零。这意味着BG系数将被编码。
最后，在步骤619，执行MEM2(其中把ROI掩码中的系数设置为零)的编码直至获得为BG指定的比特率或质量。
图7中示出说明被安排来将比特流解码的解码器中执行的步骤的流程图，该比特流被按照以上结合图6所描述的实施例编码。
由此，首先在步骤701，接收按照以上结合图6所描述的算法编码的比特流，直到获得用于MEM1的字节数为止。执行熵解码并且获得MEM1系数。应注意，如果需要的话有可能执行一种逆小波变换以产生中间重建图像。
接着，在步骤703，接收比特流剩余部分直至收到总字节数为止。执行熵解码并且获得MEM2系数。MEM2系数被加至MEM1系数。对于相加后的系数作逆小波变换产生带有ROI和BG的重建图像。
应注意，当收到对应于MEM2系数的比特时，接收机可以作小波变换以重建仅仅对应于MEM2的图像(即仅有BG)。然后它能将MEM1和MEM2的重建图像加在一起，代替上述在步骤403和503中将系数相加。
从编码器发出的比特流必须具有关于在为MEM1图象编码处(该处BG被设置为零)有多少字节(或比特)的信息。这是因为接收机必须知道它何时开始接收MEM2(该处ROI掩码中的系数被设置为零)。在这种情况下，接收机能将重建的MEM2系数加至重建的MEM1系数上。
这种方法避免了在编码器和解码器中完全移位系数，避免了发送形状信息，避免了使用形状编码器和形状解码器，还避免了在解码器中产生ROI掩码。解码器必须知道的仅为何时停止接收MEM1系数并开始接收MEM2系数，所以它能把这些系数加在一起。
对于实时编码和发送(编码与发送同时进行)，接收机可能不知道为ROI编码而发送的总字节数。在这种情况下，发射机不得不在ROI编码已结束的阶段在传输过程中发出一个信号，通知接收机ROI系数已被编码，并且此阶段后，接收机不应再将任何系数向下移位。这可通过发送一个不能从算术编码器仿真的码流来实现。
应注意，当使用依照第三实施例的编码器时，则在实时应用中不会出现问题。这是因为关于ROI系数的字节数不是真正需要的。需要的是移位值，它总是包含在比特流中。既然解码器将上述所有系数向下移位，它完全不需任何信号。因而，依照第三实施例的编码器与其他方案相比具有优势。
还应当注意，尽管上述的方法都考虑了存在一个ROI，实际上可能有不止一个。这些方法同样适用。在这种情况下，可以考虑对于第一个ROI(ROI1)，所有系数均被按前面部分所描述的方法移位。然后对第二个ROI(ROI2)，所有系数以类似方式移位但是用一种方法使得他们大于移位的ROI的系数。然后以类似方式继续这个程序。解码器借助具有关于每个ROI的移位值的信息而可以发现哪些系数属于ROI1，哪些属于ROI2。
还要注意，对于矩形的形状，如果在每个子带都发送了ROI形状的信息，则可避免在解码器中产生掩码。矩形ROI’S具有在每个子带产生矩形ROI形状的特性，因此对于每个子带(例如左上角和右下角)可以发送ROI形状的信息。这避免了在解码器中产生ROI掩码，然而，这仅适用于矩形的ROI形状。而上面陈述的方法对任何形状都有效。
如果按上述方式进行编码，则无须传送关于ROI的信息，除了系数被按其向上移位的移位值和包含已向上移位的信息的比特流的比特数。
这意味着*无须发送关于ROI形状的信息。这节省了比特流中很多比特，尤其是对于复杂的形状。
*无须在解码器中产生关于ROI系数的掩码。这节省了存储空间和解码器的计算复杂性。
*不需要形状编码。
*不需要形状解码。
*可能从比特流中大致提取ROI形状信息。
*因为ROI掩码在较高子带中扩展了，所以它会开始在较高子带掩盖一部分BG，或者甚至全部BG。这意味着BG信息将会与ROI信息一起被编码。因此，在解码过程中，接收机在传输的早期将再生图像的大部分(尤其是实现了分辨率的提高时)。这避免在早期重建黑色BG的问题。
图8中给出可能的比特流语法。应注意，这可能是整个比特流语法的一部分，其中包含有关图像类型等的信息。如果先编码后发送，比特流语法应包含下列信息ROI编码方式(ROI-CM)，在第一字段801中发送；移位值(SV)，在第二字段803中发送；用于ROI的字节数(Nbytes-ROI)(如需要)，在第三字段805中发送；剩余的信头信息和比特(参阅Charilaos Christopoulos(编者)于1998年10月5日出版的ISO/IEC JTC1/SC29/WG1 N988 JPEG2000验证模型2.0/2.1版)，在第四字段807发送。
其中，ROI-CM指定使用所设定的ROI编码方法；SV指定ROI系数被向上移位的值；Nbytes-ROI指定对于ROI系数编码所用的总字节数(不是对所有上面所指的编码方案都必需的)。
如果考虑到实时的情况(即编码和发送同时进行)，则比特流可能被更改为图9所示的语法。
ROI编码方式(ROI-CM)，在第一字段901发送；移位值(SV)，在第二字段903发送；对应于剩余的信头和系数的比特，在第三字段905发送；信号，在第四字段发送；其中，信号=无法从算术编码器中仿真的码流(不是对所有上面指定的编码方案都必需的)。
权利要求
1．一种对具有至少一个着重区(ROI)的静止图像编码并发送的方法，其中所述图像被转换到频率域，其特征在于对应于所述ROI的系数被这样编码、使得他们能最早发送出去，并且使得为了对所述至少一个ROI进行解码不需要发送关于所述至少一个ROI的形状信息。
2．按照权利要求1的方法，其特征在于所述转换到频率域且属于所述ROI的所述系数被移位，使得所述最小的ROI系数变得大于所述剩余系数中最大系数。
3．按照权利要求2的方法，其特征在于所述系数在被移位之前被量化。
4．按照权利要求1-3中任何一个的方法，其特征在于所述图像利用小波变换转换到频率域。
5．一种用于对静止图像编码的装置，其包括用于定义至少一个着重区(ROI)的装置和用于将所述图像转换到频率域的装置，其特征在于用于将对应于所述ROI的系数编码，使得他们能最早发送，并且使得为了对所述至少一个ROI进行解码不需要发送关于所述至少一个ROI形状的信息的装置。
6．权利要求5的装置，其特征在于用于将被转换到所述频率域且属于所述ROI的所述系数移位、使得所述最小的ROI系数变得大于所述剩余系数中的最大系数的装置。
7．按照权利要求6的装置，其特征在于连接到所述移位装置、用于在移位所述系数前将其量化的装置。
8．按照权利要求5-7中任何一个的装置，其特征在于利用小波变换将所述图像转换到所述频率域的装置。
9．对静止图像编码的方法，其特征在于下述步骤指定至少一着重区(ROI)，使用小波变换转换所述图像，产生ROI掩码，确定所述图像中最大的小波系数，将所述ROI掩码中所有所述系数移位，使得最小的ROI系数变得大于图像其余部分的最大系数。
10．按照权利要求9的方法，其特征在于当确定最大小波系数时，仅搜索ROI之外的所述系数。
11．按照权利要求9或10的方法，其特征在于还包括以下步骤确定用于所述编码的图像的比特数，对所述图像编码直至获得所述确定的比特数。
12．按照权利要求11的方法，其特征在于所述图像用熵编码进行编码。
13．按照权利要求9-12中任何一个的方法，其特征在于还包括以下步骤在确定所述最大小波系数之前，量化所述小波变换系数。
14．从发射机发送按照权利要求9-13中任何一个编码的图像至接收机的方法，其特征在于用于将所述小波系数移位的所述值被加进发送的比特流中。
15．按照权利要求14的方法，其特征在于用于对所述ROI掩码中所述系数编码的字节数被加进所述发送的比特流中。
16．准备按照权利要求9-13中任何一个对静止图像编码的编码器。
17．准备按照权利要求9-13中任何一个对静止图像解码的解码器。
18．一种对静止图像编码的方法，其特征在于包括下述步骤确定至少一个着重区(ROI)，利用小波变换转换所述图像，将所述转换后的图像存储至第一存储器，产生ROI掩码，将所述第一存储器内容拷贝到第二存储器中，将所述ROI掩码外的所述第一存储器中所有系数设置为零，将所述ROI掩码内的所述第二存储器中所有系数设置为零，以及对所述第一存储器中所述系数编码，并且当所述第一存储器中所有系数均被编码后，开始对所述第二存储器中所述系数编码。
19．按照权利要求18的方法，其特征在于还包括下述步骤确定用于所述编码的图像的比特数，对所述图像编码直至获得所述确定的比特数。
20．准备按照权利要求18-19中任何一个对静止图像编码的编码器。
21．准备按照权利要求18-19的任何一个对静止图像解码的解码器。
全文摘要
在用于对具有至少一个着重区(ROI)的静态图像编码和发送的方法和系统中,对最好利用小波变换转换至频率域的图像的ROI系数进行编码,使得他们能最先发送并且无须传输ROI边界即可被接收机解码。在最佳实施例中,属于ROI的系数被移位,使得最小ROI系数大于最大背景系数。接收机则可执行相反的程序并由此获得ROI。通过指定系数需要被移位多少以避免发送形状信息可获得几个好处。由此,可能避免发送形状信息和避免在编码器侧对形状信息编码。在接收机侧无需形状解码器,也不需要该接收机产生ROI掩码。而且,在另一最佳实施例中,编码器和解码器中所需的移位(或比例缩放操作)也可免除。
文档编号H04N7/26GK1320337SQ99811479
公开日2001年10月31日 申请日期1999年10月6日 优先权日1998年10月9日
发明者C·克里斯托普洛斯, J·阿斯克勒夫, M·拉松 申请人:艾利森电话股份有限公司