动态图像编码装置以及动态图像解码装置的利记博彩app

专利名称：动态图像编码装置以及动态图像解码装置的利记博彩app
技术领域：
本发明涉及对动态图像进行编码并生成编码数据的动态图像编码装置和根据该 编码数据来重放动态图像的动态图像解码装置。
背景技术：
在历来的进行帧间预测的动态图像编码装置中，为了避免时间冗余以及提高动态 图像的压缩率，较多采用运动补偿预测方法。在运动补偿预测中，首先算出表示物体在处理对象帧和参照帧之间移动的距离及 方向的运动矢量。处理对象帧是指在某一时间点被作为编码处理或者解码处理对象的帧， 参照帧是指在该时间点已完成编码处理或者解码处理的帧。参照帧的局部解码图像(以 下，称之为“参照图像”)被存储在帧存储器中。然后，生成运动补偿图像，并对处理对象帧的输入图像和运动补偿图像之间的差 分进行编码。运动补偿图像是指根据参照图像的各像素的像素值而构成的图像。运动补偿 图像的各块内的像素被分配与该块相隔运动矢量所表示的位移距离的位置上的、参照图 像的块内像素的像素值。与输入图像的像素值的方差和绝对值相比，输入图像和运动补偿图像之间的各像 素值的差分即预测残差的方差和绝对值较小。因此，与直接对输入图像进行编码的情况相 比，通过对预测残差进行编码，能够使生成的编码量减少。由此，进行帧间预测时，可提高压缩率。历来，已有一些提案揭示了关于通过降低预测残差的绝对值或者方差来改善运动 补偿预测的性能的方法。例如，非专利文献1揭示了一种对帧间的像素值变化进行推测，并 根据推测结果来修正运动补偿图像的方法。在此，参照图14和图15，说明通过非专利文献1的方法来修正运动补偿像素时的程序。首先，就图14进行说明。图14是表示处理对象帧中的局部解码图像(以下，称之 为“处理对象图像140”)的图。如图14所示，处理对象帧被分成规定面积(LXM像素)的 块，并按每个块进行编码处理以及解码处理。图14中的箭头表示块处理顺序。S卩，以左上 的块作为起点，按光栅扫描顺序进行处理。斜线所表示的区域141是在某时间点已经完成编码或者解码处理的处理完了区 域。而块142是在该时间点被作为编码或者解码对象的处理对象块。接下来，就图15进行说明。图15的(a)是表示参照图像的图，图中重点表示了基 于运动矢量151而与编码对象块142形成关联的、参照帧上的参照块152以及与该参照块 152相邻接的参照块邻接区域153。图15的(b)是表示处理对象帧的局部解码图像的图，图 中尤其表示了编码对象块142以及与该编码对象块142相邻接的编码对象块邻接区域154。根据非专利文献1的方法，其修正运动补偿图像的程序如下。1.计算编码对象块邻接区域IM中的各像素和参照块邻接区域153中的相对应的像素之间的像素值差分。2.根据上述像素值差分，计算编码对象块142的各像素的修正值。作为各像素的 修正值，使用该像素正上侧位置上的编码对象块邻接区域154内的像素的像素值差分与、 该像素正左侧位置上的编码对象块邻接区域154内的像素的像素值差分的加权平均值。3.在与编码对象块142的各像素相对应的运动补偿图像上加上述修正值。根据上述次序，根据编码对象块邻接区域巧4与参照块邻接区域153之间的像素 值的差分值，推测处理对象图像140和参照图像之间(即，帧间)的像素值变化，并修正运 动补偿图像。通过修正，能够补偿帧间的像素值变化，因此，与使用未进行修正的运动补偿 图像的情况相比，修正后的运动补偿图像和编码对象块之间的差分即预测残差的方差以及 绝对值较小。从而，通过对预测残差进行编码，能够使生成的编码量减少。即，可提高压缩 效率。专利文献1中还揭示了修正运动补偿图像的其他方法。专利文献1的方法是一 种对发生广范围的亮度变化的动态图像进行编码时，对广范围的亮度变化量进行补偿的方 法。具体是，根据专利文献1的方法，对广范围的亮度变化进行补偿时，除了使用表示处理 对象图像140平面和参照图像平面之间的广范围的亮度变化量即增益变化量的参数以外， 还使用表示灰阶变化的参数。由此，对发生广范围的亮度变化的动态图像进行编码时，可进 行比历来方法更高效的编码。专利文献1 日本国专利申请公报，特开平10-136385号公报(
公开日1998年5 月22日)非专利文献1 :"VCEG-AH19 =Weighted Prediction using Neighboring Pixels，，， ITU-T SG16 Q6 Antalya 会议，2008.
发明内容
但是，非专利文献1的方法的问题在于编码量未达到最小化。即，由于对编码对象 块所涉及的运动补偿图像的各像素的像素值进行修正时，始终参照该像素的正上侧位置的 编码对象块邻接区域内的像素的像素值差分和、位于该像素的正左侧位置的编码对象块邻 接区域内的像素的像素值差分，因此，并不能活用编码对象块中的像素值变化与、邻接于该 编码对象块的编码对象块邻接区域中的像素值变化之间的关联性，因此仍有减少编码量的 余地。以下，就该问题进行更为详细的说明。首先，就像素值变化的横方向关联性高于像素值变化的竖方向关联性时的情况进 行分析。在此情况下，比起利用修正对象像素的正上侧位置上的编码对象块邻接区域巧4 的像素，更适合利用该修正对象像素的正左侧位置上的编码对象块邻接区域154的像素来 修正运动补偿图像。在此，横方向关联性是指，就左右相邻的两个像素而言，左侧像素的帧 间像素值变化和右侧像素的帧间像素值变化之间的关联性。相反，在帧间像素值变化的竖方向关联性较高的情况下，适合利用正上侧位置上 的编码对象块邻接区域154的像素的像素值变化来修正运动补偿图像。竖方向关联性是 指，就两个上下相邻的像素而言，上侧像素的帧间像素值变化和下侧像素的帧间像素值变 化之间的关联性。如上所述，与始终只使用一种修正方法的情况相比，通过根据动态图像的局部性质从多个修正方法中选择有效的修正方法来修正运动补偿图像，能够缩减预测残差的方差 以及绝对值。因此，能够使动态图像的编码数据的编码量减少。即，所能选择的候补修正方 法越多，就越有可能以适当的方法进行修正，从而越能够缩减编码量。而根据非专利文献1 所记载的方法，由于是以固定的方法来修正运动补偿图像，因此仍存在缩减编码量的余地。另外，专利文献1所记载方法仅以发生了广范围亮度变化的动态图像为对象，因 此存在无法以适合于动态图像的局部特性的方法来修正运动补偿图像的问题。在此，作为能够根据动态图像的局部特性来从多个修正方法中选择有效修正方法 的手法，可考虑对于表示使用哪个修正方法的附加信息进行编码的方法。但是，这将引出如 下的新问题，即，进行动态图像编码时所需要的编码量将增加与附加信息编码量相等的量。本发明是鉴于上述的问题而开发的，其目的在于提供即可将编码量的增加抑制在 最低限度，又能够以适合于动态图像的局部特性的方法来修正运动补偿图像的动态图像编 码装置。并且，还提供能够对由该动态图像编码装置编码的数据进行解码的动态图像解码
直ο为了达成上述目的，本发明的动态图像编码装置用于对输入图像和预测图像的差 分按块进行编码，其特征在于包括算出单元，用于计算指标，该指标表示编码对象块中上 述输入图像的帧间像素值变化和、与该编码对象块相邻接的邻接区域中局部解码图像的帧 间像素值变化之间的关联性；多个修正单元，根据上述邻接区域所包含的相异区域中上述 局部解码图像的帧间像素值变化来修正运动补偿图像；选择单元，根据上述指标来选择将 上述多个修正单元中的哪个修正单元所修正的运动补偿图像用作上述预测图像。在上述结构中，根据表示编码对象块中输入图像的帧间像素值变化和、与该编码 对象块相邻接的邻接区域中局部解码图像的帧间像素值变化之间的关联性的指标，从多个 运动补偿图像修正部中选择具有最适当的修正方法的运动补偿图像修正部来修正运动补 偿图像。由此，与历来的始终使用单一的修正方法来修正运动补偿图像的结构相比，能够以 适合于动态图像的局部特性的方法来修正运动补偿图像。即，能够生成精度比历来的结构 更高的预测图像。因此，能够使进行预测残差编码时所需要的编码量减少。另外，只要是在对上述编码对象块进行编码时可利用的信息，上述算出单元可以 参照任何信息来算出上述指标。作为上述算出单元为了算出上述指标可参照的信息，例如 有比上述编码对象块先完成解码的局部解码图像、运动信息(运动矢量、参照图像、运动补偿制度、分区信息)、编码模式(画面内预测模式、画 面间预测模式、跳跃模式、直接预测模式)等。在本发明的动态图像编码装置中，优选为，上述多个修正单元包括第1修正单元、 第2修正单元、第3修正单元中的2个以上的修正单元，其中上述第1修正单元，根据上述 编码对象块上边的邻接区域中上述局部解码图像的帧间像素值变化来修正上述运动补偿 图像；上述第2修正单元，根据上述编码对象块左边的邻接区域中上述局部解码图像的帧 间像素值变化来修正上述运动补偿图像；上述第3修正单元，根据上述编码对象块上边的 邻接区域中以及上述编码对象块左边的邻接区域中上述局部解码图像的帧间像素值变化 来修正上述运动补偿图像。在按照光栅扫描顺序从左上方开始向右下方进行编码处理的情况下，当对编码对 象块进行编码处理时，该编码对象块上边的邻接区域以及该编码对象块左边的邻接区域已完成编码。在动态图像编码装置中，对某块进行完编码之后，会生成该块的局部解码图像， 因此，第1修正单元、第2修正单元以及第3修正单元能够参照局部编码图像的帧间变化 (处理对象帧和参照帧之间的变化)来修正运动补偿图像。另外，第1修正单元、第2修正 单元以及第3修正单元为了修正运动补偿图像所参照的区域不相同，因此，通过适当使用 这3个修正单元中的2个以上的修正单元，能够以适合于动态图像的局部特性的方法来修 正运动补偿图像。在本发明的动态图像编码装置中，优选为，上述算出单元参照上述运动补偿图像 的像素值来计算上述指标。运动补偿图像是在动态图像编码装置中对上述编码对象块进行编码时可利用的 信息。并且，也是在动态图像解码装置中对上述编码对象块进行解码时可利用的信息。因 此，根据上述结构，无需在由动态图像编码装置生成的编码数据上附加用以表示选择了哪 个修正单元的新信息，就能够在动态图像解码装置中也选择与动态图像编码装置相同的修 正单元。在此，作为上述指标，例如可以使用表示上述运动补偿图像的边缘强度或者边缘 方向的数值等。在本发明的动态图像编码装置中，优选为，上述算出单元参照上述邻接区域中上 述局部解码图像的像素值来计算上述指标。上述邻接区域中上述局部解码图像的像素值是在动态图像编码装置中对上述编 码对象块进行编码时可利用的信息。并且也是在动态图像解码装置中对上述编码对象块进 行解码时可利用的信息。因此，根据上述结构，无需在由动态图像编码装置生成的编码数据 上附加用以表示选择了哪个修正单元的新信息，就能够在动态图像解码装置中也选择与动 态图像编码装置相同的修正单元。在此，作为上述指标，能够使用例如表示上述编码对象块上边的邻接区域中上述 局部解码图像的像素值的连续性以及上述编码对象块左边的邻接区域中上述局部解码图 像的像素值的连续性的数值等。在本发明的动态图像编码装置中，优选为，上述算出单元参照上述邻接区域中上 述局部解码图像的像素值变化来计算上述指标。上述邻接区域中上述局部解码图像的像素值变化是在动态图像编码装置中对上 述编码对象块进行编码时可利用的信息。并且也是在动态图像解码装置中对上述编码对象 块进行解码时可利用的信息。因此，根据上述结构，无需在由动态图像编码装置生成的编码 数据上附加用以表示选择了哪个修正单元的新信息，就能够在动态图像解码装置中也选择 与动态图像编码装置相同的修正单元。在此，作为上述指标，能够利用例如表示上述编码对象块上边的邻接区域中上述 局部解码图像的像素值变化大小以及上述编码对象块左边的邻接区域中上述局部解码图 像的像素值变化大小的数值等。在本发明的动态图像编码装置中，优选为，上述算出单元参照上述编码对象块的 运动矢量和、与该编码对象块相邻接的编码完了块的运动矢量来计算上述指标。上述编码对象块的运动矢量和、与该编码对象块相邻接的编码完了块的运动矢量 是在动态图像编码装置中对上述编码对象块进行编码时可利用的信息，并且也是在动态图像解码装置中对上述编码对象块进行解码时可利用的信息。因此，根据上述结构，无需在由 动态图像编码装置生成的编码数据上附加用以表示选择了哪个修正单元的新信息，就能够 在动态图像解码装置中也选择与动态图像编码装置相同的修正单元。在此，作为上述指标，能够使用例如表示上述编码对象块的运动矢量和该编码对 象块上边邻接的编码完了块的运动矢量之间的相似性以及上述编码对象块的运动矢量和 该编码对象块左边邻接的编码完了块的运动矢量之间的相似性的数值等。为了达成上述目的，本发明的动态图像解码装置用于对编码数据进行解码，其中， 通过对输入图像和预测图像的差分按块进行编码而获得该编码数据，该动态图像解码装置 的特征在于包括算出单元，用于计算指标，该指标表示解码对象块中上述输入图像的帧间 像素值变化和、与该解码对象块相邻接的邻接区域中局部解码图像的帧间像素值变化之间 的关联性的指标；多个修正单元，根据上述邻接区域所包含的相异区域中上述局部解码图 像的帧间像素值变化来修正运动补偿图像；选择单元，为了重现上述输入图像，根据上述指 标来选择将上述多个修正单元中的哪个修正单元所修正的运动补偿图像用作上述预测图 像。根据上述结构，可实现能够对由上述动态图像编码装置编码的编码数据进行解码 的动态图像解码装置。(发明效果)如上所述，本发明的动态图像编码装置根据编码对象块中的像素值变化和与该编 码对象块相邻接的邻接区域中的像素值变化之间的关联性，从多个运动补偿图像修正部中 选择具有最适当的修正方法的运动补偿图像修正部来修正运动补偿图像。由此，与始终使用单一的修正方法来进行修正的情况相比，能够以适合于动态图 像的局部特性的方法来进行修正。即，具有可提高修正精度的效果。因此，能够使进行预测 残差编码时的编码量减少。


图1是表示本发明的实施方式的预测图像生成部的主要结构以及各部分之间的 数据流程的图。图2是表示本发明的实施方式的动态图像编码装置的主要结构以及各部分之间 的数据流程的框图。图3是表示本发明的实施方式的预测图像处理部的主要结构以及各部分之间的 数据流程的框图。图4是表示本发明的实施方式的预测图像处理部的处理流程的流程图。图5是表示编码对象块中存在边缘的例子的图。图6是表示本发明的实施方式的预测图像生成部的处理流程的流程图。图7是表示本发明的实施方式的动态图像解码装置的主要结构以及各部分之间 的数据流程的图。图8是表示本发明的实施方式的预测图像生成部的主要结构以及各部分之间的 数据流程的框图。图9是表示本发明的实施方式的预测图像生成部的处理流程的流程图。
图10是表示本发明的实施方式的预测图像生成部的主要结构以及各部分之间的数据流程的框图。
图11是表示本发明的实施方式的预测图像生成部的处理流程的流程图。
图12是表示本发明的实施方式的预测图像生成部的主要结构以及各部分之间的数据流程的方框图。
图13是表示本发明的实施方式的预测图像生成部的处理流程的流程图。
图14是表示当前的处理对象图像的图。
图15是表示某一时间点的参照图像和该时间点的处理对象图像的图。
<附图标记说明>
UlaUbUc预测图像生成部
2、2a、2b、2c修正方法选择部(算出单元)(选择单元)
3开关
4开关
10预测图像候补生成部
11、12,13运动补偿图像修正部(修正单元)
14运动补偿图像生成部
20图像输入部
21运动检测部
22预测图像处理部
23预测残差算出部
24正交变换部
25量化部
26逆量化部
27逆正交变换部
28局部解码图像生成部
29帧存储器
200动态图像编码装置(动态图像编码装置)
201可变长编码部
202编码数据输出部
30预测图像选择部
31图像比较部
32预测图像候补存储部
51、142 编码对象块
52、53、141 区域
54边缘
700动态图像解码装置(动态图像解码装置)
70编码数据输入部
71可变长编码解码部
74局部解码图像生成部
75局部解码图像输出部100输入图像101预测残差102变换系数水平103局部解码图像105、151 运动矢量106预测图像(预测图像)107修正标识108编码数据109运动补偿图像(运动补偿图像)110修正后运动补偿图像111选择结果112评价值R140处理对象图像152参照块153参照块邻接区域154编码对象块邻接区域
具体实施例方式(实施方式1)以下，参照图1 图7说明本发明的动态图像编码装置和动态图像解码装置的第 1个实施方式。(动态图像编码装置的结构)首先，参照图2说明本实施方式的动态图像编码装置200的主要结构。图2是表示动态图像编码装置200的主要结构以及各部分之间的数据流程的框 图。如图2所示，动态图像编码装置200(动态图像编码装置)包括动态图像输入部20、运 动检测部21、预测图像处理部22、预测残差算出部23、正交变换部M、量化部25、逆量化部 沈、逆正交变换部27、局部解码图像生成部观、帧存储器四、可变长编码部201以及编码数 据输出部202。关于各部分的详细处理，将在以下进行说明。(预测图像处理部22的结构)接下来，参照图3来说明预测图像处理部22的结构。图3是表示预测图像处理部 22的主要结构以及各部分之间的数据流程的框图。如图3所示，预测图像处理部22包括预 测图像生成部1、预测图像选择部30、图像比较部31以及预测图像候补存储部32。关于各 部分的详细处理，将在以下进行说明。(预测图像生成部1的结构)接下来，参照图1说明预测图像生成部1的结构。图1是表示预测图像生成部1的 主要结构以及各部分之间的数据流程的方框图。如图1所示，预测图像生成部1包括预测图 像候补生成部10、修正方法选择部2 (算出单元、选择单元)、开关3以及开关4。其中，预测 图像候补生成部10包括运动补偿图像修正部11 (修正单元)、运动补偿图像修正部12 (修正单元)以及运动补偿图像修正部13(修正单元)。关于各部分的详细处理，将在以下进行 说明。在以下的说明中使用数学式时，作如下表示。在进行完局部解码的处理对象图像 (处理对象帧的局部解码图像)Ic中，以图像左上位置的像素作为原点，将位置(X、Y)上的 像素的像素值表示为Ic(X、Y)。同样，在进行完局部解码的参照图像(参照帧的局部解码 图像)Ir中，将位置(X、Y)上的像素的像素值表示为Ir(Χ、Υ)。如无特别说明，在此所述的 像素值表示相应的像素的亮度值。此外，在像素值表示色差的情况下，本实施方式的方法也 有效。另外，在像素值所表示的是至被摄体的距离、被摄体热量等其他物理量的情况下，本 实施方式所揭示的方法也有效。(动态图像编码装置的处理)以下，参照图2来说明动态图像编码装置的处理。首先，图像输入部20将输入图像100输入到运动检测部21、预测图像处理部22以 及预测残差算出部23。如图14所示，输入图像100是指将要被进行编码的编码对象图像。 对图14已作说明，在此省略详述。然后，运动检测部21从帧存储器四取得局部解码图像103，并对局部解码图像 103和输入图像100的像素值进行比较。由此，导出运动矢量105，并向预测图像处理部22 以及可变长编码部201输出该运动矢量105。关于上述局部解码图像103，将在以下进行详细说明。预测图像处理部22根据运动矢量105生成运动补偿图像，并且，还根据局部解码 图像103的编码对象块邻接区域的像素的像素值变化，生成对运动补偿图像进行修正后的 图像。然后，将修正前后运动补偿图像中的与输入图像100相似的图像作为预测图像106， 输出给预测残差算出部23。另外，将修正标识107输出给可变长编码部201。修正标识107 表示预测图像106是否为通过对运动补偿图像进行修正而生成的图像(S卩，有无修正)。关 于预测图像处理部22内部的详细处理，将在以下进行说明。预测残差算出部23算出预测图像106和输入图像100之间的像素值的差分，以生 成预测残差101(LXM像素)。然后，将生成的预测残差101输出给正交变换部Μ。如图14 所示，在此，按规定的顺序以块为单位对输入图像100进行编码，各块的块尺寸为LXM像 素。同样，预测图像106的尺寸也是LXM像素。正交变换部M进行离散余弦变换，以导出对输入的预测残差101进行频率变换时 的各频率成分系数。然后，将各频率成分系数输出给量化部25。量化部25通过规定的量化步骤对各频率成分系数进行量化，导出变换系数水平 102。然后，将变换系数水平102输出给可变长编码部201以及逆量化部26。逆量化部沈对变换系数水平102进行逆量化，以复原成频率变换系数。并将复原 的频率变换系数输出给逆正交变换部27。逆正交变换部27对频率变换系数进行逆离散余弦变换，以重建预测残差 101 (LXM像素)。然后，将重建的预测残差101输出给局部解码图像生成部观。局部解码图像生成部观将再构成的预测残差101加到预测图像106中，生成局部 解码图像103 (LXM像素)。然后，将局部解码图像103存储到帧存储器四中。在此，局部解码图像生成部观将以块为单位生成的局部解码图像103按顺序存储在帧存储器四中。因此，在动态图像编码装置200进行编码处理的期间，参照帧的所有局 部解码图像和处理对象帧的一部分局部解码图像(解码完了区域)被存储到帧存储器四 中。可变长编码部201对输入的变换系数水平102、运动矢量105以及修正标识107分
别进行编码，并对这些进行多重化。然后，将多重化的数据作为编码数据108，输出给编码数 据输出部202。编码数据输出部202根据需要，将编码数据108输出给本发明的动态图像解码装 置(详见以下说明)。(预测图像处理部22的处理)接下来，参照图3以及图4来说明预测图像处理部22的整体处理流程。图4是表 示预测图像处理部22的处理流程的流程图。如图3所示，首先，当有运动矢量105输入时，预测图像选择部30将变量K的值设 定成0，在此，为了设定选择标识107而持有该变量K。若变量K的值在此前就已被设定为 0，就将其设定成1 (步骤Si)。在此，当新的运动矢量105被输入到预测图像选择部30时， 变量K被初始化，成为未设定的状态。然后，根据在步骤Sl设定的变量K的值，预测图像选择部30对修正标识107的值 进行设定。具体是，变量K的值为0时，将修正标识107设定成“无修正”，而变量K的值为1 时，则将修正标识107设定为“有修正”。并且，预测图像选择部30每次对修正标识107的 值进行变更时，都向预测图像生成部1以及预测图像候补存储部32输出修正标识107(步 骤S》。S卩，将修正标识107设定为“无修正”时，预测图像选择部30将该被设定为“无修 正”的修正标识107输出给预测图像生成部1以及预测图像候补存储部32。而将修正标识 107设定为“有修正”时，预测图像选择部30也同样将该被设定为“有修正”的修正标识107 输出给预测图像生成部1以及预测图像候补存储部32。接下来，预测图像生成部1根据运动矢量105、局部解码图像103以及修正标识 107，生成预测图像106 (步骤S3)。然后，将预测图像106输出给图像比较部31和预测图像 候补存储部32。关于预测图像生成部1内部的详细处理，将在以下进行说明。然后，图像比较部31对于在步骤S3生成的预测图像106 (LX M像素)和输入图像 100 (LXM像素)进行比较，计算评价值R112。然后，将评价值R112输出给预测图像候补存 储部32 (步骤S4)。在此，评价值Rl 12是表示预测图像106在多大程度与输入图像100相似的差分绝 对值，可通过以下的数学式求出(数学式1)评价值R112。(数学式1)
j<Mi<L
_] R=I ΣI O(U)-P(U) I j=0 i=0在此，0(i、j)、P(i、j)分别表示输入图像100和预测图像106的块内位置(i、j) 上的像素的像素值。根据数学式1求出评价值R112时，评价值R112越小，表示预测图像 106与输入图像100越相似。接下来，预测图像候补存储部32将步骤S2中输入的修正标识107、步骤S3中输入的预测图像106、步骤S4中输入的评价值R112，以相对应的方式存储到动态图像编码装置 200内的不同于帧存储器的其他存储器(未图示)中(步骤S5)。然后，预测图像选择部30判断变量K是否是1 (步骤S6)。如果步骤S6的判断结果为“否”，就返回步骤Si。换言之，在判断结果为“否”时， 变量K的值为0，从而修正标识被设定成“无修正”。即，此时生成以“无修正”模式生成的 预测图像106。通过返回步骤S1，K的值将被设定为1。因此，接下来将以“有修正”模式来 生成预测图像106。如果步骤S6的判断结果为“是”，预测图像候补存储部32则从在步骤S2生成的 预测图像106中选择评价值R112为最小的预测图像106。然后，将该选择的输出预测图像 106与其相应的修正标识107 —同输出给图2所示的动态图像编码装置200的预测残差算 出部23以及局部解码图像生成部观。并且，预测图像候补存储部32还将修正标识107输 出给图2所示的可变长编码部201 (步骤S7)。通过以上处理，由预测图像处理部22从对运动补偿图像未进行修正所生成的预 测图像106和对运动补偿图像进行修正所生成的预测图像106中，选择出与输入图像100 更相似的预测图像106。从而，能够使预测图像106和输入图像100的像素值的差分变得更 小。即，能够减小预测残差101。(预测图像生成部1的处理)以下，参照图1以及图6来说明预测图像生成部1的处理，预测图像生成部1是动 态图像编码装置200的特征性结构。预测图像生成部1是根据由修正方法选择部2从多个运动补偿图像修正部中选择 出的运动补偿图像修正部所修正的运动补偿图像，来生成上述预测图像106的生成单元。 关于预测图像生成部1的详细处理，将在以下进行说明。图6是表示预测图像生成部1的处理流程的流程图。如图1所示，首先向预测图像候补生成部10的运动补偿图像生成部14输入局部 解码图像103和运动矢量105。根据所输入的局部解码图像103以及运动矢量105，运动补 偿图像生成部14生成运动补偿图像109 (LXM像素)(步骤S10)。运动补偿图像生成部14 将生成的运动补偿图像109 (LXM像素)分别输出给开关4、修正方法选择部2以及运动补 偿图像修正部11 13 (步骤Sll)。在此，根据以下数学式(数学式幻算出构成运动补偿图像109的像素的像素值 M(i、j)。(数学式2)M(i, j) = Ir(xc+i+dX, yc+j+dY)上述(XC、yc)是处理对象块内的左上位置的像素在处理对象图像内的位置。另 外，(dX、dY)是运动矢量105所表示的位移(像素单位)。向开关4输入由图3所示的预测图像选择部30所输出的修正标识107。开关4根 据该输入的修正标识107，判断是否需要对运动补偿图像109进行修正(步骤S12)。在修 正标识107表示“无修正”，即，在判断出无需进行修正的情况下，将运动补偿图像109作为 预测图像106输出给图3所示的预测图像处理部22的图像比较部31以及预测图像候补存 储部32(步骤321)。
相反，在修正标识107表示“有修正”，即，在判断出有必要进行修正的情况下，预 测图像生成部1执行以下的步骤。首先，修正方法选择部2通过参照运动补偿图像109的编码完了区域，算出表示编 码对象块中上述输入图像100的帧间变化和与该编码对象块相邻接的邻接区域中局部解 码图像103的帧间变化之间的关联性的指标。具体是，算出表示编码对象块中的运动补偿 图像109的像素值变化和与该编码对象块相邻接的邻接区域中的运动补偿图像109的像素 值变化之间的关联性的指标。然后，根据算出的指标，选择多个修正单元中的某一个。艮口， 就使用运动补偿图像修正部11 13中的哪个修正部进行修正做出选择。修正方法选择部2计算编码对象块中的运动补偿图像109的边缘强度(步骤 S13)，并根据计算结果来选择可进行最适当的修正的运动补偿图像修正部(步骤S17 19)。关于步骤S17 19的详细内容，将在以下进行说明。在此，边缘强度是表示在运动补 偿图像109中的竖、横哪个方向上存在边缘的可能性更高的程度。(边缘的例子)接下来，参照图5，就边缘进行说明。图5是表示在运动补偿图像109的编码对象 块51中存在边缘M时的例子的图。如图5所示，编码对象块51被边缘M分为两个部分，从左侧开始分别是区域R1和 区域&。以该边缘M作为边界，像素值呈不连续变化。在以下的说明中，若存在如上所述 的从编码对象块51的上边延续至下边的边界，并且该边界导致像素值的不连续变化时，称 该边界为竖向边缘。另外，此时称在竖方向上存在边缘。相反，如果存在从编码对象块51的左边延续至右边的边界，并且该边界导致像素 值的不连续的变化时，称该边界为横向边缘。另外，此时称在横方向上存在边缘。接下来，就边缘的存在方向和编码对象块51的像素值变化的关联性进行说明。如图5所示，边缘M延续至编码对象块51的上边邻接的区域53的上边。因此， 在编码对象块51的上边邻接的区域53中，也以边缘M为边界，像素值呈不连续变化。区 域53被分为两个部分，从左侧起分别是区域Rti和区域&2。而在编码对象块51的左边邻 接的区域52中，即区域I1中并不存在边缘。因此，区域52中不会出现像素值的不连续变 化。此时，可看出区域队和区域Ru的关联性较高，区域队和区域Rn的关联性较高，以 及区域&和区域Rt2的关联性较高。(像素值的关联性)参照与编码对象块的像素值具有较高的关联性的区域时，可获得较好的推测结 果。因此，对区域R1的像素值变化进行推测时，优选参照与区域R1具有较高关联性的区域 RT1，而对区域&的像素值变化进行推测时，优选参照与区域&具有较高关联性的区域&2。S卩，在编码对象块中存在竖向边缘的情况下，优选通过参照与该编码对象块的像 素具有较高关联性的、该编码对象块的上边邻接的区域的像素来推测像素值。相反，在编 码对象块中存在横向边缘的情况下，优选通过参照与该编码对象块的像素具有较高关联性 的、该编码对象块的左边邻接的区域的像素来推测像素值。(边缘检测)接下来，参照以下的数学式(数学式3以及4)，来说明修正方法选择部2如何检测边缘的有无。
(数学式3)
i<L j<M
Εν=ΣΣ
Μ) j=0
(数学式4)
权利要求
1.一种动态图像编码装置，用于对输入图像和预测图像的差分按块进行编码，其特征 在于包括算出单元，用于计算指标，该指标表示编码对象块中上述输入图像的帧间像素值变化 和、与该编码对象块相邻接的邻接区域中局部解码图像的帧间像素值变化之间的关联性；多个修正单元，根据上述邻接区域所包含的相异区域中上述局部解码图像的帧间像素 值变化来修正运动补偿图像；选择单元，根据上述指标来选择将上述多个修正单元中的哪个修正单元所修正的运动 补偿图像用作上述预测图像。
2.根据权利要求1所述的动态图像编码装置，其特征在于上述多个修正单元包括第1修正单元、第2修正单元、第3修正单元中的2个以上的修 正单元，其中，上述第1修正单元，根据上述编码对象块上边的邻接区域中上述局部解码图像的帧间 像素值变化来修正上述运动补偿图像；上述第2修正单元，根据上述编码对象块左边的邻接区域中上述局部解码图像的帧间 像素值变化来修正上述运动补偿图像；上述第3修正单元，根据上述编码对象块上边的邻接区域中以及上述编码对象块左边 的邻接区域中上述局部解码图像的帧间像素值变化来修正上述运动补偿图像。
3.根据权利要求1或者2所述的动态图像编码装置，其特征在于上述算出单元参照上述运动补偿图像的像素值来计算上述指标。
4.根据权利要求3所述的动态图像编码装置，其特征在于上述指标是表示上述运动补偿图像中的边缘强度或者边缘方向的数值。
5.根据权利要求1或者2所述的动态图像编码装置，其特征在于上述算出单元参照上述邻接区域中上述局部解码图像的像素值来计算上述指标。
6.根据权利要求5所述的动态图像编码装置，其特征在于上述指标是表示上述编码对象块上边的邻接区域中上述局部解码图像的像素值的连 续性以及上述编码对象块左边的邻接区域中上述局部解码图像的像素值的连续性的数值。
7.根据权利要求1或者2所述的动态图像编码装置，其特征在于上述算出单元参照上述邻接区域中上述局部解码图像的像素值变化来计算上述指标。
8.根据权利要求7所述的动态图像编码装置，其特征在于上述指标是表示上述编码对象块上边的邻接区域中上述局部解码图像的像素值变化 大小以及上述编码对象块左边的邻接区域中上述局部解码图像的像素值变化大小的数值。
9.根据权利要求1或者2所述的动态图像编码装置，其特征在于上述算出单元参照上述编码对象块的运动矢量和、与该编码对象块相邻接的编码完了 块的运动矢量来计算上述指标。
10.根据权利要求9所述的动态图像编码装置，其特征在于上述指标是表示上述编码对象块的运动矢量和该编码对象块上边邻接的编码完了块 的运动矢量之间的相似性、以及上述编码对象块的运动矢量和该编码对象块左边邻接的编 码完了块的运动矢量之间的相似性的数值。
11.一种动态图像解码装置，用于对编码数据进行解码，其中，通过对输入图像和预测图像的差分按块进行编码而获得该编码数据，该动态图像解码装置的特征在于包括算出单元，用于计算指标，该指标表示解码对象块中上述输入图像的帧间像素值变化 和、与该解码对象块相邻接的邻接区域中局部解码图像的帧间像素值变化之间的关联性的 指标；多个修正单元，根据上述邻接区域所包含的相异区域中上述局部解码图像的帧间像素 值变化来修正运动补偿图像；选择单元，为了重现上述输入图像，根据上述指标来选择将上述多个修正单元中的哪 个修正单元所修正的运动补偿图像用作上述预测图像。
全文摘要
本发明提供一种既可抑制编码量又能够以适合动态图像的局部特性的方法来修正运动补偿图像的动态图像编码装置，其包括修正方法不同的3个运动补偿图像修正部(11、12、13)，并且，作为预测图像(106)可切换利用由上述修正部中的任何一个进行修正的运动补偿图像(109)。
文档编号H04N7/32GK102106149SQ20098012961
公开日2011年6月22日 申请日期2009年8月6日 优先权日2008年8月8日
发明者山本智幸, 猪饲知宏 申请人:夏普株式会社