用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备的制造方法
【技术领域】
[0001] 本发明构思涉及对视频的编码和解码，更具体地，涉及对包括在多个层中的画面 进行编码和解码的方法。
【背景技术】
[0002] 通常，图像数据被编解码器根据预定数据压缩标准（例如，运动图像专家组 (MPEG)标准）编码，然后作为比特流被存储在信息存储介质中，或者经由通信信道被发送。
[0003] 作为视频压缩方法的可伸缩视频编码（SVC)根据各种通信网络和终端来适当地 调整和发送信息量。多视点视频编码对诸如三维图像的多视点视频进行压缩。
[0004] 这样的传统SVC或多视点视频编码通过使用基于预定尺寸的宏块的有限编码方 法对视频进行编码。
【发明内容】
[0005] 抟术问题
[0006] 本发明构思提供一种用于有效地预测多层视频的预测结构。
[0007] 本发明构思还提供一种在对多层视频的随机访问或层切换期间无缝地再现多层 视频的方法。
[0008] 抟术方案
[0009] 根据本发明构思的一方面，提供一种与多层的各个层相应的画面类型。
[0010] 根据本发明构思的另一方面，提供一种在层切换期间作为随机访问点画面操作的 新型的画面。
[0011] 有益效果
[0012] 根据本发明构思的示例性实施例，在多层视频的再现期间可以进行无缝的层切换 和随机访问。
【附图说明】
[0013] 图1是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频编 码设备的框图；
[0014] 图2是根据本发明构思的示例性实施例的基于具有树结构的编码单元的视频解 码设备的框图；
[0015] 图3是用于描述根据本发明构思的示例性实施例的编码单元的构思的示图；
[0016] 图4是根据本发明构思的示例性实施例的基于编码单元的图像编码器的框图；
[0017] 图5是根据本发明构思的示例性实施例的基于编码单元的图像解码器的框图；
[0018] 图6是示出根据本发明构思的示例性实施例的根据深度的编码单元以及分区的 示图；
[0019] 图7是用于描述根据本发明构思的示例性实施例的编码单元和变换单元之间的 关系的不图；
[0020] 图8是用于描述根据本发明构思的示例性实施例的与编码深度相应的编码单元 的编码信息的示图；
[0021] 图9是根据本发明构思的示例性实施例的根据深度的编码单元的示图；
[0022] 图10到图12是用于描述根据本发明构思的示例性实施例的编码单元、预测单元 和变换单元之间的关系的示图；
[0023] 图13是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间 的关系的不图；
[0024] 图14是根据本发明构思的示例性实施例的多层视频编码设备的框图；
[0025] 图15是根据示例性实施例的多层视频解码设备的框图；
[0026] 图16是图14的视频编码器1410的详细框图；
[0027] 图17是图15的视频解码器1520的框图；
[0028] 图18示出根据示例性实施例的多层预测结构1800的示例；
[0029] 图19示出根据时间分层编码方法和时间分层解码方法的多层预测结构；
[0030] 图20示出根据示例性实施例的包括多层视频的编码数据的NAL单元；
[0031] 图21示出根据示例性实施例的NAL单元的头的示例；
[0032] 图22是用于解释根据示例性实施例的领导画面的参考图；
[0033] 图23和图24是用于解释IDR画面的参考图；
[0034] 图25示出具有RASL画面的CRA画面CRA_W_RASL ;
[0035] 图26示出针对BLA画面的RASL画面和RADL画面的示例；
[0036] 图27示出根据示例性实施例的多层画面之中的相应画面的类型信息；
[0037] 图28示出根据示例性实施例的VLA画面；
[0038] 图29是根据示例性实施例的多层视频编码方法的流程图；
[0039] 图30是根据示例性实施例的多层视频编码方法的流程图。
【具体实施方式】
[0040] 最优模式
[0041] 根据本发明构思的一方面，提供了一种多层视频解码方法，包括：获取包括第一层 画面的编码信息和类型信息的网络适应层（NAL)单元；基于包括在该NAL单元中的第一层 画面的类型信息，从可随机访问的第一层随机访问点画面（RAP)画面、第一层随机访问可 解码领导画面（RADL)画面和不可解码的第一层随机访问跳过领导画面（RASL)画面之中识 别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述领导画面 在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间 基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画面；获取 包括第二层画面的编码信息和类型信息的NAL单元，并基于包括在该NAL单元中的第二层 画面的类型信息，识别第二层画面的类型，其中，第二层画面的类型被设置为与画面顺序计 数（POC)和该第二层画面相同的第一层画面的类型相同；基于识别出的第一层画面类型和 识别出的第二层画面类型对第一层画面和第二层画面进行解码。
[0042] 根据本发明构思的另一方面，提供了一种多层视频编码方法，包括：对包括在第一 层中的画面进行预测编码；基于包括在第一层中的画面的输出顺序和参考关系，将包括在 第一层中的画面分类为可随机访问的第一层随机访问点画面（RAP)画面、第一层随机访问 可解码领导画面（RADL)画面和不可重构的第一层随机访问跳过领导画面（RASL)画面，其 中，第一层RADL画面是下述领导画面之中的画面：所述领导画面在第一层RAP画面之后 被编码但输出顺序在该第一层RAP画面之前，并且在随机访问期间基于在该第一层RAP画 面之前被编码的画面是否被参考而可重构为第一层RAP画面；将第二层中画面顺序计数 (POC)与包括在第一层中的每个画面相同的相应画面的类型设置为与第一层的分类的画面 类型相同，并对第二层的画面进行预测编码；输出NAL单元，其中，NAL单元包括第一层的画 面的编码信息和类型信息以及第二层的画面的编码信息和类型信息。
[0043] 根据本发明构思的另一方面，提供了一种多层视频解码设备，包括：接收器，被配 置为获取包括第一层画面的编码信息和类型信息的网络适应层（NAL)单元以及包括第二 层画面的编码信息和类型信息的NAL单元；图像解码器，被配置为：基于包括在NAL单元中 的第一层画面的类型信息，从可随机访问的第一层随机访问点画面（RAP)画面、第一层随 机访问可解码领导画面（RADL)画面和不可解码的第一层随机访问跳过领导画面（RASL)画 面之中识别第一层画面的类型，其中，第一层RADL画面是下述领导画面之中的画面：所述 领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面之前，并且在随机 访问期间基于在该第一层RAP画面之前被解码的画面是否被参考而可解码为第一层RAP画 面；基于包括在NAL单元中的第二层画面的类型信息，识别第二层画面的类型，其中，第二 层画面的类型被设置为与POC和该第二层画面相同的第一层画面的类型相同；基于识别出 的第一层画面类型和识别出的第二层画面类型对第一层画面和第二层画面进行解码。
[0044] 根据本发明构思的另一方面，提供了一种多层视频编码设备，包括：视频编码器， 被配置为对包括在第一层和第二层中的画面进行预测编码；输出单元，被配置为：基于包 括在第一层中的画面的输出顺序和参考关系，将包括在第一层中的画面分类为可随机访问 的第一层随机访问点画面（RAP)画面、第一层随机访问可解码领导画面（RADL)画面和不可 重构的第一层随机访问跳过领导画面（RASL)画面，其中，第一层RADL画面是下述领导画面 之中的画面：所述领导画面在第一层RAP画面之后被编码但输出顺序在该第一层RAP画面 之前，并且在随机访问期间基于在该第一层RAP画面之前被编码的画面是否被参考而可重 构为第一层RAP画面；将第二层中POC与包括在第一层中的每个画面相同的相应画面的类 型设置为与第一层的分类的画面类型相同；输出NAL单元，其中，NAL单元包括第一层的画 面的编码信息和类型信息以及第二层的画面的编码信息和类型信息。
[0045] 现在将参照示出了示例性实施例的附图来更充分地描述本发明构思。
[0046] 图1是根据本发明构思的示例性实施例的视频编码设备100的框图。
[0047] 根据示例性实施例的视频编码设备100包括最大编码单元划分器110、编码单元 确定器120和输出单元130。
[0048] 最大编码单元划分器110可基于最大编码单元对当前画面进行划分，其中，所述 最大编码单元是具有针对图像的当前画面的最大尺寸的编码单元。如果当前画面大于最大 编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据示例性实施例 的最大编码单元可以是具有32X32、64X64、128X128或256X256等尺寸的数据单元，其 中，数据单元的形状是宽和高为2的平方（大于8)的正方形。图像数据可根据所述至少一 个最大编码单元被输出到编码单元确定器120。
[0049] 根据示例性实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最 大编码单元开始被空间划分的次数，并且随着深度增加，根据深度的较深层编码单元可从 最大编码单兀被划分到最小编码单兀。最大编码单兀的深度是最尚深度，最小编码单兀的 深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元的深度增加而 减小，因此与更高深度相应的编码单元可包括与更低深度相应的多个编码单元。
[0050] 如上所述，根据编码单元的最大尺寸将当前画面的图像数据划分为多个最大编码 单元，每个最大编码单元可包括根据深度划分的较深层编码单元。由于根据示例性实施例 的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据 深度被分层地分类。
[0051] 可预先设置编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大编码单元的高度和宽度被分层划分的总次数。
[0052] 编码单元确定器120对通过根据深度划分最大编码单元的区域而获得的至少一 个划分的区域进行编码，并根据所述至少一个划分的区域确定用于输出最终编码结果的深 度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元按根据深度的较深 层编码单元对图像数据进行编码并选择具有最小编码误差的深度，确定编码深度。确定的 编码深度和根据最大编码单元的图像数据被输出到输出单元130。
[0053] 基于与等于或低于最大深度的至少一个深度相应的较深层编码单元对最大编码 单元中的图像数据进行编码，并基于每个较深层编码单元来比较编码结果。可在比较所述 较深层编码单元的编码误差之后选择具有最小编码误差的深度。可针对每个最大编码单元 选择至少一个编码深度。
[0054] 随着编码单元根据深度被分层划分，最大编码单元的尺寸被划分，并且编码单元 的数量增加。另外，即使编码单元在一个最大编码单元中相应于相同深度，仍通过单独测量 每个编码单元的数据的编码误差来确定是否将相应于相同深度的每个编码单元划分为更 低深度。因此，即使在数据被包括在一个最大编码单元中时，根据深度的编码误差也会根据 区域而不同，因而编码深度会根据区域而不同。因此，可针对一个最大编码单元设置一个或 更多个编码深度，并可根据所述一个或更多个编码深度的编码单元来划分最大编码单元的 数据。
[0055] 因此，根据示例性实施例的编码单元确定器120可确定包括在当前最大编码单元 中的具有树结构的编码单元。根据本发明构思的示例性实施例的"具有树结构的编码单元" 包括最大编码单元中所包括的所有与深度相应的编码单元之中与被确定为编码深度的深 度相应的编码单元。可在最大编码单元的相同区域中根据深度分层地确定编码深度的编码 单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，当前区域中的编码深度 与另一区域中的编码深度可被独立地确定。
[0056] 根据示例性实施例的最大深度是与从最大编码单元到最小编码单元执行划分的 次数相关的索引。根据示例性实施例的第一最大深度可表示从最大编码单元到最小编码单 元执行划分的总次数。根据示例性实施例的第二最大深度可表示从最大编码单元到最小编 码单元的深度级别的总数。例如，当最大编码单元的深度是〇时，最大编码单元被划分一次 的编码单元的深度可被设置为1，最大编码单元被划分两次的编码单元的深度可被设置为 2。这里，如果最小编码单元是通过将最大编码单元划分四次而获得的编码单元，则存在深 度0、深度1、深度2、深度3、深度4这5个深度级别，因此，第一最大深度可被设置为4,第二 最大编码深度可被设置为5。
[0057] 可根据最大编码单元执行预测编码和频率变换。还根据最大编码单元，基于根据 等于最大深度的深度或小于最大深度的深度的较深层编码单元来执行预测编码和频率变 换。
[0058] 由于每当最大编码单元根据深度被划分时较深层编码单元的数量就增加，因此必 须对随着深度增加而产生的所有较深层编码单元执行包括预测编码和频率变换的编码。为 了便于描述，现在将基于至少一个最大编码单元之中的当前深度的编码单元描述预测编码 和频率变换。
[0059] 根据示例性实施例的视频编码设备100可多样地选择用于对图像数据进行编码 的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、频率变换和熵编 码的操作，同时，相同的数据单元可用于所有操作，或者不同的数据单元可用于每个操作。
[0060] 例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还可 选择与该编码单元不同的数据单元以对编码单元中的图像数据执行预测编码。
[0061] 为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元（即， 基于不再被划分为与更低深度相应的编码单元的编码单元）执行预测编码。以下，不再被 划分并且成为用于预测编码的基本单元的编码单元现在将被称为"预测单元"。通过划分预 测单元获得的分区（partition)可包括预测单元和通过划分预测单元的高度和宽度中的 至少一个而获得的数据单元。
[0062] 例如，当2NX 2N(其中，N是正整数）的编码单元不再被划分时，编码单元可成为 2NX2N的预测单元，分区的尺寸可以是2NX2N、2NXN、NX2N或NXN。分区类型的示例包 括通过对称地划分预测单元的高度或宽度而获得的对称分区、通过不对称地划分预测单元 的高度或宽度（诸如，l:n或n:l)而获得的分区、通过几何地划分预测单元而获得的分区以 及具有任意形状的分区。
[0063] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如， 可对2NX 2N、2NX N、NX 2N或NX N的分区执行帧内模式或帧间模式。另外，可仅对2NX 2N 的分区执行跳过模式。可独立地对编码单元中的一个预测单元执行编码，从而选择具有最 小编码误差的预测模式。
[0064] 根据示例性实施例的视频编码设备100可不仅基于用于对图像数据进行编码的 编码单元对编码单元中的图像数据执行变换，还可基于与编码单元不同的数据单元对编码 单元中的图像数据执行变换。
[0065] 为了在编码单元中执行频率变换，可基于具有小于或等于编码单元的尺寸的数据 单元执行频率变换。例如，用于频率变换的数据单元可包括用于帧内模式的数据单元和用 于帧间模式的数据单元。
[0066] 以下，作为频率变换的基础的数据单元可被称为"变换单元"。与编码单元类似，编 码单元中的变换单元可被递归地划分为更小尺寸的变换单元，因此，可基于根据变换深度 的具有树结构的变换单元来划分编码单元中的残差数据。
[0067] 还可在根据示例性实施例的变换单元中设置指示通过划分编码单元的宽度和高 度以达到变换单元而执行划分的次数的变换深度。例如，在2NX2N的当前编码单元中，当 变换单元的尺寸是2NX2N时，变换深度可以是0,当变换单元的尺寸是NXN时，变换深度可 以是1，当变换单元的尺寸是N/2XN/2时，变换深度可以是2。也就是说，还可根据变换深 度来设置具有树结构的变换单元。
[0068] 根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需 要与预测和变换相关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编 码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单 元的尺寸。
[0069] 稍后将参照图3到图