3d以及多视图视频编码中子pu语法信令以及亮度补偿的方法
【专利说明】3D以及多视图视频编码中子PU语法信令以及亮度补偿的方法
[0001]【相关申请的交叉引用】
[0002] 本发明主张申请于2014年6月20日序列号为PCT/CN2014/080406的PCT专利申请， 申请于2014年6月23日序列号为PCT/CN2014/080516的PCT专利申请，申请于2015年2月6日 序列号为PCT/CN2015/072428的PCT专利申请的优先权。将这些PCT专利申请以参考的方式 并入本文中。 【技术领域】
[0003] 本发明涉及三维以及多视图视频编码。特别地，本发明涉及三维以及多视图视频 编码的多个方面，包括:子预测单元(prediction unit，PU)语法信令(syntax signaling)、 亮度补偿（i 1 luminat ion compensation，1C)、以及依赖纹理的深度分区（texture-dependent depth partition)。 【【背景技术】】
[0004] 三维（3D)视频编码被开发以编码或解码由多个相机同时捕捉的多个视图的视频 数据。因为所有相机捕捉相同场景的纹理数据以及深度数据，所以相同视图中的纹理以及 深度数据之间具有大量的冗余。根据高效视频编码（high efficiency video coding， HEVC)，编码过程被应用到称为编码单元(coding unit，⑶)的每个块，且每个⑶具有预测过 程。每个⑶可被分为一个或多个预测单元(prediction unit，PU)且预测过程(例如，帧内或 帧间预测）被应用到每个PU。为了减少冗余，根据当前基于3D视频编码的HEVC(3D video coding based on high efficiency video coding，3D_HEVC)，依赖纹理的深度分区被用 于处理与相同四分树等级中对应纹理CU相对应的当前深度块。
[0005] 为了利用视图间以及分量间（inter-component)冗余，附加的工具例如:视图间运 动预测（inter-view motion prediction，IVMP)以及运动参数继承（motion parameter inheritance，MPI)被整合到现存的3D-HEVC以及3D高级视频编码（3D_Advaneed Video 0)虹即，304￥〇编解码器中。为进一步提升编码效率，子?1]等级1￥1^以及子?1]等级1^1被使 用。根据IVMP，附属视图中与块相关联的运动信息是由与对应块(corresponding block)相 关联的运动信息来预测，对应块是使用参考视图中的视差向量来定位。根据MPI，用于深度 数据的纹理的运动参数的继承是通过将除了来自HEVC合并模式的通常空间以及时间候选 以外的一个合并候选增加到当前深度块的合并列表中来获取。额外的候选是由同位（colocated) 纹理块的运动信息产生。
[0006] 于当前3D-HEVC中，语法元素 iv_mv_pred_flag[layerld]被发送以用于层ID (layer ID)大于零的每个层，以指示IVMP是否被使用，其中，层ID大于零对应于附属视图。 对于层ID大于零的每个层，另一语法元素 log2_sub_pb_size_minus3[layerId]被发送以指 示纹理子大小。对于深度编码，语法元素 mpi_flag[layerld]被发送以用于层ID大于零的 每个层，以指示MPI是否被使用。然而，用于MPI的子PU大小是由所有层共用，且由视频参数 组（video parameter set，VPS)扩展中的语法元log2_mpi_sub_pb_size_minus3来指不。表 1所示为3D-HEVC中的当前vps_extension2()语法设计。
[0010]如表 1 所亦，与 iv-mv-pred-f lag[ layerld]、log2 -sub-pb_ _size_minus3 [layerld]、mpi_f lag[layerld]、以及log2_mpi_sub_pb_size_minus3相关的语法元素出现 于视频参数组扩展vps_ eXtenSi〇n2()中。这些语法元素的位置分别由表1的注解1-1到1-4 所指示。众所周知，IVMP被用于纹理数据以利用不同视图之间的相关性。另一方面，MPI被用 于深度数据以利用同位纹理数据中深度数据的依赖性。要注意，VPS中出现的语法元素 log2_sub_pb_size_minus3[ layerld]以及log2_mpi_sub_pb_size_minus3是独立的，不需 要考虑当前视频数据是否为纹理数据或深度数据。因此，希望能开发出新的用于子PU语法 元素信令的方法以提升性能。
[0011 ] 于当前3D-HEVC中，亮度补偿（illumination compensation，1C)被用来补偿不同 视图之间的亮度强度的差值。当亮度补偿被应用时，当前视图中当前块110的预测值是根据 对应于y = a*x+b的线性函数120来计算，其中，X为参考视图中参考块的样本值。于线性模型 中，参数a被称为乘法项，且参数b被称为偏置项。两个参数a以及b是根据训练过程 (training process) 130使用如图1所描绘的当前块的相邻重建样本140以及参考块160的 相邻重建样本150来导出。
[0012]图2所示为根据HEVC包含于训练过程的样本，其中，具有相同相关位置（即，同位） 的参考块160的相邻参考样本xi以及当前块110的相邻样本yi被用作为一个训练对 (training pair)。为了减少训练对的数量，每两个邻近样本中仅有一个被包含于训练组 (training set)中。不具有标志（即，Xi或yi)的相邻样本不会被用于训练过程。与Xi以及yi 相关联的上标"A"表示相邻样本位于块的上方。与Xl以及yi相关联的上标"L"表示相邻样本 位于块的左侧。
[0013] 训练对的数量与块大小成比例。例如，对于8x8块有8个训练对，且对于64x64块有 64个训练对。因此，对于更大的块，训练过程将会更复杂。
[0014] 亮度补偿被单独地应用到每个颜色分量，例如:Y(亮度），U(Cb)以及V(Cr)。训练过 程也是单独地被执行。对于每个分量，参数a以及b是独立地被训练。
[0015]用于计算a以及b的基础过程如以下等式所示：
[0018] 如上所述，亮度补偿的复杂性主要是因为编码器以及解码器中被用于训练更好的 a以及b的线性最小二乘(linear least square，LLS)方法。基于LLS的训练过程需要多个常 规乘法操作。根据现存的3D-HEVC或3D-AVC，亮度补偿过程被用于亮度以及色度分量两者的 单向预测以及双向预测。因此，根据现存的3D-HEVC或3D-AVC，由于乘法操作，亮度补偿过程 需要密集型计算。因此，希望简化亮度补偿过程，特别地是所包含的LLS过程。
[0019] 于3D视频编码中，被称为依赖纹理的深度分区（texture-dependent depth partition，TDDP)的编码工具已经被开发以用于利用纹理数据以及深度数据之间相关性的 深度分区。于当前3D-HEVC中，为了减少冗余，在当前深度CU的对应CU( col located coding un i t)位于相同的四分树等级时，TDDP被使用。
[0020] 图3所示为根据现存3D-HEVC的TDDP的所允许的深度分区以及对应纹理分区之间 的对应，其中，非对称运动分区（asymmetric motion partition，AMP)被允许。纹理分区显 示于左侧且深度分区显示于右侧。如图3所示，当位于相同四分树等级的对应纹理⑶以垂直 分区被编码，只有垂直分区以及2Nx2N分区被允许用于对应深度CU。类似地，当位于相同的 四分树等级的对应纹理CU以水平分区被编码时，只有水平分区以及2Nx2N分区被允许用于 对应深度CU。当位于相同的四分树等级的对应纹理CU以NxN分区被编码时，对应深度CU可以 使用包括垂直以及水平分区、2Nx2N分区以及NxN分区在内的所有分区。当位于相同的四分 树等级的对应纹理CU以2Nx2N分区被编码时，对应深度CU仅能使用2Nx2N分区。如图3所示， 垂直分区包括Nx2N、nLx2N以及nRx2N，且水平分区包括Nx2N、nLx2N以及nRx2N。表2以及表3 显示了 partjnode值以及用于帧间预测的预测分区之间的两种可能的对应。表2所显示的分 区模式仅取决于part_mode。对于帧内编码，2Nx2N以及NxN分区被允许，且part_mode的值为 0或1。表3所显示的分区模式同时取决于part_mode以及分区变量partPredldc。分区变量 partPredldc可被解释为一个纹理分区类型，其中，partPredldc等于1表示水平分区， partPredldc等于2表示垂直分区，且partPredldc等于0表示其它分区（即，2Nx2N或NxN)。
[0026] 在语义中，当位于相同的四分树等级的对应纹理CU以水平或垂直来编码时，变量 partPredldc分别被设置为1或2。当对应纹理块具有较大深度或非水平以及非垂直分区时， partPredldc被设置为0。以此方式，指示分区模式的part_mode旗标即可以由较短的二进制 串来编码，也可以与HEVC中的做法相同。
[0027] 然而，于现存的3D_HEVC(即，工作草案6)中，具有用于深度数据的分区模式的有效 性检查。特别地，现存的3D-HEVC仅检查当前模式是否为帧内或帧间模式，以及AMP模式是否 被启用。因此，当TDDP被使用且partPredldc不等于0时，非法的分区模式可能由解码器接 收。因此，希望能开发出一种用于TDDP的分区模式编码以确保非法的分区模式不会发生，或 确保解码器在接收到非法的分区