对3d视频译码中的视差向量导出和运动向量预测的简化的利记博彩app_4

文档序号:9439595阅读:来源:国知局
个步骤:
[0130] a)在例如基础视图等经先前译码参考深度视图中通过所导出的视差向量定位对 应深度块;对应深度块的大小与当前PU的大小相同。 阳131] b)从对应深度块的四个拐角像素选择一个深度值且将其转换为经精炼视差向量 的水平分量。视差向量的垂直分量不变。 阳132] 视频译码器可使用经精炼视差向量用于视图间运动预测,同时未精炼的视差向量 用于视图间残余预测。另外,经精炼视差向量可存储为一个PU的运动向量(如果所述PU是W后向VSP模式译码)。 阳133] 根据本发明的技术,空间相邻块中的一者可对应于经BVSP译码块,且空间相邻块 中的另一者可对应于非经BVSP译码块。举例来说,块Al可对应于经BVSP译码块且块Bl可对应于非经BVSP译码块。然而,当对当前块的运动信息进行译码时,视频译码器可使用 同一逻辑功能存取块Al和块Bl的运动信息。假定经BVSP译码块(即,上文陈述的实例中 的块Al)的运动信息包含识别参考图片的参考索引。因此,视频译码器中不需要提供用于 存取块Al的运动信息的单独逻辑功能。
[0134] 图6是说明设及使用相邻块的后向视图合成预测度VS巧的技术的概念图。已提 出并采用BVSP作为用于3D-HEVC的技术。如JCT3V-C0152中提出的后向扭曲VSP方法在 第3次JCT-3V会议中采用。此后向扭曲VSP的基本想法与3D-AVC中的基于块的VSP相 同。运两个技术均使用后向扭曲和基于块的VSPW避免发射运动向量差且使用更精确的运 动向量。实施方案细节由于不同平台而不同。本发明大体上使用首字母缩略词BVSP来指 代3D-HEVC中的后向视图合成预测,但BVSP也可指代3D-AVC的基于块的视图合成预测。
[0135] 在3D-HTM中,在共同测试条件中应用纹理优先译码。因此,当对一个非基础纹理 视图进行解码时对应非基础深度视图不可用。因此,估计深度信息且用W执行BVSP。为了 估计块的深度信息,提出首先从相邻块导出视差向量,且随后使用所导出的视差向量从参 考视图获得深度块。
[0136] 在HTM5. 1测试模型中,存在导出视差向量预测符的过程,称为NBDV(相邻块视差 向量)。假设(dvx,dvy)表示从NBDV功能识别的视差向量,且当前块位置是(块X,块y)。 提出获取参考视图的深度图像中的(块x+dvx,块y+dvy)处的深度块。所获取的深度块将 具有当前预测单元(PU)的相同大小,且其随后将用W进行当前PU的后向扭曲。图6说明 用于从参考视图定位深度块且随后使用所述深度块用于BVSP预测的步骤。
[0137] 在图6的实例中,深度图片150和纹理图片154对应于同一视图,而纹理图片152 对应于不同视图。确切地说,纹理图片152包含相对于充当参考图片的纹理图片154正译 码的当前块160。视频译码器可参考与当前块160相邻的相邻块162。相邻块162包含先 前所确定的视差向量166。视差向量166可如同当前块160的视差向量164那样导出。因 此,视差向量164参考参考视图的深度图片150中的深度块156。
[0138] 视频译码器可随后使用深度块156的像素(即,深度值)来确定当前块160的像 素的视差值168 (即,纹理值),用于执行后向扭曲。视频译码器可随后从由视差值168识别 的像素合成当前块160的经预测块(即,BVSP参考块)的值。视频译码器可随后使用此经 预测块预测当前块160。举例来说,在视频编码器20的视频编码期间,视频编码器20可计 算经预测块与当前块160之间的逐像素差W产生残余值,视频编码器20可随后对所述残余 值进行变换、量化和赌编码。另一方面,在视频解码器30的视频解码期间,视频解码器30 可对残余数据进行赌解码、逆量化和逆变换,随后组合所述残余数据(基于逐像素)与经预 测块W再生当前块160。
[0139] JCT3V-C0152提出对3D-HEVC的BVSP技术的改变,如下所述。确切地说,斜体文字 表示添加到3D-HEVC的文字,而前面是"移除"的带括号文字表示从3D-HEVC的删除:
[0140] 如果在序列中启用BVSP,那么用于视图间运动预测的NBDV过程改变且在W下段 落中突出显示差异: 阳141] ?对于时间相邻块中的每一者,如果其使用视差运动向量,那么返回视差运动向 量作为视差向量且W3D-HEVC的章节1. 6. 1. 3中描述的方法进一步精炼所述视差向量。 阳142] ?对于空间相邻块中的每一者,W下适用:
[0143] O按次序对于参考图片列表0和参考图片列表1 :
[0144] 如果其使用视差运动向量,那么返回视差运动向量作为视差向量且W章节 1. 6. 1. 3中描述的方法进一步精炼所述视差向量。
[0145] 否则,如果其使用BVSP模式,那么返回相关联运动向量作为视差向量。W与章 节1. 6. 1. 3中描述类似的方式进一步精炼所述视差向量。然而,最大深度值是选自对应深 度块的所有像素而不是四个拐角像素,且经精炼视差向量的垂直分量设定成0。
[0146] ?对于空间相邻块中的每一者,如果其使用IDV,那么返回IDV作为视差向量且W 章节1. 6. 1. 3中描述的方法进一步精炼所述视差向量。
[0147] 所介绍的BVSP模式视为特殊帖间译码模式,且针对每一PU可维持指示BVSP模式 的使用的旗标。将新合并候选者度VSP合并候选者)添加到合并候选者列表,而不是在位 流中用信号表示所述旗标。所述旗标取决于经解码合并候选者索引是否对应于BVSP合并 候选者。如下按JCT3V-C0152定义BVSP合并候选者:
[0148] ?每一参考图片列表的参考图片索引:-1 阳149] ?每一参考图片列表的运动向量:经精炼视差向量
[0150] 在JCT3V-C0152中,BVSP合并候选者的插入位置取决于空间相邻块,如下文所论 述: 阳15U ?如果五个空间相邻块(图5中所示的40、41、80、81或82)中的任一者是^8¥5口 模式译码,即,维持相邻块的旗标等于1,那么将BVSP合并候选者视为对应空间合并候选者 且插入到合并候选者列表。BVSP合并候选者将仅插入到合并候选者列表一次。
[0152] ?否则(五个空间相邻块均不是WBVSP模式译码),将BVSP合并候选者插入到合 并候选者列表仅处于时间合并候选者之前。 阳153] 应注意,在组合的双向预测合并候选者导出过程期间,可检查额外条件W避免包 含BVSP合并候选者。 阳154] JCT3V-J0152进一步提供,具有由NxM表示的大小的每一经BVSP译码的PU进一步 分割成具有等于KxK(其中K可为4或2)的大小的若干子区。对于每一子区,导出单独的 视差运动向量,且从通过视图间参考图片中的导出的视差运动向量定位的一个块预测每一 子区。换句话说,用于经BVSP译码PU的运动补偿单元的大小设定成KxK。在共同测试条件 中,K设定成4。 阳1巧]1口'3¥-卵152进一步提供,对于^8¥5?模式译码的一个?1]内的每一子区(4又4 块),首先在具有上文提到的经精炼视差向量的参考深度视图中定位对应4x4深度块。第 二,选择对应深度块中的十六个深度像素中的最大值。第=,将所述最大值转换成视差运动 向量的水平分量。将视差运动向量的垂直分量设定成0。
[0156] 在3D-HEVC中,当应用纹理优先译码次序时,对于每一预测单元(PU),可在考虑/ 不考虑参考深度视图中的深度值的情况下从NBDV导出视差向量。在获得视差向量之后,针 对一个PU的每一 4x4子区将其进一步精炼(如果所述PU是WBVSP模式译码)。 阳157] 3D-HEVC将精炼过程描述为包含两个步骤:1)从通过所导出的视差向量定位的参 考深度视图中的4x4深度块选择一个最大深度值;2)将所述深度值转换为经精炼视差向量 的水平分量,同时保持经精炼视差向量的垂直分量为0。在针对一个PU的一个4x4子区精 炼视差向量之后,3D-肥VC提供使用经精炼视差向量来定位参考纹理视图中的一个块用于 运动补偿。
[0158] 现将论述3D-AVC中的NBDV。根据一些3D译码技术,MB层级NBDV可用W导出当 前MB的视差向量且进一步用于运动向量预测。一旦识别出视差运动向量,即,时间或空间 相邻块中的一者使用视图间参考图片,那么返回其作为当前MB的视差向量。
[0159] 根据一些3D译码技术,可通过存取对应深度块而进一步精炼从NBDV导出的视差 向量。举例来说,可使用(通过视差向量识别的)参考视图的深度块的四个拐角的深度值, 且选择最大深度值且转换成视差向量。根据其它3D译码技术,W针对每一 4x4或8x8块使 用对应深度块产生视差运动向量的方式利用BVSP。类似于视差向量导出过程,可使用(通 过经精炼视差向量识别的)深度块的四个拐角,且选择最大深度值W转换成视差运动向 量。
[0160] 本发明的技术可解决若干潜在问题。作为一个实例,对于帖间模式中的D-MVP,需 要多次执行深度到DV转换W导出一个MB中的各种分区块的DV,其在当前MB划分成分区/ 子块时增加将从存储器存取的深度样本的数目。作为另一实例,对于跳过/直接模式中的 D-MVP,通过取相关联深度块的四个拐角样本的最大深度值而针对MB导出视差向量;运要 求高存储器存取带宽。作为另一实例,在BVSP模式中,通过取当前子区的相关联深度块的 四个拐角深度样本的最大值而针对大小KxK的子区导出视差向量;运是W高存储器存取带 宽为代价完成的。作为另一实例,对于跳过/直接MB,当视图间运动向量不可用时,使用常 规基于中值的运动向量预测。作为另一实例,在3D-HEVC中,当视差向量是从进行视图间预 测相邻块导出时精炼当前块的视差向量仅要求存取参考深度块的四个拐角。当视差向量是 从经BVSP译码相邻块导出时精炼当前块的视差向量且针对WBVSP模式译码的PU产生4x4 或8x8子区的视差运动向量需要稍微不同的设计,其要求存取参考块的所有样本。
[0161] 本发明介绍了当视差向量是通过存取深度图而导出时可简化视差(运动)向 量导出过程的技术。运些技术的阐释可主要集中于3D-AVC,但应理解相似想法可适用于 3D-HEVC。更具体来说,本发明提供当利用深度到视差转换方案时用于各种帖间预测模式 (包含跳过/直接,帖间)W及BVSP模式的简化且通用的视差向量导出方案。可简化计算 和存储器存取。 阳162] 图7展示8x8深度块170的实例。深度块170的四个拐角样本标记为172A-172D。 位流中的"re化ced_resolution_flag"可指示深度视图是否具有相对于纹理视图减少的分 辨率或深度视图是否具有与纹理视图相同的分辨率。如果re化ced_resolution_flag等 于1,那么纹理视图中的16x16宏块将具有对应纹理视图中的对应(即,位于同一地点)8x8 深度块,例如8x8深度块170。如果re化ced_resolution_flag等于0,那么纹理视图中的 16x16宏块将具有对应纹理视图中的对应(即,位于同一地点)16x16深度块。下文将通过 参考深度块170来阐释若干实例。
[0163] 根据本发明的一个技术,当对非基础纹理视图分量进行译码时,视频解码器30可 通过存取对应于含有当前纹理块的宏块的深度块而导出整个宏块的仅一个视差向量。不管 当前MB是否是W跳过/直接模式或其它帖间模式译码,每当针对MB内的任何块需要视差 向量时,视频解码器30可从同一MB层级视差向量导出导出相同的唯一视差向量一次。视 频解码器30可(例如)通过存取拐角样本172A-172D的深度值且从所述四个拐角样本确 定最大深度值而导出视差向量。视频解码器30可随后使用(例如)查找表或W上等式(1) 和(2)将最大深度值转换为视差值。在一些实施方案中,视频解码器30可通过存取除所述 四个拐角样本外的深度值和/或识别除最大值外的值而导出视差向量。
[0164] 作为一个实例,对于非基础纹理视图的宏块,视频解码器30可定位对应于所述宏 块的深度块,且基于所述深度块的至少一个深度值,导出宏块的视差向量。视频解码器30 可基于所导出的视差向量对宏块的第一子块进行译码且基于所导出的视差向量对宏块的 第二子块进行译码。深度块和宏块可位于同一地点。视频解码器30可通过W下方式导出 宏块的视差向量:确定包含深度块的两个或两个W上拐角样本的深度值的深度值集合,W 及从深度值集合识别最大深度值。视频解码器30可(例如)使用跳过模式和直接模式中 的一者对第一子块进行译码且使用除跳过模式或直接模式外的帖间预测模式对第二子块 进行译码。
[01化]跳过/直接模式与帖间预测之间的一个潜在差异是随后当使用跳过/直接模式对 宏块进行译码时,将不存在任何分割,即,16x16的MB大小经完全译码。当MB是使用除跳 过/直接外的模式(即,帖间模式)译码时,可存在MB分割。并且,每一MB分区可进一步 分割成子块(即H. 264/AVC子块)。根据本发明的技术,针对MB导出的同一视差向量可W 用于所有模式,例如跳过/直接和帖间模式。
[0166] 根据本发明的另一技术,当从同一视图内的深度视图分量的对应深度块导出视差 向量时,仅存取当前MB的对应深度块的左下(172A)和右下(172B)拐角深度样本。如图7 中示出,通常MB对应于3D-AVC中的同一视图中的8x8参考块。深度块通常具有较低空间 分辨率(水平和垂直向下取样二分之一)。因此,16x16宏块对应于8x8深度块。根据本发 明的一个技术,仅存取拐角样本172A和172BW导出整个MB的视差向量。此外,存取的深 度样本的最大深度值用于将其转换为视差向量。或者,仅存取参考深度块的左上(172C)和 右下(172B)拐角样本。或者,仅存取参考深度块的左上(172C)和右上(172D)拐角样本。 或者,仅存取参考深度块的左下(172A)和右下(172B)拐角样本。或者,仅存取参考深度 块的左下(172A)和右上(172D)拐角样本。或者,仅存取参考深度块的右下(172B)和右上 (172D)拐角样本。或者,存取位于对应深度块内的任何其它两个样本,例如一个中屯、像素和 一个拐角像素或两个中屯、像素等。或者,当存取两个样本时,可使用运两个深度样本的平均 /最小值而不是最大值。
[0167] 根据本发明的另一技术,可在BVSP模式中使用相似的深度到视差转换方法W便 针对MB分区内的大小KxK的每一子区导出视差向量。首先针对KxK子区识别参考深度块, 且存取参考深度块的具有相对坐标中的位置的相同拐角样本(例如,与KxK子区对应/位 于同一地点的参考深度块的右下和左下拐角),类似于MB层级视差向量导出中的那些样 本。或者,针对BVSP可存取参考深度块的较少拐角样本。
[0168] 根据本发明的另一技术,在当前3D-AVC的跳过/直接模式中,当视图间运动向量 不可用时,将运动向量预测符设定成第一可用空间相邻者的运动向量(包含参考索引),而 不是使用=个相邻块的运动向量的中值。按次序检查空间相邻者中的任一者是否具有大于 或相等0的参考图片索引。如果为真,那么将当前MB的运动向量和参考图片索引分别设定 为等于空间相邻块的运动向量和参考索引,且检查过程终止。
[0169] 根据本发明的另一技术,当NBDV用于3D-AVC且参考视图的深度图用W精炼视差 向量时,相同的两个拐角样本可用W得到一个最佳深度值W转换成经精炼视差向量。
[0170] 根据本发明的另一技术,当NBDV用于3D-AVC且参考视图的深度图用W在BVSP模 式中产生视差运动向量时,相同的两个拐角样本可用W得到一个最佳深度值W转换成视差 运动向量。 阳171] 根据本发明的另一技术,在3D-HEVC中,类似地,可W仅检查相邻块的拐角样本的 方式对准于在BVSP模式中存取视差运动向量的参考块。换句话说,对于每一KxK子区,视 频解码器30仅检查通过含有KxK子区的预测单元的视差向量识别的KxK子区的参考深度 块的拐角样本。此外,通过将精炼应用于PU或CU而不是MB块,如上文所描述的简化可适 用于 3D-HEVC。
[0172] 现将更详细地阐释实施上述技术的方面,从跳过/直接模式中的视差向量导出开 始。对于此实例,当前MB的左上样本相对于当前图片的位置由(x,y)指示。从参考深度视 图中的左下和右下拐角像素选择用于当前MB的一个深度值值)为 阳 17引D=max值 0,01),
[0174] 其中函数max( ?)返回Di(i为0到1)的最大值且Di表示在第i像素位置的深 度值,其被计算为
[0175] i= 0: (x>>reduced_resolution_flag, (y?reduced_resolution_flag) +SMD_ POS),
[0176] i=I: ((x?reduced_resolution_flag)+SMD_P0S, (y?reduced_resolution_ flag)+SMD_P0S), 阳 177]此处,当"reduced_resolution_flag"分别等于I和 0 时,SMD_P0S等于 7 和 15。 等于1的"re化ced_resolution_flag"指定视图分量对的深度视图分量具有比同一视图分 量对的纹理视图分量的明度分量低的空间分辨率,且深度视图分量的宽度和高度均为所有 纹理视图分量的宽度和高度的二分之一。等于0的"re化ced_resolution_flag"指定当深 度视图分量和纹理视图分量两者存在时,它们具有相同空间分辨率。最后,使用等式(1)和 (2)从所述选定深度值D计算视差向量的水平分量且视差向量的垂直分量始终设定成0。 [0178] 现将描述帖间模式中的视差向量导出。在此实例中,相对于当前图片的当前 MB(当前分区/子块位于该处)的左上位置由(x,y)表示。从参考深度视图中的左下和右 下拐角像素选择用于当前MB的一个深度值值)为 阳 179]D=max值 0,01),
[0180] 其中函数max( ?)返回Di(i为0到1)的最大值且Di表示在第i像素位置的深 度值,其被计算为 阳181]i= 0: (x〉〉reduced_resolution_flag, (y〉〉reduced_resolution_flag)+SMD-POS),
[0182]i=I: ((x?reduced_resolution_flag)+SMD_P0S, (y?reduced_resolution_flag)+SMD_P0S), 阳18引此处,SMD_P0S和reduced_resolution_flag如上所述起作用。最
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1