专利名称：重构深度图像的方法和重构深度图像的解码器的利记博彩app
技术领域：
本发明一般涉及深度视频的高效表示，更具体地，涉及针对新视点合成虚拟图像的目的而对深度视频进行准确编码。
背景技术：
三维(3D)视频应用(例如3D-TV和自由视点TV (FTV))需要深度信息来生成虚拟图像。可以使用虚拟图像用于画面的自由视点导航或者各种其他显示处理目的。合成虚拟图像的一个问题是深度信息中的误差。这是边缘周围的特殊问题，并且会在合成图像中导致令人苦恼的伪像(artifact)，参见Merkle等人在3DTV会议The True vision-capture, transmission and display of 3D video, Volume, Issue,28-30 May 2008, H 245-248 11 "The Effect of Depth Compression on Multiview Rendering Quality”的文章。
发明内容
本发明的实施方式提供了用于深度图像和视频的多层编码方案。该方法保证各个重构像素的最大误差不大于误差限制值。最大误差会随着各个编码层而变化从而实现图像中像素值的连续细化。在各个编码层中，也可以考虑局部图像特征(例如对应于深度不连续的边缘)调节误差限制值。
图IA是根据本发明的实施方式的多层编码器和多层解码器的框图。图IB是根据本发明的实施方式的多层编码器和多层解码器的框图。图2A是根据本发明的实施方式的增强层比特流编码器的框图。图2B是根据本发明的实施方式的增强层比特流解码器的框图。图3A是根据本发明的实施方式的增强层比特流编码器的框图。图;3B是根据本发明的实施方式的增强层比特流解码器的框图。图4A是根据本发明的实施方式的增强层比特流编码器的框图。图4B是根据本发明的实施方式的增强层比特流解码器的框图。图5A是根据本发明的实施方式的误差限制值的非自适应设置的曲线。图5B是根据本发明的实施方式的误差限制值的自适应设置的曲线。
具体实施例方式虚拟视图合成我们的虚拟图像合成使用相机参数和画面中的深度信息来确定根据相邻视点的图像(相邻图像)中的像素而合成的图像中的像素的纹理值(texture value) 0典型地，使用两个相邻图像来合成针对这两个相邻图像之间的任意视点的虚拟图像。将两个相邻图像中的各个像素投射到虚拟图像平面中的对应像素。我们使用针孔相机模型(pinhole camera model)禾丨J用[u，ν, w]T = Rc · λ；1 · [x，y，1]τ · d[c，χ, y]+Tc, (1)来将相邻图像c中的位置(X，y)处的像素投射到世界坐标[u，v，w]中，其中d为相对于图像c处的相机的光心的深度，A、R和T为相机参数，而上标T为转置算子。我们根据Xv = [x' , y'，ζ' ]T = Av · R；1 · [u，ν, w]T-Tv. (2)将世界坐标(world coordinates)映射到虚拟图像的目标坐标[χ' , y' , ζ']。在被ζ'进行归一化之后，获得了虚拟图像中的像素[x' /ζ'，y' /ζ']，其对应于相邻图像中的像素[x，y]。对于纹理映射，我们将来自当前相邻图像(C)的深度和对应纹理I [X，y]复制到虚拟图像深度和纹理缓存器中的对应位置[X' /Z, y' /ζ']。为各个相邻的图像维护深度和纹理缓存器用以生成合成图像。由于虚拟缓存器中的投射位置的量化，所以这些虚拟图像缓存器中一些像素的值缺失或未定义。为了呈现虚拟图像，我们扫描两个虚拟图像深度缓存器中的各个位置并且采用以下过程。如果两个深度都为0，则不存在纹理信息。这造成合成图像中的洞(hole)。如果一个深度为非0，则使用对应于非0深度的纹理值。如果两个深度都为非0，则我们求取对应纹理值的加权和。为了提高最终呈现的图像的质量，可以进行滤波和修复(in-painting)。优选地，我们用3X3中值滤波器来恢复合成图像中的未定义区域。可以通过组合公式(1)和( 获得从当前相机到虚拟相机的直接转换Xv= [x' , y'，ζ' ]T = M1 · d · Xc+M2 (3)其中M1 = Av · Rv-1 · Rc · AJ1，而 M2 = Av · R/1 · {Tc-Tv}。虚拟视点合成的深度误差的分析如果存在深度编码误差Δ d，则虚拟相机Δ Xv中的对应位置的误差为Δ Xv = M1 · Xc · Δ d (4)对Xv和Xv+ Δ Xv两者进行归一化从而确定虚拟相机的对应坐标。在归一化之后， 纹理映射误差为
权利要求
1.一种用于重构被编码为深度比特流的深度图像的方法，所述深度比特流包括基层比特流和一组增强层比特流，其中所述一组增强层按照从低到高的顺序布置，所述方法包括用于执行该方法的步骤的处理器，所述方法包括以下步骤解码所述基层比特流从而生成对应于所述深度图像的重构基层图像的像素， 以从低到高的顺序解码各个增强层比特流，其中各个增强层比特流的解码生成重构残余图像，以及将重构残余图像加入所述重构基层图像来生成重构深度图像，其中所述重构深度图像相对于所述深度图像的最大误差对应于与最高增强层相关联的不确定区间， 进一步，生成重构残余图像的步骤进一步包括 使用对应于所述深度图像的边缘映射维护背景模型；使用所述背景模型对各个增强层比特流进行熵解码，从而确定与所述重构残余图像的像素相对应的显著值以及各个显著像素的符号比特；以及根据所述显著值、符号比特和不确定区间对所述重构残余图像的像素值进行重构。
2.如权利要求1所述的方法，其中所述像素值与误差限制值相关联。
3.如权利要求2所述的方法，其中所述误差限制值针对各个增强层比特流而变化。
4.如权利要求2所述的方法，其中所述误差限制值根据局部图像特征而变化。
5.如权利要求4所述的方法，其中所述局部图像特征包括边缘。
6.如权利要求1所述的方法，其中所述深度图像用于虚拟视图合成。
7.如权利要求1所述的方法，其中所述增强层比特流的数量取决于传输所述深度比特流的带宽。
8.如权利要求1所述的方法，其中附加地基于所述显著值和符号比特的统计维护所述背景模型。
9.如权利要求1所述的方法，其中在所述解码期间推断所述边缘映射。
10.如权利要求1所述的方法，其中通过所述编码将所述边缘映射包括在所述深度比特流中。
11.如权利要求1所述的方法，其中在所述深度比特流中显式通知所述不确定区间。
12.如权利要求11所述的方法，所述方法还包括 针对各个增强层比特流对所述不确定区间进行熵解码。
13.如权利要求1所述的方法，所述方法还包括 以有损方式编码所述深度图像从而生成所述基层比特流；针对各个增强层比特流，确定作为所述深度图像与前一层的所述重构深度图像之间的差的残余图像，其中对于第一增强层比特流，所述前一层为基层比特流，此外所述前一层为前一增强层比特流；以及针对各个增强层比特流，对所述残余图像进行编码从而生成所述一组增强层比特流。
14.如权利要求13所述的方法，其中所述编码还包括 针对所述残余图像中的像素确定所述显著值；基于对应于所述深度图像的所述边缘映射指定所述不确定区间； 针对显著像素，基于所述残余图像中的像素值是正还是负，确定符号比特； 基于所述显著值、所述符号比特和所述不确定区间执行重构；以及对所述显著值和所述符号比特进行熵编码。
15.如权利要求14所述的方法，其中所述不确定区间针对各个增强层比特流而变化。
16.如权利要求14所述的方法，所述方法还包括根据局部图像特征调整所述不确定区间。
17.如权利要求16所述的方法，所述方法还包括针对各个增强层比特流对所述不确定区间进行熵编码。
18.如权利要求10所述的方法，其中由所述重构深度图像推断所述边缘映射。
19.如权利要求14所述的方法，其中根据所述深度图像确定所述边缘映射。
20.如权利要求19所述的方法，所述方法还包括将所述边缘映射编码为所述深度比特流的一部分。
21.如权利要求13所述的方法，所述方法还包括对所述深度图像进行下采样。
22.如权利要求1所述的方法，所述方法还包括对所述重构深度图像进行上采样。
23.如权利要求1所述的方法，其中在所述基层比特流中包括一系列深度图像，所述编码是有损编码，并且利用预测来充分利用时间冗余。
24.如权利要求14所述的方法，其中在特定像素的绝对值超出所述不确定区间时，所述残余图像的特定像素是显著的。
25.如权利要求14所述的方法，其中在所述残余图像的一组像素中绝对值的最大值超出所述不确定区间时，所述一组像素是显著的，在所述一组像素组中绝对值的最大值小于等于所述不确定区间时，所述一组像素是不显著的。
26.如权利要求25所述的方法，所述方法还包括递归地将所述一组像素划分为多个子像素组直到各个子像素组包括一个像素或者所述子像素组是不显著的。
27.如权利要求沈所述的方法，其中所述划分为四分树分解。
28.一种用于重构被编码为深度比特流的深度图像的解码器，所述深度比特流包括基层比特流和一组增强层比特流，其中所述一组增强层按照从低到高的顺序布置，所述解码器包括有损基层解码器，所述有损基层解码器被配置成生成对应于所述深度图像的重构基层图像的像素；一组增强层解码器，其中各增强层比特流具有一个增强层解码器，并且其中按照从低到高的顺序解码所述一组增强层，并且其中各个增强层比特流的解码生成重构残余图像； 以及用于将所述重构残余图像加入所述重构基层图像来生成重构深度图像的装置，其中所述重构深度图像相对于所述深度图像的最大误差对应于与最高增强层相关联的不确定区间，其中，各个增强层解码器进一步包括用于使用对应于所述深度图像的边缘映射维护背景模型的装置；用于使用所述背景模型对各个增强层比特流进行熵解码从而确定与重构残余图像的像素相对应的显著值以及各显著像素的符号比特的装置；以及用于根据所述显著值、符号比特和不确定区间对所述重构残余图像的像素值进行重构的装置。
全文摘要
一种方法重构被编码为基层比特流和一组增强层比特流的深度图像。解码基层比特流从而产生对应于深度图像的重构基层图像的像素。以从低到高的顺序解码各增强层比特流来产生重构的残余图像。在增强层比特流的解码期间，使用边缘映射维护背景模型，并且使用背景模型熵解码每个增强层比特流来确定对应于重构的残余图像的像素的显著值和每个显著像素的符号比特，并且根据显著值、符号比特和不确定区间重构经过重构的残余图像的像素值。随后，将重构残余图像添加到重构的基层图像来产生重构的深度图像。
文档编号H04N7/26GK102439976SQ20108001988
公开日2012年5月2日 申请日期2010年4月16日 优先权日2009年5月4日
发明者安东尼·韦特罗, 芮世薰 申请人:三菱电机株式会社