专利名称：一种立体图像的深度一致性融合处理方法
技术领域：
本发明涉及图像处理技术领域，特别涉及ー种立体图像的深度一致性融合处理方法。
背景技术：
与传统的2D媒体相比，立体电影和电视能够给人们带来更加生动的视觉体验。因此，近年来，立体图像和视频的生成与编辑处理成为非常重要的研究课题。本发明解决的问题是立体图像的深度一致性融合，该问题是立体图像处理中基本和重要的问题，是许多编辑操作的基础。图像融合的操作通常是从源图像中选择ー个图像块，然后将它无缝自然地合成到目标图像中。当前，在2D图像的融合方面已经进行了大量研究工作并取得了很多成果。这些エ作专注于消除融合边界上的顔色差异，以及调整融合对象的顔色使之与目标场景匹配，从而得到自然无缝的融合結果。对于立体图像，他通常由立体相机拍摄得到的ー组左右图像对来表示，通过将两张具有一定视差的图像合成到一起人们能够感受到立体图像中的深度信息。一般说来，使用ニ维图像编辑方法分别编辑左右图像，会破坏图像的视差一致性并造成视觉上的不舒适性，因此，通常无法得到令人满意的結果。近年来，立体图像编辑方面开展了大量的研究工作。其中主要包括立体图像的生成与编辑两个方面。在立体图像的生成方面，主要的工作是2D与3D图像的转换。Kim等人于2011年提出了用单个图像模型来代表从立体视角观测到的所有区域，可以通过简单的视差调整来生成立体图像对。Wang等人于2011年提出了“StereoBrush interactive2Dto 3D conversion using discontinuous warps”,该方法提出了一个新的 2D 转 3D 的系统流程，用户在2D图像上通过笔划指定部分区域的视差，然后系统能立刻计算出对应的3D图像。在立体图像编辑方面，当前的主要工作集中于基于人体视觉舒适度的视差编辑，以及将当前的2D图像编辑操作应用于立体图像的编辑处理中。Lang等人于2010年提出了“Nonlinear disparity mapping for stereoscopic 3D”,该方法提出了一系列视差映射的算子来改变人体对立体图像感知的视差范围。Lo等人于2010年提出了“Stereoscopic 3DCopy&Paste”，该方法是立体图像融合处理的最新方法，提出了ー个交互式的工具从立体图像对中提取出融合对象，然后采用立体公告板(stereo billboard)模型将提取出的对象融合到目标立体图像中。该方法在许多场合下能够取得很好的结果，但是具有一定的局限性。例如该方法要求从立体图像对中精确提取出对象，这通常是不稳定的，且对于融合对象的边界比较模糊如水中的船，空中的烟等对象无法处理。此外，该方法需要从立体图像中精确地提取出融合对象，该过程通常是比较不稳定且不可控的。本发明为了解决这个问题，提出了将2D对象融合到立体图像中，使得立体图像融合的过程更加稳定、可控且高效。
发明内容
本发明要解决的技术问题是如何以直观方便的交互方式将2D图像快速准确地融合到立体图像中，并在融合结果中体现出2D对象立体感。为解决上述技术问题，本发明提供了ー种立体图像的深度一致性融合处理方法，其特征在于以交互的方式将ニ维图像融合到立体图像中，包括以下步骤(I) ニ维融合区域的三角化和立体背景图像的视差估算以融合边界和ニ维图像中的SIFT特征点为约束，利用Delaunay方法对ニ维融合区域进行三角化，得 到三角网格；通过立体匹配方法估算出立体图像的视差；(2)交互式生成ニ维图像的视差图用户通过简单的笔划指定部分区域的视差，然后根据相邻区域的顔色相似性和边缘的不连续性的限制将指定区域的视差平滑地扩散到整个ニ维图像中； (3)深度一致性的视差融合根据所述步骤(I)估算出的立体图像视差对所述步骤(2)中交互生成的ニ维图像的视差进行深度一致性融合，使得ニ维图像与立体图像的视差在连续性融合边界上保持连续，从而保证融合结果的深度一致性；(4) ニ维融合对象的变形以及与立体背景图像的融合根据所述步骤(3)深度一致性融合后的ニ维图像的视差，构造出视差一致性Ed、透视尺度Es以及深度一致性E。三个约束项，将待融合的ニ维对象变形为立体图像对，并根据深度一致性约束E。确定ニ维对象变形后的融合位置，最后将变形后的立体图像对与目标立体图进行无缝融合。本发明所提出的用于立体图像的深度一致性融合处理方法能够以直观方便的交互方式将2D图像快速准确地融合到立体背景图像中，并在融合结果中体现出2D融合对象的立体感。本方法提出的融合方法具有很好的实时性，能够在用户交互式编辑2D图像视差的同时，实时地看到2D对象融合到立体背景图像中的结果，并以此为反馈继续编辑。
图I是本发明实施的ー种立体图像的深度一致性融合处理方法流程图；图2是基于图I处理方法的立体图像融合系统；
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进ー步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。如图I所示，为立体图像的深度一致性融合处理方法的一个实施例的处理流程图，包括(I) ニ维融合区域的三角化和立体背景图像的视差估算。对于ニ维融合区域的三角化，以融合边界和图像中的特征点为约束，利用Delaunay方法进行三角化，得到三角网格。其中，通过计算输入ニ维图像的SIFT特征来确定图像中的特征点。在实际计算中，采用适应性的非最大化压制(non-maximalsupression)方法来避免局部的SIFT点过密的情况。对于立体背景图像的视差估算，本发明假定输入的立体背景图像是经过校正的且没有明显的垂直视差。通过Simth等人2009年提出的立体匹配方法计算出立体图像的视差。
(2)交互式生成ニ维图像的视差图。用户在输入的2D图像上随意画上ー些指定粗细和数值的笔划，笔划上的数值表示用户指定的该区域的视差。然后根据相邻区域的顔色相似性和边缘不连续性约束，将指定区域的视差平滑地扩散到整个图像中。为避免不显著性边缘附近视差错误性扩散，本发明提出了让用户指定不显著性边缘，并将此作为约束来改进视差的扩散。(3)深度一致性视差融合。
为保证融合结果的深度一致性，必须根据深度连续性来确定融合边界上视差连续性。将步骤(2)生成的ニ维图像的视差对步骤(I)估算出的立体背景的视差进行融合，本发明采用基于权值调整的均值坐标(mean-value coordinates)方法来计算视差融合的结果O(4) ニ维融合对象的变形以及与立体背景图像的融合。为了生成ニ维对象在融合结果中的立体感，需要对ニ维对象进行尺度和形状的变换，本发明通过考虑如下的3个约束来进行对象的变形视差一致性Ed，透视尺度Es以及深度一致性E。约束。对于视差一致性Ed，在本发明中，主要是包括两个方面，I)约束变形后的左右图的三角网格上对应点的水平视差为步骤(3)计算得到的融合后的ニ维融合对象的视差；2)约束变形后的左右图的三角网格上对应点的垂直视差为0，从而保证结果的视觉舒适性。对于透视尺度Es，由于视差和用户感知深度之间存在非线性和正比关系，因此视差和目标的尺度之间存在非线性和反比关系。根据这ー前提，本发明通过约束网格每条边的尺度变化来指定目标大小的变化。而每条边上的尺度变化由该边两个端点深度变化的平均值来表示。对于深度一致性E。，本发明提出了约束变形后的对象的位置，使得变形后的对象与目标立体场景保持深度一致性。如下面的公式(I)所示，通过对以上三个能量进行线性组合，得到对象变形的能量E(V)，其中，wd，ws, wc分别定义了以上三个约束项的重要性，在实际应用中一般分别设定为I. O, I. O, I. O。通过最小化该能量得到的输出结果即为变形后左右图的三角网格V(包括左图的三角网格T1和右图的三角网格！；)。argminvE (v) = argminv (wdEd+wsEs+wcEc)(I)根据变形后的网格T1, ；，通过纹理映射将融合对象分别进行变形，得到一对变形后的对象，并将他们分别融合到立体背景图像对中。其中融合位置在上述优化过程中通过深度一致性约束确定。本发明采用alpha matting(透明值抠图)和基于梯度域融合相结合的方法来生成无缝自然的融合結果。用户通过立体眼镜可以感受到融合结果中自然生动的立体效果。如图2所示，本发明的方法能够让用户在编辑2D对象视差的过程中，实时地得到立体融合的结果，并以此为反馈继续编辑视差，从而得到用户满意的立体融合結果。本发明能够让用户以方便高效的方式进行立体图像的融合，使用2D图像作为输入具有更大的灵活性。因为与立体图像相比，2D图像更易获取和处理。本发明的成果能够应用于立体图像的实时编辑，以及立体视频的编辑等操作。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有 等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
权利要求
1.ー种立体图像的深度一致性融合处理方法，其特征在于以交互的方式将ニ维图像融合到立体图像中，包括以下步骤 (1)ニ维融合区域的三角化和立体背景图像的视差估算 以融合边界和ニ维图像中的SIFT特征点为约束，利用Delaunay方法对ニ维融合区域进行三角化，得到三角网格；通过立体匹配方法估算出立体图像的视差； (2)交互式生成ニ维图像的视差图 用户通过简单的笔划指定部分区域的视差，然后根据相邻区域的顔色相似性和边缘的不连续性的限制将指定区域的视差平滑地扩散到整个ニ维图像中； (3)深度一致性的视差融合 根据所述步骤(I)估算出的立体图像视差对所述步骤(2)中交互生成的ニ维图像的视差进行深度一致性融合，使得ニ维图像与立体图像的视差在连续性融合边界上保持连续，从而保证融合结果的深度一致性； (4)ニ维融合对象的变形以及与立体背景图像的融合 根据所述步骤(3)深度一致性融合后的ニ维图像的视差，构造出视差一致性Ed、透视尺度Es以及深度一致性E。三个约束项，将待融合的ニ维对象变形为立体图像对，并根据深度一致性约束E。确定ニ维对象变形后的融合位置，最后将变形后的立体图像对与目标立体图进行无缝融合。
2.如权利要求I所述的ー种立体图像的深度一致性融合处理方法，其特征在于步骤(3)采用基于权值调整的均值坐标方法来计算视差融合的結果。
3.如权利要求I所述的ー种立体图像的深度一致性融合处理方法，其特征在于步骤(4)按以下方式对ニ维融合对象进行变形将所述的三个约束项按以下公式(I)进行线性组合，得到对象变形的能量E (V)，最小化该能量E (V)得到的输出结果即为变形后左右图的ニ角网格V，所述的变形后左右图的ニ角网格V包括左图的ニ角网格T1和右图的ニ角网格Tr;根据变形后的左图的三角网格T1和右图的三角网格！；，通过纹理映射将融合对象分别进行变形，得到一对变形后的对象；argminvE、v) = argminv、wdEd+wsEs+wcEc)(I) 式中，wd为视差一致性Ed的重要性；ws，为透视尺度Es的重要性；w。为深度一致性E。的重要性。
4.如权利要求3所述的ー种立体图像的深度一致性融合处理方法，其特征在于将三个约束项均设定为I. O。
5.如权利要求1-4任何一项所述的ー种立体图像的深度一致性融合处理方法，其特征在于视差一致性Ed包括两个方面1)约束变形后的左右图的三角网格上对应点的水平视差为步骤(3)计算得到的融合后的ニ维融合对象的视差；2)约束变形后的左右图的三角网格上对应点的垂直视差为O。
6.如权利要求1-4任何一项所述的ー种立体图像的深度一致性融合处理方法，其特征在于对于透视尺度Es，通过约束网格每条边的尺度变化来指定目标大小的变化。而每条边上的尺度变化由该边两个端点深度变化的平均值来表示。
全文摘要
本发明公开了一种立体图像的深度一致性融合处理方法。该方法的目标是将二维图像融合到立体背景图像中，包括以下步骤(1)二维融合区域的三角化和立体背景图像的视差估算；(2)交互式生成二维图像的视差图；(3)深度一致性的视差融合；(4)二维融合对象的变形以及与立体图像的融合。本发明能够快速有效地实现立体图像的融合操作。
文档编号H04N13/02GK102695070SQ20121019695
公开日2012年9月26日 申请日期2012年6月12日 优先权日2012年6月12日
发明者张赟, 成可立, 童若锋 申请人:浙江大学