使用基于区域的滤波的深度图提取系统和方法

专利名称：使用基于区域的滤波的深度图提取系统和方法
技术领域：
本发明公开总体上涉及计算机图形处理和显示系统，具体涉及采用基于区域的滤 波，从至少两个图像中提取深度信息以减少伪像的系统和方法。
背景技术：
立体成像是对从略微不同的视点拍摄的、场景的至少两个图像进行视觉组合，以 产生三维深度的幻影的过程。该技术依赖于以下事实人眼间隔一定距离，因此，无法精确 地观看到相同场景。通过向每只眼睛提供来自不同透视图的图像，观看者的眼睛被欺骗为 感知到深度。典型地，在提供两个不同透视图的情况下，分量图像分别称作“左”和“右”图 像，也称作参考图像和互补图像。然而，本领域技术人员将认识到，可以组合两个以上的视 点来形成立体图像。在3D后期制作、视觉效应(“VFX”)工作流和三维(“3D”)显示应用中，一个重 要过程是从由左眼视图和右眼视像组成的立体图像中推断或提取深度信息，例如，从 对象到摄像机的深度图或距离。可以在各种影片应用中使用深度图提取，例如，获取用于影 片后期制作、深度键控、3D压缩以及用于3D显示器的内容产生的场景的几何构造。例如，最 近商业化的自动立体3D显示器需要图像加深度图输入格式(2D+Z)，从而显示器可以产生 不同的3D视图，来支持多视角。立体匹配是一种广泛使用的深度图提取方法，以根据在不同位置处由摄像机拍摄 的两个图像来估计深度图。立体匹配获得来自场景中不同位置和取向的两个或多个摄像机 的场景图像。大致同时从每个摄像机获得这些数字图像，并且对应于空间中的3D点，对这 些图像中的每一个的点进行匹配。一般而言，通过搜索一部分图像并使用约束(例如，外极 线约束)来将一个图像中的点与另一图像中的点相关，来匹配来自不同图像的点。根据图 像中与场景中相同点相对应的两个像素之间的相对距离，来推断深度值。已经针对精确深度估计开发了多种方法，例如，动态编程、置信传播、简单块匹配 等。越精确的方法通常计算量越大。一些方法速度太慢以致于不能用于实际应用。已经发 现扫描线算法(例如，扫描线动态编程或扫描线置信传播)是相对高效的算法或函数，与简 单像素/块匹配(太不精确)和二维(“2D”)置信传播(太慢)相比，能够给出十分精确 的结果。因此，扫描线算法或函数能够成为用于深度估计问题的实际解决方案。然而，扫描 线算法或函数的主要缺点在于，扫描线算法或函数通常产生水平条纹伪像(见图5B，其中 圈出了条纹伪像)，这是由于与诸如置信传播等其他计算量大的算法不同，扫描线算法一次 仅对一个扫描线执行优化，因此，沿着垂直方向没有施加平滑约束。因此，需要快速和高效深度信息提取方法的技术，该方法最小化不连续性或条纹 伪像。

发明内容
提供了一种采用基于区域的滤波，从至少两个图像中提取深度信息以减少伪像的系统和方法。本发明公开提供了用于减少由扫描线动态编程(DP)或其他类似方法产生的 伪像的后处理算法或函数。该系统和方法通过区域分割算法或函数来分割两个图像中的至 少一个，并在不横穿分割区域边界的情况下执行滤波。此外，采用各向异性的滤波器，其具 有比沿着水平方向的滤波器强度大的沿着垂直方向的滤波器强度，从而，在减少条纹伪像， 而不显著模糊深度边界。根据本发明的一方面，提供了一种用于从至少两个图像中提取深度信息的方法。 该方法包括获取来自场景的第一图像和第二图像；估计第一图像中的至少一个点与第二 图像中的至少一个相应点的差异，以产生差异图；将第一或第二图像中的至少一个分割成 至少一个区域；以及基于分割区域对差异图进行滤波。在一方面，第一和第二图像包括立体 图像对的左眼视图和右眼视图。在另一方面中，该方法包括通过针对差异图的至少一个点中的每一个对估计的 差异取反，将滤波后的差异图转换成深度图。在另一方面中，估计差异的步骤由扫描线优化函数来执行。在另一方面中，滤波步骤包括沿着水平方向对差异图的至少一个像素进行滤波； 以及沿着垂直方向对差异图的至少一个像素进行滤波，其中，沿着垂直方向的滤波被配置 为，具有比沿着水平方向的滤波大的平滑效果。在又一方面中，滤波步骤包括选择滤波器大小；基于滤波器大小创建掩蔽块子 图像，来掩蔽至少一个分割区域外部的像素；以及对至少一个分割区域内部的至少一个像 素进行滤波。根据本发明的另一方面，一种用于从至少两个图像中提取深度信息的系统，包括 用于获取来自场景的第一图像和第二图像的装置；差异估计器，被配置为估计第一图像中 的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图；分割模块，被配置为 将第一或第二图像中的至少一个分割成至少一个区域；以及滤波器，被配置为基于分割区 域对差异图进行滤波。根据本发明的另一方面，提供了一种由机器可读并有形地体现指令程序的程序存 储设备，该指令程序可由机器执行以执行用于从至少两个图像中提取深度信息的方法步 骤，该方法包括获取来自场景的第一图像和第二图像；估计第一图像中的至少一个点与 第二图像中的至少一个相应点的差异，以产生差异图；将第一和第二图像中的至少一个分 割成至少一个区域；以及基于分割区域对差异图进行滤波。


根据结合附图阅读的优选实施例的以下详细描述，对本发明的这些和其他方面、 特征以及优点进行描述或使其变得显而易见。在附图中，类似的参考数字表示类似的元件。图1是根据本发明方面的用于从至少两个图像中提取深度信息的系统的示例示 意图；图2是根据本发明方面的用于从至少两个图像中提取深度信息的示例方法的流 程图；图3示出了根据本发明方面的对差异图的至少像素进行基于区域的平滑或滤波；
图4是根据本发明方面的用于对差异图的区域进行滤波的示例方法的流程图；图5示出了根据本发明公开的系统和方法处理而得到的图像，其中，图5A示出了 二维(2D)输入图像，图5B是示出了条纹伪像的由传统扫描线动态编程处理而得到的深度 图，图5C是图5A中所示的图像的得到的区域分割图像，以及图5D示出了根据本发明公开 的系统和方法处理的平滑后的深度图。应当理解，附图是出于示意本发明的构思的附图，并不必是用于示出本公开的唯 一可能的配置。
具体实施例方式应当理解，图中所示的元件可以以各种形式的硬件、软件或其组合来实现。优选 地，这些元件可以以一个或多个适当编程的通用设备上的硬件和软件的组合实现，该通用 设备可以包括处理器、存储器和输入/输出接口。本说明书示意了本发明的原理。因此将认识到，本领域技术人员能够设想各种布 置，这些布置尽管在这里没有显式描述或示出，但体现本发明的原理并包括在本发明的精 神和范围内。这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明 的原理以及发明人对现有技术做出贡献的构思，应看作不会被限制为这里具体引述的示例 和条件。此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在 包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来 开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的 示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实 质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否 明确示出该计算机或处理器。可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而提供图中所 示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享 处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控 制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括 (不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存 取存储器(“RAM”)以及非易失性存储器。还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念 上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是 手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功 能的任何方式，例如包括a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固 件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限 定的本发明原理在于如下事实将各个引述的装置所提供的功能以权利要求所要求的方式 组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。
立体匹配是一种标准方法，用于从例如左眼视像和右眼视像等立体图像 中推断深度图。在传统自动立体显示器上的3D回放已经示出了，深度图的平滑度显著影响 了得到的3D回放的观看。非平滑深度图通常在3D回放中导致Z字形边缘，这些Z字形边 缘在视觉上比深度值不精确的平滑深度图的回放更差。因此，对于3D显示和回放应用，深 度图的平滑比深度精确度更重要。此外，在3D显示应用中，基于全局优化的方法是深度估 计所必需的。对于根据立体图像的深度估计，同样重要的是，达到计算成本和深度图精确度之 间的平衡。本发明公开通过在执行扫描线优化算法或函数(例如，扫描显动态编程或扫描 显置信传播)之后，使用基于区域的滤波后处理步骤，来对该问题进行处理，其中两种方法 均是低成本算法或函数。本发明公开的系统和方法在扫描线算法或函数之后应用基于区域的滤波。扫描线 算法以一次一条扫描线的方式对两个图像之间的深度值进行估计。典型地，仅沿着水平方 向施加平滑约束。在执行扫描线算法或函数之后，由于缺乏沿着垂直方向的平滑约束，得到 可能示出条纹伪像的深度图(见图5B)。本发明公开的系统和方法应用基于区域的平滑算 法或函数来减少条纹伪像，同时仍粗略保留区域边界。该系统和方法还根据针对第一图像中的至少一个点中的每一个与第二图像中的 至少一个相应点所估计的差异，来产生差异图，并且通过对差异图的差异值取反，来将差异 图转换成深度图。然后，可以与立体图像对一同使用深度图或差异图，以用于3D回放。现在参照附图，在图1中示出了根据本发明实施例的示例系统组件。可以提供扫 描设备103来将影片胶片104(例如，摄像机原始影片底片)扫描成数字格式，例如Cineon 格式或电影与电视工程师学会(“SMPTE”)数字图像交换(“DPX”)文件。例如，扫描设备 103可以包括，电视电影机或根据影片产生视频输出的任何设备，例如具有视频输出的Arri LocPro 0备选地，可以直接使用来自后期制作过程或数字电影106的文件(例如，已经是 计算机可读形式的文件)。潜在的计算机可读文件的源是AVID 编辑器、DPX文件、D5影带寸。将扫描后的影片胶片输入至后处理设备102，例如，计算机。计算机在具有硬件的 各种已知计算机平台中的任何平台上实现计算机，该硬件例如是一个或多个中央处理单元 (CPU)、诸如随机存取存储器(RAM)和/或只读存储器(ROM)等存储器110、以及诸如键盘、 光标控制设备等输入/输出(I/O)用户接口 112 (例如，鼠标或操纵杆)以及显示设备。该 计算机平台还包括操作系统和微指令代码。这里描述的各种过程和功能可以是经由操作系 统执行的微指令代码的一部分或软件应用程序的一部分(或其组合)。在一个实施例中， 在程序存储设备上有形地体现软件应用程序，该软件应用程序可以上载到诸如后处理设备 102等任何适合的机器上并由该机器执行。此外，各种其他外围设备可以通过各种接口和总 线结构(例如，并行端口、串行端口或通用串行总线(USB))连接至计算机平台。其他外围 设备可以包括附加的存储设备124和印片机128。印片机128可以用于印制影片126的修 改版本，例如，影片的立体版本，其中，由于以下描述的技术，可能已经使用3D建模的对象 修改或代替了场景或多个场景。备选地，可以直接将已经是计算机可读形式106的文件/影片(例如，可以存储在 外部硬盘驱动124中的数字电影)直接输入到计算机102中。注意，这里使用的术语“影
7片”可以指代影片胶片或数字电影。软件程序包括存储在存储器10中并用于从至少两个图像中提取深度信息的深度 提取模块114。深度提取模块114包括差异估计器116，被配置为估计第一图像中的至少 一个点与第二图像(例如，立体图像对)中的至少一个相应点的差异，并根据针对第一图像 中的至少一个点中每一个与第二图像中的至少一个相应点而估计的差异，来产生差异图。 差异估计器116包括像素匹配成本函数132，被配置为匹配第一和第二图像中的像素；以 及平滑成本函数134，被配置为向差异估计应用平滑度约束。差异估计器116还包括置信 传播算法或函数136和/或动态编程算法或函数138，以最小化像素匹配成本函数和平滑成 本函数，从而实现两个图像之间的最优化差异。应当理解，任何公知的优化算法或函数可以 用于最小化成本函数，置信传播或者动态编程仅是示例最优化函数的两个示例。提供区域分割模块118，以分割来自2D图像的区域或对象。提供平滑滤波器120， 以对差异图的分割区域内的像素进行滤波。在一个实施例中，平滑滤波器120对高斯函数 进行离散，以产生针对水平和垂直滤波的滤波器内核。可以通过调整高斯函数的方差，来控 制滤波的平滑程度。应当认识到，诸如盒函数之类的其他函数可以用于产生滤波器内核。深度提取模块114还包括深度图产生器122，用于通过对差异图的差异值取反， 来将差异图转换成深度图。图2是根据本发明方面的用于从至少两个二维(2D)图像中提取深度信息的示例 方法的流程图。首先，后处理设备102获取至少两个2D图像(步骤202)，例如，具有左眼 和右眼视图的立体图像对。后处理设备102可以通过获得计算机可读格式的数字主图像文 件，来获取至少两个2D图像。可以通过利用数字摄像机捕获运动图像的时间序列，来获取 数字视频文件。备选地，由传统胶片类型摄像机来获取该视频序列。在这种情况下，经由扫 描设备103扫描该影片。应当认识到，无论对该影片进行扫描还是该影片已经为数字格式，影片的数字文 件包括与帧的位置(例如，帧编号，影片开始的时间等)有关的指示或信息。数字图像文件 的每个帧包括一个图像，例如，I1,12,... In。可以由具有相同设置的两个摄像机来拍摄立体图像。要么将摄像机校准为具有相 同焦距、焦高以及平行的焦平面，要么必须基于已知的摄像机参数使图像翘曲，好像它们是 由具有平行的焦平面的摄像机拍摄的。该翘曲处理包括摄像机校准和摄像机矫正。校准和 矫正处理调整立体图像的外极线，使得外极线正好是图像的水平扫描线。由于沿着外极线 进行对应点发现，矫正处理简化了对应关系搜索，从而仅沿着扫描线搜索，这极大地降低了 计算成本。对应点是图像中与相同场景点相对应的像素。接着，在步骤204中，经由差异估计器116针对场景中的每个点来估计差异图。计 算每个场景点的差异，作为左眼和右眼图像中的匹配点的相对距离。例如，如果左眼图像中 的点的水平坐标为X，其在右眼图像中的对应点的水平坐标为X’，则差异d = x’-x。接着， 使用以下公式z = Bf/d,将场景点的差异值d转换成深度值z，即，从场景点到摄像机的距 离，其中，B是两个摄像机之间的距离，也称作基线，f是摄像机的焦距，以下将详细描述其 细节。所有立体匹配算法的思想是，对左眼图像中的像素与右眼图像中的像素进行匹 配。然而，对于矫正的图像对，匹配像素的位移仅沿水平方向发生。因此，仅需要搜索沿着水
8平方向的像素。在立体匹配算法或函数中，通常施加平滑约束，使图像中不具有纹理的区域 可以根据纹理附近的像素来获得它们的深度值。可以将平滑约束与像素匹配组合到一起， 作为如下的成本函数Cost(D) = MatchCost (D) +λ · SmoothCost(D)(1)其中，D是深度图(或差异图)，MatchCost是根据深度图的像素匹配的总成本， SmoothCost是相邻像素的平滑的总成本，以及λ是用于对匹配成本和平滑成本的重要性 进行加权的因子。因此，深度估计问题是相对于深度图来最小化以上成本函数。如果D定义在整个 2D图像平面上，则深度估计问题是2D优化问题，包括密集计算并必然带来高计算成本。由 于矫正的立体图像对的本质属性，以上成本函数可以定义在每个图像扫描线上，并且对每 个扫描线上的成本函数进行最小化。因此，将2D优化问题转换成可以高效解决的多个一维 优化问题。动态编程函数138是用于高效找到以上成本函数的最小解的示例算法或函数， 并且出于相同目的，也可以将置信传播函数136修改为ID版本。然而，由于缺乏垂直平滑 约束，扫描线优化的主要问题是“条纹”伪像(见图5Β)。当将深度图与2D图像一同在2D+ 深度3D显示器上回放时，“条纹”伪像导致恼人的抖动。为了减少伪像，本发明公开的系统和方法向得到的差异图应用平滑滤波器。然而， 平滑滤波器通常也会模糊差异图中对象的深度边界，这是不期望的。本发明公开的系统和 方法约束了区域内的平滑处理。由于多数情况下，差异不连续性沿着垂直方向发生，所以采 用在垂直方向上比在水平方向上强得多的平滑滤波器，即各向异性滤波器。这可以通过调 整滤波器20的高斯函数的方差来实现。方差越高，得到越强的平滑滤波器。为了加速滤波 处理，滤波器可以是可分离的滤波器，其由在水平ID滤波之后跟随垂直ID滤波来实现。例 如，通过具有第一方差的高斯函数来执行沿着水平方向的滤波，并且通过具有第二方差的 高斯函数来执行沿着垂直方向的滤波，其中，第二方差大于第一方差；这得到沿着垂直方向 比沿着水平方向大的平滑效果。在一个示例实施例中，对于960X540的图像尺寸，水平滤 波器的方差可以是2. 0，垂直滤波器的方差可以是4. O。为了执行基于区域的滤波，将立体图像对的至少一个图像分割成至少一个区域。 再次参照图2，在步骤206中，获取立体图像对的参考图像，例如左眼视像。典型地， 左眼视像是参考图像，但在其他实施例中也可以采用右眼视像。在步骤208中， 经由区域分割模块118将图像分割成区域。可以通过能够将图像划分成非交叠区域的任 何传统区域分割算法或函数来实现区域分割。示例区域检测算法或函数被称作平均移位 (mean-shift)算法。平均移位算法或函数的优点在于，不需要预先指定区域的数目。艮口， 在分割处理期间，算法能够自动发现区域的数目。在图5C中示出了区域分割的一个示例结^ ο一旦确定了图像的区域，在步骤210中，基于图像中的区域，经由平滑滤波器120 对差异图进行滤波。关于图3和4描述，用于基于分割区域对差异图进行滤波的方法。在基于区域的平滑方案中，对于区域中的每个像素302，产生掩蔽块子图像304， 其像素与指定像素相邻。该块的大小由滤波器的大小确定。因此，在步骤402中，初始选择 滤波器大小。在步骤404中，基于滤波器大小308，来创建掩蔽块子图像304。例如，如果水 平滤波器抽头为6，垂直滤波器抽头为4，则该块是具有4x6 = 24个像素的矩形。在步骤406中，在至少一个分割区域中选择至少一个像素，然后在步骤408中在该块上创建掩蔽块 子图像。当将掩蔽块子图像应用于差异图时，如图3所示，如果像素在区域边界306内或在 区域边界306内部，将像素的强度值设置为1，否则，如果像素在区域边界的外部，将像素的 强度值设置为0。在步骤410中，通过首先应用水平滤波器然后应用垂直滤波器，来实现滤波处理。 通过掩蔽块子图像的强度值对垂直和水平滤波进行加权，使得在区域边界306外部的像素 不影响得到的平滑后的差异值。可以使用不同形式的水平和垂直滤波器。在一个实施例中， 使用高斯滤波器。通过对具有预定方差的ID高斯函数进行采样，来产生滤波器，并将滤波 器截短到指定的滤波器抽头。为了保留更多细节，垂直滤波器的方差比水平滤波器的方差 高得多，因此，沿着垂直方向的平滑更强烈。凭经验确定高斯函数的方差，并该方差可以是 整个系统的输入参数。例如，对于960x540的图像尺寸，水平滤波器的方差可以是2. 0，垂直 滤波器的方差可以是4.0。再次参照图2，在步骤212中，经由深度图产生器122将滤波后的差异图转换成深 度图。使用以下公式z = Bf/d，将每个场景点的差异值d转换成深度值z，S卩，从场景点到 摄像机的距离，其中，B是两个摄像机之间的距离，也被称作基线，f是摄像机的焦距。针对 至少一个图像中每一个(例如，左眼视像)的深度存储在深度图中。例如，将相应的图 像和关联的深度图存储在例如存储设备124中，并可以获取以用于3D回放(步骤214)。可 以将运动图像或视频剪辑的所有图像与关联的深度图一同存储在代表运动图像或剪辑的 立体版本的单个数字文件130中。可以将数字文件130存储在存储设备124中，以供后续 获取，例如，用于印制原始影片的立体版本。在图5A和5C-5D中示出了由本发明公开的系统和方法处理的图像，其中图5A示 出了二维(2D)输入图像。图5B是由传统扫描线动态编程处理的、示出条纹伪像的结果深 度图。图5C是图5A和图5D中所示图像的结果区域分割图像，图5D示出了根据本发明公 开的系统和方法处理的平滑深度图，其中，基于图5C中分割的区域来执行滤波。比较图5B 和5D的深度图，本发明公开的系统和方法高效地模糊了条纹伪像，同时仍极大地保留如图 5D所示对象之间的深度边界。尽管这里详细示出并描述了结合本发明教导的实施例，但是本领域技术人员可以 容易设想仍结合这些教导的许多其他变化的实施例。已经描述了用于从至少两个图像中提 取深度信息的系统和方法的优选实施例(意在示意而非限制)，但是注意，本领域技术人员 可以根据以上教导进行修改和变型。因此应当理解，可以在根据权利要求概括的本发明范 围内所公开的本发明具体实施例中进行改变。
10
权利要求
一种用于从至少两个图像中提取深度信息的方法，所述方法包括获取来自场景的第一图像和第二图像(202)；估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图(204)；将第一或第二图像中的至少一个分割成至少一个区域(208)；以及基于分割区域，对差异图进行滤波(210)。
2.根据权利要求1所述的方法，还包括通过针对差异图的至少一个点中的每一个，对 估计的差异取反，将滤波后的差异图转换成深度图(212)。
3.根据权利要求1所述的方法，其中，第一和第二图像包括立体图像对的左眼视图和 右眼视图。
4.根据权利要求1所述的方法，其中，估计差异的步骤包括计算像素匹配成本函数。
5.根据权利要求1所述的方法，其中，估计差异的步骤包括计算平滑成本函数。
6.根据权利要求1所述的方法，其中，估计差异的步骤由扫描线优化函数执行。
7.根据权利要求1所述的方法，其中，滤波步骤包括 沿着水平方向对差异图的至少一个像素进行滤波；以及 沿着垂直方向对差异图的至少一个像素进行滤波。
8.根据权利要求7所述的方法，其中，沿着垂直方向的滤波被配置为，具有比沿着水平 方向的滤波大的平滑效果。
9.根据权利要求7所述的方法，其中，沿着水平方向的滤波由具有第一方差的高斯函 数执行，沿着垂直方向的滤波由具有第二方差的高斯函数执行，其中，第二方差大于第一方差。
10.根据权利要求1所述的方法，其中，滤波步骤包括 选择滤波器大小(402)；基于滤波器大小，创建掩蔽块子图像，以掩蔽至少一个分割区域外部的像素(404)；以及对至少一个分割区域内部的至少一个像素进行滤波(408)。
11.一种用于从至少两个图像中提取深度信息的系统(100)，包括 用于获取来自场景的第一图像和第二图像的装置；差异估计器(116)，被配置为估计第一图像中的至少一个点与第二图像中的至少一个 相应点的差异，以产生差异图；分割模块(118)，被配置为将第一或第二图像中的至少一个分割成至少一个区域；以及滤波器(120)，被配置为基于分割区域对差异图进行滤波。
12.根据权利要求11所述的系统(100)，还包括深度图产生器(122)，被配置为，通 过针对差异图的至少一个点中的每一个对估计的差异取反，将滤波后的差异图转换成深度 图。
13.根据权利要求11所述的系统(100)，其中，第一和第二图像包括立体图像对的左眼 视图和右眼视图。
14.根据权利要求11所述的系统(100)，其中，差异估计器(116)包括像素匹配成本函数(132)。
15.根据权利要求11所述的系统(100)，其中，差异估计器(116)包括平滑成本函数 (134)。
16.根据权利要求11所述的系统(100)，其中，差异估计器(116)包括扫描线优化函数 (136,138)。
17.根据权利要求11所述的系统(100)，其中，滤波器(120)包括水平滤波器，被配置 为沿着水平方向对差异图的至少一个像素进行滤波；以及垂直滤波器，被配置为沿着垂直 方向对差异图的至少一个像素进行滤波。
18.根据权利要求17所述的系统(100)，其中，垂直滤波器被配置为具有比水平滤波器 大的平滑效果。
19.根据权利要求17所述的系统(100)，其中，水平滤波器由具有第一方差的高斯函数 产生，垂直滤波器由具有第二方差的高斯函数产生，其中，第二方差大于第一方差。
20.根据权利要求11所述的系统(100)，其中，滤波器(120)还被配置为基于预定滤 波器大小(308)，创建掩蔽块子图像(304)，以掩蔽至少一个分割区域外部的像素，并且对 至少一个分割区域内部的至少一个像素进行滤波。
21.一种机器可读并有形地体现指令程序的程序存储设备，该指令程序可由机器执行， 以执行用于从至少两个图像中提取深度信息的方法步骤，所述方法包括获取来自场景的第一图像和第二图像(202)；估计第一图像中的至少一个点与第二图像中的至少一个相应点的差异，以产生差异图 (204)；将第一和第二图像中的至少一个分割成至少一个区域(208)；以及基于分割区域对差异图进行滤波(210)。全文摘要
提供了一种采用基于区域的滤波从至少两个图像中提取深度信息以减少伪像的系统和方法。本发明提供了用于减少由扫描线动态编程(DP)或其他类似方法产生的伪像的后处理算法或函数，该系统和方法提供获取来自场景的第一图像和第二图像(202)；估计第一图像中至少一个点与第二图像中至少一个相应点的差异，以产生差异图(204)；将第一或第二图像的中的至少一个分割成至少一个区域(208)；以及基于分割区域对差异图进行滤波(210)。此外，采用各向异性滤波器，其具有比水平方向的平滑效果大垂直方向的平滑效果，因此，在不显著模糊深度边界的情况下，减少条纹伪像。
文档编号H04N13/00GK101960860SQ200780101423
公开日2011年1月26日 申请日期2007年11月9日 优先权日2007年11月9日
发明者伊则特·伊则特, 张东庆 申请人:汤姆森许可贸易公司