专利名称：背景限制新视图插值的利记博彩app
技术领域：
本发明总体上涉及照相机或视觉系统，更具体而言涉及生成场景的新视图。
背景技术：
新视图插值(NVI)试图从其他视图插值或合成新的或新颖的图像视图。存在合成 新视图的很多方法，这些方法可以分类为三个一般的类别不使用几何结构的NVI、使用明 确几何结构的NVI以及使用隐式几何结构的NVI。光场渲染属于第一类别。它不假设场景的几何结构，而是使用大量照相机来采集 输入图像，这限制了其应用。第二类别中的方法通过从所有参考图像投影像素生成虚拟视图。因此，该类别的 方法需要精确的几何结构来合成新视图。该类别的典型方法包括视点相关纹理映射、3D变 形、分层深度图像以及宽基线立体。这些方法一般采用立体匹配来获得精确的几何结构，这 是立体视觉领域中的巨大挑战。使用隐式几何结构的NVI试图在第一和第二类别之间找到折中，要求较少的图像 且需要较不精确的几何结构。在该类别方法中同时估算新视图及其深度。该类别方法将 NVI建模为最大似然估计(MLE)问题。因为受到严格限制，需要强大的先验知识(prior)来 获得好的分辨率。例如，纹理字典用作马可夫随机场(MRF)模型中的先验知识。该工作通 过使用不同的先验知识、专家领域和配对字典来扩展。这些方法具有关于观察的数据的独 立假设的缺点。建议用基于条件随机场(CRF)的NVI方法来去除这种限制。该方法看上去 具有良好的结果，但是输入图像总是高质量的。该类别的当前算法倾向于关注于遮挡问题， 一些关注于NVI上大视点变化效果。例如，在辐射度变化、无纹理以及非朗伯表面的其他复 杂场景中还没有进行研究工作。尽管存在试图从其他视图提取信息以生成新视图的若干新视图插值算法，复杂场 景提出的若干挑战通常是好的新视图插值的障碍。这些挑战包括但不限于不良摆放的姿 态、场景内的透明度、遮挡、变形、照明以及大视点变化。而且，复杂场景中的新视图插值可 能经历若干其他问题，例如包括辐射度变化、无纹理和非朗伯表面以及复杂结构(例如，头 发、树等)。这些困难局面不能提供用于点对应的可靠信息，且典型地生成大量误报匹配。 尽管用于NVI的这些专门方法可用于解决这些困难局面其中的一两个，它们的本质弱点使 得它们在其他局面中不适用。因为场景可以包含或经历这些挑战其中之一或更多，难以正确地插值场景新视 图。因此，所需要的是可以生成新场景视图的更鲁棒的系统。
发明内容
为了缓解上述限制，此处提出背景限制新视图插值系统和方法。在实施方式中，一个图像的像素的背景由其空间背景域中观察到的其邻近特征的 位置上的几何结构限制表达。该像素的几何结构限制可用于基于局部斑块中的对应关系(correspondence)的位置之间的变换的假设来估算其他视图中其对应的位置。 在实施方式中，通过使用三维重构验证对应关系。如果三维重构得出具有可承受
误差的点，则对应关系被添加到特征对应关系组中。 在实施方式中，寻找更多特征对应关系的处理可以迭代以增加对应关系的数目和 对应关系的精确性。因而，在实施方式中，从粗略到精细的机制用于建立密集对应关系，且 通过重构验证改善视图之间的立体匹配的精确性。给定一组对应关系，可以插值新视图。在实施方式中，可以使用从新视点图像中的 像素投影到三维网格上的交点的射线和从交点投影到源图像的射线之间测量的角度来确 定用于组合来自在源图像中识别的像素的像素颜色值的加权因子。此处提出的方法可以包含在计算机程序产品中，该计算机程序产品包含存储一个 或更多指令序列的至少一个计算机可读介质，其中通过一个或更多处理器执行该一个或更 多指令序列导致一个或更多处理器执行用于校准投影仪系统的计算机实现方法。本发明的 实施方式包括用于生成新视点图像的(多个)计算机系统。在概述部分已经一般性地描述了本发明的一些特征和优点；然而，此处提出附加 特征、优点和实施方式，或者当考虑附图、说明书和其权利要求时，本领域技术人员将显见 这些附加特征、优点和实施方式。因此，应当理解本发明的范围不受此概述部分中公开的特 定实施方式限制。
下面将详细描述本发明的优选实施方式，在附图中例示出了其示例。这些附图旨 在说明而非限制。尽管在这些实施方式的上下文中一般性地描述本发明，应当理解，并不旨 在将本发明的范围限制为这些特定实施方式。图1说明根据本发明的各个实施方式的用于新视图插值的照相机系统。图2提出一种根据本发明的各个实施方式的用于生成一个或更多新视图的方法。图3示意根据本发明的各个实施方式，用于获得从一个视点得出的场景的参考图 像和从该场景的不同视点得出的一个或更多图像之间的一组对应关系的方法。图4示意根据本发明的各个实施方式，用于获得从一个视点得出的场景的参考图 像和从该场景的不同视点得出的一个或更多图像之间的附加对应关系的方法。图5A和5B示意根据本发明的各个实施方式，用于获得从一个视点得出的场景的 参考图像和从该场景的不同视点得出的一个或更多图像之间的附加对应关系的方法。图6以图形的形式示意根据本发明的各个实施方式，将三维点投影到两个照相机 视图。图7示意根据本发明的各个实施方式，用于渲染新视图的方法。图8示意根据本发明的各个实施方式，用于混合像素颜色值以获得用于新视点图 像的像素颜色值的方法。图9说明根据本发明的各个实施方式，判断在混合像素颜色的过程中使用的射线 的角度。图10-14说明根据本发明的各个实施方式的示例性新视点图像。图15示意根据本发明的各个实施方式的计算系统。
具体实施例方式在下面的描述中，用于解释目的，提出特定细节以提供本发明的理解。然而，对于 本领域技术人员而言，很明显，本发明可以不使用这些细节实践。本领域技术人员将意识到 一些在下面描述的本发明的实施方式可以结合到很多不同系统和装置中，作为例示而非限 制性，这些系统和装置包括照相机(摄像机和/或静止图像照相机)、多媒体系统、剧场系 统、视频会议系统、投影系统、游戏系统、计算机系统、视觉系统等。本发明的方面可以以软 件、硬件、固件或其组合实现。框图中示出的组件或模块是本发明的示例性实施方式的说明且旨在避免混淆本 发明。还应当理解，贯穿这种讨论，组件可以被描述为可以包括子单元的单独功能单元，但 是本领域技术人员将意识到，各个组件或其部分可以分割成单独的组件或可以整体形成， 包括集成在单个系统或组件中。此外，附图内的组件/模块之间的连接并不旨在限制于直接连接。而是，这些组件 之间的数据可以被中间组件修改、重新格式化或改变。而且，可以使用附加或更少的连接。 还应当注意，术语“耦合”或“通信耦合”应理解成包括直接连接、通过一个或更多中间装置 的间接连接以及无线连接。说明书中对于“一个实施方式”、“一实施方式”或“实施方式”的引用意味着结合 实施方式或多个实施方式描述的特定特征、结构、特性或功能被包括在本发明的至少一个 实施方式中且可以包括在多于一个实施方式中。短语“在一个实施方式中”或“在一实施方 式中”或“在实施方式中”在本说明书中各处的出现并不一定都引用相同的实施方式或多个 实施方式。A、概览此处提出的是用于一小组复杂场景的输入图像的新视图插值(NVI)的系统和方 法。本专利文件提出了提供结合背景信息来限制视图插值的框架的系统和方法的实施方 式。尽管以前在新视图插值中还没有使用背景，视觉背景在对象识别、对象检测、分 段、跟踪和场景理解中扮演重要角色。已经显示，建模空间结构的背景方法可以粗略地分为 三个类别严格结构模型、无结构模型和灵活结构模型。严格结构模型在感兴趣的区域(例 如，图像模板)周围的图像像素或斑块(patch)中强加严格的空间配置。它在匹配时趋于 具有高精确度，但是对于遮挡和变型很不敏感。无结构模型忽略空间关系，例如很多特征或 特征直方图。它们提供建模复杂场景的灵活性，但是可能导致误报匹配和错乱。结构灵活 模型的目标在于采集场景的粗略几何结构且允许空间配置(诸如形状背景和随机图形)的 某些变形。尽管背景建模在历史上具有缺点，本发明的一个方面是利用背景来帮助提取用 于新视图插值的信息。新视图插值(VNI)典型地是诸如多视点图像/视频压缩、目光注视校正和多视点 三维显示之类的基于计算机视觉的应用的算法组件。新视图插值算法一般首先建立视图之 间的对应关系，然后基于相应强度合成新视图。因此，立体匹配典型地是重要的部分且是 NVI的核心挑战之一。匹配成本的选择决定了立体算法的性能。先前已经评估了各种匹配 成本。对于纹理图像是高质量的场景，在强加空间一致性的重构中，诸如像素的强度差异或小窗口上的关联之类的简单匹配成本工作良好。尽管高效地处理了遮挡，使用小斑块的 方法可能经历亮度变化、重复图案、无纹理表面以及无郎伯表面。另一方面，基于较大邻域 (neighborhood)的方法在大视点变化方面和部分遮挡方面具有困难。这些变化往往发生在 真实世界的复杂场景中且使得立体匹配算法失效。因此，需要鲁棒的立体匹配方法来处理 NVI中的这些问题。已经显示，还没有什么匹配成本对于强局域变化是十分健壮的。这种局限性的根 源在于任意像素被单独考虑，而不管其附近的像素如何。因此，误报对应关系可能是好的匹 配，且好的匹配并不一定对应于真实匹配。不管场景有多复杂，像素隔离和独立于整个场景 是十分少见的。例如，因为输入图像中的遮挡或亮度变化，一个像素的强度可能经历大的变 化，但是其背景(诸如邻近特征)可能更加稳定且经历较少的显著改变。因而，因为空间背 景提供附加的验证，可以以高效的方式有利地使用背景信息来鲁棒性以找到对应关系。在实施方式中，此处提出背景限制NVI系统和方法。在实施方式中，一个图像的像 素的一个独立背景由在其空间背景域中观察的其邻近仿射特征的位置上的几何结构限制 表示。该像素的几何结构限制可用于基于局部斑块中对应关系的位置之间的变换的假设估 算其他视图中其对应的位置。在实施方式中，与该像素相关的仿射特征可以非常稀少且邻 域窗口的尺寸可以增大以包括更多的特征，这与局部线性假设相抵触。因此，在实施方式 中，从粗略到精细的机制用于建立密集对应，且通过重构验证改善视图之间立体匹配的精 确性。此处提出的系统和方法的实施方式的优点包括但不限于(1)提供用于建立视图 之间密集且精确的点对应关系；(2)提供结合背景来限制从匹配局部亮度到匹配用于NVI 的几何结构背景的特征对应关系的方法；以及(3)提供更健壮的对应关系——因为背景对 于小的局部外观变化非常不敏感，匹配背景导致更健壮的对应关系。因此，即使当输入图像 是复杂场景时，本发明的实施方式也可用于新视图插值。B、方法实施方式1、概述图1示意了根据本发明的实施方式的系统100的配置。系统100包括耦合到计算 系统120的一组照相机ΙΙΟχ。照相机IlOx布置为从场景130的不同视点采集图像。注意， 此处参考照相机的讨论应解读为涵盖在唯一位置具有多个照相机、一个或多个照相机移动 到不同位置以采集多个视点图像或其组合。还应当注意，如上下文允许，所述的照相机应解 读为涵盖照相机视图或照相机图像。还应当注意，照相机位置不需要均勻或线性地布置。如图1所示，存在位置140A-X，在这些位置上没有采集的照相机图像。如果需要来 自该视点的图像，则本发明的实施方式可以渲染新视点图像以近似从该位置采集的图像， 就像布置了照相机来采集视点图像一样。在实施方式中，计算系统120与照相机相接口以协调来自照相机的图像的采集和 存储。在实施方式中，计算系统还生成(一个或多个)新视点图像。下面将更详细地描述 计算系统120的实施方式。图2提出根据本发明的各个实施方式，用于生成一个或更多新视图的方法。在实 施方式中，校准照相机组(20 且获得本征参数、焦距、图像中心以及失真信息。而且，在实 施方式中，执行立体校准005)以获得照相机相对于参考照相机的外在参数。应当注意，照相机校准为本领域普通技术人员所熟知，且执行照相机校准的校准工具或工具组也容易获得。在所示实施方式中，照相机组被调整010)，这为本领域普通技术人员所熟知。在 实施方式中，通过将立体对扩展到不同视点来调整照相机。因此，针对每个视图存在变换矩 阵和投影矩阵。在调整之后，每个视点具有相同的垂直坐标、相同的旋转矩阵和相同的本征 矩阵。出于说明4个照相机视点的调整的目的，提供下面的方程组，其中照相机视点2是 参考图像视点
权利要求
1.一种计算机程序产品，其包括存储一个或更多个指令序列的至少一个计算机可读介 质，其中一个或更多个处理器执行所述一个或更多个指令序列导致所述一个或更多个处理 器通过执行以下步骤生成场景的新视图形成从一个视点取得的所述场景的参考图像的一组特征与在不同视点取得的一组图 像中的至少一些图像中的各图像的一组特征之间的一组对应关系；检测所述参考图像中的边缘像素；针对从所述参考图像中检测出的边缘像素取得的一组边缘像素中的各边缘像素，使用 从所述一组对应关系中选择的局部对应关系来帮助在所述一组图像中的至少一些图像中 的各图像中选择匹配像素，其中所述边缘像素和所述匹配像素形成像素匹配组；检查至少一些匹配组，并且响应于一像素匹配组是可接受的，将所述匹配组添加到所 述一组对应关系；以及使用所述一组对应关系来生成所述场景的新视图。
2.根据权利要求1所述的计算机程序产品，其中，“针对从所述参考图像中检测出的边 缘像素取得的一组边缘像素中的各边缘像素，使用从所述一组对应关系中选择的局部对应 关系来帮助在所述一组图像中的至少一些图像中的各图像中选择匹配像素，其中所述边缘 像素和所述匹配像素形成像素匹配组”的步骤包括以下步骤对于所述一组边缘像素中的各边缘像素在所述参考图像中识别从所述一组对应关系中选择的一组最邻近邻居像素；和对于从所述一组图像中选择的至少一些图像中的各图像使用所选的一组最邻近邻居像素以及它们在根据所述一组对应关系获得的从所述一 组图像中选择的图像中的对应像素，计算所述参考图像和所述从所述一组图像中选择的图 像之间的变换；向所述参考图像中的边缘像素应用所述变换以获得所述从所述一组图像中选择的图 像中的变换像素；以及将所述参考图像的包括所述边缘像素的局部窗口与包括所述变换像素的局部窗口进 行模板匹配，以识别从所述一组图像中选择的图像中的与所述参考图像中的边缘像素对应 的对应像素，其中该对应像素被认为是匹配像素。
3.根据权利要求1所述的计算机程序产品，其中，“检查至少一些匹配组，并且响应于 一像素匹配组是可接受的，将所述匹配组添加到所述一组对应关系”的步骤包括以下步骤对于所述至少一些像素匹配组中的各像素匹配组使用该像素匹配组中的至少一些像素来计算三维点；将所述三维点投影到从包括所述参考图像和所述一组图像的组中选择的至少一些图像；计算投影的三维点的误差值；以及响应于该误差值小于阈值，将该匹配组添加到所述一组对应关系。
4.根据权利要求3所述的计算机程序产品，其中，“计算投影的三维点的误差值”的步 骤包括对于从包括所述参考图像和所述一组图像的组中选择的至少一些图像中的各图像，计 算投影的三维点与其在从所述像素匹配组中选择的该图像中的对应像素之间的偏离值；和对所述偏离值取平均以获得所述误差值。
5.根据权利要求1所述的计算机程序产品，该计算机程序产品还包括以下步骤校准一组照相机视点，该一组照相机视点中的各照相机视点具有唯一的位置且生成所 述一组图像中的图像；和调整所述一组照相机视点。
6.根据权利要求1所述的计算机程序产品，其中，“使用所述一组对应关系来生成所述 场景的视图”的步骤包括以下步骤根据所述一组对应关系获得三维点； 生成所述三维点的三维三角网格； 对于该新视图的各个像素给定用于该场景的新视图的投影矩阵，计算用于该像素的三维射线；识别在所述三维三角网格上所述三维射线与所述三维三角网络相交的交点；对于从包括所述参考图像和所述一组图像的组中选择的所述至少一些图像中的各图像投影从所述交点到该图像的射线； 基于所述射线和该图像的交点识别该图像中的像素；以及 识别所述射线和所述三维射线之间的角度；以及使用所述角度混合所识别出的像素的像素颜色，来获得所述新视图的所述像素的颜色值。
7.根据权利要求6所述的计算机程序产品，其中，“使用所述角度混合所识别出的像素 的像素颜色，来获得所述新视图的所述像素的颜色值”的步骤包括识别射线和所述三维射线之间的最大角度；对于所述至少一些图像中的各图像，使用到该图像的射线与所述三维射线之间的角度 以及所述最大角度来计算权重因子； 归一化所述权重因子；以及将所述新视图的所述像素的颜色值计算为各个所识别出的像素颜色与相应的归一化 权重因子的乘积之和。
8.根据权利要求6所述的计算机程序产品，其中，所述三维三角网格上所述三维射线 与所述三维三角网格相交的交点是最前交点。
9.一种用于生成场景的新视图的系统，该系统包括一个或更多个接口，该一个或更多个接口用于接收在不同视点取得的场景的一组图像；数据存储部，该数据存储部用于存储所述一组图像；以及一个或更多个处理器以及存储一个或更多个指令序列的至少一个计算机可读介质，其 中一个或更多个处理器执行所述一个或更多个指令序列导致所述一个或更多个处理器通 过执行以下步骤生成该场景的新视图形成从一个视点取得的所述场景的参考图像一组特征与在不同视点取得的所述场景 的一组图像组中的至少一些图像中的各图像的一组特征之间的一组对应关系； 检测所述参考图像中的边缘像素；针对从所述参考图像中检测出的边缘像素取得的一组边缘像素中的各边缘像素，使用 从所述一组对应关系中选择的局部对应关系来帮助在所述一组图像中的至少一些图像中 的各图像中选择匹配像素，其中所述边缘像素和所述匹配像素形成像素匹配组；检查至少一些匹配组，并且响应于一像素匹配组是可接受的，将该匹配组添加到所述 一组对应关系；以及使用所述一组对应关系生成所述场景的新视图。
10.根据权利要求9所述的系统，其中，“针对从所述参考图像中检测出的边缘像素取 得的一组边缘像素中的各边缘像素，使用从所述一组对应关系中选择的局部对应关系来帮 助在所述一组图像中的至少一些图像中的各图像中选择匹配像素，其中所述边缘像素和所 述匹配像素形成像素匹配组”的步骤包括以下步骤对于所述一组边缘像素中的各边缘像素在所述参考图像中识别从所述一组对应关系中选择的一组最邻近邻居像素；和 对于从所述一组图像中选择的至少一些图像中的各图像使用所选的一组最邻近邻居像素以及它们在根据所述一组对应关系获得的从所述一 组图像中选择的图像中的对应像素，计算所述参考图像和所述从所述一组图像中选择的图 像之间的变换；向所述参考图像中的边缘像素应用所述变换以获得从所述一组图像中选择的图像中 的变换像素；以及将所述参考图像的包括所述边缘像素的局部窗口与包括所述变换像素的局部窗口进 行模板匹配，以识别从所述一组图像中选择的图像中的与所述参考图像中的边缘像素对应 的对应像素，其中该对应像素被认为是匹配像素。
11.根据权利要求9所述的系统，其中，“检查至少一些匹配组，且并响应于一像素匹配 组是可接受的，将所述匹配组添加到所述一组对应关系”的步骤包括以下步骤对于所述至少一些像素匹配组中的各像素匹配组 使用所述像素匹配组中的至少一些像素来计算三维点；将所述三维点投影到从包括所述参考图像和所述一组图像的组中选择的至少一些图像；计算投影的三维点的误差值；以及响应于该误差值小于阈值，将该匹配组添加到所述一组对应关系。
12.根据权利要求11所述的系统，其中，“计算投影的三维点的误差值”的步骤包括 对于从包括所述参考图像和所述一组图像的组中选择的至少一些图像中的各图像，计算投影的三维点与其在从所述像素匹配组中选择的该图像中的对应像素之间的偏离值；和 对所述偏离值取平均以获得所述误差值。
13.根据权利要求9所述的系统，该系统还包括以下步骤校准一组照相机视点，该一组照相机视点中的各照相机视点具有唯一的位置且生成所 述一组图像中的图像；和调整所述一组照相机视点。
14.根据权利要求9所述的系统，其中，“使用所述一组对应关系来生成所述场景的视 图”的步骤包括根据所述一组对应关系获得三维点； 生成所述三维点的三维三角网格； 对于该新视图的各个像素给定用于该场景的新视图的投影矩阵，计算用于该像素的三维射线；识别在所述三维三角网格上所述三维射线与所述三维三角网络相交的交点；对于从包括所述参考图像和所述一组图像的组中选择的所述至少一些图像中的各图像投影从所述交点到该图像的射线； 基于所述射线和该图像的交点识别该图像中的像素；以及 识别所述射线和所述三维射线之间的角度；以及使用所述角度混合所识别出的像素的像素颜色，来获得所述新视图的所述像素的颜色值。
15.根据权利要求14所述的系统，其中，“使用所述角度混合所识别出的像素的像素颜 色，来获得所述新视图的所述像素的颜色值”的步骤包括以下步骤识别射线和所述三维射线之间的最大角度；对于所述至少一些图像中的各图像，使用到该图像的射线与所述三维射线之间的角度 以及所述最大角度来计算权重因子； 归一化所述权重因子；以及将所述新视图的所述像素的颜色值计算为各个所识别出的像素颜色与相应的归一化 权重因子的乘积之和。
16.根据权利要求9所述的系统，其中，所述接口包括用于采集所述一组图像的传感 器。
17.一种计算机程序产品，其包括存储一个或更多个指令序列的至少一个计算机可读 介质，其中一个或更多个处理器执行所述一个或更多个指令序列导致所述一个或更多个处 理器生成场景的新视图，该方法包括获得从所述场景的一个视点取得的所述场景的参考图像与从所述场景的另一视点取 得的第二图像之间的一组对应关系；使用所述一组对应关系和局部背景信息来识别所述参考图像和所述第二图像之间的 附加对应关系，该附加对应关系被添加到所述一组对应关系；使用根据所述一组对应关系中的至少一些对应关系获得的三维坐标，构建三维网格；以及使用从所述新视图的像素到所述三维网络的投影识别来自所述参考图像和所述第二 图像的像素颜色值以及用于混合所识别出的像素颜色值的权重因子，来渲染所述场景的所 述新视图。
18.根据权利要求17所述的计算机程序产品，其中，“使用从所述新视图的像素到所述 三维网络的投影识别来自所述参考图像和所述第二图像的像素颜色值以及用于混合所识 别出的像素颜色值的权重因子，来渲染所述场景的所述新视图”的步骤包括针对所述新视图的各像素给定用于所述场景的所述新视图的投影矩阵，计算用于该像素的三维射线；识别所述三维网格上所述三维射线与所述三维网格相交的交点； 针对所述参考图像和所述第二图像中的每一个 投影从所述交点到该图像的照相机中心的射线； 识别与该射线相交的该图像中的像素；以及 确定该射线和所述三维射线之间的角度；以及使用所述角度生成用于混合所识别出的像素的颜色的权重因子，来获得该新视图中的 该像素的颜色值。
19.根据权利要求18所述的计算机程序产品，其中，“使用所述角度生成用于混合所识 别出的像素的颜色的权重因子，来获得该新视图中的该像素的颜色值”的步骤包括以下步 骤使用各相应角度生成用于所述参考图像和所述第二图像中的每一个的权重因子，使得 对较小角度赋予的权重因子大于对较大角度赋予的权重因子；以及将用于该新视图中的该像素的颜色值计算为各所识别出的像素颜色与相应权重因子 的乘积之和。
20.根据权利要求17所述的计算机程序产品，其中，“使用所述一组对应关系和局部背 景信息来识别所述参考图像和所述第二图像之间的附加对应关系，该附加对应关系被添加 到所述一组对应关系”的步骤包含以下步骤检测所述参考图像中的边缘像素； 针对所述一组边缘像素中的各边缘像素在所述参考图像中识别从所述一组对应关系选择的一组最邻近邻居像素； 使用所选的一组最邻近邻居像素以及它们在从所述一组对应关系获得的所述第二图 像中的对应像素，计算所述参考图像和所述第二图像之间的变换；向所述参考图像中的边缘像素应用所述变换以获得所述第二图像中的变换像素；以及 将所述参考图像的包括所述边缘像素的局部窗口与所述第二图像的包括所述变换像 素的局部窗口进行匹配，以识别所述第二图像中与所述参考图像中的边缘像素对应的对应 像素。
全文摘要
本发明涉及背景限制新视图插值。本发明的方面包括用于生成新视图插值的系统和方法。在实施方式中，基于局部线性变换的假设，使用特征对应关系和几何背景来获得附加对应关系。对应关系匹配的精确性和数目可以通过迭代细化而改善。在获得一组对应关系之后，可以生成新的视点图像。
文档编号G06T3/40GK102096901SQ20101055209
公开日2011年6月15日 申请日期2010年11月17日 优先权日2009年11月17日
发明者王先旺, 肖京 申请人:精工爱普生株式会社