用于拼接数字图像的方法和设备的利记博彩app

专利名称：用于拼接数字图像的方法和设备的利记博彩app
技术领域：
本发明涉及用于拼接(stitching)两个或更多个数字图像的方法 和设备。
背景技术：
通过已知的"拼接"处理，示出交叠视场的数字图像可被组合在 一起以形成更大而且统一的视场的合成图像。拼接可用于将多个原始 图像连接在一起以形成具有比任何原始图像更大的视场的合成图像。
在一些现有技术的拼接图像中可能发生的一个问题是在来自组 合图像的视场相接的地方出现视觉可感知的"接缝"。用于拼接的已 知的方法通常要求精确或近似精确地叠加输入图像以产生合成图像。 图像拼接的最出名的方法要求一致的图像曝光，并且对于高动态范围 的图像即使不是完全不能工作也是不能很好地工作。 一些已知的方法 当在计算机软件中实现时计算量很大而且内存效率不高。
存在对将数字图像拼接在一起以产生高质量的合成图像的有效 方法的一般需求。存在对能够将高动态范围的图像组合为合成图像的 这种材料的特别需求。

发明内容
的，而不意在限制。在各个实施例中，减少或消除了上述一个或更多 个问题，而其他实施例涉及其他改进。
本发明的一个方面涉及一种用于拼接交叠图像的方法。所述方法 包括从输入图像获得低频带子图像，从输入图像获得高频带子图像， 混合低频带子图像以创建低频带拼接图像，通过在所述接合位置接合所述高频带子图像来组合高频带子图像，以创建高频带输出拼接图 像，以及组合所述低频带输出拼接图像和所述高频带输出拼接图像以 创建全带输出拼接图像。
本发明的另一方面涉及一种用于拼接交叠的图像的设备。所述设
备包括第一图像混合处理器、图像接合处理器；以及连接到所述图像 混合处理器和所述图像接合处理器的图像合并器。


附图中示例了本发明的示范性实施例。此处公开的实施例和附图 是示例性的而不是限制性的。
图la - c示出共享公共子视场的交叠的输入图像以及输出的拼接 图像；
图2a-d示出输入图像共享的交叠区域的实例的扫描线； 图3是示出根据本发明的实施例的方法的流程图； 图4a - c示出非矩形的输出的拼接图像； 图5是示出的将图像接合在 一起的实例的数据流图； 图6a-c示出2个子图像扫描线被接合以创建输出子图像扫描线； 图7是示出根据本发明的 一 个实施例的图像接合设备的框图；以
及
图8是示出根据本发明的另 一 实施例的图像接合设备的框图。
具体实施例方式
在随后的描述中，阐述了具体细节以提供对本发明更彻底的理 解。然而，本发明可实施而不需要这些细节。在其他示例中，没有详 细示出或描述已知的元件以避免不必要地模糊本发明。因此，应以示 例性而非限制性地理解本说明书和附图。
根据此处描述的本发明的一些实施例的设备和方法将一个输入 图像的低空间频率分量与另 一 输入图像的低空间频率分量混合，并且 在为了与输入图像的特征重合而选择的位置不连续地加入输入图像的高空间频率分量。低空间频率分量可被平滑地混合，而不引入明显 的伪像。可沿着交叠区域的多个扫描线的每一个，在各个扫描线上最 接近该扫描线中的边缘特征的接合位置处连接高空间频率分量。
本发明的一个方面涉及拼接图像的方法。在随后的示例性描述 中，描述了一种示例方法，其应用于共享公共子视场的两个交叠的输 入图像，但应当理解的是根据本发明的方法还可用于组合任意数量的 输入图像。各个图像的共享公共子视场的部分可被称为交叠区域。每 个图像中的交叠区域包含对应于其他图像的交叠区域中的点的多个 点。 一个图像的交叠区域中的点和其他图像的交叠区域中的相应点可 被共同称为一对对应点。
图la和图lb示出第一输入图像10a和第二输入图像10b,它们共享 由输入区域lla和llb示出的公共子视场。图lc示出通过对图像10a和 10b应用此处描述的方法获得的拼接图像10c。拼接图像10c包含示出 为交叠区域llc的公共子视场。根据本发明的方法可用于拼接任意数 量的图像，只要每个图像与至少一个其他图像共享交叠区域。
图2a - d分别示出实例的交叠区域llla- d。每个交叠区域lll包 括多个像素，每个像素具有来自第一输入图像的第一像素值和来自与 之关联的第二输入图像的第二像素值。每个交叠区域lll被限定在第 一边界123和第二边界124之间，并且可被划分为多个扫描线。实例扫 描线121a-d分别在图2a-d中用阴影指示。图2a中所示的实例交叠区 域llla中的扫描线被限定为总体上垂直于平行边界123a和124a。
在一些情形下，输入图像可被定向使得交叠区域的边界不平行。 在这些情形下，输入图像可被剪切和/或用旋转功能处理，使得交叠区 域的边界变平行，但不是在全部实施例中都要求。
在图2b - d所示的实例中，输入图像被定向使得交叠区域lllb - d 的边界123b-d和124b-d不平行。例如，图2b的交叠区域121b的扫描 线被限定为总体上垂直于第一边界123b，图2c的交叠区域121c的扫描 线被限定为总体上垂直于第二边界124c，以及图2d的交叠区域121d的 扫描线被限定为对第一边界123d和第二边界124d都成倾斜角度。在一些情形下，输入图像可被规格化以说明曝光等级差别。例如， 在一些实施例中，输入图像可基于与输入图像关联的曝光信息被规格 化。作为替代地或附加地，可通过计算平均曝光并规格化交叠区域的 曝光等级来完成规格化。
图3示出用于将第一和第二输入图像拼接到一起的实例方法20。 方法20可包括根据可使用已知的技术获得的图像对应数据对准第一 图像和第二图像。在一些实施例中，方法20包括根据图像之间的一对 对应点对准输入图像。可手动地选择一对对应点，或使用比如Lucas 或Kanade运动估计或最优扫描线特征匹配的已知技术自动地产生。总 体上，对于对准输入图像而言交叠区域中的单一特征匹配是足够的。
在块22，方法20从输入图像获得第一和第二低频带子图像。低频 带子图像各自包括由两个输入图像共享的公共子视场限定的交叠区 域的至少一部分。在一些实施例中，通过用低频空间滤波器对输入图 像进行滤波而获得低频带子图像。低频带子图像的分辨率可低于输入 图像的分辨率。在一个具体实施例中，低频带子图像的分辨率等于输 入图像的分辨率的1/16。
在块24,方法20从输入图像获得第一和第二高频带子图像。高频 带子图像也各自包括由两个输入图像共享的公共子视场限定的交叠 区域的至少一部分。在一些实施例中，通过用高频空间滤波器对输入 图像进行滤波而获得高频带子图像。在一个具体实施例中，高频带子 图像的分辨率等于输入图像的分辨率。
在块26,方法20混合第 一 和第二低频带子图像以创建低频带输出 子图像。低频带子图像的混合可沿着一个或多个扫描线进行。在一个 实施例中，混合包括使用正弦混合函数以创建低频带输出子图像。还 可以使用其他合适的混合函数，例如指数混合函数或线性混合函数。
混合低频带子图像减少了当输入图像的曝光不同时马赫带(Mach band)伪像的出现。为了进一步减少由输入图像之间的曝光差异产生 的马赫带伪像的出现，方法20可附加地包括基于部分或全部共享交叠 区域规格化子图像的步骤。在块28，方法20接合第一高和第二高频带子图像以创建高频带输 出子图像。高频带子图像的接合可沿着一个或多个扫描线进行。在下 面的示意性实施例的描述中，针对单个扫描线描述了接合，尽管本发 明可通过顺序地或同时地接合多个扫描线实现。
接合分別采用来自第一和第二高频带子图像的第一和第二扫描 线作为输入，并且产生拼接的扫描线作为输出。每个输入扫描线的一 部分来自其相应的高频带子图像的交叠区域。在接合中，来自第一输 入扫描线的像素值被分配给交叠区域的第一边界和接合位置之间的 输出扫描线的笫一侧的像素，并且来自第二输入扫描线的像素值被分 配给接合位置和交叠区域的第二边界之间的输出扫描线的第二侧的 像素。
可基于第一和第二输入扫描线中的边缘特征选择输出扫描线的 接合位置。可通过使用已知的算法获得扫描线中边缘特征的位置。在 一个实施例中，在与像素接口相邻的像素之间的亮度的差超出阈值的 像素接口处识别边缘特征。其他实施例可使用梯度、拉普拉斯 (Laplace)或索贝尔(Sobel)方法识别边缘特征。
输出扫描线的接合位置可包括例如这样的像素接口 ，其对应于第 一和第二输入扫描线公有的边缘特征。如果输出扫描线仅包括对应于 公共边缘特征的一个像素接口 ，则可选择该像素接口作为针对该扫描 线的接合位置。如果输出扫描线包含对应于公共边缘特征的多个像素 接口 ，可根据以下因素之一或組合确定对作为接合位置的具体像素接
口的选择
i) 包括该像素接口的边缘特征的亮度梯度；
ii) 对应于该像素接口的边缘特征是否存在于相邻的扫描线中；
iii) 包括对应于该像素接口的边缘特征的子图像中的扫描线数量；
以及
iv) 在多个合适的像素接口中的随机选择。
在一些实施例中，可有利地选择相邻的输出扫描线的接合位置， 使其彼此接近，使得在每条扫描线处减少由于切换接合位置产生的伪像。在一些实施例中，如果能够选择对应于公共边缘特征的多个像素 接口作为针对当前扫描线的接合位置，则选择对应于最接近附近的扫 描线的接合位置的边缘特征的像素接口，作为针对当前扫描线的接合 位置。
一些实施例可还包括改变扫描线的长度，例如通过挤压或拉伸扫 描线，以使得边缘特征从一个扫描线到下一扫描线将连续的可能性最 大化，并且由此相邻的扫描线的接合位置彼此接近。挤压或拉伸可通 过任何合适的缩放技术实现。扫描线的长度可被改变，例如，在一些
实施例中达到15%。在其中扫描线的长度改变的实施例中，低频带输 出子图像的相应扫描线的长度可被改变相同的量以将位移伪像最小 化。另外，当改变相邻的扫描线的长度时还可考虑一个扫描线中的长 度的任何改变。在输入图像在交叠区域中具有视觉可感知的竖直线的 情况下，会期望改变扫描线的长度。扫描线的长度可以被手动或自动 地改变。
如果一个高频带子图像的输入扫描线不包含对应于边缘特征的 任何像素接口，则可釆用混合代替接合以获得输出扫描线，使得在高 频带输出子图像中不产生错误边缘。如在低频带子图像的混合中描述 的，可使用正弦混合函数或其他合适的混合函数进行混合。
在块30 ，方法20组合低频带输出子图像和高频带输出子图像以创 建全带输出拼接图像。在一些情形下，全带输出拼接图像可包括如图 lc所示的矩形图像。然而，输入图像可被定向为使得全带输出拼接图 像是非矩形的，如图4a-c所示。
图4a示出从两个输入图像41和42产生的非矩形输出图像40。如图 4b所示，输出图像40可按照如剪切区域43所指示地剪切以获得矩形图 像。然而，剪切输出图像导致一些剪切的图像数据44的损失，这是不 期望的。替换方案是限定如图4c中的放大的图像区域45所指示的放大 的矩形图像。放大图像导致一些空边界图像区域46，这会在视觉上分 散注意力。
在本发明的一些实施例中，放大的输出图像的边界图像区域可通过随机邻域采样方法填充。在该实施例中，对于每个未填充的像素， 可从以该未填充的像素(目的地)为中心的方形或圆形区域中随机地 选择输入像素。可使用拒绝性采样直至填充的输入像素被定位。随着 每此失败(拒绝)，搜索区域的半径可略微增大，由此保证最终定位 到填充的输入像素。 一旦未填充的目的地像素被填充，该方法就继续 到下一个(通常是相邻的)未填充的像素，并且处理可以重复，从前 一个搜索半径的几分之一的搜索半径开始。这将避免采样半径的不限 制的增长，使其为了找到有效的邻域而平均而言保持良好的尺寸。最
终结果是具有这样像素的边界图像区域其颜色和特性与最接近的有 效像素匹配，但具有"雪花干扰(snowy)，，的外观。
图5示出如上所述的方法的实例实施例。相邻的输入图像210a和 210b共享分别由图像区域211a和211b捕捉的公共子视场。图像210a和 210b输入到高通滤波器212a和212b以获得高频带子图l象H-210a和 H-210b。图像210a和210b还^皮输入到低通滤波器213a和213b以获得低 频带子图像L-210a和L-210b。高频带子图像H-210a和H-210b通过接合 214被组合。低频带子图像L-210a和L-210b通过混合215^皮组合。高频 带接合输出H-210c和低频带混合输出L-210c通过合并在216被组合， 以创建包含由交叠区域211c示出的公共子视场的全带输出图像210c。 高频带接合输出H-210c和低频带混合输出L-210c的合并可包括例如 高频带接合输出H-210c和低频带混合输出L-210c的乘法运算，以避免 如果输出被相加时可能产生的负值和舍入误差。
图6a、 6b和6c示出以上描述的接合应用于扫描线的实例实施例。 图6a和6b分别示出第一和第二输入扫描线330a和330b，以及沿着每个 扫描线的像素值的相应图形340a和340b。扫描线330a从第 一边界331 以外延伸，跨过交叠区域332直至第二边界333。扫描线330b从第一边 界331延伸，跨过交叠区域332直至第二边界333以外。扫描线330a和 330b分别包含像素接口334a和334b，像素接口 334a和334b分别对应于 公共边缘特征335a和335b。在所示出的实例中，4象素接口 334a和334b 是它们各自的扫描线中被检测为对应于边缘特征的仅有的像素接口 ，并且因此像素接口334a和334b的位置被选择作为接合位置。
图6c示出通过接合输入扫描线330a和330b创建的输出拼接扫描 线330c。输出拼接扫描线330c通过在像素接口334c处在接合位置附近 接合扫描线330a和330b得到。来自第一扫描线330a的像素的值被用于 输出拼接扫描线330c的位于像素接口334c的左边的部分，并且来自第 二扫描线330b的像素的值被用于输出拼接扫描线330c的位于像素接 口334c的右边的部分。因此，如沿着输出扫描线330c的像素值的图形 340c所示，在边缘特征335c的左边，接合输出对应于图形340a，并且 在边缘特征335c的右边，接合输出对应于图形340b。
本发明的另一方面提供一种用于将图像拼接在一起以形成合成 的或"拼接"图像的设备。该设备的功能组件可通过在一个或更多个 数据处理器(可包括微处理器、图像处理器等)和/或硬件组件上执行 的软件提供。图7示出根据实例实施例的设备50。设备50包括扫描线 接合处理器52和第一扫描线混合处理器54， 二者均连接到图像合并器 56。高频带子图像、图像对应数据以及图像边缘位置数据被输入到扫 描线接合处理器。低频带子图像和图像对应数据被输入到扫描线混合 处理器。该设备可包括第二扫描线混合处理器，高频带子图像和图像 对应数据输入到该第二扫描线混合处理器。该设备还可包括连接到扫 描线接合处理器的高通图像滤波器以从输入图像获得高频带子图像。 该设备可附加地包括连接到第一扫描线混合处理器的低通图像滤波 器，以从输入图像获得低频带子图像。该设备还可包括图像对准检测 器，用于产生图像对应数据以输入到第一扫描线混合处理器、第二扫 描线混合处理器或扫描线接合处理器其中之一或其组合。该设备还可 包括边缘特征检测器，用于定位对应于边缘特征的图像接口以输入到 扫描线接合处理器。
图8示出根据本发明的另 一 实施例的设备440 。设备440包括扫描 线接合处理器H-441、第一扫描线混合处理器L-442以及第二扫描线混 合处理器H-442。高通图像滤波器H-443对输入图像450滤波以获得输 入到扫描线接合处理器H-441和第二扫描线混合处理器H-442的高频带子图像H-450。低通图像滤波器L-443对输入图像450滤波以获得输 入到第 一扫描线混合处理器L-442的低频带子图像L-450。边缘特征检 测器440定位对应于输入图像450中的边缘特征的像素接口 ，并将像素 接口边缘数据455转发到接合位置选择器446。接合位置选择器446连 接到扫描线接合处理器H-441和笫二扫描线混合处理器H-442。图像对 准检测器444产生输入到接合位置检测器446、第一扫描线混合处理器 L-442和第二扫描线混合处理器H-442的图像对应数据454。高频带接 合输出图像H-451S、高频带混合输出图像H-451B、以及低频带混合 输出图像L-451B在输出全带拼接图像451的图像合并器447处组合。
对于本领域技术人员而言很明显，考虑到以上的公开，在不偏离 本发明的精神或范围的条件下，可以在本发明的实施中做出各种替换 和修改。因而，本发明的范围按照随后的权利要求限定的实质来解释。 本领域技术人员将认识到特定的修改、排列、添加及其子组合。因此， 随后所附的权利要求以及之后引入的权利要求意在包括全部这些修 改、排列、添加及其子组合，只要其落入实质精神和范围内。
权利要求
1.一种用于拼接在交叠区域中交叠的输入图像的方法，所述方法包括从每个输入图像获得低频带子图像；从每个输入图像获得高频带子图像；在所述交叠区域的至少一部分上混合低频带子图像以创建低频带输出图像；在所述交叠区域的至少一部分上接合所述高频带子图像以创建高频带输出图像；以及组合所述低频带输出图像和所述高频带输出图像以创建全带输出拼接图像。
2. 如权利要求l所述的方法，其中每个输入图像包括高动态范围 图像。
3. 如权利要求1或2所述的方法，其中接合所述高频带子图像包括 选择对应于输入图像共有的边缘特征的接合位置，以及在所选择的接 合位置接合所述高频带子图像。
4. 如权利要求3所述的方法，包括在不能识别两个图# 共有的边 缘特征处，混合所述高频带子图像。
5. 如权利要求3所述的方法，包括针对每个高频带子图像限定多 个扫描线，其中在所选择的接合位置接合高频带子图像包括按扫描线 在扫描线上接合所述高频带子图像。
6. 如权利要求5所述的方法，包括针对高频带子闺像的每个扫描 线，选择对应于两个输入图像共有的边缘特征的像素接口作为接合位 置。
7. 如权利要求3所述的方法，包括识别输入图像中的边缘特征。
8. 如权利要求3所述的方法，包括识别输入图像中的对应点。
9. 如权利要求1到8中任意一项所述的方法，其中混合所述低频带 子图像以创建低频带拼接图像包括使用正弦混合函数。
10. 如权利要求1到9中任意一项所述的方法，包括规格化所述输 入图像。
11. 如权利要求1到9中任意一项所述的方法，包括规格化所迷低 频带子图像。
12. 如权利要求1到9中任意一项所述的方法，包括规格化所述高 频带子图像。
13. 如权利要求1到12中任意一项所述的方法，包括改变所述高频 带子图像的尺寸。
14. 如权利要求1到13中任意一项所述的方法，其中当全带输出拼 接图像包括非矩形图像时，限定矩形放大图像区域，以及通过随机邻 域采样填充空边界图像区域。
15. 如权利要求14所述的方法，其中随机邻域采样包括针对每个 未填充的像素限定在所述未填充的像素附近的搜索区域；以及t,、，、 、、 ，， 、
16. 如权利要求15所述的方法，包括如果所述搜索区域仅包括未 填充的像素则扩展所述搜索区域。
17. 如权利要求16所述的方法，包括选择针对一个未填充的像素 的搜索区域的尺寸使其小于先前填充的未填充像素的搜索区域的尺 寸。
18. —种用于拼接在交叠区域中交叠的输入图像的设备，所述设 备包括图像混合处理器； 图像接合处理器；以及耦合到所述图像混合处理器以及所述图像接合处理器的图像合 并器。
19. 如权利要求18所述的设备，包括耦合到所述图像混合处理器 的低通滤波器，以及耦合到所述图像接合处理器的高通滤波器。
20. 如权利要求18或19所述的设备，包括耦合到所迷图像混合处 理器的图像对准检测器。
21. 如权利要求18到20中任意一项所述的设备，包括耦合到所述 图像接合处理器的图像对准检测器。
22. 如权利要求18到21中任意一项所述的设备，包括耦合到所述 图像接合处理器的接合位置选择器。
23. 如权利要求22所述的设备，包括耦合到所述图像接合处理器 的边缘特征检测器。
24. 如权利要求18到23中任意一项所述的设备，包括耦合到所述 图像合并器的第二图像混合处理器。
25. 如权利要求18到24中任意一项所述的设备，其中所述图^象合 并器包括图像乘法器。
26. —种计算机程序产品，包括承载计算机可读指令的介质，当 所述指令被处理器执行时，使得所述处理器执行如权利要求l所述的 方法。
27. —种计算机程序产品，包括承载计算机可读指令的介质，其 中当所述指令被处理器执行时，使得所述处理器提供用于混合图像的第一装置； 用于接合图像的第二装置；以及 用于图像相加的第三装置。
全文摘要
公开了一种用于拼接在交叠区域中交叠的输入图像的方法，包括从每个输入图像获得低频带子图像；从每个输入图像获得高频带子图像；在所述交叠区域的至少一部分上混合低频带子图像以创建低频带输出图像；在所述交叠区域的至少一部分上接合所述高频带子图像以创建高频带输出图像；以及组合所述低频带输出图像和所述高频带输出图像以创建全带输出拼接图像。
文档编号G06T11/60GK101583974SQ200680056870
公开日2009年11月18日 申请日期2006年12月13日 优先权日2006年12月13日
发明者G·J·沃德 申请人:杜比实验室特许公司