专利名称：用于构建色彩和深度图像的成像器的利记博彩app
用于构建色彩和深度图像的成像器背景相机可用于捕捉场景的静止图像。快速连续拍摄的若干静止图像可用于生成包括多个帧的电影，每一帧对应于不同的静止图像。尽管这样的图像在各种不同的应用中是非常有用的，但这样的图像并非很好地适于某些目的。具体而言，常规的静止图像和电影不提供足以准确地评估在场景中所捕捉的各种表面的相对深度的信息。概述公开了用于对可见光所照明的场景进行成像的双模成像器。该双模成像器包括被配置成投影可从中过滤可见光的结构化照明的光源。该双模成像器还包括被配置成捕捉来自场景的结构化照明和可见光两者的检测器。时间或空间过滤器用于选择性地阻塞可见光使其不到达检测器的一个或多个部分，而使结构化照明通过使其到达检测器的该一个或多个部分。·提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。附图
简述图I示出了可被处理用于构建色彩图像和深度图像的示例场景。图2示意性地示出了根据本公开的一实施例的示例双模成像器。图3示意性地示出了根据本公开的一实施例的示例转轮过滤器。图4示意性地示出了其中图3的转轮过滤器正与检测器协作以构建色彩图像和深度图像的时间序列。图5示意性地示出了与检测器协作以构建色彩图像和深度图像的示例空间过滤器。图6示出了使用共享图像传感器来构建色彩图像和深度图像的示例方法。图7示意性地示出了能够使用共享图像传感器来构建色彩图像和深度图像的示例计算系统。详细描述公开了能够使用共享图像传感器来处理深度信息和色彩信息的双模成像器。数字双模成像器在时间和/或空间上过滤递送给图像传感器(即，检测器)的光，使得像素的子集在时间的子集被暴露于第一参数(例如，波长带)所表征的光，且使得像素的相同或不同子集在时间的相同或不同子集被暴露于与第一参数不同的第二参数(例如，不同的波长带)所表征的光。以此方式，第一参数所表征的光可用于构建色彩图像，而第二参数所表征的光可用于构建深度图像。这两种图像都可使用相同的图像传感器来构建一例如，通过使用所有的像素来在读取色彩信息与深度信息之间进行时间上的交替，或通过使用所选择的像素来读取色彩信息而使用其他像素来读取深度信息。使用共享图像传感器对色彩图像和深度图像的创建在下文作为示例并参考某些所示实施例来描述。将注意到包括在本说明书中的附图是示意性的。所示实施例的视图一般不按比例绘制。纵横比、特征大小以及特征数量可以有目的地失真，以使所选择的特征或
关系更容易理解。图I示出了可被处理用于构建色彩图像和深度图像的示例场景10的简化透视图。场景包括以不同深度(即，自位于场景前面的观察者的观点的距离)来安排的各个对象和表面。表面12在场景中是最深的(距观察者的观点最远)。表面14被安排在表面12的前面(距观察者的观点较近)，且表面16、18和20被安排在表面14的前面。由此，当前考虑的表面是宏表面，具有与场景维度相同数量级的维度。然而，将注意到，此处公开的系统和方法不限于这样的表面，而是也将允许检查结构化宏表面的小得多的区域，例如，询问粗糙或不规则的拓扑结构等。此外，尽管图I示出了静止场景，但此处描述的概念可用于对动态场景(诸如包括一个或多个移动的人或对象的场景)成像。除了被安排在场景内的不同深度以外，图I中示出的各个表面相对于彼此和观察者被不同地定向。表面12和14被定向为与观察者视线呈法向，而表面16对于观察者视线 是倾斜的。此外，弯曲表面18和20呈现相对于观察者视线的连续定向范围。图I中示出的表面也可呈现不同的纹理。例如，表面20相比于底层表面18可以是相对平滑的。光学上，场景的不同纹理可展示不同的光反射性质。例如，表面20可以是很大程度上镜面反射的，而表面18可以是很大程度上散射的。最终，场景中的各个对象可以是不同色彩。尽管黑线和白线绘图被用于示意性地描绘场景10，但本领域中的技术人员将理解，各个表面的光吸收和光反射性质可以彼此不同，且由此各个表面的色彩可以彼此不同。在某些应用中，仅处理来自场景的色彩信息以形成该场景的色彩图像(例如，数码照片或数字电影)。在其他应用中，仅处理来自场景的深度信息以形成深度图像。如此处描述的，处理色彩信息和深度信息两者，使得可形成色彩图像和深度图像。代替使用两个分开的相机——一个相机用于生成色彩图像而另一个相机用于生成深度图像——本发明涉及生成两种图像的单个双模成像器。图2示出了场景10的横截平面视图。在一个示例实施例中，该图还示出了双模成像器22。该双模成像器是用于对场景成像的光学系统；它包括控制器23、光源24、检测器26和过滤器28。控制器23可以是被配置成控制光源24、检测器26、和/或过滤器28的任何控制设备——例如，用于触发、协调、和/或同步这些组件的运作。控制器可包括如下文描述的逻辑子系统和/或数据保持子系统。在某些实施例中，控制器可包括深度分析器。在其他实施例中，深度分析器可在操作上与控制器通信，但本身可以是一分开的系统。控制器可协调过滤器和检测器的定时，使得由检测器捕捉的图像在过滤器正阻塞来自检测器的可见光时被排序以构建深度图像。控制器还可协调过滤器和检测器的定时，使得由检测器捕捉的图像在过滤器正使可见光通过使其到达检测器时被排序以构建色彩图像。深度分析器随后可基于由检测器捕捉的结构化照明的一个或多个图像(即，在过滤器正阻塞可见光不使其到达检测器时，由检测器捕捉的一个或多个图像)，来构建深度图像。这在下面将更详细地描述。光源24可以是被配置成将可过滤照明投影到场景10的各个表面上的任何合适的光源。具体而言，光源24被配置成投影具有与可见光的对应特征不同的一个或多个特征的光，由此允许相对于投影光来过滤可见光(例如，可经由波长和/或偏振状态来过滤)。在图2中示出的实施例中，光源包括激光器30和分散器32。激光器可提供具有已知偏振状态并且密集、经校准的、相干的且基本上单色的光束。如此处使用的术语‘偏振状态’包含在光传播时光振荡的方向或指向或这一方向的旋转的任何非寻常指示；指示可以是准确的或近似的、完全的或不完全的。完全偏振状态的一个示例是包括Sd、S1^ S2和S3分量的完全Stokes矢量表示,这些分量被定义为S0 = I Ex 12+ I Ey 12S1 = I Ex 12_ I Ey 12S2 = IeJ2-IeJ2S1 = Ie1I2-IeJ2,其中，E1和E2是基(U)中电场的复杂振幅分量，(i,另是标准笛卡尔基，(式 )是旋转45°的笛卡尔基，而( ,O是被定义成使得 = (x + iy)l4l的圆周基。不完全偏振状态的示例是由下式定义的偏振度P :
权利要求
1.一种用于对由可见光照明的场景进行成像的双模成像器，所述双模成像器包括 光源，被配置成将从其中可过滤可见光的结构化照明投影到所述场景上； 检测器，被配置成捕捉来自所述场景的结构化照明和可见光两者；以及 过滤器，用于选择性地阻塞可见光使其不到达所述检测器的一个或多个部分而使所述结构化照明通过使其到达所述检测器的该一个或多个部分。
2.如权利要求I所述的双模成像器，其特征在于，所述过滤器包括时间过滤器，所述时间过滤器被配置成在阻塞可见光使其不到达所述检测器与使可见光通过使其到达所述检测器之间进行时间上的交替。
3.如权利要求2所述的双模成像器，其特征在于，所述过滤器包括转轮过滤器，所述转轮过滤器包括被配置成阻塞可见光的一个或多个部分以及被配置成使可见光通过的一个或多个部分。
4.如权利要求3所述的双模成像器，其特征在于，所述转轮过滤器被配置成对于近似一半的旋转阻塞可见光，而对于近似一半的该旋转使可见光通过。
5.如权利要求2所述的双模成像器，其特征在于，还包括控制器，所述控制器用于协调所述时间过滤器和所述检测器，使得在所述时间过滤器正阻塞可见光使其不到达所述检测器时由所述检测器捕捉到的图像被排序以构建深度图像；并且使得在所述时间过滤器正使可见光通过使其到达所述检测器时由所述检测器捕捉到的图像被排序以构建色彩图像。
6.如权利要求5所述的双模成像器，其特征在于，所述时间过滤器包括偏振器和光弹性调制器，用于在阻塞可见光使其不到达所述检测器与使可见光通过使其到达所述检测器之间进行时间上的交替，而无需移动各部分。
7.如权利要求I所述的双模成像器，其特征在于，所述过滤器包括空间过滤器，所述空间过滤器被配置成阻塞可见光使其不到达所述检测器的某些部分而允许可见光通过使其到达所述检测器的其他部分。
8.如权利要求7所述的双模成像器，其特征在于，所述检测器包括多个空间上交替的像素组，且所述空间过滤器被配置成阻塞可见光使其不到达所述多个空间上交替的像素组中每隔一个的像素组。
9.如权利要求8所述的双模成像器，其特征在于，所述多个空间上交替的像素组是空间上交替的像素行。
10.如权利要求7所述的双模成像器，其特征在于，所述空间过滤器包括偏振器、波长敏感的色彩旋转器、以及具有空间变化的偏振方向的图案化偏振器。
11.如权利要求I所述的双模成像器，其特征在于，所述检测器包括互补金属氧化物半导体。
12.如权利要求I所述的双模成像器，其特征在于，所述光源包括具有近红外发射激光波长的激光器。
13.如权利要求12所述的双模成像器，其特征在于，所述光源包括分散器，所述分散器被配置成将来自所述激光器的经校准的束分散在投影角范围中，以便用具有近红外波长的多个空间上分开的光特征来照明所述场景。
14.如权利要求I所述的双模成像器，其特征在于，还包括深度分析器，所述深度分析器被配置成基于由所述检测器捕捉到的结构化照明的一个或多个图像来构建深度图像。
15.一种构建色彩图像和深度图像的方法，所述方法包括 将具有近红外波长的结构化照明投影在场景上； 在阻塞来自所述场景的可见光使其不到达检测器与使来自所述场景的可见光通过使其到达所述检测器之间进行时间上的交替； 在阻塞来自所述场景的可见光时，用所述检测器来捕捉所述结构化照明； 在使来自所述场景的可见光通过时，用所述检测器来捕捉可见光； 基于用所述检测器捕捉到的结构化照明来生成所述深度图像；以及 基于用所述检测器捕捉到的可见光来生成所述色彩图像。
全文摘要
双模包括被配置成投影可从中过滤出可见光的结构化照明的光源。双模成像器还包括被配置成捕捉来自场景的结构化照明和可见光两者的检测器。时间或空间过滤器用于选择性地阻塞可见光使其不到达检测器的一个或多个部分，而使结构化照明通过使其到达检测器的该一个或多个部分。
文档编号H04N5/225GK102812697SQ201080043779
公开日2012年12月5日 申请日期2010年9月1日 优先权日2009年10月1日
发明者S·麦克尔道尼, E·吉埃默 申请人:微软公司