关于利用结构光的探头系统的系统方面的利记博彩app

专利名称：关于利用结构光的探头系统的系统方面的利记博彩app
技术领域：
本文所述的主题主要涉及管道镜和内窥镜，并且更具体地说，涉及提供3D表面映 射和尺寸测量的管道镜/内窥镜。
背景技术：
管道镜和内窥镜一般用于远端腔的检查。在本文中称为探头的大多数管道镜/内 窥镜采用耦合到探头中的光纤束的外部光源来提供远端处的表面或远处物体的照明。在物 体被照亮时，内部图像由图像传感器上的透镜系统形成，并且图像被传递到诸如显示屏等 连接的显示器。图像传感器可和光学刚性管道镜或纤维镜一样位于探头的近端，或者和视 频管道镜或内窥镜一样位于远端。此类系统通常用于检查不可触及位置的损坏或磨损，或 者验证部件已正确制造或组装。除其它之外，需要获得尺寸测量以验证损坏或磨损未超过 操作限制或者制造的部件或装配件符合其规范。可能也需要产生用于与参考比较的3D模 型或表面图、3D观察、逆向工程或详细的表面分析。 相移技术很适合解决这些测量需要，但其在管道镜或内窥镜中的实现提出了许多 系统级难题。需要以产生可靠且易于使用的系统的方式来解决这些难题。

发明内容
根据本发明的一个实施例，一种探头系统包括成像器和检查光源。探头系统配置成 在检查模式和测量模式中操作。在检查模式期间，启用检查光源。在测量模式期间，禁用检查 光源，并投射结构光图案(structured-light pattern)。探头系统还配置成捕获至少一个测 量模式图像。在所述至少一个测量模式图像中，结构光图案被投射到物体上。探头系统配置 成利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。
在本发明的另一个实施例中，探头系统包括成像器，并且探头系统配置成在检查 模式和测量模式中操作。在检查模式期间投射散射照明光，在测量模式期间投射结构光图 案。探头系统还配置成捕获至少一个测量模式图像。在所述至少一个测量模式图像中，结 构光图案被投射到物体上。探头系统配置成利用来自所述至少一个测量模式图像的像素值 以确定所述物体的至少一个几何尺寸。探头系统还配置成检测多个图像的两个或更多图像 的捕获之间的探头与所述物体之间的相对移动。


下面的详细描述参照附图进行， 中
图1是根据本发明的一个实施例的管道镜/内窥镜系统的示意图。 图2是示出从F0V的一侧投射的示范投射集的轨线的图。 图3是示出相对于视野(field of view)的第一和第二示范投射集的每个中一个 条纹集(fringe set)的结构线的轨线的图。 图4是示出在运动检测中涉及的步骤的示范实施例的流程图。 图5是示出在运动检测中涉及的步骤的示范备选实施例的流程图。 图6是示出在本发明的图像捕获序列期间涉及的步骤的示范实施例的流程图。
具体实施例方式
图1中所示示出根据本发明的一个实施例的管道镜/内窥镜系统或探头系统10。 插入管40包括延长部分46和可分离的末端42。延长部分46包括主要的长柔性部分、弯 曲颈部和摄像头。轮廓标线41示出摄像头在延长部分46上何处开始。延长部分46的摄 像头一般包括至少成像器12、电子器件13和探头光学器件15。可分离末端42 —般附连到 上述延长部分46的摄像头。可分离末端42包含观察光学器件44，该光学器件与探头光学 器件15组合使用以将从被观察的表面或物体(未示出)接收的光引导和集中到成像器12 上。 末端42中所示的元件能备选位于延长部分46上。这些元件包括观察光学器件 44、至少一个发射器模块37、至少一个强度调制元件38及通光元件43。另外，包括多个光
发射器的至少一个光发射器模块37能固定附连到插入管40，同时该至少一个强度调制元 件放置在可分离末端42上。这种情况下，需要在可分离末端42与延长部分46之间进行精 确的和可重复的对齐，但由于允许不同的视野，同时消除了对延长部分46与可分离末端42 之间触点的需要，因此，这是有利的。 如图1所示，成像器12位于插入管40的远端。备选地，成像器12可位于插入管 40的近端。该备选配置例如可在刚性管道镜或纤维镜中适用。 成像器12获得被观察的表面的至少一个图像。成像器12可包括例如响应在每个 像素感觉的光级而输出视频信号的光敏像素的二维阵列。成像器12可包括电荷耦合器件 (CCD)、互补金属氧化物半导体(CMOS)图像传感器或类似功能的其它器件。视频信号由电 子器件13缓冲并经信号线14传输到成像器接口电子器件31。成像器接口电子器件31可 包括例如电源、用于生成成像器时钟信号的时序生成器、用于数字化成像器视频输出信号 的模拟前端及用于将数字化的成像器视频数据处理成对视频处理器50更有用的格式的数 字信号处理器(DSP)51。 视频处理器50执行各种功能，不限于图像捕获、图像增强、图形覆盖合并和视频 格式转换，并在视频存储器52中存储与那些功能有关的信息。视频处理器50可包括现场 可编程门阵列(FPGA)、相机DSP(camera DSP)或其它处理元件，并提供信息到中央处理器 (CPU) 56并从其接收信息。提供和接收的信息可涉及命令、状态信息、视频、静态图像和/ 或图形覆盖。视频处理器50也输出信号到各种监视器，如计算机监视器22、视频监视器20 和集成显示器21。视频处理器50还包括运动检测模块53和/或条纹对比度确定功能54。 备选地，下述的CPU 56或微控制器30或包括相机控制电子器件(未示出)的探头电子器 件48可包括运动检测模块53。
在已连接时，计算机监视器22、视频监视器20和/或集成显示器21的每个通常显 示处于检查下的表面或物体的图像、菜单、光标和测量结果。计算机监视器22 —般是外部 计算机类型监视器。类似地，视频监视器20—般包括外部视频监视器。集成显示器21集 成并内置到探头系统10中，并且一般包括液晶显示器(LCD)。 CPU 56优选使用程序存储器58和非易失性存储器60，其可包括可移动存储装 置。CPU 56也可为程序执行和临时存储使用诸如RAM等易失性存储器。小键盘64和操纵 杆62将用户输入输送到CPU56以实现诸如菜单选择、光标移动、滑动块调整和清晰度控制 (articulation control)等此类功能。计算机I/O接口 66提供到CPU 56的各种计算机接 口，如USB、火线(Firewire)、以太网、音频I/0及无线收发器。诸如键盘或鼠标等另外的用 户1/0装置可连接到计算机1/0接口 66以提供用户控制。CPU 56生成用于显示的图形覆 盖数据，提供调用功能(recall function)和系统控制，执行相移分析和测量处理，以及提 供图像、视频和音频存储。CPU 56和前面所述视频处理器50可组合成探头系统10的一个 元件。另外，包括但不限于CPU 56和视频处理器50的探头系统10的组件可集成并内置到 探头系统10中，或备选地位于外部。 对于至少一个发射器模块37，来自该至少一个发射器模块37的光将至少一个 结构光图案投射在适合相移分析的表面上。结构光图案优选地包括包含正弦强度轮廓 (sinusoidal intensity profile)的暗线和平行光。在与适当的相移分析一起使用时，具 有方形、梯形、三角形或其它轮廓的线条图案也可投射在表面上以确定图案的相位。图案也 可包括直线、平行线外的其它线条。例如，可结合适当的分析使用曲线、波浪线、锯齿线或其 它此类图案。 从至少一个发射器模块37投射的结构光图案可以多种方式形成。发射器模块37
可包括形成以包括适当的平行光和暗线的至少一个发光元件。来自发光元件的光可通过强
度调制元件38。备选地，发射器模块37可包括多个光发射器。多个光发射器可策略性地定
位以便在表面上形成结构光图案，和/或来自多个光发射器的光可通过强度调制元件38。
在本发明的一个实施例中，强度调制元件38包括线条光栅(line grating)，在来自发射器
模块37的光通过到达表面或物体(未示出)时，该光栅形成结构光图案。 多个条纹集从探头投射到被观察的表面或物体上。条纹集包括至少一个结构光图
案。 一个条纹集的结构光图案展示相对于其它条纹集的结构光图案的空间偏移或相移。结
构光图案优选地包括包含正弦强度轮廓的暗线和平行光。在与适当的相移分析一起使用
时，具有方形、梯形、三角形或其它轮廓的线条图案也可投射在表面上以确定图案的相位。
图案也可包括直线、平行线外的其它线条。例如，可结合适当的分析使用曲线、波浪线、锯齿
线或其它此类图案。 当发射器模块37包括多个光发射器时，条纹集包括在包含一组至少一个光发射 器的一个发射器组正在发光时投射的结构光图案。换而言之，多个光发射器的不同子集发 光以投射多个结构光图案的每个图案。发射器模块37的多个光发射器经定位，使得一个发 射器组正在发光时投射的结构光图案展示相对于其它发射器组正在发光时投射的结构光 图案的空间偏移或相移。 来自放置在可分离末端42上的多个光发射器的光通过至少一个强度调制元件38 以改变光的分布，并且在适合相移分析的被观察的表面上投射至少一个结构光图案。在一
6个实施例中，包括发射器组的多个光发射器沿垂直于线条光栅上线条的轴间隔分开，分开 距离等于线条光栅的周期的整数。结果，在包括一个发射器组的多个光发射器同时发光时， 多个发射器的每个产生的结构光图案加在一起。这形成的线条图案将比单个发射器元件生 成的更明亮。 在另一个实施例中，发射器组中的多个光发射器布置在平行于线条光栅上线条的 线条中，并且串联地电连接。相对于使用单个发射器将需要的电流而言，此方案减少了实现 给定光输出所需的电流。由于发射器功率通常通过具有相当大电阻的小导线供应，并且减 少驱动电流减少了在导线中消耗和发射器驱动电路供应的功率，因此这是有益的。
多个发光二极管(LED)可包括至少一个发射器模块37的多个光发射器。LED在探 头系统10中是可行的，这至少是因为LED提供持续、均匀的照明，不会形成斑点，以及在条 纹集之间的快速切换。然而，提供上述质量的任何发光源均足以在探头系统10中使用。其 它此类光源包括但不限于有机LED、等离子元件(plasma element)、光纤耦合激光器和激光 器阵列。 可分离末端42上的至少一个发射器模块37可还包括用于发射器的控制/定序、 感测温度和校准数据的存储/检索的电子器件。该至少一个发射器模块37可包括陶瓷或 金属散热器，例如用于降低多个光发射器的温度上升。 系统10还包括通过摄像头将延长部分46电耦合到可分离末端42的触点36。触 点36可以是弹簧加载的，并且还将电能从驱动导体35提供到发射器模块37。在本发明的 一个实施例中，驱动导体35将功率从发射器驱动32运送到放置在插入管40的远端上的多 个光发射器。驱动导体35包括一根或多根导线，并且可与信号线14结合在共同的外护层 (未示出)中。驱动导体35也可与信号线14共享导体和/或利用插入管40结构来运送电 流。发射器驱动32包括例如可调整的电流源，其具有时间上的变量以补偿具有不同功率能 力和效率的光发射器。 如上所述，视频处理器50或CPU 56包括亮度或条纹对比度确定功能54，以确定 应为每个发射器组启用一个发射器还是多个发射器。在本发明的一个实施例中，亮度确定 功能54与发射器驱动32通信，以选择性地通过连接到发射器模块37的特定导线来传送电 流，使每个发射器组适当数量的发射器发光。进一步的亮度控制能通过改变施加到发射器 的驱动电平或驱动发射器的时间的持续期而实现。 在亮度确定功能54与发射器驱动32位于不同位置时，驱动导体35的一个驱动导 线将发射器驱动32连接到发射器模块37，并且亮度确定功能54控制的一根或多根控制导 线(未示出)也连接到发射器模块37。发射器模块37上包括的电路(未示出)能选择性 地将一个或多个发射器连接到驱动导线，以响应控制导线上的信号。备选地，在发射器驱动 32包括亮度确定功能54时，驱动导体35包括每发射器一根或多根驱动导线(未示出)。这 种情况下，亮度确定功能54选择性地通过驱动导体35的特定驱动导线来传送电流，使每发 射器组适当数量的发射器发光。 在本发明的一个实施例中，至少一个校准光图案被投射到被观察的表面或物体 上。来自多个光发射器的至少一个光发射器的投射光可用于在表面或物体上形成至少一个 校准光图案。校准光图案可包括至少一个结构光图案，并且将来自多个发发射器的至少一 个光发射器的光通过强度调制元件38可在物体上形成至少一个校准光图案。校准光图案可包括但不限于有角度的线、单线、多线、一个点、多个点及多个平行光和暗线。能理解，条 纹集和校准光图案可从同一发射器模块37投射。例如，这可以通过将条纹集发射器和校准 图案发射器间隔分开，并将来自它们的光通过强度调制元件38的分开区域来实现。
在本发明的另一个实施例中，第一投射集和第二投射集被投射在表面上。投射集 包括包含至少一个结构光图案的至少一个条纹集。当投射集包括多个条纹集时，第一投射 集的一个条纹集的结构光图案展示相对于第一投射集的其它条纹集的结构光图案的相移。 类似地，第二投射集的一个条纹集的结构光图案展示相对于第二投射集的其它条纹集的结 构光图案的相移。 一般情况下，从观察光学器件44的一侧投射第一投射集，并且从观察光 学器件44的另一侧投射第二投射集。根据可分离末端42的配置，可备选地从观察光学器 件44的顶部投射第一投射集，并且可从观察光学器件44的底部投射第二投射集，或反之亦 然。即使插入管40旋转，第一和第二投射集也从相对于F0V的相对位置或角度被投射。因 此，可从围绕观察光学器件44的任何位置或角度投射第一投射集，该位置或角度是第二投 射集的相对的位置或角度。 图2的条纹集0、1和2包括示范投射集。在图2的情况下，多个条纹集包括投射 集。在投射集包括多个条纹集时，一般从相对于FOV接近的同一原点(origin)投射包括投 射集的多个条纹集。 为了对此做进一步说明，图3示出两个条纹集的图。每个条纹集从F0V的相对侧 投射。从F0V的一侧投射的实线表示的图3中的条纹集包括第一投射集，而从FOV的另一 侧投射的虚线表示的图3中的条纹集包括第二投射集。关于图3的示范情况，仅示出每投 射集一个条纹集；然而，多个条纹集可包括每个投射集。在本发明的一个实施例中，投射集 包括多个条纹集，每个条纹集包括结构光图案，其中，一个条纹集的光图案展示相对于其它 条纹集的光图案的相移。在投射第一投射集和第二投射集时，捕获第一图像集和第二图像 集。第一图像集包括第一投射集的条纹集图像，并且第二图像集包括第二图像集的条纹集 图像，其中，每图像投射一个条纹集到表面或物体上。 在至少一个结构光图案被投射到表面上时，探头在测量模式中操作。在本发明的 一个实施例中，允许发射器模块37在测量模式期间在表面上投射至少一个结构光图案。在 测量模式期间，CPU 56或视频处理器50捕获多个测量模式图像，其中，至少一个结构光图 案被投射在物体上。测量模式图像可包括条纹集，其中，每测量模式图像投射不多于一个条 纹集到物体上。该类的测量模式图像在本文中也称为条纹集图像。随后，可直接在多个条 纹集图像上执行相移分析。 启用检查光源23时，探头在检查模式中操作。光从检查光源23投射到表面或物 体上。在检查模式期间，该至少一个结构光图案可不存在。通常，在从检查光源23将光投 射到被观察的表面或物体上时，捕获在本文中称为检查模式图像的至少一个图像。检查光 源23从插入管40的远端输出相对均匀的光或散射照明光。在检查模式期间产生和输送光 的元件可总称为检查光输送系统。在一个实施例中，检查光输送系统包括检查光源23、源纤 维束24、快门机构34、探头纤维束25及通光元件43。在其它实施例中，检查光输送系统可 包括极不相同的元件，如在白色LED位于远端的情况下，能被禁用或提供可调整的输出电 流的LED驱动电路、用于输送功率到LED的导线、LED本身及保护LED的保护元件。在另一 个实施例中，检查光输送系统包括耦合到将光输送到插入管40的远端的纤维束的近端LED和LED驱动电路。 再次讨论测量模式，在测量模式期间自动降低或禁用从检查模式光输送系统输出 的、源于光源23的光的强度，以避免降低至少一个投射的结构光图案的对比度。例如，CPU 56可配置成提供原命令，通过对于光源23的启用/禁用输入在投射至少一个结构光图案前 以电子方式关闭光源23。随后，在捕获多个测量模式图像后或在退出测量模式时，例如以电 子方式自动启用检查光源23。 类似地，CPU 56也可配置成提供原命令，通过使用快门机构34打开或关闭检查输 送系统的光。快门机构34配置成允许在检查模式或常规检查期间从检查光输送系统的光 输出，或者在测量模式期间阻止或以其它方式禁止源于检查光源23的光输出。快门机构34 例如包括螺线管或电机驱动机械快门或电光源禁用器(disabler)。在快门机构34允许来 自检查光源23的光通过时，快门机构34是在开启位置。在快门机构34阻止来自检查光源 23的光时，快门机构34是在闭合位置。在检查模式期间，快门机构34配置成在开启位置。 相反，在条纹集投射期间，快门机构34配置成在闭合位置。快门机构34的位置能基于其实 现而改变。在本发明的一个实施例中，在快门机构34允许光通过时，探头纤维束25经通光 元件43将光输送到表面或检查处。 检查光源23—般是白光源，但可包括用于探头的任何适当光源，如汞或金属卤化 物弧光灯、卣钨灯、激光/磷系统或基于LED的光源，这些光源能位于近端或远端。在使用 基于纤维的光源时，在系统10中可包括源纤维束24。源纤维束24包括非相干或半相干光 纤束，并且将光传送到快门机构34。备选地，源纤维束24可省略，并且快门机构34可直接 位于检查光源23与探头纤维束25之间。探头纤维束25包括非相干光纤束。通光元件43 包括玻璃棒、成形纤维(formed fiber)和/或诸如透镜或扩散器等分布控制特征。
在一些情况下，在捕获的测量模式图像中的投射的光图案会令人分心，并且使操 作员更难以看到被观察的物体上的细节。因此，需要让操作员在放置测量光标时观察普通 检查模式图像，而不是包括一个或多个结构光图案的测量模式图像。优选的是捕获至少一 个对应的检查模式图像和至少一个对应的测量模式图像。该至少一个对应的测量模式图像 包括多个测量模式图像中的至少一个图像，并且该至少一个对应的检查模式图像包括在接 近该至少一个对应的测量模式图像的接近时间捕获的至少一个检查模式图像。接近捕获的 检查模式图像和测量模式图像在本文中称为对应的图像。理想的情况是对应的图像包括相 对于F0V在同一位置的物体的图像。 在接近的时间捕获对应的图像是有利的，至少是因为在对应图像的捕获之间探头 的末端与观察物体之间的相对移动最小。诸如缺损和边缘等几何特征将在对应图像中同一 位置显示，以便在检查模式图像上放置的光标的位置对应于测量模式图像中被观察的物体 上的相同点。在本发明的一个实施例中，运动检测模块53分析检查模式和测量模式对应的 图像。 运动检测模块53可配置成一旦所有图像已捕获后便分析图像。备选地，运动检测 模块53可配置成在每个图像捕获后相继分析图像。运动检测模块53配置成自动检测测量 模式图像(在本文中也称为条纹集图像或包括结构光图案的捕获的图像)之间探头和/或 表面移动。运动检测模块53可配置成只比较检查模式图像或只比较测量模式图像。此外， 运动检测模块53可选择配置成比较至少一个测量模式图像和其对应的检查模式图像。在本发明的一个实施例中，对应的检查模式图像可在其对应的测量模式捕获序列的开始和/ 或结束时捕获。 运动检测模块53能进一步配置成比较来自两个或更多个连续测量模式捕获序列 的每个的一个或多个捕获的图像，使得存在相同照明和/或结构光图案的图像可得到比 较，而不是尝试补偿图案位置或照明方面的差异。在本文中使用的术语"测量模式捕获序 列"被定义为多个结构光图像的捕获，每个捕获的图像包括一个投射条纹集。在测量模式捕 获序列期间，捕获多个测量模式图像。 探头系统10配置成检测在多个图像的两个或更多个图像的捕获之间探头与表面 或物体之间的相对移动。在本发明的一个实施例中，运动检测模块53配置成分析捕获的图 像，并计算指示在多个图像的两个或更多个图像的捕获之间探头的末端与表面或物体之间 相对移动的运动度量。这些图像可包括多个图像的第一图像和最后图像。多个图像的第一 图像是检查模式图像或测量模式图像。类似地，多个图像的最后图像是检查模式图像或测 量模式图像。如果运动度量指示高移动概率，则多个图像的捕获重复进行，直至运动度量指 示低移动概率或预定的超时发生。例如，如果运动度量指示在对应的测量模式与检查模式 图像之间的高移动概率，则测量模式和检查模式图像的捕获重复进行，直至运动度量指示 低移动概率或预定的超时发生。然而，全部多个图像的重新捕获可能不是始终必需的。
运动度量的值能取决于运动检测的实现。度量能够是移动的像素，这种情况下，度 量可限于一个像素移动，例如，用于指示低移动概率。在该情况下，表示大于一个像素的移 动的任何度量将指示高移动概率。对于低移动概率的度量限制也能够通过实验确定。除其 它之外，通过实验确定度量限制的一种方法包括使用亮度值之间的均方根(RMS)差。
图4是示出在运动检测中涉及的步骤的示范实施例的流程图。图1中所示的管道 镜/内窥镜或探头系统配置成执行方法400中所示的步骤。探头系统10在检查模式中时， 并且CPU 56接收请求测量的命令时，可实现方法400。操作员可通过按探头系统10上的按 钮(未示出)或者从集成显示器21选择菜单项来请求测量。 —旦收到测量命令，在步骤402， CPU 56或视频处理器50便捕获第一检查模式图 像。CPU 56随后将命令发送到微控制器30以进入测量模式。微控制器30控制发射器驱 动32以执行测量模式捕获序列。在步骤404，CPU 56或视频处理器50捕获测量模式图像。 每个结构光图案或条纹集至少捕获一个测量模式图像。操作员可通过从集成显示器21选 择菜单项，在方法400的实现前预编程测量模式捕获序列的细节。例如，操作员可能想每结 构光图案或条纹集捕获多个测量模式图像。另外，根据所需的分析和/或映射，可在相同的 亮度级或不同的亮度级捕获相同结构光图案或条纹集的那些图像。 在捕获测量模式图像后，微控制器30禁用发射器驱动32，并且微控制器30配置 DSP 51用于检查模式。在步骤406后，CPU 56或视频处理器50捕获第二检查模式图像。 在步骤408，运动检测模块53随后分析第一和第二检查模式图像以确定运动度量。如果运 动度量指示运动程度不可接受，并且预设的时间限制未达到，则步骤402-412重复进行，直 至运动度量指示运动程度可接受或预设的时间限制达到。或者，如果在步骤410运动度量 指示运动程度不可接受，并且在步骤412预设的时间限制达到，则过程在步骤99结束。如 果运动度量指示运动程度可接受，则过程在步骤99结束。在本发明的另一个实施例中，运动检测模块53配置成基于例如高频细节位置比
10较的技术来分析捕获的图像。在序列中的第一图像中能够识别包括亮度快速转变的图像中 的点，并且在一个或多个随后的图像中能检验那些点以确定快速转变是否仍在相同的点发 生。此方案能适应如在测量模式与检查模式图像之间将存在的照明的差异。例如在对应的 测量模式图像之前和之后捕获的检查模式图像的在相同光照条件下捕获的图像能被简单 地从彼此减去，以确定图像是否已发生相当大的变化。 图5是示出在运动检测中涉及的步骤的示范备选实施例的流程图。图1中所示的 管道镜/内窥镜或探头系统配置成执行方法500中所示的步骤。探头系统10在检查模式 中时，并且CPU 56接收请求测量的命令时，可实现方法500。操作员可通过按探头10上的 按钮(未示出)或者从集成显示器21选择菜单项来请求测量。 —旦收到测量命令，在步骤502，CPU 56或视频处理器50便捕获检查模式图像。在 步骤504， CPU 56或视频处理器50识别在步骤502捕获的检查模式图像中明显的亮度转变 点。CPU 56随后将命令发送到微控制器30以进入测量模式。在本发明的一个实施例中，微 控制器30控制发射器驱动32来使一个发射器组发光以投射第一条纹集。在步骤506，CPU 56或视频处理器50捕获第一条纹集图像。为第一条纹集捕获至少一个测量模式图像。在 步骤508， CPU 56或视频处理器50识别在步骤506捕获的第一条纹集图像的至少一个中的 明显亮度转变点。 运动检测模块53随后在步骤510比较检查模式图像的识别的明显亮度转变点和 条纹集图像的那些转变点。在步骤512，运动检测模块53基于该比较确定运动度量。如果 在步骤514运动度量指示运动程度不可接受，并且在步骤516时间限制达到，则过程在步骤 99结束。 如果运动度量指示运动程度不可接受，并且预设的时间限制未达到，则步骤 502-516重复进行，直至运动度量指示运动程度可接受或预设的时间限制达到。优选的是序 列从步骤502重复进行以更新检查模式图像，这是因为测量模式图像将不太可能再次与原 检查图像对齐。备选地，序列可从步骤506重复进行以将捕获的条纹集图像或包括相同结 构光图案的两个或更多个测量模式图像相互比较，直至它们全部相配，并随后在结束时捕 获另一检查模式图像。 然而，如果运动度量指示运动程度可接受，则步骤506-514为第二条纹集、然后为 第三条纹集等重复进行。 一旦为最后的条纹集捕获所有条纹集图像并且运动度量指示对 于最后的条纹集中的条纹集图像的运动程度可接受，则在为该最后的条纹集顺序通过步骤 506-514之后，过程结束。 回到图1，上述成像器接口电子器件31、发射器驱动32和快门机构34包括在探头 电子器件48中。探头电子器件48可与主控单元或CPU 56在物理上分离以提供对探头相 关操作的更多本地控制。探头电子器件48还包括校准存储器33。校准存储器33存储可与 延长部分46和/或分离末端42的光学系统有关的信息，如放大数据、光学失真数据和图案 投射几何数据。 校准存储器33存储与从光源23投射的光与从发射器模块37投射的光之间的强 度关系有关的信息。光源23与发射器模块37投射的光之间的强度关系能在任何图像捕获 前预定。 一般情况下，光源23的亮度或强度大于发射器模块37的亮度或强度。因此，在检 查模式图像捕获期间应用到成像器12输出的视频信号的成像器12曝光时间和/或模拟增益将与在测量模式图像捕获期间应用的那些不同。 控制快门34的微控制器30与CPU 56通信，并控制发射器驱动32电路，并且还与 成像器接口电子器件31通信以确定和设定增益和曝光设置，并且从校准存储器33读取和 存储校准数据。 探头系统IO还包括应用到源于成像器12的图像数据的增益函数、曝光函数、伽马 校正函数和边缘增强函数的一个或多个函数。探头系统10配置成在检查模式与测量模式 之间切换时自动调整所述函数至少之一的参数。 在本发明的一个实施例中，检查光输送系统输出的光和结构光图案的相对强度在 校准步骤期间被确定并存储在校准存储器33中。在成像器接口电子器件31中包括的DSP 51可配置成自动调整成像器12曝光和前端模拟增益以实现用于检查模式图像捕获的最佳 图像亮度。 微控制器30配置成使用检查模式期间有效的曝光函数和增益函数值，从DSP 51 来计算曝光函数和增益函数设置的参数，以便在测量模式期间使用。微控制器30还配置成 根据结构光图案的光与来自检查光源23的光之间预定的强度关系，计算曝光和增益函数 的参数，并设置DSP 51应用调整的曝光和增益设置以优化测量模式图像捕获的图像亮度。 例如，调整曝光和增益函数的参数，使得多个条纹集图像中的亮度类似于检查模式图像中 的亮度。如果DSP 51保留在自动曝光和增益调整模式中，则此方案消除了DSP 51在切换 后达到适当图像亮度将需要的时间，这对于将图像捕获之间的运动的可能性降到最低是合 乎需要的。在捕获测量模式图像后，DSP 51可再次配置用于自动增益和曝光调整以优化用 于检查模式图像捕获的图像亮度。 图6是示出在本发明的图像捕获序列期间涉及的步骤的示范实施例的流程图。在 本文中使用的术语"图像捕获序列"被定义为对应的检查模式和测量模式图像的捕获。不 要混淆术语"图像捕获序列"和上面定义的术语"测量模式捕获序列"。
图1中所示的管道镜/内窥镜或探头系统10配置成执行方法600中所示的步骤。 当探头系统10在检查模式中、并且CPU 56接收请求测量的命令时，可实现方法600。操作 员可通过按探头10上的按钮(未示出)或者从集成显示器21选择菜单项来请求测量。
—旦收到测量命令，在步骤602， CPU 56或视频处理器50便捕获检查模式图像。 在步骤604， CPU 56将命令发送到微控制器30以进入测量模式。在步骤606，微控制器30 从DSP 51读取模拟增益和曝光，并且在步骤608，微控制器30调整用于测量模式的增益和 曝光。如上所述，测量模式DSP 51设置可根据在检查光输送系统与结构光图案之间的预定 强度关系进行调整。接着在步骤608，微控制器30基于调整的值将DSP 51设定为固定增益 和曝光。在步骤610，如上所述，由微控制器30或CPU 56禁用检查光。
在步骤612，微控制器30控制发射器驱动32以执行测量模式捕获序列。在本发明 的一个实施例中，执行测量模式捕获序列包括在可能对时间或驱动电平进行调整以补偿不 同发射器亮度级的同时，在帧边界上顺序通过发射器组、不同的光发射器的子集。此外，可 调整供应到一个子集光发射器的驱动电平以补偿光发射器的该子集与光发射器的另一子 集之间的温差。不同的发射器亮度级可能是在序列进展时由于不同的发射器效率或发射器 的加热而造成的。例如，如果发射器是LED，则效率一般在温度上升时降低。在第一LED打 开时，发射器模块37的温度比当最后LED打开时更低。因此，最后LED需要更多驱动电流以实现与第一LED相同的输出。驱动电平的差异可通过校准步骤来预定。LED正向压降一 般还随温度上升而上升。因此，结合发射器驱动32，微控制器30可测量LED正向压降以确 定LED温度，从而更准确地补偿效率变化。 在步骤614， CPU 56或视频处理器50捕获测量模式图像。每条纹集捕获至少一个 测量模式图像。另外，每条纹集可捕获多个测量模式图像，使得在同一亮度级捕获每个条纹 集的测量模式图像；此外，每条纹集可捕获多个测量模式图像，使得在不同亮度级捕获至少 一个条纹集的多个条纹集图像。 在步骤616，运动检测模块53分析图像的运动。如果在步骤618检测到运动，并 且在步骤620达到预设的时间限制，则过程在步骤99结束。如果检测到运动，并且未达到 预设的时间限制，则重复进行步骤612-620，直至未检测到运动或达到预设的时间限制。或 者，如果在步骤618未检测到运动，则CPU 56将命令发送到微控制器30以进入检查模式。 在步骤624，微控制器30禁用发射器驱动32。在步骤626，微控制器30通过设定DSP 51进 行自动增益和曝光调整，配置DSP 51用于检查模式。在步骤628，CPU 56或微控制器30启 用检查光输出。在步骤628后，CPU 56或视频处理器50可再次捕获检查模式图像，如在步 骤402中一样。这标志着图像捕获序列的结束。方法600可自动重复进行，以顺序通过这 些步骤预定的次数。备选地，操作员可通过在每次需要新的图像捕获序列时请求测量，手动 命令方法600重复进行。 回到图6的步骤618，如果在步骤618未检测到运动，则探头系统10不必直接进 入检查模式。在本发明的另一个实施例中，如果在步骤618未检测到运动，则用户可选择在 步骤622进入检查模式或者进入测量屏幕(未显示)。测量屏幕显示优选地从步骤602捕 获的对应的检查模式图像，同时在优选地从步骤614捕获的至少一个对应的测量模式图像 上执行分析或测量。测量屏幕允许在对应的检查模式图像上放置测量光标，而实际的分析 或测量在表示至少一个对应的测量模式图像的数据上执行。在进入测量屏幕时，可选择禁 用发射器驱动，以免投射结构光图案。用户可在步骤622观察测量屏幕以进行挑选的同时 选择在所需的任何点进入检查模式。如果以前禁止发射器驱动进入测量屏幕，则跳过步骤 624。序列在步骤626恢复，在该步骤中，微控制器30通过设定DSP 51用于自动增益和曝 光调整，配置DSP 51用于检查模式。 探头系统10配置成当在检查模式与测量模式之间切换时通过DSP 51更改成像器 12模拟增益和曝光函数的参数。探头系统IO还配置成当在检查模式与测量模式之间切换 时自动调整DSP 51的其它处理参数，包括但不限于伽马校正和边缘增强。
关于伽马校正，一般情况下，成像器12以线性方式响应光。强度或照度值的非线 性重新映射通常由DSP 51执行以便为图像显示改进感知的亮度一致性。在检查模式期间 捕获的图像的强度值的非线性重新映射可能是合乎需要的。然而，优选的是在表示对光的 线性响应的图像上执行相移分析。因此，对光的线性响应必须在测量模式期间从成像器12 转入到视频处理器50，这是因为相移分析一般在测量模式期间捕获的结构光图像上执行。 探头系统10配置成相对于在检查模式期间应用的伽马校正的程度，降低应用到至少一个 测量模式图像的像素的伽马校正的有效程度。例如，在测量模式期间启用或开启线性伽马 DSP设置。然而，在检查模式期间，线性伽马DSP设置一般被禁用或设为非线性以改进感知 的检查模式图像质量。
13
关于边缘增强，启用边缘增强将人为地修改图像的亮度线性。这对于在其上执行 相移分析的图像，一般是不合需要的，因为优选的是表示对光的线性响应的图像。因此，为 测量模式图像捕获禁用或关闭边缘增强功能，并且可为检查模式观察和检查模式图像捕获
启用或打开边缘增强功能。探头系统io配置成相对于在检查模式期间应用的边缘增强的
程度，降低应用到至少一个测量模式图像的像素的边缘增强的有效程度。 还与图像捕获有关的是，优选地在有少量或无随机噪声的图像上执行相移分析以
改进测量精确性。为降低随机噪声，探头系统io可配置成捕获存在相同结构光图像或相
同条纹集的多个测量模式图像，并且对那些测量模式图像的两个或更多图像进行平均或求 和。结果是多个合成图像，其中，在每个合成图像中只存在一个条纹集。存在有相同结构光 图案或相同条纹集的这些多个测量模式图像可在相同或类似的亮度级捕获。在投射条纹集 的合成图像是求和而不是平均的结果时，增大了动态范围，并且降低了噪声。无论合成图像 是求和还是平均的结果，在合成图像上能执行相移分析和其它处理。 此外，包括相同结构光图案或相同投射条纹集的测量模式图像可在不同的亮度或 强度级捕获。这通过手动或自动更改发射器输出强度或持续时间、成像器12曝光、模拟增 益或其一些组合而实现。 如上所述，条纹对比度确定功能54配置成确定应为每个发射器组启用一个发射 器还是多个发射器。例如，为更改光源强度，条纹对比度确定功能54可还配置成在每发射 器组启用一个发射器与多个发射器来投射光之间定序。也如上所述，微控制器30与成像器 接口电子器件31通信以确定和设定增益和曝光设置。类似地，微控制器30可配置发射器 驱动32以改变输送到发射器模块37的功率量，并因此改变投射条纹集的强度。
在不同亮度或强度级捕获的、包括相同投射条纹集的多个测量模式图像可组合以 有效地增加系统的动态范围。例如，可捕获包括结构光图案的明亮金属表面的图像。明亮 金属表面的反射性质会阻止暗区中的足够强度级别。因此，可在不同强度级捕获每个条纹 集的多个图像，以便在至少一些图像中暗区得到适当照亮。随后，可组合每个条纹集的捕获 的图像，从而为每个条纹集产生单个图像，该图像具有跨越比利用每条纹集单个图像能实 现的更大的部分的充分强度级。 CPU 56或视频处理器50可配置成在捕获测量模式图像前分析检查模式图像以确 定亮度一致性。通过生成并评估像素照度值的直方图，可执行该分析。在中间亮度范围具 有大多数像素的直方图将指示测量模式图像的单个集合将可能是足够的。具有大部分极亮 像素和极暗像素的直方图可指示高反射性表面，其将受益于在不同亮度级捕获的多个测量 模式图像序列的合并。 在本发明的一个实施例中，通过评估包括相同的投射结构光图案或条纹集并且在 不同强度级捕获的多个测量模式图像中的每个像素强度，并选择最符合诸如最大调制、亮 度值或像素不饱和等标准的集合的像素的集合，组合这些多个图像。来自包括相同结构光 图案或条纹集的不止一个测量模式图像的像素值可用于确定物体或表面的至少一个几何 尺寸。 上面的讨论主要涉及探头系统10的图像捕获。下面的讨论主要涉及那些捕获的 图像的使用和存储。 在本发明的一个实施例中，向操作员隐藏了在测量模式期间捕获的包括结构光图案的图像，并且这些图像只用于实际分析和测量。例如，CPU 56或视频处理器50创建包括 表示对应的检查模式图像的数据的图像文件，并且在包括表示其至少一个对应的测量模式 图像的数据的图像文件内创建隐藏的记录。在操作员定位用于确定被观察的物体的几何测 量的覆盖光标时，对应的检查模式图像能被显示，而分析在对应的测量模式图像上执行以 确定几何测量结果。因此，在观察检查模式图像时，即使在其对应的一个或多个测量模式图 像上执行分析或测量，操作员也可命令分析或测量。这也能在图像存储前进行，例如，如上 关于图6所讨论的，其中显示了检查模式图像并处理了测量图像。 通过允许用户在普通的检查模式图像上放置光标而不必担心立体匹配、垂直性、 阴影位置等，降低了操作员技能要求。操作员可使用操纵杆62将光标放置在集成显示器21 上显示的检查模式图像上。小键盘64和/或计算机I/O接口 66也可与操纵杆62交换，用 于放置光标，并且计算机监视器22和/或视频监视器20也可与集成显示器21交换，用于 显示检查模式图像。 —般情况下，当在图像上执行测量，并且保存图像时，诸如光标位置、测量结果、精 确性指示符等图形覆盖数据被添加到图像。此图形覆盖必须可去除以实现以后的容易的重 新测量，其中要求与图像相关的非图形数据。用于从探头存储图像特定的数据、特别是校准 数据的方法从美国专利7262797已知。还需要的是存储例如与相移分析有关的测量数据。 测量数据包括但不限于结构光图像的照度部分(照度数据)、测量光标位置、合并的图像数 据、测量类型、结果、精确性指示等、校准数据、相位数据及相移分析数据。相位数据可包括 表示结构光图案的相位的数据，例如，包裹相位、展开后的相位、相对相位和/或绝对相位。 2008年5月5日提交的名称为"Phase-ShiftAnalysis System and Method"的共同未决的 美国申请12/042800论述了相移分析中相位数据的实现，该申请通过引用结合于本文中。 相移分析数据包括但不限于表面或物体距离数据(对于每个像素的z值，其中，z是与探头 的物体距离)和点云数据(对于每个像素的x、y、z值)。正如本领域的技术人员应理解的， 美国专利7262797中公开的方法应该包括"将测量数据写入文件"的另外步骤。
具体而言，系统可包括几何测量模式，其中，对应的检查模式图像被显示，并且操 作员在检查模式图像上定位测量光标以标识测量点，并且CPU 56基于通过在对应的测量 图像上利用校准数据执行的相移分析得到的3D数据，计算和显示测量结果。当操作员请求 图像保存时，CPU 56创建图像文件。它将覆盖数据与检查图像数据合并，并在图像文件中 保存结果，使得在文件通过标准图像观察器打开时，检查模式图像和覆盖被显示。CPU 56还 在图像文件中创建隐藏的记录。在这些隐藏的记录中，它存储由覆盖数据改写的检查图像 数据(称为覆盖替代数据)和测量数据。因此，定制软件应用能完全恢复原检查模式图像， 并具有复制现有测量和/或执行另外的测量或分析所需的所有信息。 使用探头系统10或附带的个人计算机应用捕获的位图和JPEG图像中的测量数据 由CPU 56或视频处理器50保存。这允许图像具有"破坏性"覆盖，使用标准图像观察软件 可在图像中见到这些覆盖，但其可由定制应用去除以向观察者或操作员显示干净的图像。 干净的图像能够是测量模式图像或其对应的检查模式图像。在图像中存储照度和测量数据 还允许使用探头软件或通过诸如基于PC的软件包等定制软件在图像上重复进行测量。
—旦图像被捕获并可选地由探头系统10存储后，图像数据便能以许多方式使用。 例如，来自测量模式图像的像素值能用于确定表面或物体的至少一个几何尺寸。另外，图像
15数据能用于执行3D几何测量或3D可视化。图像数据还能导出或转换为可结合3D建模软 件使用的数据格式，以用于详细的分析或逆向工程。 如本文中所述和附图中所示的，与图像捕获有关的方法和系统的构造和布置只是 说明性的，并且不限于探头。虽然在此公开中只详细描述了本发明的几个实施例，但阅读此 公开的本领域技术人员将容易理解，在实质上不脱离所附权利要求中记载的主题的优点和 新颖教导的情况下，许多修改是可能的(例如，各种元件的大小、尺寸、结构、形状和比例、 参数的值、安装布置、材料的使用、定向等方面的变化)。相应地，所有此类修改旨在包括在 如所附权利要求中定义的本发明的范围内。任何过程或方法步骤的次序或顺序可根据备选 实施例进行改变或重新定序。在权利要求中，任何部件加功能款项旨在覆盖在本文中描述 为执行所记载功能的结构，并且不仅包括结构等效物，而且还包括等效结构。在不脱离如 所附权利要求中表达的本发明的实施例的精神的情况下，可在优选和其它示范实施例的设 计、操作条件和布置方面进行其它替代、修改、更改和省略。因此，本发明的技术范围不但涵 盖上述那些实施例，而且涵盖属于所附权利要求的范围的那些实施例。
权利要求
一种探头系统，包括成像器和检查光源，所述探头系统配置成在检查模式和测量模式中操作，其中所述检查光源在检查模式期间被启用，并且在测量模式期间被禁用，以及其中在测量模式期间投射结构光图案；捕获至少一个测量模式图像，其中所述结构光图案被投射到物体上；以及利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。
2. 如权利要求1所述的探头系统，还配置成创建包括可视图像的单个图像文件，其中至少一个测量光标已被破坏性地覆盖；以及创建至少一个隐藏的记录，其中所述可视图像和至少一个测量光标可使用图像观察器软件来观察，所述至少一个隐藏的记录至少包括覆盖替代数据、测量光标位置、校准数据、结构光图像数据、相位数据、点云数据及物体距离数据之一，使得定制程序能在所述可视图像上执行几何测量。
3. 如权利要求1所述的探头系统，还配置成捕获对应的检查模式图像和至少一个对应的测量模式图像；其中所述至少一个对应的测量模式图像至少包括所述至少一个测量模式图像之一；以及其中所述对应的检查图像包括在接近所述至少一个对应的测量模式图像的接近时间捕获的至少一个检查模式图像，所述至少一个检查模式图像包括投射到所述物体上的来自所述检测光源的光。
4. 如权利要求1所述的探头系统，还包括应用到源于所述成像器的图像数据的增益函数、曝光函数、伽马校正函数及边缘增强函数中的一个或多个函数；其中所述探头系统配置成在检查模式与测量模式之间切换时自动调整所述函数中至少一个函数的参数。
5. 如权利要求1所述的探头系统，其中所述至少一个测量模式图像包括包含相同结构光图案的多个测量模式图像；以及其中来自包含所述相同结构光图案的所述多个测量模式图像的不止一个图像的像素值用于确定所述物体的所述至少一个几何尺寸。
6. —种包括成像器的探头系统，所述探头系统配置成在检查模式和测量模式中操作，其中在检查模式期间投射散射照明光，以及其中在测量模式期间投射结构光图案；捕获至少一个测量模式图像，其中所述结构光图案被投射到物体上；利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸；以及检测多个图像的两个或更多图像的捕获之间的探头与所述物体之间的相对移动。
7. 如权利要求6所述的探头系统，还包括计算指示所述多个图像的所述两个或更多图像的所述捕获之间的所述探头与所述物体之间的所述相对移动的运动度量。
8. 如权利要求6所述的探头系统，其中所述多个图像的所述两个或更多图像包括在所述至少一个测量模式图像的捕获之前捕获的至少一个检查模式图像和在所述至少一个测量模式图像的捕获之后捕获的至少一个检查模式图像，所述至少一个检查模式图像包括投射到所述物体上的散射照明光。
9. 如权利要求6所述的探头系统，还配置成 捕获对应的检查模式图像和至少一个对应的测量模式图像；其中所述至少一个对应的测量模式图像至少包括所述至少一个测量模式图像之一；以及其中所述对应的检查图像包括在接近所述至少一个对应的测量模式图像的接近时间 捕获的至少一个检查模式图像，所述至少一个检查模式图像包括投射到所述物体上的散射 照明光。
10. 如权利要求6所述的探头系统，其中所述至少一个测量模式图像包括包含相同结 构光图案的多个测量模式图像；以及其中来自包含所述相同结构光图案的所述多个测量模式图像的不止一个图像的像素 值用于确定所述物体的所述至少一个几何尺寸。
全文摘要
本发明名称为“关于利用结构光的探头系统的系统方面”。一种探头系统包括成像器和检查光源。探头系统配置成在检查模式和测量模式中操作。在检查模式期间，启用检查光源。在测量模式期间，禁用检查光源，并投射结构光图案。探头系统还配置成捕获至少一个测量模式图像。在所述至少一个测量模式图像中，结构光图案被投射到物体上。探头系统配置成利用来自所述至少一个测量模式图像的像素值以确定所述物体的至少一个几何尺寸。还提供配置成检测多个图像的两个或更多图像的捕获之间探头与所述物体之间的相对移动的探头系统。
文档编号G02B23/24GK101726263SQ20091020653
公开日2010年6月9日 申请日期2009年10月10日 优先权日2008年10月10日
发明者C·A·本达尔, K·G·哈丁, T·卡彭, 宋桂菊, 陶立 申请人:通用电气公司