视准轴校准系统和目标组件的利记博彩app
【专利摘要】本实用新型涉及一种视准轴校准系统以及目标组件。该视准轴校准系统，辅助多个摄像机和/或摄像机图像相对于彼此的校准。该系统可以具有配置成辅助框架至安装件上的连接的安装件，该框架包含多个摄像机。该系统可具有多个目标，每个目标可以配置成提供至少两种不同波长和/或波长范围的光。一个或多个挡板可以光学地位于安装件和目标之间，用于阻止杂散光入射到摄像机上。
【专利说明】视准轴校准系统和目标组件
【技术领域】
[0001]本实用新型的一个或多个实施方式大体上涉及摄像机，更具体地，例如，涉及相对于彼此校准(align)来自多个摄像机的图像。
【背景技术】
[0002]在许多应用中，可能需要将多个不同的、常常具有不同光谱带的摄像机的输出组合，从而形成混合视频流。例如，来自可见光摄像机和红外(IR)摄像机的混合视频流可以比任何一个单独的摄像机的原始视频流包含更有用的信息。然而，为了更好地辅助多个摄像机的输出的精确组合，由此提供的各个图像应该相对于彼此校准。
[0003]因此，需要一种相对于彼此校准多个摄像机和/或由此提供的图像的系统和方法。更具体地，需要辅助一个摄像机的像素相对于另一摄像机的像素的快速和精确对准，从而每个摄像机中相应的像素指向视场中的相同对象。
实用新型内容
[0004]本实用新型所要解决的技术问题是相对于彼此校准多个摄像机和/或由此提供的图像，以及辅助一个摄像机的像素相对于另一摄像机的像素进行快速和精确的对准，从而使每个摄像机中相应的像素指向视场中的相同对象。
[0005]通过下述的技术方案，多个摄像机的图像相对于彼此的校准得以实现。
[0006]根据实施方式，一种视准轴校准系统包括:配置成辅助框架连接到其上的安装件，所述框架具有多个摄像机；多个目标，每个所述目标配置成为所述摄像机中的至少两个提供光，两个摄像机中的每一个运行在波长范围内；以及光学地布置于所述安装件和所述目标之间的至少一个挡板，用于阻止杂散光入射到所述摄像机上。
[0007]根据另外的实施方式，所述目标配置成提供红外能量和可见光。
[0008]根据另外的实施方式，所述目标中的每一个包括加热器，并且每个加热器是可独立控制的以控制每个目标辐射的红外能量的量。
[0009]根据另外的实施方式，所述视准轴校准系统还包括光源，所述光源配置成使所述目标反射光。
[0010]根据另外的实施方式，所述光源提供可见光。
[0011]根据另外的实施方式，所述目标包括四个外侧目标和一个中心目标。
[0012]根据另外的实施方式，所述至少一个挡板包括多个挡板，并且所述挡板中的每一个包括对应于所述外侧目标的四个十字形开口和对应于所述中心目标的一个圆形开口。
[0013]根据另外的实施方式，还包括大体上环形的荧光光源，所述荧光光源配置成使所述目标反射光以及配置成通过所述环形的荧光光源中的开口辅助所述中心目标的成像。
[0014]根据另外的实施方式，所述视准轴校准系统还包括准直器，所述准直器配置成使来自所述目标的光准直。
[0015]根据另外的实施方式，所述安装件还包括多个夹具，用于将所述框架连接到所述安装件的表面。
[0016]根据另外的实施方式，所述视准轴校准系统还包括计算机和监视器，所述计算机配置成利用所述摄像机提供的所述目标的图像，所述监视器配置成显示目标场景的混合图像，来辅助所述摄像机旋转的手动校准。
[0017]根据另外的实施方式，所述视准轴校准系统还包括致动器或者步进电机，所述致动器或者步进电机配置成在计算机的控制下实现调整螺钉的转动，所述计算机配置成利用所述摄像机提供的所述目标的图像辅助所述图像的自动校准。
[0018]根据另外的实施方式，所述视准轴校准系统进一步包括所述框架和所述多个摄像机，其中，所述框架被连接到所述安装件，并且所述多个摄像机包括第一摄像机和第二摄像机。
[0019]根据另外的实施方式，所述视准轴校准系统进一步包括与所述第一摄像机和所述第二摄像机通信连接的计算机，其中所述第一摄像机包括可见光摄像机，其中所述第二摄像机包括红外摄像机，其中所述计算机配置为校准所述第一摄像机和所述第二摄像机的图像的计算机，使得所述第一摄像机和所述第二摄像机的相应像素感知所述目标。
[0020]根据另外的实施方式，所述计算机配备有数字帧采集卡和相关电缆，从而允许如同通过待校准的摄像机所观察到的那样实时获取和显示目标场景的视频和图像，其中所述计算机进一步配置为自动地感知所述第一摄像机的图像相对于所述第二摄像机的图像的错位，并且自动地将所述第一摄像机的图像相对于所述第二摄像机的图像校准。
[0021]根据另外的实施方式，所述目标是可独立加热的，从而每个目标向所述第一摄像机提供实质上具有相同亮度的红外能量。
[0022]根据实施方式，一种目标组件包括:多个目标，其中，所述目标中的每一个配置成通过辐射一种波长的光并反射另一种波长的光而为运行在两个不同波长范围内的两个摄像机提供光。
[0023]根据另外的实施方式，所述目标中的每一个包括加热器，并且每个加热器是可独立控制的以控制每个目标辐射的红外能量的量。
[0024]根据另外的实施方式，所述目标中的每一个包括反射表面，所述反射表面配置成朝着所述摄像机反射光。
[0025]根据另外的实施方式，所述反射表面配置成反射可见光。
[0026]根据实施方式，一种系统可以包括配置成辅助框架连接到其上的安装件。框架可以具有多个连接到其上的摄像机。目标组件可包括多个目标，其中，每个目标可以配置成提供一种或多种不同波长和/或波长范围(例如光谱带)的光。挡板组件可以被光学地布置在安装件和目标之间，用于阻止杂散光入射到目标和/或摄像机上。
[0027]根据实施方式，目标组件可包括多个目标。每个目标可以配置成通过下述方式提供一种或多种不同波长和/或波长范围的光:辐射一种波长或一种波长范围内的光，而反射另一种波长或另一种波长范围内的光。
[0028]根据实施方式，一种方法可以包括将包含多个摄像机机的框架连接到安装件上。多个目标可以被加热以从其中辐射红外辐射。可以利用光源(例如可见光源)照亮这些目标。当需要时，其他技术也可以使目标能够在超出可见光和IR的其他光谱带中辐射。可以借助挡板组件来阻止杂散光入射到目标和/或摄像机上。摄像机和/或其图像可以被校准，从而每个摄像机的期望的、相应的和/或预定的像素感知到目标，例如，使得各摄像机的图像相对于彼此校准。
[0029]本实用新型的范围由权利要求限定，通过引用将权利要求合并至实用新型内容中。通过考虑下文中一个或多个实施方式的详细说明，将给本领域技术人员提供对本实用新型的实施方式的更全面理解以及对其额外优势的认识。下文将参考附图，首先简要地介绍附图。
【专利附图】
【附图说明】
[0030]图1示出了根据本实用新型实施方式的视准轴校准系统的立体图。
[0031]图2示出了根据本实用新型实施方式的摄像机组件的横截面立体图。
[0032]图3示出了根据本实用新型实施方式的具有可见光摄像机和红外摄像机的框架的立体图。
[0033]图4示出了根据本实用新型实施方式的目标和准直器组件的平面图。
[0034]图5示出了根据本实用新型实施方式的安装在视准轴校准系统中的目标组件的剖面立体图。
[0035]图6示出了根据本实用新型实施方式的目标组件的剖面立体图。
[0036]图7示出了根据本实用新型实施方式的目标组件的剖面立体图。
[0037]图8示出了根据本实用新型实施方式的目标组件的前部立体图。
[0038]图9示出了根据本实用新型实施方式的连接有框架的框架安装件的前部立体图。
[0039]图10示出了根据本实用新型实施方式的未连接有框架的框架安装件的前部立体图。
[0040]图11示出了根据本实用新型实施方式的框架安装件的夹具的放大立体图。
[0041]图12示出了根据本实用新型实施方式的连接到框架安装件上的框架的后部立体图。
[0042]图13示出了根据本实用新型实施方式的连接到框架安装件上的框架的放大后部立体图。
[0043]图14示出了根据本实用新型实施方式的连接到框架安装件上的框架的放大顶部立体图。
[0044]图15示出了根据本实用新型实施方式的基部的立体图。
[0045]图16示出了根据本实用新型实施方式的连接到框架安装件上的框架的立体图，其中，框架安装件连接到视准轴校准系统上。
[0046]图17示出了根据本实用新型实施方式的系统和通信架构的框图。
[0047]图18示出了根据本实用新型实施方式的主机软件流程的流程图。
[0048]图19示出了根据本实用新型实施方式的整个视准轴校准过程的流程图。
[0049]图20示出了根据本实用新型实施方式的旋转校准方法的流程图。
[0050]图21示出了根据本实用新型实施方式的对焦方法的流程图。
[0051]通过参阅下文的详细说明将最佳地理解本实用新型的实施方式及其优势。应该意识到，类似的附图标记用于标识一个或多个附图中的类似元件。【具体实施方式】
[0052]根据各种实施方式，各种方法和系统有助于来自多个摄像机的图像相对于彼此的校准。例如，视准轴校准系统可以为两个单独摄像机(例如，可见光摄像机和红外摄像机)的图像相对于彼此的光学视准轴校准提供目标。
[0053]因此，视准轴校准系统可以允许两个摄像机的图像彼此重叠，例如形成混合视频图像。图像的这种校准可以更好地辅助对图像的观察。例如，图像的这种校准可以更好地辅助混合视频流的形成，该混合视频流可以用于增强汽车司机、飞行器驾驶员和类似人员的低光检视。
[0054]视准轴校准系统可以有助于任意期望数量的摄像机的图像的校准。例如，视准轴校准系统可以辅助两个、三个、四个、五个、六个或更多个摄像机的图像的校准。这些摄像机可以运行在相同的波长范围内，或者可以运行在不同的波长范围内。摄像机可以运行在任何期望的一个或多个波长范围内。
[0055]大体上，校准的执行使得摄像机图像的期望的、相应的和/或预定的像素在混合图像或组合帧中彼此对准，例如重合。这种校准可以通过图像的电子校准、通过摄像机的机械校准或通过这种电子校准和机械校准的组合来实现。
[0056]例如，两个摄像机可以机械地校准旋转，并且随后电子地校准X位置、y位置、X缩放和y缩放。可以通过在计算机的指引下(例如在监视器上检视目标场景的混合图像)手动地旋转至少一个摄像机来修正旋转。可以通过计算机来确定X位置、y位置、X缩放和I缩放的修正，并且修正可以自动进行，例如通过计算机，而不需要手动地调整或重新定位摄像机。
[0057]目标可以被加热以提供可变的、独立的、温度受控制的红外目标，其也用作可见光目标。目标可以通过反射可见光源发出的可见光而作为可见光目标。来自目标的红外能量和可见光可以穿过挡板，挡板上形成有切口。切口可以限定用在视准轴校准过程中的图像的形状。
[0058]图1示出了根据本实用新型实施方式的视准轴校准系统100的立体图。视准轴校准系统100可以包括目标和位于光学平台102上的准直器组件101。光学平台102可以具有隔振腿103。
[0059]如本文所述的那样，计算机106可以辅助控制视准轴校准过程。键盘107、鼠标108和/或监视器109可以为计算机106提供用户接口。计算机可以配备有数字帧采集卡和相关电缆，从而允许实时获取和显示目标场景的视频和图像，正如通过待校准的摄像机观察的那样。
[0060]视准轴校准系统100可用于校准两个或多个摄像机提供的图像。例如，视准轴校准系统100可以用于校准安装在框架200上的两个或多个摄像机的图像。如本文所述，框架200可以附着到光学平台102上。
[0061]图2示出了根据本实用新型实施方式的安装在摄像机组件201上的框架200的横截面立体图。举例来说，摄像机组件201可以用于飞行器(例如直升机)以使低光视觉或夜视能力增强。摄像机组件201可以用于任何期望的原因，尤其是在提供混合图像的能力有利的应用中。
[0062]例如，框架200可包括可见光摄像机202和红外摄像机203。举例来说，红外摄像机203可以是长波红外摄像机(LWIR)。例如，可见光摄像机202和红外摄像机203的输出可以混合以辅助提高夜视能力。框架200可以从摄像机组件201中移除以利用视准轴校准系统100辅助其两个摄像机的校准。
[0063]框架200的两个摄像机可以是相同或类似的摄像机。框架200的两个摄像机可以是不同的摄像机。例如，框架200的两个摄像机可以使两种不同波长或波长范围内的光成像。就像素的行和列的数量而言，两个摄像机也可以具有相同的传感器形式，或者它们可以具有不同的传感器形式。
[0064]作为示例性实现方式，可见光摄像机202和红外摄像机203可以安装在靠近彼此的位置，并且可以安装到共同的板204上。将可见光摄像机202和红外摄像机203安装成彼此靠近为可见光摄像机202和红外摄像机203提供了大致相同的视场(例如，可见光摄像机202的视场206)。
[0065]可见光摄像机202和红外摄像机203可以具有不同的视场。例如，可见光摄像机202可以具有比红外摄像机203的视场大的视场。视准轴校准过程可以在某种程序上适应这种不同的视场。
[0066]将可见光摄像机202和红外摄像机203安装在共同的板204上提供了它们之间某种程度上的校准。然而，这种安装并未确保图像在χ-y平面内的期望平移校准、图像在χ-y平面内的期望缩放以及图像的期望旋转校准。
[0067]可以通过手动地旋转可见光摄像机202和红外摄像机203中的至少一个来实现两个图像的期望旋转校准。因此，可以提供机械调整来辅助可见光摄像机202和/或红外摄像机203的旋转。还可以通过利用视准轴校准系统测量旋转误差并在视频数据处理流中电子地修正该误差来实现期望的旋转校准。
[0068]可以通过视准轴校准系统100电子地实现x-y平面内的期望平移校准和两个图像的期望缩放。例如，计算机106可以确定偏移量和缩放因子，该偏移量和缩放因子可用于利用软件在视频数据处理流中校准两个图像，而不需要手动地移动可见光摄像机202或红外摄像机203。
[0069]图3示出了根据本实用新型实施方式的从摄像机组件201上移除的框架200的立体图。框架200可以从摄像机组件201上移除以进行视准轴校准过程。大体上，将框架200从摄像机组件201上移除更好地辅助了可见光摄像机202和红外摄像机203在视准轴校准系统100上的安装。可选地，摄像机组件201可以安装到视准轴校准系统100上。作为另一可选方式，可见光摄像机202和红外摄像机203所附着的板204可以在不需要框架200的情况下安装在视准轴校准系统上。
[0070]图4示出了根据本实用新型实施方式的目标和准直器组件101的平面图。目标和准直器组件101包括目标组件401、准直器402和框架安装件403。例如，准直器402可以是由加利福尼亚州圣巴巴拉市的圣巴巴拉红外公司提供的型号为WF575的准直器。准直器402可以具有光轴406。
[0071]目标组件401和框架安装件403可以位于准直器402的壳体404之内。可选地，目标组件401和框架安装件403可以位于准直器402之外。
[0072]准直器402的使用可以允许可见光摄像机202和红外摄像机203的焦点被设置为无限远。利用可见光摄像机202和红外摄像机203的设置为无限远的焦点来进行视准轴校准过程可能是有利的，这是因为，与特定有限远距离处的焦点相比，无限远的焦点一般更易于获取。将可见光摄像机202和红外摄像机203的焦点设置为无限远大体上仅仅涉及将聚集透镜移动到其行程的一个末端。因此，设置无限远的焦点实质上简化了聚集过程，并且由此减少了与视准轴校准过程有关的时间和成本。
[0073]此外，准直器402的应用趋向于减少视差。更具体地，准直器402倾向于使可见光摄像机202和红外摄像机203之间的视差最小化。
[0074]因此，准直器402趋向于减少对视差补偿的需要。然而，可以在使用或不使用准直器402的情况下提供视差补偿。例如，可以为摄像机202、203与多个目标511-515(参见图6)之间的不同距离提供不同的视差设置。
[0075]此外，由于准直器使得所有的目标511-515有效地呈现为处于距可见光摄像机202和红外摄像机203无限远的距离处，由于其实际距离的不同而导致的误差趋向于最小化。因此，准直器402的使用趋向于增大视准轴校准过程的准确性。
[0076]图5-7示出了根据本实用新型实施方式的目标组件401的立体图。目标组件401可以包括外壳500，目标组件401的部件安装在外壳500内。
[0077]目标组件401可以安装在准直器402的壳体404之内。可选地，目标组件401可以实际上没有这样的壳体，例如，目标组件401可以安装在光学平台101上，位于或部分位于任何分离的壳体的外部。将目标组件401安装在准直器402的壳体404之内可能是有利的，这是因为这种构架提供了缓解杂散光、校准以及组装/维护方面的好处。
[0078]目标组件401可以包括多个挡板，例如三个挡板501-503。目标组件401可以包括任意期望数量的这种挡板。例如，目标组件401可以包括0、1、2、3、4或更多个挡板。挡板501-503可以限定期望的目标形状。例如，如本文所述，挡板501-503可以限定多个十字以字一个点。
[0079]挡板501-503可以实际上减少入射到大致对应的多个目标511-515上并随后由这些目标反射的杂散光。期望的是，来自目标511-515的光的波长和强度是受控制的，从而更好地辅助视准轴校准过程。减少入射到目标上的杂散光增强了这种控制。
[0080]挡板501-503可以实际上减少入射到可见光摄像机202和红外摄像机203上的杂散光。减少入射到可见光摄像机202和红外摄像机203上的杂散光趋向于增强由此提供的图像的对比度，并且因而更好地辅助视准轴校准过程。具体地，对比度的增强可以使计算机106或操作人员对目标511-515的识别和使用更加简单、可靠和精确。
[0081]目标组件401可以包括任意期望数量的目标。例如，目标组件401可以包括O、1、
2、3、4或更多个目标。目标511-515可以具有任意期望的形状。
[0082]目标511-515可以是金属板。例如，目标511-515可以由铜形成。目标511-515可以由一种材料制成，或者由多种材料的组合制成，对于这些材料温度可以是受控制的(例如，通过电阻加热器518)，并且其对可见光的反射率是足够的。因此，目标的可见光和红外辐射的绝对和/或相对量可以维持在容易辅助视准轴校准过程的范围内。
[0083]目标511-515的表面可以被抛光或具有涂层(例如涂漆)以增大其反射率。例如，目标511-515可以漆成白色以增强通过挡板501-503的开口 801-805(参见图8)从光源506反射并进入可见光摄像机202和红外摄像机203的光的量。
[0084]外壳500可以大体上是闭光的，从而进出外壳500的唯一的实质光路穿过挡板501-503中的开口 801-805 (参见图8)。在这种方式中，可以阻止杂散光入射到目标511-525和/或摄像机202、203上。
[0085]光源506可以安装在灯具507上，从而来自光源506的光入射到目标511-515上并被目标511-515反射。光源506可以是突光,例如环形突光灯灯泡。作为其他实例,光源可以是一个或多个白炽灯泡、一个或多个LED、或者是荧光灯、白炽灯、LED以及任意其他类型光源的任意组合。
[0086]低热量产生光源506 (例如荧光灯泡或多个LED)的使用可以是有利的，这是由于其可以有助于更独立地控制目标511-515热量，因为这种光源并不会导致目标511-515发热。使目标511-515的热量实质上由独立的热源(例如加热器518)提供和控制可能是有利的。
[0087]环形光源506的使用可以提供下述好处:目标511-515的光照大体上均匀，而不会遮掩中心目标513。S卩，来自中心目标513的光可以穿过环形光源506中的中心开口。
[0088]来自光源506的光的强度可以是可变的。通过这种方式，在视准轴校准过程期间由目标511-515反射的光的强度可以改变以更好地辅助可见光摄像机202和红外摄像机203的校准。
[0089]目标511-515中的每一个都可以具有一个与之热连通的加热器518。每个加热器518可以是独立可控的，从而有助于对红外摄像机203捕获的目标511-515中每个的图像的亮度进行独立的控制。
[0090]例如，每个目标511-515可以具有附着到其后部的加热器518，从而改变通过加热器518的电流趋向于改变每个目标511-515的温度。因此，由每个目标511-515提供的红外辐射可以是独立受控的。通过这种方式，目标511-515作为整体提供的红外辐射和/或由一个或多个选择的目标511-515提供的红外辐射可以提高或降低，从而更好地匹配目标511-515反射的可见光，进而更好地辅助可见光摄像机202相对于红外摄像机203的校准。
[0091]光源506的强度以及加热器518提供的热量都可以由计算机106控制。因此，计算机可以控制控制目标511-515提供的可见光以及红外光的强度。
[0092]目标511-515可以安装在共同的壁或板517上。例如，目标511-515可以经由支座516安装在板517上，该支座516趋向于使目标511-515与板517以及彼此之间热隔离。例如，支座516可以由陶瓷材料形成。目标511-515的这种热隔离趋向于增强独立控制其温度的能力。
[0093]每个目标511-515可以安装为使其表面与所有其他目标511-515的表面接近于共面。因此，所有目标511-515可以与可见光摄像机202和红外摄像机203相距大致相同的距离，并且可以实质上位于相同的焦平面内以更好地辅助可见光摄像机202和红外摄像机203的聚焦。正如这里讨论的，准直器402的使用可以缓解与使目标511-515不共平面的定位偏差相关的不期望的影响。
[0094]一个或多个风扇521、522可以用于冷却目标组件401。冷却目标组件401可以更好地辅助目标511-515的温度控制，并且可以防止在目标511-515内聚集过多的热量。
[0095]风扇521、522可以用于冷却挡板501-503。冷却挡板501-503可以防止过多的热量聚集在挡板501-503中，这可能导致红外辐射的辐射，这可能不期望地干扰视准轴校准过程(例如通过模糊(obscure)目标511-515的红外辐射和/或不期望地降低由红外摄像机203捕获的目标511-515的图像的对比度)。
[0096]举例来说，通用串行总线(USB)控制器(未示出)可用于控制风扇521和522。风扇521和522可以被恒温控制以在目标组件401内维持期望的温度。
[0097]目标组件401可包括内部壳体701，其减少了入射到目标511-515和/或摄像机202、203的杂散光。目标组件401可反射杂散光的表面可以被漆成单一的黑色，从而减少入射到目标511-515和/或摄像机202、203的杂散光。因此，目标组件401可以配置成(例如屏蔽成)阻止杂散光到达目标511-515。这种配置也可以阻止杂散光到达可见光摄像机202和红外摄像机203，其中这种杂散光可能干扰视准轴校准过程。
[0098]图8示出了根据本实用新型实施方式的目标组件401的前部立体图。每个挡板501-503(在图8中仅示出了挡板501，挡板502和503请参见图5-7)可具有形成在其中的多个切口或开口 801-805。例如，每个挡板501-503可以具有四个限定靠近挡板501-503的四个角的十字的开口 801-804，并且可以具有一个靠近每个挡板501-503的中心的圆形开Π 805。
[0099]挡板501-503可以在其朝向目标511-515的一侧上是反射性的，以增大从光源506发出的入射到目标511-515的光的量。挡板501-503可以在其背离目标511-515的一侧上是吸收性的(例如单一的黑色)，以减少入射到目标511-515上的杂散光(例如环境光)。通过抛光、涂层和/或涂漆的方式，挡板501-513中的一个或多个的表面可以被制成反射性的。例如，最靠近目标511-513的挡板503的表面可以涂成白色以增大其反射率(例如,对于可见光的反射率)。
[0100]开口 801-805限定了由目标511-518产生的图像的形状。因此，开口 801-805限定了由可见光摄像机202和红外摄像机203成像的图像的形状。如图8所示，作为实例，四个图像可以是十字(对应于开口 801-804的图像)而一个图像可以是点(对应于开口 805的图像)。
[0101]在视准轴校准过程中，可见光摄像机202和红外摄像机203都将对开口 801-804的十字以及圆形开口 805的点进行成像。这些图像可以用于在X位置、y位置、X缩放、y缩放和旋转中校准可见光摄像机202和红外摄像机203。
[0102]图9示出了根据本实用新型实施方式的连接有框架200的框架安装件403的前部立体图。框架安装件403可以包括直立板901，框架200经由两个夹具902和903附着到该直立板901上。夹具902和903可以是偏心夹具(over center clamp)。
[0103]直立板902可以从底板905向上延伸。支柱906和907可以辅助直立板902刚性地附着到底板905上。
[0104]底板905可以诸如通过螺钉908附着到基部904上。多个螺纹孔909可以形成在基部904中以有助于将底板905 (并且由此也将直立板901和框架200)按需求定位在其上。如本文所述的那样，基部904可以经由螺钉定位件910附着到光学平台102上。
[0105]图10示出了根据本实用新型实施方式的未连接有框架200的框架安装件403的前部立体图。框架200可以与直立板901的前表面1001齐平地安装。开口 1000可以形成在直立板901中并且可以配置成接收可见光摄像机202、红外摄像机203和/或从其间穿过的相关的元件(例如电子元件1201(参见图12))的一部分。
[0106]在板901中可以提供螺纹孔1002以辅助接线连接至框架安装件403。例如，常规的电缆夹具(未示出)可以用于利用螺纹孔1002束缚可见光摄像机202和红外摄像机203的电缆。螺纹孔1002可以用于将电子设备安装在框架安装件403上。例如，与可见光摄像机202和/或红外摄像机203相关联的视频处理器可以经由螺纹孔1002连接到框架安装件403上。
[0107]销1003和1004可以接收在框架200的互补的开口中，以有助于将框架200安装在框架安装件403上。销1003和1004可以确保框架200相对于框架安装件403的期望的校准。
[0108]夹具902和903可以在销1003和1004之上或周围压下以提供框架200至框架安装件403的确实的(positive)连接。通过这种方式,可以减少框架200相对于框架安装件403的不期望移动。
[0109]图11示出了根据本实用新型实施方式的框架安装件403的夹具902的放大立体图。可以通过朝着直立板901按压垫片(pad) 1101来影响夹持，从而使得夹持元件1102施加压力在框架200上。
[0110]图12和13示出了根据本实用新型实施方式的附着到框架安装件403上的框架200的后部立体图。与可见光摄像机202和红外摄像机203相关联的电子元件1201可以延伸穿过直立板901中的开口 1000。
[0111]图14示出了根据本实用新型实施方式的连接到框架安装件403上的框架200的放大俯视立体图。可旋转螺钉定位件910允许定位安装螺钉1401，从而辅助框架安装件403在光学平台102上的期望旋转。这种旋转允许框架安装件403，由此也允许框架200，被定位成相对于准直器402的光轴406 (参见图4)正交。
[0112]机械调整装置(例如调整螺钉1202)提供了对可见光摄像机202的旋转的手动调整，从而有助于可见光摄像机202相对于红外摄像机203的旋转校准。除了可见光摄像机202的旋转的手动调整之外，或作为其的替代方式，可以提供红外摄像机203的旋转的手动调整。
[0113]图15示出了根据本实用新型实施方式的基部904的立体图。销钉1501可以从基部904向上延伸，并且可以由底板905中的互补开口接收。这种销钉1501的使用可以辅助不同底板在框架安装件403上的可重复连接。
[0114]图16示出了根据本实用新型实施方式的连接到框架安装件403上的框架200的立体图，其中，框架安装件403连接到视准轴校准系统100上。在壳体404中提供开口 1601，从而在光通过挡板501-503和准直器402之后，将来自目标511-515的光提供给可见光摄像机202和红外摄像机203。
[0115]算法可以根据本领域技术人员理解的公知原理来运行以辅助下述事项:由操作人员辅助的对焦至无限远；由操作人员辅助的旋转校准；自动图像配准测量缩放因子和I缩放因子的确定；χ偏移和y偏移的确定；以及具有足够视场的摄像机(例如可见光摄像机202和红外摄像机203)的选择。下文参考图17-21进一步讨论了这些算法。
[0116]图17示出了根据本实用新型实施方式的系统和通信架构的框图。可见光摄像机202为视频处理板1711提供了输出。视频处理板1711处理可见光摄像机202的输出以提供期望格式的视频信号。这种视频处理板的实例包括由加利福尼亚州查特沃斯市的Tetracam公司制造的视频处理板。[0117]视频处理板1711的处理后的输出可以提供给混合电子元件1720。更具体地，视频处理板1711的处理后的输出可以提供给混合器1712。混合器1712可以将可见光摄像机202和红外摄像机203的输出组合以根据本领域技术人员理解的公知原理形成组合帧。
[0118]将可见光摄像机202和红外摄像机203的输出混合可能会导致目标511-515的可见光图像以及目标511-515的红外图像出现在单个混合图像或组合帧中。当可见光摄像机202和红外摄像机203相对于彼此校准时，目标511-515的可见光图像以及目标511-515的红外图像基本上彼此重叠，例如，大体上彼此重合。
[0119]可以经由计算机106进行X位置和J位置修正，而不需要手动调整或重新定位可见光摄像机202和/或红外摄像机203。因此，可以生成修正因子，其增强组合帧中目标511-515的可见光图像和目标511-515的红外图像的校准。
[0120]组合巾贞可以提供给夹层板(mezzanine board) 1716,该夹层板1716处理组合巾贞以提供期望的视频格式，例如与计算机106兼容的视频格式。夹层板1716的输出可以提供给智能端口(iPort) 1718，其有助于将组合帧输入到计算机106中以由校准应用1721在视准轴校准过程中。
[0121]校准应用1721利用应用于可见光摄像机图像1723和红外图像1722的校准计算算法1724来确定组合帧中出现的X位置、y位置、X缩放、y缩放和/或旋转错位的量，计算这些错位的修正因子，并且提供代表错位的修正信号。
[0122]修正信号可以用于对X位置、y位置、X缩放、y缩放错位进行电子修正，并且可以用于辅助旋转错位的手动修正。可选地，对一种实施方式而言，修正信号可以用于对X位置、y位置、X缩放、y缩放和旋转错位进行电子修正。
[0123]修正信号可以应用于混合电子元件1720上，例如经由RS-232连接、通用异步收发器(UART) 1750和微计算机1713 (例如微控制器、处理器或其他类型的逻辑设备)。存储器1714(例如，电可擦除可编程只读存储器(EEPROM))可以为微计算机1713的运行提供软件(例如，用于可编程逻辑设备的固件、软件或配置数据)。微计算机1713可以与混合器1712合作以将可见光图像和红外图像组合到混合图像或组合帧中。
[0124]更具体地，微计算机1713可以将修正信号应用于可见光图像和/或红外图像以改变其X位置、y位置、X缩放、y缩放和/或旋转，从而增强可见光图像相对于红外图像的校准。混合电子元件1720可以为视频板提供输出以有助于在监视器109上检视组合帧，视频板例如为德州仪器生产的DM355嵌入式处理器(未示出)。
[0125]图18示出了根据本实用新型实施方式的用于视准轴校准过程的主机软件流程的流程图。举例来说，主机可以是计算机106。可选地，主机可以是远程计算机，例如网络连接的计算机。主机可以是任何期望的计算机或计算机的组合。
[0126]视准轴校准过程可以始于计算机106的连接和初始化，如框1801所示。在计算机106连接和初始化之后，可以提供实况(live)显示(例如，为了辅助可见光摄像机202和红外摄像机203的旋转校准)，如框1802所示。实况显示可以提供图像和/或旋转提示或指令，从而通过操作人员来辅助旋转修正或用来展示自动过程。
[0127]实况显示1802可以提供实时图形表示，该实时图形表示表明可见光摄像机202和红外摄像机203的校准。实况显示1802可以用于辅助可见光摄像机202相对于红外摄像机203的旋转的手动校准。可见光摄像机202相对于红外摄像机203的旋转校准可以手动地完成，例如通过转动可见光摄像机202的调整螺钉1202来辅助可见光摄像机202相对于红外摄像机203的物理旋转校准。
[0128]可选地，可见光摄像机202相对于红外光摄像机203的旋转校准可以电子地完成，或者通过用户输入(其中，用户确定可见光摄像机202和红外摄像机203是否错位并为计算机提供输入，例如经由键盘107和/或鼠标108，从而修正错位)，或者无需用户输入(其中计算机确定可见光摄像机202和红外摄像机203是否错位并且自动地修正错位)。
[0129]可见光摄像机202相对于红外摄像机203的旋转的机械校准可以自动地完成，例如通过利用致动器、步进电机或类似设备来实现可见光摄像机202的调整螺钉1202的转动。旋转的这种自动校准可以在计算机106的控制之下完成。
[0130]当利用用户或操作人员的手动输入进行旋转校准过程时，操作人员可以提供输入(例如通过转动校准调整螺钉1202)来实现可见光摄像机202和/或红外摄像机203的旋转，如框1803所示。随后，操作人员可确定可见光摄像机202和红外摄像机203是否相对于彼此充分校准，如框1804所示。可以利用实况显示完成对可见光摄像机202和红外摄像机203是否相对于彼此充分校准的确定，如框1802所示。提供操作人员输入1803和确定可见光摄像机202和红外摄像机203是否相对于彼此充分校准的过程可以继续，直到操作人员确定可见光摄像机202和红外摄像机203相对于彼此充分地校准了。
[0131]一旦可见光摄像机202和红外摄像机203在旋转方面相对于彼此充分地校准，则视准轴校准过程可以在X位置、y位置、X缩放、y缩放上继续进行。如框1805所示，可以从红外摄像机203捕获红外图像(例如100%红外(IR)图像)以限定红外帧1807。如框1806所示，可以从可见光摄像机202捕获可见光图像(例如100%可见光图像)以限定红外帧1808。
[0132]可以发现目标511-515的形心，如框1809所示。可以发现每个独立目标511-515的形心。各种常规算法适用于发现形心，如本领域技术人员将理解的那样。
[0133]视准轴校准程序的目标可以是使每个目标511-515的红外图像的形心与目标511-515的可见光图像的形心校准或重合。当所有目标511-515的所有形心校准之后，则可见光摄像机202的图像相对于红外摄像机203的图像校准。
[0134]可以利用计算的形心来计算校准参数，如框1810所示。校准参数可以表示红外图像与可见光图像的相对校准。校准参数可以上传到混合电子元件1720上，如框1811所示。混合电子元件1720可以利用校准参数将红外图像与可见光图像电子地校准。
[0135]如框1812所示，可以抓取或捕获组合帧以限定组合帧1813。可以检查组合帧1813以查看红外图像和可见光图像是否充分地相对于彼此校准，如框1814所示。如果红外图像和可见光图像充分地相对于彼此校准，校准参数可以记录(1816)到数据库1817上，并且校准过程完成，如框1818所示。
[0136]如果红外图像和可见光图像未充分地相对于彼此校准，则可以报告摄像机校准错误，如框1815所示。如本文所述，摄像机校准错误可以报告给混合电子元件1720。报告摄像机校准错误可以包括在显示器109上显示校准参数和/或摄像机校准错误。计算校准参数、上传校准参数、抓取组合帧和检查红外图像和可见光图像是否充分地校准的过程可以根据需要反复地进行，直到实现期望的校准。
[0137]图19示出了根据本实用新型实施方式的整个视准轴校准过程的流程图。操作人员可以将框架200附着到视准轴校准系统100上，如框1900所示。框架200可以利用框架安装件403的夹具902和903附着到视准轴校准系统100上。可见光摄像机202和红外摄像机203可以电子地连接到视准轴校准系统100上。
[0138]在框架200安装在并且电子地连接到视准轴校准系统100上之后，可以由计算机106进行通过-不通过(go-no go)的检查，如框1901所示。通过-不通过的检查可以分析可见光摄像机202和红外摄像机203的输出以确定可见光摄像机202和红外摄像机203是否适于通过视准轴校准过程处置。例如，可以分析可见光摄像机202和红外摄像机203的输出以确定是否存在视频信号，视频信号是否是期望的格式以及图像是否充分地校准以进行后续步骤。
[0139]操作人员可以物理地旋转可见光摄像机202以增强可见光摄像机202在旋转方面相对于红外摄像机203的校准，如框1902所示。如框1903所示，可以检查可见光摄像机202相对于红外摄像机203的旋转校准，并且可以进一步旋转可见光摄像机202以增强这种校准。可以根据需要重复这种过程以获得期望的旋转校准。
[0140]一旦实现了期望的旋转校准，则可以进行自动的缩放和偏移确认，如框1904所示。自动的缩放和偏移确认可以确定X位置、y位置、X缩放、y缩放中的误差。图像配准值可以被写入闪存中，如框1905所示。如果需要的话，操作人员可以进行视觉混合检查，如框1906所示。可以存储结果(例如X位置、y位置偏移以及X缩放因子和y缩放因子)以便供使用框架200的校准的可见光摄像机202和红外摄像机203的系统以后使用，如框1907所示。
[0141]操作人员可以将框架200从视准轴校准系统100上移除，如框1908所示。可以通过释放框架安装件403的夹具902和903而将框架200从视准轴校准系统100上移除。
[0142]图20示出了根据本实用新型实施方式的旋转校准过程的流程图。操作人员可以在计算机106上初始化旋转校准过程，如框2001所示。计算机106可以利用目标511-515的形心的计算值来计算可见光摄像机202相对于红外摄像机203的旋转，如框2002所示。
[0143]可以在可见图像帧中创建校准目标，如框2003所示。校准目标可以是来自可见光摄像机202的目标511-515的可见光图像和来自红外摄像机203的目标511-515的红外图像。
[0144]校准目标可以辅助可见光摄像机202的机械校准。例如，这些目标可以指出可见光摄像机202为实现其相对于红外摄像机203的期望校准所必须旋转的量。在旋转校准过程中，可见光目标图像(来自可见光摄像机202)和/或红外图像(来自红外摄像机203)可以以期望的帧速率显示，如框2004所示。
[0145]可以以该帧速率同时提供(例如更新)目标511-515的视觉显示和当前校准误差的视觉显示，从而增强操作人员快速地进行和/或监视视准轴校准过程的能力。
[0146]可以计算可见光图像相对于红外图像的当前旋转误差，如框2006所示。可以更新最小误差水平，如框2005所示。
[0147]可以在监视器109上更新和显示旋转状态2008，如框2007所示。旋转状态2008可以显示代表可实现的最佳旋转校准和当前旋转校准的标记，从而辅助旋转校准的手动调
難
iF.0
[0148]操作人员2009可以检视监视器109上表示可见光摄像机202相对于红外摄像机203的错位量的显示。例如，操作人员2009可以检视目标511-515的红外图像和这些目标的可见光图像，从而观察它们之间的任何旋转偏移。作为另一实例，操作人员2009可以检视旋转状态2008以观察旋转状态标记。操作人员2009可以利用成像的目标511-515和状态标记2008的任意组合来调整可见光摄像机203的旋转，例如，如框2010所示。
[0149]旋转校准过程可以根据需要重复进行以获得期望的旋转校准，如框2013所示。一旦获得了期望的旋转校准，操作人员2009可以向计算机106指出旋转校准已经完成，如框2011所示。随后,旋转校准过程完成,如框2012所示。
[0150]图21示出了根据本实用新型实施方式的对焦过程的流程图。可以由操作人员在计算机106上启动对焦过程，如框2101所示。在对焦过程中，显示器(例如监视器109)可以提供可观察到的当前焦点的指示，如框2102所示。可以计算当前对焦水平，如框2103所示。可以将当前对焦水平与更新后的最大对焦水平进行对比，如框2104所示。
[0151]可以在监视器109上更新和显示对焦状态2107，如框2105所示。对焦状态2107可以显示代表可实现的最佳旋转校准和当前旋转校准的标记，从而辅助对焦的手动调整。
[0152]操作人员2009可以检视监视器109上表示可见光摄像机202或红外摄像机203需要提高的对焦量的显示。例如，操作人员2009可以检视目标511-515的红外图像或这些目标的可见光图像，从而观察其对焦。作为另一实例，操作人员2009可以检视对焦状态2008以观察对焦状态标记。对焦状态标记可以是对焦的任意期望的文本或图形表示。操作人员2009可以利用成像的目标511-515和对焦标记的任意组合来调整可见光摄像机202和/或红外摄像机203的对焦，例如，如框2108所示。
[0153]对焦过程可以根据需要重复以获得可见光摄像机202和/或红外摄像机203的期望对焦，如框2111所示。一旦获得了期望的对焦，操作人员2009可以向计算机106指出最佳对焦已经达到，如框2109所示。随后，对焦过程完成，如框2110所示。
[0154]尽管上文描述以及图中示出的实施方式有助于两个摄像机的校准，但这仅是示例性的，而不是限制性的。各种实施方式可以辅助任意数量的摄像机相对于彼此的校准。例如，两个、三个、四个或更多个摄像机可以相对于彼此校准。
[0155]摄像机可以全部是一种类型，或者可以是不同类型的组合。摄像机可以是任意类型的摄像机或各种类型摄像机的任意组合。例如，摄像机可以是可见光摄像机、红外摄像机和紫外线摄像机的任意组合。
[0156]例如，挡板501-503中的开口 801-805不一定需要包括四个限定靠近挡板501-501的四个角的十字的开口 801-804以及一个靠近每个挡板501-503的中心的圆形开口 805。开口 801-805的这种配置仅仅是示例性的，而不是限制性的。可以使用任意期望数量的开口。例如，可以使用两个、三个、四个、五个、六个或更多个开口。每个开口 801-805可以具有任意期望的形状。例如，开口 801-805可以是圆形、方形、三角形、线状或它们的任意组合。开口 801-805可以位于挡板501-503上的任意位置。例如，开口 801-805可以大体上位于挡板501-503的中心、周边部位或中心和周边部位的任意期望组合。
[0157]从校准过程中获得的数据可以与框架200有关，并且可以与框架200 —起存储，或者与框架200分开存储。该数据可以包括可用于相对于红外摄像机203电子地校准或部分校准可见光摄像机202的校准修正因子。例如，数据可包括X位置偏移量、y位置偏移量、X缩放因子、I缩放因子和/或旋转偏移量。[0158]数据可以电子地存储在框架200中。例如，数据可以存储在框架200的只读存储器(例如电可擦除可编程只读存储器(EEPROM)或者闪存)中。使用来自可见光摄像机202和红外摄像机203的图像的系统可以查询框架的存储介质以获得数据，并由此辅助可见光摄像机202和红外摄像机203的图像的电子校准。可选地，数据可以用于校准框架内的可见光摄像机202和红外摄像机203的图像，从而框架200提供校准的组合帧。
[0159]数据可以电子地存储在框架200之外。例如，数据可以存储在只读存储器、闪存、磁盘或光盘中，这些设备可以用于将数据传递给处理和/或使用来自可见光摄像机202和红外摄像机203的图像的系统。
[0160]数据可以以书面形式存储在纸张上，并且手动输入或扫描到处理和/或使用来自可见光摄像机202和红外摄像机203的图像的系统中。这样的书面数据可以是文本、条形码或任何其他形式的书面数据。因此，条形码贴纸可以附着到框架200上，并且该条形码贴纸上可以具有以易于机器读取的格式印刷的数据。
[0161]如本文所使用的，术语“框架”可以被定义成包括用于安装多个摄像机的任意结构。框架可以安装任意数量的摄像机和任意一种或多种类型的摄像机。
[0162]如本文所使用的，术语“光”可以被定义成包括任意类型或波长的电磁辐射。例如，术语光可以涉及可见、红外、紫外或任意其他电磁辐射。
[0163]视准轴校准系统100可以使用准直器402、同时在两种不同范围的波长或光谱带中操作的多个目标511-515以及用来提供表示实现期望水平的摄像机图像校准所需要的修正措施的自动且实时反馈的闭环软件解析法。
[0164]视准轴校准系统100可以有助于一个摄像机的像素相对于另一个摄像机的像素的快速和精确校准。视准轴校准系统可以有助于使用多个经校准的摄像机的摄像机系统的高容量生产。视准轴校准系统至少一些程度上促进了视准轴校准过程的自动化。视准轴校准系统实质上降低了校准过程所需的时间，并且类似地还降低了与其相关的成本。
[0165]尽管已经结合有限数量的实施方式详细地描述了本实用新型，但应该轻易地理解，本实用新型不限于这些公开的实施方式。而且，本实用新型可以被改进以并入任意数量的本文并未描述但符合本实用新型的精神和范围的变化、改变、替换或等价布置。此外，尽管已经描述了本实用新型的各种实施方式，但应该理解，本实用新型的各个方面可以仅包括描述的实施方式中的一些。因此，本实用新型的不应该被认为是由上述说明书限制，而应被视为仅由随附权利要求的范围限制。
【权利要求】
1.一种视准轴校准系统，其特征在于，所述系统包括: 配置成辅助框架连接到其上的安装件，所述框架具有多个摄像机； 多个目标，每个所述目标配置成为所述摄像机中的至少两个提供光，两个摄像机中的每一个运行在波长范围内；及 光学地布置于所述安装件和所述目标之间的至少一个挡板，用于阻止杂散光入射到所述摄像机上。
2.如权利要求1所述的视准轴校准系统，其特征在于，所述目标配置成提供红外能量和可见光。
3.如权利要求1所述的视准轴校准系统，其特征在于，所述目标中的每一个包括加热器，并且每个加热器是可独立控制的以控制每个目标辐射的红外能量的量。
4.如权利要求1所述的视准轴校准系统，其特征在于，还包括光源，所述光源配置成使所述目标反射光。
5.如权利要求4所述的视准轴校准系统，其特征在于，所述光源提供可见光。
6.如权利要求1所述的视准轴校准系统，其特征在于，所述目标包括四个外侧目标和一个中心目标。
7.如权利要求6所述的视准轴校准系统，其特征在于，所述至少一个挡板包括多个挡板，并且所述挡板中的 每一个包括对应于所述外侧目标的四个十字形开口和对应于所述中心目标的一个圆形开口。
8.如权利要求6所述的视准轴校准系统，其特征在于，还包括大体上环形的荧光光源，所述荧光光源配置成使所述目标反射光以及配置成通过所述环形的荧光光源中的开口辅助所述中心目标的成像。
9.如权利要求1所述的视准轴校准系统，其特征在于，还包括准直器，所述准直器配置成使来自所述目标的光准直。
10.如权利要求1所述的视准轴校准系统，其特征在于，所述安装件还包括多个夹具，用于将所述框架连接到所述安装件的表面。
11.如权利要求1所述的视准轴校准系统，其特征在于，还包括计算机和监视器，所述计算机配置成利用所述摄像机提供的所述目标的图像，所述监视器配置成显示目标场景的混合图像，来辅助所述摄像机旋转的手动校准。
12.如权利要求1所述的视准轴校准系统，其特征在于，还包括致动器或者步进电机，所述致动器或者步进电机配置成在计算机的控制下实现调整螺钉的转动，所述计算机配置成利用所述摄像机提供的所述目标的图像辅助所述图像的自动校准。
13.如权利要求1所述的视准轴校准系统，其特征在于，进一步包括所述框架和所述多个摄像机，其中，所述框架被连接到所述安装件，并且所述多个摄像机包括第一摄像机和第二摄像机。
14.如权利要求13所述的视准轴校准系统，其特征在于，进一步包括与所述第一摄像机和所述第二摄像机通信连接的计算机，其中所述第一摄像机包括可见光摄像机，其中所述第二摄像机包括红外摄像机，其中所述计算机配置为校准所述第一摄像机和所述第二摄像机的图像的计算机，使得所述第一摄像机和所述第二摄像机的相应像素感知所述目标。
15.如权利要求13所述的视准轴校准系统，其特征在于，所述计算机配备有数字帧采集卡和相关电缆，从而允许如同通过待校准的摄像机所观察到的那样实时获取和显示目标场景的视频和图像，其中所述计算机进一步配置为自动地感知所述第一摄像机的图像相对于所述第二摄像机的图像的错位，并且自动地将所述第一摄像机的图像相对于所述第二摄像机的图像校准。
16.如权利要求13所述的视准轴校准系统，其特征在于，所述目标是可独立加热的，从而每个目标向所述第一摄像机提供实质上具有相同亮度的红外能量。
17.一种目标组件，其特征在于，所述目标组件包括: 多个目标，其中，所述目标中的每一个配置成通过辐射一种波长的光并反射另一种波长的光而为运行在两个不同波长范围内的两个摄像机提供光。
18.如权利要求17所述的目标组件，其特征在于，所述目标中的每一个包括加热器，并且每个加热器是可独立控制的以控制每个目标辐射的红外能量的量。
19.如权利要求17所述的目标组件，其特征在于，所述目标中的每一个包括反射表面，所述反射表面配置成朝着所述摄像机反射光。
20.如权利要求1 9所述的目标组件，其特征在于，所述反射表面配置成反射可见光。
【文档编号】H04N5/33GK203827439SQ201290000557
【公开日】2014年9月10日 申请日期:2012年3月27日 优先权日:2011年3月31日
【发明者】M·A·苏库萨特, R·M·戈埃德恩, J·S·斯科特, R·G·莱恩, G·B·休斯 申请人:菲力尔系统公司