远距离六维夜视方法
【专利摘要】本发明提供了一种夜视方法。该夜视方法基于一距离选通成像模块实现，该距离选通成像模块利用所述脉冲激光器作为照明光源，利用所述选通成像器件作为图像传感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通延时实现空间切片成像，信息处理模块基于相邻的两空间切片通过距离选通超分辨率三维成像算法重建，获得目标三维图像。本发明同时兼具距离选通成像和破雾雨雪成像的特点，可有效解决现有夜视技术不能实现远距离三维视频监控的难题。
【专利说明】远距离六维夜视方法
【技术领域】
[0001] 本发明涉及光学【技术领域】，尤其涉及一种远距离六维夜视方法。
【背景技术】
[0002] 当前，夜视成像技术主要有微光成像、红外热成像、激光成像。其中，微光成像和红 外热成像属于被动成像技术，激光成像属于主动成像技术。微光夜视需要借助夜天光（如 星光、月光等）才可对目标探测成像，在全黑的情况的无法工作；热成像主要是靠目标与背 景环境的热辐射差异来实现目标探测的，但图像分辨率低，缺乏目标细节信息，且无法穿透 玻璃成像；激光成像则主要是采用激光作为照明光源，实现夜间目标的有效探测，图像分辨 率高，但是易受雾雨雪等天气的影响，无法实现远距离成像。此外，现有夜视成像技术还共 同具有以下问题：
[0003] (1)无法实现三维视频监控
[0004] 现有夜视技术往往只具有二维成像的功能，不能实现三维视频监控。若能实现三 维监控，获取目标三维空间信息，将有助于增强态势感知、提高目标检测能力和目标识别概 率，尤其是解决小、暗目标的探测问题：通过目标的空间位置信息可实现复杂场景或环境下 多目标或低对比度目标的高效检测，通过目标的特征尺寸信息（如人的身高、肩宽、步幅等 软生物特征）可提高远距离目标身份识别及分类能力。目前用于三维监控的技术主要有双 目立体视觉成像和TOF成像，但是两者均存在作用距离近的问题，且前者匹配算法复杂，后 者像素数低，无法满足远距离重要目标监控的应用需求，特别是夜间或雾雨雪等恶劣天气 情况。
[0005] (2)低对比度目标探测难
[0006] 当目标具有与背景相一致的光谱反射特征和热红外辐射特征时，目标为低对比度 目标，利用常规的二维光学成像与红外成像很难发现，给目标的识别带来很大困难，特别是 夜间以及雾/雨/雪/烟等低照度、复杂背景条件下。
[0007] (3)无法获取彩色图像
[0008] 传统夜视图像大多为单色图像，如灰度图，不利于目标的观察，而人眼能分辨的彩 色等级是灰度等级的几百倍。如可实现类似日间彩色图像的自然感彩色夜视，充分利用人 眼视觉特征，可增强场景深度感知能力、提高对目标的反应速度以及对场景态势的感知能 力，并可增强观察者对场景的记忆能力，利于长时间观察。
【发明内容】
[0009] (一）要解决的技术问题
[0010] 鉴于上述技术问题，本发明提供了一种远距离六维夜视方法，以实现夜间远距离 三维视频监控。
[0011] (二）技术方案
[0012] 根据本发明的一个方面，提供了一种夜视方法。
[0013] 该夜视方法基于一距离选通成像模块实现，该距离选通成像模块包括：脉冲激光 器和选通成像器件，其利用所述脉冲激光器作为照明光源，利用所述选通成像器件作为图 像传感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通 延时实现空间切片成像。
[0014] 该夜视方法包括：步骤A :搜寻目标，发现目标后获取目标的距离信息；步骤B :根 据三维重建所需的两幅选通切片图像满足的时域匹配关系，由所述距离信息获得所述选通 成像器件的选通门宽t g、第一选通延时值T1和第二选通延时值τ2;步骤C :根据距离选通 三维成像算法所需的选通门宽和激光脉宽的匹配关系，获得选通成像模块中脉冲激光器的 激光脉宽同时获得脉冲激光器的重复频率4 ;步骤D :依据所述选通成像器件的选通门 宽tg、脉冲激光器的重复频率4和激光脉宽第一选通延时值τ i和第二选通延时值τ 2 产生时序控制信号，并把该时序控制信号发送至距离选通成像模块；步骤E :距离选通成像 模块对准目标，依据上述时序控制信号工作，获取与第一选通延时T1对应的T1型选通切 片图像，与第二选通延时τ 2对应的和τ2型选通切片图像；步骤F:由相邻的^型选通切 片图像和τ 2型选通切片图像通过距离选通超分辨率三维成像算法重建，获得目标三维图 像。
[0015] (三）有益效果
[0016] 从上述技术方案可以看出，本发明远距离六维夜视方法具有以下有益效果：
[0017] (1)由于可根据目标距离信息实现感兴趣目标的距离选通成像，进而采用距离选 通超分辨率三维成像可实现远距离目标的实时三维成像，同时兼具距离选通成像和破雾雨 雪成像的特点，所以，本发明可有效解决现有夜视技术不能实现远距离三维视频监控的难 题；
[0018] (2)由于通过目标的红外热图像、近红外强度图像和微光图像彩色融合可实现彩 色夜视，相比传统的激光成像，距离选通成像输出的近红外强度图像具有对比度高的特点， 甚至在雾雨雪等天气条件下仍可获得高质量的近红外强度图像，保障了彩色夜视的成像质 量，所以，本发明可实现高质量的彩色夜视，在雾雨雪等天气条件下仍可有效工作；
[0019] (3)由于六维夜视输出六个维度的空间信息，包括三维空间信息、红外热辐射信 息、强度信息、以及彩色信息，其中，利用三维空间信息可将目标与背景通过空间差异加以 区分，利用彩色信息可增强环境感知能力从而利于目标识别，利用红外热辐射信息可利于 热源目标的发现，利用强度信息可辨析目标的纹理细节信息，所以，本发明可有效解决低对 比目标探测难的问题，通过三维图像和自然感彩色图像辅以红外热图像和近红外强度图像 有效探测目标。
【专利附图】
【附图说明】
[0020] 图1为根据本发明实施例远距离六维夜视装置的结构示意图；
[0021] 图2为根据本发明实施例远距离六维夜视方法的流程图；
[0022] 图3利用图2所示远距离六维夜视方法获取的六维夜视效果图，其中：(a)红外热 图像，（b)近红外强度图像，（c)自然感彩色图像，⑷三维图像。
[0023] 【主要元件符号说明主要元件】
[0024] 1-显示控制模块； 2-通信模块； 3-信息处理模块；
[0025] 4-激光测距模块； 5-红外热成像模块； 6-距离选通成像模块；
[0026] 7-电源模块。
【具体实施方式】
[0027] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。需要说明的是，在附图或说明书描述中，相似或相同的部 分都使用相同的图号。附图中未绘示或描述的实现方式，为所属【技术领域】中普通技术人员 所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等 于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
[0028] 本发明公开了一种远距离六维夜视方法，解决当前夜视技术低对比度目标探测 难、无法实现三维视频监控以及无法获取彩色图像的问题。
[0029] 在本发明的一个示例性实施例中，提供了一种远距离六维夜视方法。为了更好的 理解该方法，首先将实现该方法的装置进行说明。图1为实现本发明远距离六维夜视方法 的装置的结构示意图。请参照图1，该装置包括：显示控制模块1、通信模块2、信息处理模 块3、激光测距模块4、红外热成像模块5、距离选通成像模块6和电源模块7。
[0030] 显示控制模块1基于触摸屏显示器实现，具有两个功能：一是设置装置中各个部 分的工作参数，将含工作参数信息的控制命令经通信模块2传输给信息处理模块3 ;二是显 示信息处理模块3回传的图像信息。
[0031] 通信模块2则可以基于微控制器实现，具有两个功能：一是实现显示控制模块1向 信息处理模块3的传递控制命令；二是将信息处理模块3处理后的图像信息回传给显示控 制模块1，显示图像。
[0032] 信息处理模块3具有两个功能：一是处理激光测距模块4、红外热成像模块5和距 离选通成像模块6回传的信息，包括激光测距模块4回传的距离信息、红外热成像模块5回 传的红外热图像、距离选通成像模块6回传的距离选通切片图像和微光图像；二是将显示 控制模块1经通信模块2输入的控制命令转换为激光测距模块4、红外热成像模块5和距离 选通成像模块6所需的控制信号，控制激光测距模块4、红外热成像模块5和距离选通成像 模块6工作。硬件上，信息处理模块3可基于工控机和FPGA实现。
[0033] 红外热成像模块5利用红外热成像工作视场大的特点，实现目标搜寻，尤其是感 兴趣的人和车辆等热源目标。
[0034] 距离选通成像模块6包含脉冲激光器和选通成像器件，具有两个功能：一是实现 距离选通成像，二是实现微光夜视。在进行工作时，该距离选通成像模块6是利用脉冲激光 器作为照明光源，利用选通成像器件作为图像传感器，通过控制脉冲激光器产生的激光脉 冲和选通成像器件产生的选通脉冲间的选通延时实现空间切片成像。
[0035] 实现距离选通成像时，距离选通成像模块6接收信息处理模块3产生的触发该模 块工作的控制信号，主要是时序控制信号，控制脉冲激光器和选通成像器件同步工作，包括 触发脉冲激光器工作的TTL信号和触发选通成像器件工作的TTL信号，该时序控制信号中， 触发脉冲激光器工作的TTL信号与触发选通成像器件工作的TTL信号一一对应，即TTL信 号触发下产生的激光脉冲与选通脉冲一一对应，且两者间的延时为上述参考目标距离信息 计算的选通延时。
[0036] 实现微光夜视时，距离选通成像模块6中的脉冲激光器关闭，由于所使用的选通 成像器件具有像增强器功能，当脉冲激光器关闭时，将选通成像器件设置为常开状态，便可 实现被动微光夜视，输出微光图像，该微光图像与距离选通成像获得的两幅选通切片图像 具有相同的工作视场。
[0037] 硬件上，选通成像器件可选用KXD (配有选通像增强器的(XD)或ICMOS (配有选 通像增强器的CMOS)。
[0038] 距离选通成像模块6工作中可通过时分复用的方式工作。用户可设置三维成像 和自然感彩色夜视的优先顺序。例如，将三维成像设为优先，那么本装置工作中，三维成像 处于实时成像状态，当欲获取自然感彩色图像时，用户可通过显示控制模块1控制距离选 通成像模块6切换成微光夜视状态，获取一帧微光图像，该微光图像与切换为微光夜视状 态前输出的近红外强度图像和红外热图像融合，输出一帧自然感彩色图像。再例如，将自 然感彩色夜视设为优先，那么本装置工作过程中，距离选通成像模块6在连续获取τ i型选 通切片图像和τ2型选通切片图像后，再获取一帧微光夜视图像，即实现T1型选通切片图 像-τ 2型选通切片图像-微光图-τ i型选通切片图像-τ 2型选通切片图像-微光图像… 的交替循环。
[0039] 红外热成像模块5和距离选通成像模块6中均含工作视场调节单元，即通过显示 控制模块1可实现红外热成像、距离选通成像和微光成像工作视场的调节。
[0040] 电源模块7主要是将外部供电转换成激光测距模块4、红外热成像模块5、距离选 通成像模块6、信息处理模块3、通信模块2以及显示控制模块1所需的电流电压信号，实现 所述装置中各模块的供电。
[0041] 基于上述装置，本发明还提供了一种远距离六维夜视方法，图2为根据本发明实 施例远距离六维夜视方法的流程图。如图2所示,本实施例远距离六维夜视方法包括：
[0042] 步骤A :红外热成像模块5搜寻目标，发现目标后，获取目标的红外热图像，由激光 测距模块4获取目标的距离信息，并将该距离信息传输给信息处理模块3 ;
[0043] 通过红外热成像模块5进行大视场目标搜寻时，用户可通过显示控制模块1中的 显示器实时观察输出的红外热图像，发现感兴趣目标（如人、车辆等热源目标）后，通过调 节装置的成像方向将感兴趣目标移至红外热图像工作视场中心，然后可利用激光测距模块 4进行测距。
[0044] 激光测距模块4的测量点与红外热图像的中心位置重合，因此，激光测距模块4可 获取位于红外热图像中心位置的目标的距离信息，该距离信息被实时传输至信息处理模块 3 〇
[0045] 步骤B :信息处理模块3接收来自激光测距模块4的距离信息后，由该距离信息根 据三维重建所需的两幅选通切片图像满足的时域匹配关系，获得第一选通延时值τ i和第 二选通延时值τ 2 ;
[0046] 首先，可根据用户感兴趣区间景深d选择三维成像景深D，满足关系
[0047] D > d (1)
[0048] 一般该三维成像景深取为用户感兴趣区间景深的L 5倍。根据三维成像景深可获 得选通成像器件的选通门宽tg为：
【权利要求】
1. 一种夜视方法，其特征在于： 该夜视方法基于一距离选通成像模块实现，该距离选通成像模块包括：脉冲激光器和 选通成像器件，其利用所述脉冲激光器作为照明光源，利用所述选通成像器件作为图像传 感器，通过控制脉冲激光器产生的激光脉冲和选通成像器件产生的选通脉冲间的选通延时 实现空间切片成像； 该夜视方法包括： 步骤A :搜寻目标，发现目标后获取目标的距离信息； 步骤B :根据三维重建所需的两幅选通切片图像满足的时域匹配关系，由所述距离信 息获得所述选通成像器件的选通门宽tg、第一选通延时值T1和第二选通延时值t2; 步骤C :根据距离选通三维成像算法所需的选通门宽和激光脉宽的匹配关系，获得选 通成像模块中脉冲激光器的激光脉宽同时获得脉冲激光器的重复频率4 ; 步骤D :依据所述选通成像器件的选通门宽tg、脉冲激光器的重复频率&和激光脉宽 第一选通延时值T1和第二选通延时值T2产生时序控制信号，并把该时序控制信号发 送至距离选通成像模块； 步骤E :距离选通成像模块对准目标，依据上述时序控制信号工作，获取与第一选通延 时T1对应的T1型选通切片图像，与第二选通延时T2对应的和T 2型选通切片图像；以及 步骤F:由相邻的T1型选通切片图像和T2型选通切片图像通过距离选通超分辨率三 维成像算法重建，获得目标三维图像。
2. 根据权利要求1所述的夜视方法，其特征在于，所述步骤C中： 当需要利用梯形距离能量包络选通切片图像进行三维重构时，脉冲激光器激光脉宽满
当需要利用三角形距离能量包络选通切片图像进行三维重构时，脉冲激光器激光脉宽 满足：= tg。
3. 根据权利要求1所述的夜视方法，其特征在于，所述步骤E之后还包括： 由选通切片图像的当前帧与上一帧的强度叠加获得近红外强度图像。
4. 根据权利要求3所述的夜视方法，其特征在于，所述步骤A中，由红外热成像模块搜 寻目标，并由该红外热成像模块获得红外热图像。
5. 根据权利要求4所述的夜视方法，其特征在于， 所述步骤E还包括：所述距离选通成像模块获取关闭脉冲激光器后的微光图像； 该夜视方法还包括：将红外热图像、近红外强度图像和微光图像分别映射到RGB颜色 空间，并通过彩色融合获取自然感彩色图像。
6. 根据权利要求5所述的夜视方法，其特征在于，还包括： 步骤H :显示红外热图像、近红外强度图像、自然感彩色图像以及三维目标图像，实现 六维夜视。
7. 根据权利要求1至6中任一项所述的夜视方法，其特征在于，所述步骤B中，所述选 通成像器件的选通门宽tg、第一选通延时值T1和第二选通延时值T2满足：
其中，d为用户感兴趣区景深，D为三维成像的景深，c为光速，tg为选通成像器件的选 通门宽，R为目标距离。
8. 根据权利要求1至6中任一项所述的夜视方法，其特征在于，所述步骤C中，脉冲激 光器的重复频率4满足：
9. 根据权利要求1至6中任一项所述的夜视方法，其特征在于，所述选通成像器件采用 ICCD 或 ICMOS 器件。
10. 根据权利要求1至6中任一项所述的夜视方法，其特征在于，由工控机或FPGA实现 由相邻的T1型选通切片图像和T2型选通切片图像通过距离选通超分辨率三维成像算法 重建，获得目标三维图像。
【文档编号】G06T7/00GK104361595SQ201410665935
【公开日】2015年2月18日 申请日期:2014年11月19日 优先权日:2014年11月19日
【发明者】王新伟, 范松涛, 周燕 申请人:中国科学院半导体研究所