一种微光与红外夜视图像融合方法
【技术领域】
[0001] 本发明属于图像处理技术领域，涉及一种图像配准和图像融合技术，尤其是涉及 一种微光与红外夜视图像融合的方法。
【背景技术】
[0002] 微光夜视仪的优点是视觉感受接近可见光，能很好地识别对于可见光反射率不一 样的物体，层次感较强，缺点是对于温度不敏感，难以探测到隐蔽的目标，微光视距受气候、 环境条件的影响较大，视距较近；红外热成像仪的优点是对于温度很敏感，能很好地探测到 温差目标，且探测距离远，有穿透烟雾等能力，识别伪装能力强，缺点是图像层次感不强，对 于温度很接近的场景目标难以识别。把微光与红外两种传感器的图像进行融合，使信息得 到互补，能增强场景理解，突出目标，有利于在隐藏、伪装和迷惑的军用背景下更快更精确 地探测目标，同时将融合图像显示成适合人眼观察的自然形式，可明显改善人眼的识别性 能，减少操作者的疲劳感。
[0003] 图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感 器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像， 融合成一幅图像，在这一幅图像中能反映多重原始图像的信息，以达到对目标和场景的综 合描述，使之更适合视觉感知或计算机处理。
[0004] 红外/微光图像融合技术已经广泛地应用于军事领域，它将微光图像场景细节丰 富、红外图像目标和背景对比度强的优点综合到一幅图像中，从而使观察者能够得到某一 场景更准确、全面、可靠的图像信息。然而，融合后所得到的图像质量以及融合速度仍然具 有很大的提升空间。
【发明内容】
[0005] 本发明的目的是提供一种微光与红外夜视图像融合的方法，该方法不仅获得了具 有超高质量的融合图像，同时还具有较高的融合速度。
[0006] 本发明解决其技术问题所采用的技术方案如下：
[0007] -种微光与红外夜视图像融合的方法，包括以下步骤：
[0008] 步骤一、针对同一目标场景，分别采集原微光图像和原红外图像。
[0009] 步骤二、对采集到的原微光与红外图像分别进行去噪处理：
[0010] 设含有噪声的图像为g，其大小为PXQ个像素，滤波输出图像为f。对含噪声图像 进行从左到右从上到下的滤波。
[0011] (1)检测噪声类型
[0012] 首先，以噪声图像g中像素（i，j)为中心选取像素为3X3窗口Spq，求出滤波窗内 像素的方差：
[0015] 令阈值为T1，其设置域是滤波窗平均灰度值m的一次函数，即T1= -kXm+b，这里 取k= 0? 15,b= 80。
[0016] 判断〇2与1\的大小关系：当 〇2>1\时，则认为该滤波窗内受到椒盐噪声的污 染，执行步骤（2)中的①；当〇 2<T1时，则认为该滤波窗内受到高斯噪声的污染，执行步骤 (2)中的②。
[0017]⑵滤波算法
[0018] ①受椒盐噪声污染滤波算法
[0019]a、首先，求出滤波窗内灰度最大值max和最小值min，然后把滤波窗内每个像素的 灰度值g(i，j) (i，jG滤波窗口Spq)与最大值和最小值进行比较，去除那些等于最大值或 最小值的像素点。
[0020] b、如果滤波窗内剩余像素不为零，则求出剩余像素的平均值M，并计算平均像素灰 度值与滤波窗中点像素灰度值的差的绝对值d= |M_g(i，j)I。将此绝对值与设定的阈值T1 进行比较，若d>T1，则输出剩余像素均值M;若d<T1，则输出滤波窗中点像素灰度值g(i， j)O
[0021] c、若滤波窗内剩余像素为零，则扩大滤波窗口尺寸为5X5,并重复上述步骤a、b， 如果剩余像素仍为零，则图像输出为：
[0023] ②受高斯噪声污染滤波算法
[0024]a、首先计算出滤波窗内像素的梯度绝对值：
[0025]td=Ig(i_l，j)+g(i，j_l)+g(i，j+l)+g(i+l，j)_4g(i，j)I(3)。
[0026]b、若梯度绝对值td大于某一给定的阈值T2CT2= -kXm+b，m为滤波窗平均灰度 值，这里取k= 0. 3,b= 160)，则直接输出原像素；否则，输出滤波窗像素灰度值均值。
[0027] (3)重复步骤（1)和（2)，直至完成所有像素点的滤波处理，最后得到除噪后的图 像。
[0028] 步骤三、利用基于边缘特征的图像配准方法将去噪后的微光与红外图像进行有效 精确的配准：
[0029]设参考图像为I1 (x，y)，待配准图像为I2 (x，y)，大小同为PXQ个像素，其灰度直方 图分别为H1 (n)、H2 (n)，对于每个灰度等级n=iH1 (n)和H2 (n)分别代表了灰度值为i的 像素个数。
[0030] (1)利用小波变换法对源图像进行边缘提取，得到边缘图像。
[0031] (2)求取.￡,.:(/;)、〇)、￡'」(/;)、〇?).。
[0032] 对于I1(Xj)的每个灰度级n，定义I2 (x，y)相对于I1(Xj)灰度值为n的对于像 素集合的灰度值和方差分别为：
[0035]对于I2 (x，y)的每个灰度级n，定义I1(Xj)相对于I2 (x，y)灰度值为n的对于像 素集合的灰度值和方差分别为：
[0045]式中，Cl[I1I2]为两幅图像的交互方差，AM[IJ2]为交互方差CI的倒数，of、（Tf分别为图像I1 (x，y)和I2(x，y)的方差，其计算公式如下所示：
[0048] (5)使用仿射变换模型，在不同参数（平移、旋转）条件下，反复计算两幅图像的 AM0
[0049] (6)搜索出AM最大时对应的参数，此参数就是要求的配准参数。
[0050] (7)按照得到的配准参数及仿射变换模型校正待配准图像，得到最终配准图像。
[0051] 步骤四、利用小波变换法对配准后的图像进行图像融合：
[0052] 将配准后的微光与红外图像分别设为A、B，经过融合后的图像设为F。该图像融合 算法主要步骤如下：
[0053] (1)对每一幅源图像分别进行小波分解；
[0054] (2)对各分解层分别用不同的融合算子和规则进行处理：
[0055] ①低频部分
[0056] 采用基于区域的算子，以低频部分的每一像素点为区域中心，分别计算两幅图像 中与该像素点对应的局部区域Slq(其大小取为IXq个像素）的方差Vk,A和Vk,B，则有：
[0057]
[0058] 式中，Ck,A和Ck, B分别为微光图像A和红外图像B中低频部分某一像素点的灰度 值，Ck,F为融合图像F中相应像素点的灰度值。
[0059] ②高频部分
[0060] 采用基于区域能量法对三个方向的高频部分进行处理。
[0061]a、分别计算不同分辨率下两幅图像对应局部区域Slp(其大小为IXp个像素）的 能量五及五f]，小e = 1，2,3即：
[0063] 式中，W(m'，n')为加权系数，IXp为局部区域的大小，D(m，n)为点（m，n)处的 灰度值。
[0064] b、计算两幅图像对应区域的匹配度，其定义为：
[0066] 式中，为图像A、B对应区域的匹配度，和分别为两幅图像对应局部 区域Slp的能量，〇M?)和〇M?)分别为两幅图像点（m，n)处的灰度值。
[0067] c、定义一个匹配度阈值a(a通常取〇? 5~1. 0,这里取0? 6)，
[0068] 若Af% <a，则：
[0070] 式中，和/?分别为微光图像A和红外图像B中高频部分某一像素点的灰度 值，为融合图像F中相应像素点的灰度值。
[0076] (3)对融合后的图像数据进行小波逆变换，即可得到融合图像。
[0077] 本发明与现有技术相比，具有以下优点：
[0078] 第一，本发明将微光夜视图像与红外夜视图像进行融合，充分发挥二者的优点，增 加夜视系统的多功能优势，使观察者能够得到某一场景更准确、全面、可靠的图像信息。
[0079] 第二，本发明中提出的微光与红外夜视图像融合的方法，不仅能得到具有超高质 量的融合图像，还具有较高的融合速度，从而在夜视侦察、遥感、医学、安防监控等军事和民 事领域有着广阔的应用前景。
[0080] 第三，本发明中在对采集到的原微光与红外图像进行去噪处理时提出一种新的自 适应混合噪声滤波算法。该算法将中值滤波、均值滤波与阈值选择相结合，不仅能很好地滤 除噪声，而且能较好地保护图像的细节。
[0081] 第四，本发明中在对微光与红外图像进行配准时采用小波变换法对源图像进行边 缘提取。由于小波变换可以有效地滤除噪声，提高像素之间的相关性，使得到的边缘点及由 边缘点构成的边缘具有多分辨特性，能更加真实地反映图像的特征。
[0082] 第五，本发明中在对配准后的微光与红外图像进行融合时采用小波变换法对图像 进行分解。由于在小波分解过程中图像的数据量不变，同时各层的融合可并行进行，所有其 计算速度和所需的存储量都具有很好的优势。
【附图说明】
[0083] 图1为微光与红外夜视图像融合方法的流程图；
[0084] 图2为微光夜视系统结构图；
[0085] 图3为红外热成像系统结构图；
[0086] 图4为基于边缘特征的图像配准流程图；
[0087] 图5为基于小波变换的图像融合流程图。
【具体实施方式】
[0088] 下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本 发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖 在本发明的保护范围中。
[0089] 本发明提供了一种微光与红外夜视图像融合的方法，如图1所示，包括以下步骤： [0090]S1、针对同一目标场景，分别采集原微光图像和原红外图像。
[0091] 本发明针对同一目标场景，分别利用微光夜视系统采集原微光图像和红外热成像 系统采集原红外图像。其中，微光夜视系统由微光成像物镜、真空光电子成像器件、目镜及 集成高压电源组成，如图2所示；红外热成像系统由光学系统、光学机械扫描红外探测器、 制冷机、信号处理系输出图像信号显示器等组成，如图3所示。
[0092] S2、对采集到的原微光与红外图像分别进行去噪处理。
[0093] 设含有噪声的图像为g，大小为PXQ，滤波输出为f。对含噪声图像进行从左到右 从上到下的滤波。图像去噪过程的具体步骤如下：
[0094] S21、检测噪声类型
[0095] 首先，以噪声图像g中像素（i，j)为中心选取像素为3X3窗口Spq，求出滤波窗内 像素的方差：
[0098] 令阈值为T1，其设置域是滤波窗平均灰度值m的一次函数，即T1= -kXm+b，这里 取k= 0? 15,b= 80。
[0099] 判断〇 2与T 大小关系：当〇 2>Ti时，则认为该滤波窗内受到椒盐噪声的污 染，执行步骤S221 ;当〇 2<1\时，则认为该滤波窗内受到高斯噪声的污染，执行步骤S222。
[0100] S22、滤波算法
[0101] S221受椒盐噪声污染滤波算法
[0102] a、首先，求出滤波窗内灰度最大值max和最小值min，然后