一种基于黎曼度量的自适应多策略图像融合方法
【技术领域】
[0001] 本发明属于图像融合技术领域，特别是一种基于黎曼度量的自适应多策略图像融 合方法。
【背景技术】
[0002] 图像融合的过程是对源图像特征提取的过程，但是有时直接对图像灰度值的操作 不能达到很好的区分度，因此可以通过把图像转换成包含更丰富信息的形式，比如结构张 量，来产生更有区分度的特征（编码彩色、梯度等）。纹理是图像的最重要的特征之一，因此 充分考虑图像的纹理信息可以提高融合图像的质量。
[0003] 作为一种快速局部处理方法，结构张量已经被用来进行纹理分析，它可以作为边 缘保持以及方向的测度。结构张量是一类非常特殊的矩阵（正定对称矩阵），其位于黎曼流 形（赋予黎曼度量的微分流形）上。黎曼空间的操作不再遵循欧式几何，因为它不属于向 量空间，比如该空间对乘以负数不封闭，因此不能利用传统的欧式几何运算进行操作。
[0004] 根据Pennec对医学图像处理的研宄，Affine-Invariant度量（AI)和 Log-Euclidean度量（LE)为处理张量提供了有力的工具。Caseiro等提出了一种基于张量 域黎曼框架的前景分割方法，定义了张量流形上的核密度估计模型（KDE)，赋予了张量流形 两种度量方式：Affine-Invariant度量（AI)和Log-Euclidean度量（LE)，取得了很好的分 割效果。王国刚提出了一种基于黎曼度量的Hausdorff距离图像匹配算法，在匹配的准确 性、抵抗噪声干扰和光照变换等方面效果良好。刘佳提出了一种基于协方差描述子和黎曼 流形的语音情感识别方法，利用仿射不变度量实现了较好的识别效果。鉴于黎曼度量在图 像其他领域的良好应用，因此本发明将黎曼度量引入到图像融合中，以期获得更好的融合 效果。
【发明内容】
[0005] 本发明的目的在于提供一种基于黎曼度量的自适应多策略图像融合方法，能够实 现对多源图像进行高效的图像融合。
[0006] 实现本发明目的的技术解决方案为：一种基于黎曼度量的自适应多策略图像融合 方法，包括以下步骤： 步骤1)，源图像多尺度分解：对源图像进行平移不变剪切波变换（SIST)分解，得到低 频子带系数和一系列高频子带系数； 步骤2)，低频子带系数融合：对于步骤1)得到的低频子带系数，采用基于加权平均的 融合策略，得到低频融合子带系数； 步骤3)，高频子带系数融合：对于步骤1)得到的高频子带系数，给出了一种黎曼空 间不相似度，采用基于黎曼度量的自适应多策略融合规则进行融合，得到高频子带融合系 数； 步骤4)，图像重构：将步骤2)得到的低频融合子带系数和步骤3)得到的高频子带融 合系数进行SIST逆变换，得到最终融合图像。
[0007] 所述步骤1)具体为：将待融合的两幅MxJV源图像』和3，利用SIST分别将两幅 图像分解为低频子带与高频子带系数
为低频子带系 数；<5*和<7为一系列高频子带系数。
[0008] 所述步骤2)具体为：对得到的低频子带系数采用加权平均的融合规则进行融合。
[0009] 式中，
分别表示源图像以及融合图像F在 点(x&v)处对应的低频系数。
[0010] 所述步骤3)包括如下步骤： a)计算高频子带系数的结构张量 对于图像中的某一点
的邻域，这点的 局部梯度向星为：
其中：
分别为jc和>F方向的导数。
[0011] 利用梯度向量可以得到点的结构张量：
其中，
分别为I和jr方向的导数；*为卷积运算，&是标准 差为#的高斯核。
[0012] b)黎曼空间不相似度S ①基于AI(Affine-Invariant)度量的不相似度S虞 对于
，基于AI度量的P.0之间的不相似度（测地线距离）
为：
其中，&表示矩阵的迹。
[0013] ②基于Log-Euclidean度量的不相似度 对于
，基于LE度量的之间的不相似度（测地线距离）
为：
其中，*表示矩阵的迹。
[0014] c)采用基于黎曼度量的自适应多策略规则融合 高频子带系数采用基于黎曼度量的自适应多策略融合规则进行融合，融合规则如下：
其中，
分别表示源图像2、5以及融合图像F在点 (U)处的高频子带系数，权值吟由sigmoid函数计算得到，收缩因子fc与变量e的计算在 下面详细讨论。
[0015] 计算收缩因子* 通过以下公式建立*：与黎曼空间不相似度S的关系。
[0016] 其中，ff是一个正参数。
[0017] :f计算变量*r ?的计算公式如下：
其中，&或各为区域能量；i为不小于3的奇数；
表示源图像j或遇在点 (ty)处第_/个高频子带系数。
[0018] 本发明与现有技术相比，其显著优点：（1)利用SIST对待融合图像进行多尺度多 方向的分解，SIST是图像融合领域很有发展前景的分解工具，它克服了下采样操作引起的 伪Gibbs效应，有效抑制图像失真，并且各个子带系数间的对应关系更加明确。（2)引入了 结构张量，结构张量可以实现像素级和区域级特征的融合，在像素级能够利用梯度等信息 描述每一个像素，在区域级可以通过结构张量可以表示出像素级提取的特征相关性，并通 过计算像素点邻域得到，并且结构张量的阶数不依赖于邻域窗口的大小，而是依赖于特征 向量的维数，因此具备尺度不变性。（3)给出了一种黎曼空间不相似度，并提出了一种基于 黎曼度量的自适应多策略融合规则。该方法适用范围广，对多聚焦图像、遥感图像、医学图 像、红外与可见光图像均有很好的效果，并且具有鲁棒性强的优点。
[0019] 下面结合附图对本发明作进一步详细描述。
【附图说明】
[0020] 图1是本发明基于黎曼度量的自适应多策略图像融合方法的流程图。
[0021] 图2 (a)是本发明方法右聚焦图像。
[0022] 图2 (b)是本发明方法左聚焦图像。
[0023] 图2 (c)是基于加权平均的多聚焦图像融合结果图。
[0024] 图2 (d)是基于PCA的多聚焦图像融合结果图。
[0025] 图2 (e)是基于梯度金字塔变换的多聚焦图像融合结果图。
[0026] 图2 (f)是基于FSDP的多聚焦图像融合结果图。
[0027] 图2 (g)是基于PCNN的多聚焦图像融合结果图。
[0028] 图2 (h)是基于Shearlet变换和PCNN的多聚焦图像融合结果图。
[0029] 图2 (i)是基于本发明方法的利用仿射不变度量（AI)的多聚焦图像融合结果 图。
[0030] 图2 (j)是基于本发明方法的利用Log-Euclidean度量（LE)的多聚焦图像融合 结果图。
[0031] 图3 (a)是本发明方法NMR图像。
[0032] 图3 (b)是本发明方法CT图像。
[0033] 图3 (c)是基于加权平均的医学图像融合结果图。
[0034] 图3 (d)是基于PCA的医学图像融合结果图。
[0035] 图3 (e)是基于梯度金字塔变换的医学图像融合结果图。
[0036] 图3 (f)是基于FSDP的医学图像融合结果图。
[0037] 图3 (g)是基于PCNN的医学图像融合结果图。
[0038] 图3 (h)是基于Shearlet变换和PCNN的医学图像融合结果图。
[0039] 图3 (i)是基于本发明方法的利用AI度量的医学图像融合结果图。
[0040] 图3 (j)是基于本发明方法的利用LE度量的