基于多模态融合的光谱波段选择方法与流程

本发明涉及高光谱图像处理领域，特别提供了一种基于多模态融合的光谱波段选择方法。

背景技术：

高光谱遥感图像具有纹理、相关性以及光谱等多种模态信息，其中，丰富的光谱信息能够反映出区分不同物质的诊断性光谱特征，使得高光谱遥感可以探测到更多的地物信息，极大提高了人类对客观世界的认知能力。

目前的研究中更多的是选择相关的度量函数作为光谱排序的度量准则，然后基于度量函数对光谱信息进行排序，其中，基于光谱排序的波段选择仅仅考虑给定任务的波段优先性，往往忽略了选择波段之间可能的冗余性，关于冗余性的问题，目前去除冗余波段的方法是把排序后的某个波段和其它所有波段之间的最大相关性作为冗余波段去除作为标准，这往往又会导致一些更高优先级的波段被低优先级的波段所替代，且没有对波段优先级和波段冗余性之间的权衡给出相关的标准。

还有的部分波段选择算法将分类精度作为目标函数，确定评价函数后，需要采取有效的搜索策略来保证波段选择精度，目前普遍采用的是顺序前向选择法，针对顺序前向选择法不是全局搜索的缺陷，波段选择算法中引入了更加复杂的搜索策略。王立国等人把蜂群算法应用到波段选择上，gao等人将粒子群优化算法应用到波段选择方法中，此外，波段聚类和稀疏非负矩阵分解聚类等技术的引入也有利于波段选择精度的提高。

综上所述，现有的公知技术不能全面的考虑光谱波段之间的相关性和冗余性之间的权衡标准，不能很好地选择出更有利于高光谱图像进行分类的有用信息更大的波段。

技术实现要素：

鉴于此，本发明的目的在于提供一种基于多模态融合的光谱波段选择方法，以解决现有光谱波段选择方法不能全面的考虑光谱波段之间的相关性和冗余性之间的权衡标准，不能很好地选择出更有利于高光谱图像进行分类的有用信息更大的波段问题。

本发明提供的技术方案是：一种基于多模态融合的光谱波段选择方法，包括如下步骤：

s1、接收高光谱图像样本和样本的类别标记信息；

s2、融合多个空间邻域内的空间特征和纹理特征，利用波段的相关性度量准则对所有波段按相关性由低到高进行排序，得到波段序列1；

s3、按照波段序列1调整所有接收到的高光谱图像样本并转换成一个二维反射率矩阵，利用所述二维反射率矩阵计算波段之间的相关性矩阵，分别基于相关性矩阵中每行的最大值、平均值和方差值对所有波段进行排列，得到波段序列2、波段序列3和波段序列4，其中，基于最大值排序的，最大值越小，波段顺序越靠前，基于平均值排序的，平均值越小，波段顺序越靠前，基于方差值排序的，方差值越大，波段顺序越靠前；

s4、对每个波段在上述四个波段序列中的排序序号加权求和，获得每个波段的最终排序序号；

s5、选择最终排序序号靠前的n个波段作为选择波段，其中，n取分类正确率趋于稳定时的最小波段数。

优选，所述s2具体包括如下步骤：

s201、首先利用lbp算子提取每个样本在每个邻域下的每个波段下的局部纹理特征，其中，类别标记为c的第j个样本在ω邻域下的波段b处的局部纹理特征按照公式(1)进行计算

样本vj在不同波段有不同的反射率，公式(1)中，vb,j表示该样本vj在波段b处的反射率，ω为样本vj的局部邻域，m为样本vj在ω邻域最外圈的的邻居样本个数；

s202、利用公式(2)计算每个类别下所有样本在每个邻域下的每个波段下的局部纹理特征，并组成纹理特征向量，其中，类别标记为c的所有样本在ω邻域下的波段b处的局部纹理特征按照公式(2)进行计算

其中，nc表示类别标记为c的样本个数；

类别标记为c的所有样本在波段b处的纹理特征向量用表示，其中，ωk表示第k个邻域，k表示邻域的个数；

s203、对于每个波段，利用余弦度量方法，计算任意两个类别之间的相关系数ρ，统计波段在任意两类间的相关系数计算出新的波段相关性度量准则ξ，其中，波段b在类别cx和cy之间的相关系数ρ通过公式(3)计算，波段相关性度量准则ξb通过公式(4)计算

s204、对s203中得到的所有波段的相关性ξ进行排序，相关性最低的即为被选优先级高的波段，排列在序列的最前面，最终得到波段序列1。

进一步优选，所述s3具体包括如下步骤：

s301、按照波段序列1，对所有标记样本的波段重新排列，得到二维反射率矩阵为v∈r^b*m，其中，b为波段数，m为带类别标记信息的样本数，矩阵v中的每个元素vb,m表示第m个样本在第b个波段的反射率；

s302、利用所述二维反射率矩阵v计算所有波段的相关性矩阵d∈r^b*b，其中相关性矩阵d中的每个元素表示波段i和波段j之间的相关性；

s303、分别基于相关性矩阵d中每行的最大值、平均值和方差值对所有波段进行排列，得到波段序列2、波段序列3和波段序列4，其中，基于最大值排序的，最大值越小，波段顺序越靠前，基于平均值排序的，平均值越小，波段顺序越靠前，基于方差值排序的，方差值越大，波段顺序越靠前。

进一步优选，所述s4具体如下：

通过公式(5)计算每个波段的最终排序序号

其中，表示波段b在第r个序列中的位置序号，w^r表示第r个序列在所有序列中所占的权重值。

本发明提供的基于多模态融合的光谱波段选择方法，结合了空间邻域信息、纹理特征来计算不同类别之间相同波段的相关性，并根据上述相关性的高低对所有波段进行排序；通过相关性矩阵，计算相关性矩阵中每行的最大值、平均值及方差值，然后分别基于最大值，平均值和方差值对所有波段重新排序，至此，共得到4个排序序列，之后通过对每个波段在上述四个波段序列中的排序序号加权求和，可以获得各个波段的最终排序序号，最后根据需要，选择序号靠前的n个波段作为选择波段，将后面的波段去除，即完成了对波段的有效选择。

本发明提供的基于多模态融合的光谱波段选择方法，同时考虑丰富的多模态信息，采用有监督策略计算波段相关性，不仅考虑了波段的优先性，还考虑了被选波段之间的冗余性，利用波段间的相关性分布来去除冗余波段，得到更利于高光谱图像进行分类的光谱波段。

附图说明

下面结合附图及实施方式对本发明作进一步详细的说明：

图1为基于多模态融合的光谱波段选择方法的流程图；

图2为步骤2的具体流程图；

图3为步骤3的具体流程图。

具体实施方式

下面将结合具体的实施方案对本发明进行进一步的解释，但并不局限本发明。

如图1所示，本发明提供了一种基于多模态融合的光谱波段选择方法，包括如下步骤：

s1、接收高光谱图像样本和样本的类别标记信息；

s2、融合多个空间邻域内的空间特征和纹理特征，利用波段的相关性度量准则对所有波段按相关性由低到高进行排序，得到波段序列1；

s3、按照波段序列1调整所有接收到的高光谱图像样本并转换成一个二维反射率矩阵，利用所述二维反射率矩阵计算波段之间的相关性矩阵，分别基于相关性矩阵中每行的最大值、平均值和方差值对所有波段进行排列，得到波段序列2、波段序列3和波段序列4，其中，基于最大值排序的，最大值越小，波段顺序越靠前，基于平均值排序的，平均值越小，波段顺序越靠前，基于方差值排序的，方差值越大，波段顺序越靠前；

s4、对每个波段在上述四个波段序列中的排序序号加权求和，获得每个波段的最终排序序号；

s5、选择最终排序序号靠前的n个波段作为选择波段，其中，n取分类正确率趋于稳定时的最小波段数。

该基于多模态融合的光谱波段选择方法，同时考虑丰富的多模态信息，采用有监督策略计算波段相关性，不仅考虑了波段的优先性，还考虑了被选波段之间的冗余性，利用波段间的相关性分布来去除冗余波段，得到更利于高光谱图像进行分类的光谱波段。

作为技术方案的改进，所述s2具体包括如下步骤：

s201、首先利用lbp算子提取每个样本在每个邻域下的每个波段下的局部纹理特征，其中，类别标记为c的第j个样本在ω邻域下的波段b处的局部纹理特征按照公式(1)进行计算

样本vj在不同波段有不同的反射率，公式(1)中，vb,j表示该样本vj在波段b处的反射率，ω为样本vj的局部邻域，m为样本vj在ω邻域最外圈的的邻居样本个数；

s202、利用公式(2)计算每个类别下所有样本在每个邻域下的每个波段下的局部纹理特征，并组成纹理特征向量，其中，类别标记为c的所有样本在ω邻域下的波段b处的局部纹理特征按照公式(2)进行计算

其中，nc表示类别标记为c的样本个数；

类别标记为c的所有样本在波段b处的纹理特征向量用表示，其中，ωk表示第k个邻域，k表示邻域的个数；

s203、对于每个波段，利用余弦度量方法，计算任意两个类别之间的相关系数ρ，统计波段在任意两类间的相关系数计算出新的波段相关性度量准则ξ，其中，波段b在类别cx和cy之间的相关系数ρ通过公式(3)计算，波段相关性度量准则ξb通过公式(4)计算

s204、对s203中得到的所有波段的相关性ξ进行排序，相关性最低的即为被选优先级高的波段，排列在序列的最前面，最终得到波段序列1。

作为技术方案的改进，所述s3具体包括如下步骤：

s301、按照波段序列1，对所有标记样本的波段重新排列，得到二维反射率矩阵为v∈r^b*m，其中，b为波段数，m为带类别标记信息的样本数，矩阵v中的每个元素vb,m表示第m个样本在第b个波段的反射率；

s302、利用所述二维反射率矩阵v计算所有波段的相关性矩阵d∈r^b*b，其中相关性矩阵d中的每个元素表示波段i和波段j之间的相关性；

s303、分别基于相关性矩阵d中每行的最大值、平均值和方差值对所有波段进行排列，得到波段序列2、波段序列3和波段序列4，其中，基于最大值排序的，最大值越小，波段顺序越靠前，基于平均值排序的，平均值越小，波段顺序越靠前，基于方差值排序的，方差值越大，波段顺序越靠前。

作为技术方案的改进，所述s4具体如下：

通过公式(5)计算每个波段的最终排序序号

其中，表示波段b在第r个序列中的位置序号，w^r表示第r个序列在所有序列中所占的权重值。

实施例1

s1、接收高光谱图像样本和样本的类别标记信息；

以indian数据集为例，输入145*145*200的高光谱图像样本(其中样本包含145*145个样本数，200个波段)，以及该数据集对应的类别标记信息，一共是1-16，代表16个样本类别。

s2、融合多个空间邻域内的空间特征和纹理特征，利用波段的相关性度量准则将所有波段按相关性由低到高进行排序，得到波段序列1；

具体步骤如下：

s201、取每个样本的3*3，5*5，7*7，9*9，11*11这5个邻域，首先，将3*3这个邻域下的每一个波段下所有样本输入到lbp滤波函数中进行滤波，输出每个波段在3*3这个邻域下的145*145个样本滤波后的值，以波段1为例，将波段1中的145*145个像元输入到lbp滤波函数中，利用公式和公式得到波段1在3*3这个邻域下的145*145个样本滤波后的值，同理，计算出所有波段在5个邻域下的所有像元经过lbp滤波后的值，最后输出145*145*5*200的4维矩阵，其中前两维表示样本的个数，第三个维表示邻域的个数，第四维表示波段的总数。

s202、计算每个类别下所有样本在每个邻域下的每个波段下的局部纹理特征，其中，类别标记为c的所有样本在领域ω内的波段b的纹理特征按照公式(2)进行计算

其中，nc表示类别标记为c的样本的个数。以计算类别1下所有样本在3*3邻域下的波段1的局部纹理特征为例：首先，计算在3*3邻域下的波段1下类别为1的所有样本lbp滤波后的值的和，再除以波段1下类别为1的所有样本的个数，即为同理，可以得到这5个邻域下的值，即同理，可以计算出波段1下的16个类别在5个邻域下的特征向量最后在每个波段下均可得到一个16*5的矩阵，第一维表示类别数，第二维表示邻域个数，即可以理解为每个类别的特征向量由5个邻域值组成。

s203、对于每个波段，利用余弦度量方法，计算任意两个类别之间的相关系数，并根据相关性度量准则计算每个波段在不同类别之间的相关性ξ。以波段1为例，在波段1下任何两个类别cx和cy之间通过计算它们之间的相关系数，比如计算波段1下类别1和类别2之间的相关性系数，也就是计算通过相关性度量准则来计算出每个波段的ξ。

s204、对s203中得到的所有波段的相关性ξ进行排序，相关性最低的即为被选优先级高的波段，排列在序列的最前面，最终得到波段序列1。

s3、按照波段序列1调整所有接收到的高光谱图像样本并转换成一个二维反射率矩阵v∈r^b*m，其中，b为波段数，m为带类别标记信息的样本数，矩阵v中的每个元素vb,m表示第m个样本在第b个波段的反射率；具体步骤如下：

s301、在indian这个数据集中，根据波段序列1来调整原来的图像样本，并将三维矩阵转换维二维的，即v∈r^b*m，b是波段数为200，m为带类别标记信息的样本数为145*145＝21025。

s302、利用所述二维反射率矩阵v∈r^200*21025计算所有波段的相关性矩阵d∈r^200*200，其中相关性矩阵d中的每个元素表示波段i和波段j之间的相关性。

s303、分别基于相关性矩阵d中每行的最大值、平均值和方差值对所有波段进行排列，得到波段序列2、波段序列3和波段序列4，其中，基于最大值排序的，最大值越小，波段顺序越靠前，基于平均值排序的，平均值越小，波段顺序越靠前，基于方差值排序的，方差值越大，波段顺序越靠前。

s4、利用公式计算每个波段的最终排序序号。

在经过以上操作后，波段1在波段序列1中的187，在波段序列2中的65，在波段序列3中的89，在波段序列4中的112位，波段1最终的位置通过用交叉验证的方法进行多次计算，取使得正确率较高的w^r的权值。得到最终的序列后，通过正确率的曲线趋势，发现在取前120个波段时，正确率基本趋于平缓，所以针对这个数据集，波段n的取值为120。

实施例2

在indian数据集上选用每个类别80％的样本进行训练，用此方法进行图像样本的处理，最后通过svm分类器进行分类，比选全部的波段，然后使用svm分类器分类的正确率高出5％，由此可以证明实施例1中的方法的有效性，也能说明选择出来的120个波段是更有利于高光谱图像进行分类的有用信息更大的波段。

本发明的具体实施方式是按照递进的方式进行撰写的，着重强调各个实施方案的不同之处，其相似部分可以相互参见。

上面结合附图对本发明的实施方式做了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。