专利名称：高光谱图像复选性加权分类方法
技术领域：
本发明涉及一种高光谱图像的分类方法，特别是一种基于最小二乘支持向量机(最小二乘SVM)的高光谱图像复选性(多重)加权分类方法，属于模式识别领域。
背景技术：
随着遥感技术的发展，高光谱图像(HSI)得到了越来越广泛的应用。高光谱图像中的基本像元为高维数据向量，将其正确分类是高光谱数据分析的最基本、最重要内容。在众多的高光谱图像分类方法中，支持向量机(SVM)以其优良的分类性能得到广泛好评和使用。SVM在发展过程中出现了许多结构类型。在这些结构类型中，最小二乘SVM受到了普遍欢迎，其主要原因在于，最小二乘SVM的代价函数是一个仅带有等式约束的的优化问题，其求解可在线性系统中进行。虽然最小二乘SVM在高光谱图像分类中表现出良好的性能，但如何进一步提高其分类性能仍然是一项值得研究的内容。在高光谱图像分类过程中，最小二乘SVM的泛化表现对于训练过程中的野值点和噪声干扰像元(统称为异常像元)较为敏感，而它们又常常不可避免地广泛存在于高光谱数据之中，影响了模型的准确性。最小二乘的建模方法过于依赖训练样本，对异常像元的存在很敏感，通常少量异常像元的引入就可能完全破坏模型的泛化性能。
2002年J.A.K.SUYKENS提出最小二乘SVM的加权方法，使得高光谱图像中受到噪声干扰严重的像元和野值点得到有效控制，从而获得了更加良好的鲁棒特性和推广能力。这种加权的方法包含一次的预备训练。而我们知道，一次训练所需要的计算量一般较大，尤其是当训练样本较多时，该方法将变得极为耗时。由于这一原因，该方法并没有得到有效推广。
上面的加权方法以及其他现有的基于SVM的高光谱图像分类加权方法都是针对训练样本实施的，而对于如下两种情况却少有文献考虑。其一，高光谱图像不同的特征(或称波段，谱段)对于类别可分性的影响是不同的，即他们对分类的作用是不同的，因此在分类器设计中不应等同对待；其二，在实际应用中，遥感数据类别众多，而不同类别对于高光谱数据分析的意义往往不同，或者说研究者对于他们所感兴趣的程度不同，因此也同样需要在分类器设计中加以考虑。传统的特征选择方法可以将对于类别可分性影响较大的特征提取出来，但这种方式明显地缺乏灵活性而影响分析效果。
发明内容
本发明的目的在于提供一种对像元、特征和类别进行多重加权处理的基于最小二乘SVM的高光谱图像复选性加权分类方法。
本发明的目的是这样实现的 本发明它至少包括样本加权、特征加权或类别加权处理过程的一个； 1)所述的样本加权过程包括 ①为每个训练样本像元xi计算其相应的距离D(xi，x0)，其计算公式为 D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2，i＝1，2，Λ，n.(1) 其中，x0为样本xi所对应的类中心(即该类全部样本的平均值)，函数K(·，·)为SVM中的核函数； ②对距离D(xi，x0)进行归一化处理，归一化处理所选用的公式为 其中， ③归一化距离ND(xi，xyi)，转化为相应的权值，其转化公式为 其中， ④将最小二乘SVM分类优化表达式中的误差项{ei}i＝1n替换为其加权形式{viei}i＝1n，得到样本加权的最小二乘SVM分类优化表达式 i＝1，2，Λ，n，γ＞0.(4) s.t. yi＝(w，φ(xi))+b+ei 2)所述的特征加权过程包括 ①对全部n个训练样本样本像元计算各类平均向量μj(j＝1，2，Λ，n) 其中，cj、nj分别代表第j类样本集合及其样本数目； ②计算类内散度矩阵SW，其公式为 ③利用适当的正交矩阵U和对角化B，将实对称矩阵SW转化为如下形式 则矩阵G＝(UB-1/2)T可用作加权矩阵而对全部高光谱数据进行左乘而完成波段加权； 3)所述的类别加权过程包括 ①指定全部n个训练样本的排列顺序后，根据分析意义的不同为每个类别规定不同的加权值； ②构造n×n的对角矩阵
对角元素，使得
对角元素对应相应顺序训练样本所属类别的权值； ③用所构造的对角矩阵
替换最小二乘SVM对应的线性方程组中的单位矩阵I，得到新的具有类别加权性质的分类方程组 其中，y＝[y1，y2，Λ，yn]T为训练样本所对应的类别属性值，1v＝[1，1，Λ，1]T；通过求解上面加权后的方程组得出分类判别函数实现高光谱图像的类别加权分类。
本发明还可以包括 所述的为每个训练样本像元xi计算其相应的距离D(xi，x0)所选用的计算公式为 D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2-r，i＝1，2，Λ，n.(1)其中，r为以x0为圆心，包含该类指定比例样本像元的最小圆周半径。这里，r也可以免于计算而设定为0，对加权效果只有较小的影响。
为了实现本发明的目的需使得在建立分类模型时异常程度不同的训练样本得到不同的控制；类别可分性不同的特征得到不同的体现；分析意义不同的数据类别得到不同的对待，最终实现更好的数据分析效果。
本发明根据样本异常程度与样本偏离类中心距离之间的关系，将距离非线性映射为相应权值来完成样本加权；根据类内散度矩阵对线性光谱分离问题的加权特性，将其推广到最小二乘SVM分类问题中来完成特征加权；根据最小二乘SVM线性方程组中单位矩阵对角元素的特殊含义，将其设定为体现类别重要性的不同数值来完成类别加权。
在以上三种加权方法中，样本加权是专对训练样本所施加的手段，第二种是对全部数据进行的操作，而类别加权是在训练过程中对矩阵对角元素的重置。他们可以单独使用，也可以以任何复选方式组合使用。
图1到图2为样本加权过程中由距离到权值的映射关系图。
图3为最小二乘SVM复选性加权操作界面示意图。
图3a-图3-e为第一组不同加权情况下分类结果比较，其中图3-a)为应用未加权最小二乘SVM的分类结果图图3-b)为应用样本加权下的最小二乘SVM的分类结果图图3-c)为特征加权下的最小二乘SVM的分类结果图；图3-d)为类别加权下的最小二乘SVM的分类结果图图3-e)为联合三种加权方法下的最小二乘SVM分类结果图。
图4a-图4-e为第一组不同加权情况下分类结果比较，其中图4-a)为应用未加权最小二乘SVM的分类结果图；图4-b)为应用样本加权下的最小二乘SVM的分类结果图；图4-c)为特征加权下的最小二乘SVM的分类结果图；图4-d)为类别加权下的最小二乘SVM的分类结果图；图4-e)为联合三种加权方法下的最小二乘SVM分类结果图。
具体实施例方式 下面结合附图举例对本发明做更详细地描述 本发明为一种在应用最小二乘SVM进行高光谱图像分类时提高分析效果的方法，采用三重可复选的加权方式完成。样本加权基本过程如下1)为每个训练样本像元计算到其相应类中心的距离D(xi，x0)；2)将距离D(xi，x0)进行归一化处理ND(xi，xyi)；3)进一步，将归一化距离ND(xi，xyi)转化为相应的权值；4)最后，将最小二乘SVM分类优化表达式中的误差项{ei}i＝1n替换为其加权形式{viei}i＝1n便得到样本加权的最小二乘SVM分类优化表达式。特征加权过程步骤如下1)对全部n个训练样本样本像元计算各类平均向量μj(j＝1，2，Λ，n)；2)利用平均向量μj计算类内散度矩阵SW；3)利用类内散度矩阵SW计算出加权矩阵而完成波段加权。类别加权过程步骤如下1)指定全部n个训练样本的排列顺序后，根据分析意义的不同为每个类别规定不同的加权值2)构造n×n的对角矩阵
对角元素，使得
对角元素对应相应顺序训练样本所属类别的权值；3)用所构造的对角矩阵
替换最小二乘SVM对应的线性方程组中的单位矩阵I，得到新的具有类别加权性质的分类方程组。下面首先给出构建本发明所述方法的详细说明 1)关于样本加权。最小二乘SVM的数学模型是一个仅带有等式约束的误差代价函数平方和的优化问题，其求解可在线性系统中进行。其优化问题表达式为 i＝1，2，Λ，n，γ＞0.(1) s.t.yi＝<w，φ(xi)>+b+ei， 为了获得最小二乘SVM的加权性训练模型，将公式(1)中的误差变量进行加权处理，即ei对应于权值vi，这样，此公式变为 i＝1，2，Λ，n，γ＞0.(2) s.t.yi＝<w，φ(xi)>+b+ei 这样，如何合理地确定权值vi成为样本加权中的关键问题。由于训练样本中异常样本到其相应的类中心相对距离较远，因此可以通过距离尺度来度量其“异常”程度。图1给出了一组同类真实高光谱数据样本所对应的排序距离，及将此距离映射为相应权值的情形。
另一方面，由于类内光谱的差异性，即使是纯样本也不可能集中在相应的类中心，而是存在一个相对较小的偏离。考虑到这一点，在计算距离时，我们可以将前面所求得距离减去一个修正常数。为此，可首先确定以类中心为圆心，包含该类别规定比例样本点的最小半径，进而将该半径设为上述修正常数。
设样本xi所对应的类中心为x0，而以x0为圆心半径为r的圆为包含该类指定比例样本的最小圆。用
表示样本xi到x0未经修正的距离，则
的计算公式如下 从而可以规定xi到其类中心x0的修正距离D(xi，x0)为 i＝1，2，Λ，n.(4) 记 (5) 并用ND(xi，xyi)表示D(xi，xyi)的正规化形式，即 则权值因子可以通过下面的公式来求得 容易验证0＜vi≤1。现在将(1)式中的误差项{ei}i＝1n替换为其加权形式{viei}i＝1n便得到一种新型的加权最小二乘SVM，数学模型为 i＝1，2，Λ，n，γ＞0.(8) s.t.yi＝<w，φ(xi)>+b+ei 2)关于特征加权。特征加权关键是要找到一个合适的加权矩阵，这个矩阵可以加强有效的特征，削弱相对效果较差的特征。下面给出一种基于Fisher线性判别分析(一种广泛使用的模式分类技术)的加权矩阵确定方法。设有n个训练样本向量用来分类，μj是第j类样本的平均值(j＝1，2，Λ，n)，即 cj、nj分别代表第j类样本集合及其样本数目，据此可以定义类内散度矩阵SW如下 这里 在Fisher线性光谱混合分析中，SW-1曾被成功地用作混合像素光谱分离问题中的加权矩阵 其中，r为待分析的混合光谱向量，α为待求解的混合比例向量，M为由光谱端元作为列向量的光谱矩阵。由分析可知，SW为实对称矩阵，从而存在正交矩阵U将其对角化为矩阵B UTSWU＝B (13) 进一步可推知 记G＝(UB-1/2)T，则(12)式转化为 对比原始光谱分离问题 可知(9)式相当于将G＝(UB-1/2)T用作样本加权矩阵。由光谱分离与数据分类问题之间的关系(光谱分离为更精确的软分类)知G可以用作分类问题中的样本加权矩阵。
3)关于类别加权。在最小二乘SVM算法中，相应的对偶问题为 其最优KKT条件为 利用消元法消去w和e后上式可进一步表示为 其中，y＝[y1，y2，Λ，yn]T，1v＝[1，1，Λ，1]T,α＝[α1，α2，Λ，αn]T，K为训练样本的核函数矩阵，I是一个n×n的单位矩阵，n是训练样本的个数。当I是单位矩阵时，表示训练过程对每一训练样本等同考虑。类别加权指的就是通过改变I中某些类别样本的对应位置的对角元素值，而不再是原始的1，以达到改变对各个类别的重视程度，从而保护感兴趣类别，抑制非重要类别的目的。
根据理论分析和仿真试验，I的对角元素值能够体现对各个训练样本的重视程度。I的某一项权值相对越大，则表示训练过程对所对应的样本越不重视，反之亦反。因此，把感兴趣类别的训练样本对应的权值适当减小，而把非感兴趣类别的训练样本对应的权值适当增大，能有效地提高感兴趣类别的分类精度。
图2给出了最小二乘SVM复选性加权的操作界面示意图。
按照上述方法，本发明对真实遥感图像进行性能评价。遥感图像取自1992年6月拍摄的美国印第安纳州西北部印第安农林高光谱遥感试验区的一部分，图像大小为144×144，220谱段(特征)。原始监督数据将该图像界定为除背景外共16种地物类别。
第一组实验样本由图像中3、8、11三类地物的数据组合而成。抽取部分像元的光谱特征作训练样本，整类数据作为测试样本。依次采用未加权、样本加权、特征加权、类别加权方式(三个类别依次对应权值1，5，10)，以及三重加权方式进行效果测试，分类结果依次如图2a)-e)所示。分类结果中，以上三个类别依次被标记为兰色、粉色和绿色。图像中分类错误的像元用白点显示出来。实验结果表明，使用样本加权和特征加权的方法均能不同程度地提高整体分类精度，而类别加权方法可以提高相对较小权值对应类别的分析效果(同时降低相对较大权值对应类别的分析效果)，三种加权方法同时使用可以达到整体上更好的分析效果。
第二组实验选择2、10、6三类地物，实验方式同上，分类结果如图3所示。以上两组实验的客观评价指标分别如表1、表2所示。
表1 第一组地物分类中错分样本数目 表2 第二组地物分类中错分样本数目
权利要求
1.一种高光谱图像复选性加权分类方法，它至少包括样本加权、特征加权或类别加权处理过程的一个，其特征是
1)所述的样本加权过程包括
①为每个训练样本像元xi计算其相应的距离D(xi，x0)，其计算公式为
D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2，i＝1，2，Λ，n.
其中，x0为样本xi所对应的类中心，函数K(·，·)为SVM中的核函数；
②对距离D(xi，x0)进行归一化处理，归一化处理所选用的公式为
i＝1，2，Λ，n.
其中，
③归一化距离ND(xi，xyi)，转化为相应的权值，其转化公式为
i＝1，2，Λ，n.
其中，
④将最小二乘SVM分类优化表达式中的误差项{ei}i＝1n替换为其加权形式{viei}i＝1n，得到样本加权的最小二乘SVM分类优化表达式
i＝1，2，Λ，n，γ＞0.
s.t.yi＝<w，φ(xi)>+b+ei
2)所述的特征加权过程包括
①对全部n个训练样本样本像元计算各类平均向量μj，j＝1，2，Λ，n
其中，cj、nj分别代表第j类样本集合及其样本数目；
②计算类内散度矩阵SW，其公式为
③利用适当的正交矩阵U和对角化B，将实对称矩阵SW转化为如下形式
则矩阵G＝(UB-1/2)T可用作加权矩阵而对全部高光谱数据进行左乘而完成波段加权；
3)所述的类别加权过程包括
①指定全部n个训练样本的排列顺序后，根据分析意义的不同为每个类别规定不同的加权值；
②构造n×n的对角矩阵
对角元素，使得
对角元素对应相应顺序训练样本所属类别的权值；
③用所构造的对角矩阵
替换最小二乘SVM对应的线性方程组中的单位矩阵I，得到新的具有类别加权性质的分类方程组
其中，y＝[y1，y2，Λ，yn]T为训练样本所对应的类别属性值，1v＝[1，1，Λ，1]T；通过求解上面加权后的方程组得出分类判别函数实现高光谱图像的类别加权分类。
2.根据权利要求1所述的光谱图像复选性加权分类方法，其特征是
所述的为每个训练样本像元xi计算其相应的距离D(xi，x0)所选用的计算公式为
D(xi，x0)＝(K(xi，xi)+K(x0，x0)-2K(xi，x0))1/2-r，i＝1，2，Λ，n.
其中，r为以x0为圆心，包含该类指定比例样本像元的最小圆周半径。
3.根据权利要求1或2所述的光谱图像复选性加权分类方法，其特征是它是样本加权、特征加权和类别加权处理的组合。
全文摘要
本发明提供的是一种高光谱图像复选性加权分类方法，它至少包括样本加权、特征加权或类别加权处理过程的一个。本发明根据样本异常程度与样本偏离类中心距离之间的关系，将距离非线性映射为相应权值来完成样本加权；根据类内散度矩阵对线性光谱分离问题的加权特性，将其推广到最小二乘SVM分类问题中来完成特征加权；根据最小二乘SVM线性方程组中单位矩阵对角元素的特殊含义，将其设定为体现类别重要性的不同数值来完成类别加权。
文档编号G06K9/62GK101127086SQ20071014430
公开日2008年2月20日 申请日期2007年9月12日 优先权日2007年9月12日
发明者王立国, 赵春晖, 乔玉龙 申请人:哈尔滨工程大学