一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法
【专利摘要】本发明公开了一种基于深度卷积神经网络的张量型高光谱图像光谱?空间降维方法，首先，鉴于直接使用高波段的张量数据会使得深度卷积神经网络的参数空间大幅度增加，引入最大似然本征维估计算法和主成分分析对归一化高光谱图像的波段维进行降维，得到低波段的高光谱图像；然后，通过窗口领域，将低波段高光谱图像转化为张量型低波段高光谱图像，保持每个像素点的光谱和空间信息；最后，利用深度卷积神经网络对张量型低波段高光谱图像进行光谱?空间降维，使得降维后的特征同时包括光谱信息和空间信息。本发明能有效地利用高光谱数据的光谱特征和空间领域特征获得较高的整体分类精度和Kappa系数。
【专利说明】
-种基于深度卷积神经网络的张量型高光谱图像光谱-空间 降维方法
技术领域
[0001] 本发明属于高光谱遥感图像处理技术领域，具体设及一种基于深度卷积神经网络 的张量型高光谱图像光谱-空间降维方法。
【背景技术】
[0002] 近年来，随着遥感技术的快速发展，获取高精度、高分辨率的遥感影像已经变得非 常容易，高光谱影像传感器收集到的高光谱图像能够提供丰富的波段信息和空间信息，具 有较强的地物判别能力，因此被广泛应用于环境监测、植被分类、农作物长势监测等领域。 对高光谱遥感影像中的每个像素点进行分类是运些应用中常见的方法之一。近年来，机器 学习领域中一些基于判别的方法由于其具有较强的处理高维、小样本数据的能力，而被成 功应用到高光谱图像分类中，如多项式逻辑回归、支持向量机(Suppod Vector Machines， SVM)等。然而，丰富的波段信息存在大量的冗余，有研究表明，直接使用原始高维数据，不仅 计算量极大，而且会降低分类精度。因此，如何有效降低高光谱图像的维数成为分类工作中 的一个重要问题。常见的高光谱降维算法包括波段提取和波段选择。
[0003] 直接由传感器获取的原始高光谱图像是W=维形式存储，包括两维的空间信息 (宽度和高度)和一维的波段信息，在对运些原始高光谱图像进行降维和分类之前，一般先 将其转化为向量型数据和张量型数据两种形式。早期的降维算法主要使用的是向量型数 据，W高光谱图像为例，需要首先把=维的高光谱图像转化为一维的向量形式，再进行降 维、分类，运种思路仅使用了高光谱图像的波段特征，而忽略了空间信息。典型的向量型降 维算法包括主成分分析(PCA)、线性判别分析、局部保持投影等，尽管高光谱图像具有丰富 的波段信息，能够在一定程度上对高光谱图像进行表示，但运种思路仍存在着固有的缺陷： 1)运种思路是基于"相邻像素点相互独立"运一假设，而高光谱图像相邻像素点之间具有较 强的相关性，故运一假设不成立;2)将=维的高光谱图像转化为一维的向量型数据会破坏 图像内部的结构，从而导致信息的丢失;3)将高光谱图像向量化之后会导致"维数灾难"的 问题等。针对运些问题，近年来，一些基于张量型数据的降维算法被相继提出，如多线性主 成分分析，多线性判别分析等。
[0004] 深度学习是目前机器学习领域最流行的研究方向之一，能够学习到数据的深层高 级特征，具有比浅层算法更强大的非线性表示能力。如，找式自动编码器凭借其多隐层的结 构来挖掘数据的深层最优特征，深度卷积神经网络(DCNN)通过对局部区域进行多种滤波方 式来学习强鲁棒性的特征等。使用深度学习方法提取到的特征，能够较大程度提高分类精 度。近年来，已有一些学者将深度学习方法应用到高光谱图像分类中。如，化en等分别使用 深度信念网络和找式自动编码器对高光谱图像进行特征提取并通过分类器进行分类，实验 结果表明，相比浅层算法提取的特征，深度学习方法提取到的特征能够获得更高的分类精 度。但运些思路使用的都是向量型数据。
[0005] DO^N作为深度学习方法中最典型的模型之一，具有：1)权值共享，所需训练的参数 较少;2)相邻两层间的神经元局部连接，能够挖掘像素间的近邻关系;3)学习到的特征具有 位移不变性等特点。被广泛应用于图像分类、行人检测、目标识别等领域。LeNe巧为历史上 首个成功训练的DC顺，并被成功应用到手写体数字识别中，并取得了较高的识别精度。 Krizhevsky等沿用LeNetS的结构模式，并在其基础上对模型的层数及参数进行大规模增 加，并通过引入新的激活函数和化opout等技巧，利用Image化t LSVRC-2010数据集成功训 练了首个大规模DC順。如何合理利用DC順来对高光谱图像进行复杂的非线性映射，从而提 取到深度特征，成为高光谱降维研究领域的一个重要问题。化等首次将DO^N引入高光谱图 像分类任务中，但其工作是在向量型数据的基础上，采用ID的卷积模式，运种思路不仅没有 考虑高光谱图像的空间信息，而且不能充分发挥DO^N的特征提取能力。Yue等使用2D-DO^N， 同时考虑高光谱图像的空间信息和波段信息，提出一种基于DC順的高光谱降维思路:分别 计算高光谱图像的空间特征图和波段特征图，然后将两种特征图同时作为DC順的输入数 据，进行特征提取和分类，但是运种思路是将空间特征和波段特征分开处理。
【发明内容】
[0006] 发明目的：为了克服现有技术中存在的不足，本发明提供一种基于深度卷积神经 网络的张量型高光谱图像降维算法，使得降维后的特征同时包括光谱信息和空间信息。
[0007] 技术方案:为实现上述目的，本发明采用的技术方案为：
[0008] -种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，包括如下 步骤：
[0009] 步骤1，对原始高光谱图像进行归一化；
[0010] 步骤2,用最大似然本征维估计算法计算归一化高光谱图像的波段本征维n;
[0011] 步骤3,用主成分分析将归一化高光谱图像的波段数降至n，得到低波段高光谱图 像；
[0012] 步骤4,通过窗口领域，将低波段高光谱图像转化为张量型低波段高光谱图像Z; [001引步骤5，将Z划分成训练集Ztrain与测试集Ztest;
[0014]步骤6,用训练集Ztrain训练深度卷积神经网络，得到最优深度卷积神经网络模型 DCNNoptimal ；
[001引步骤7，用最优深度卷积神经网络模型DCNNoptima谢训练集Ztrain和现聯集Ztest进行 特征提取，得到原始高光谱图像的低维光谱-空间训练集特征Ztrain和测试集特征Ztest;
[0016] 步骤8,用训练集特征Ztrain及训练集标签Ytrain训练支持向量机，得到分类器 SVMoptimal ；
[0017] 步骤9,用分类器SVMoptimal对测试集特征Ztest进行预测，得到预测标签Ypreidicto [001引进一步的，所述步骤1中，给定原始高光谱图像X =耗，:…，义,，...，^^}€扱心"，1 = 1， 2,…N，xi表示第i个高光谱图像，其中m为原始高光谱图像的维数，N为原始高光谱图像的个 数，归一化采用的计算方法为：
[0019]
[0020] 式中，X/表示第i个归一化高光谱图像，XU表示第i个归一化高光谱图像中第j维 的值，min( ?)表示取最小值计算，max( ?)表示取最大值计算；得到归一化高光谱图像 .r = Ui'，…，.y;，..,V}e]rwx"'。
[0021] 进一步的，所述步骤3中，给定归一化高光谱图像JT =林1'，…，乂,'，...，乂%'^化"<"'，首 先计算给定归一化高光谱图像的总体协方差矩阵Scdv:
[0022]
[0023] 式中，y表示归一化高光谱图像的均值；
[0024] 主成分分析的目的是使得投影后的协方差最大化，则其目标函数为：
[0025]
[0026] s.t. WpcaTWpca= I
[0027] 式中，Wpca为特征投影矩阵，I为单位矩阵;假设入为Sedv的秩，则：
[002引 Scov =入 Wpca;
[0029] 设、,人2 ,…,人n为上式中前n个最大特征值，对应的特征向量为WPCAl ,WPCA2 ,…,WPCAn, 则采用主成分分析对归一化高光谱图像公进行主成分特征提取，得到：
[0030] X" = ( WPCAi，WPCA2，…，WPCAn) Tx' = WpcaTx'
[003。 式中，X" e扱V、"表示经过主成分分析后的低波段高光谱图像。
[0032] 进一步的，所述步骤4中，张量型低波段高光谱图像采用W下=阶张量表示：
[0033]
[0034] 式中，Fi和F2分别表示单一波段的高光谱图像的高度和宽度;针对高光谱图像的特 点，选取目标像素四周近邻8个像素组成张量表示形式，张量型数据的标签为目标像素对应 的标签，张量型低波段高光谱图像为：
[0035]
[0036] 式中，Fi = F2 =化+1 = 17,6 = 8，1《。《。1，1《'2《。2^1^2分别为。1和。2的序号索 引。
[0037] 进一步的，所述步骤5中，划分训练集Ztrain与测试集Ztest,设人工给定的训练集样 本个数占样本总数的比例为T，在所有张量型低波段高光谱图像中，随机选取TN个张量型低 波段高光谱图像作为训练集Ztrain, (I-T)N个张量型低波段高光谱图像作为测试集Ztest;N为 原始高光谱图像的个数。
[0038] 进一步的，所述步骤6中，利用训练集Ztrain训练屯层深度卷积神经网络，其中屯层 结构分别为：
[0039] 第一层：输入层II，深度卷积神经网络的输入数据为训练集Ztrain和训练集标签 Ytrain;
[0040] 第二层:卷积层C2，设定30个特征图，卷积核大小为4 X 4;
[0041 ]第=层:最大降采样层P3，设定降采样窗口大小为2 X 2，步长为2;
[0042] 第四层:卷积层C4,设定30个特征图，卷积核大小为4X4;
[0043] 第五层:最大降采样层P5，设定降采样窗口大小为2 X 2，步长为2;
[0044] 第六层:卷积层C6，设定30个特征图，卷积核大小为2 X 2;
[0045] 第屯层：Soft-max 层；
[0046] 训练过程为：
[0047] 步骤6.1，随机初始化卷积核W和偏置b，前向计算，得到实际输出值r;
[004引步骤6 . 2，计算训练集输出标签与训练集标签Ytrain的均方误差
[0049] 步骤6.3,计算均方误差对卷积核W的梯度^和均方误差对偏置b的梯度 dfV OD
[0050] 步骤6.4，通过梯度下降算法调整卷积核和偏置，公式为：
[0化1 ]
[0化2]
[0053] 式中，W勺日护分别表示调整更新后的卷积核和偏置，a为学习率；
[0054] 步骤6.5，循环执行步骤6.2、6.3和6.4 =个步骤10000次，得到最优深度卷积神经 网络模型DCNNoptimalo
[0055] 有益效果:本发明的一种基于深度卷积神经网络的张量型高光谱图像降维算法， 鉴于直接使用高波段的张量数据会使卷积神经网络的参数空间大幅度增加，引入最大似然 本征维估计(MLE)算法和主成分分析(PCA)对高光谱图像的波段维进行降维;然后，通过窗 口领域将高光谱图像转化为张量形式，保持每个像素点的光谱和空间信息;最后，利用DCNN 对张量型高光谱图像进行光谱-空间降维，使得降维后的特征同时包括光谱信息和空间信 息。
[0056] 本方法结合高光谱图像的张量表示和DC順的优势，具有如下优点：（1)保持像素点 光谱-空间领域信息。通过窗口领域能够很好的保持每个像素的原始空间位置及结构。（2) 通过综合使用MLE和PCA降低高光谱图像的波段，从而减少原始高光谱图像中存在的波段冗 余。（3)通过DO^脚是取张量型高光谱图像的深层、高级、低维特征，使得到的特征具有更强的 判别能力。（4)所提算法能有效地利用高光谱图像的空间领域特征和光谱特征获得较高的 整体分类精度和Kappa系数。
【附图说明】
[0057] 图1为基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法的流程图。
【具体实施方式】
[005引下面结合附图对本发明作更进一步的说明。
[0059]如图1所示，一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方 法，首先，鉴于直接使用高波段的张量数据会使深度卷积神经网络的参数空间大幅度增加， 引入最大似然本征维估计算法和主成分分析对高光谱图像的波段进行降维;然后，通过窗 口领域将高光谱图像转化为张量形式，保持每个像素点的光谱和空间信息;最后，利用深度 卷积神经网络对张量型高光谱图像进行光谱-空间降维，使得降维后的特征同时包括光谱 信息和空间信息。具体步骤如下：
[0060] 步骤1，对原始高光谱图像进行归一化：
[0061] 给定原始高光谱图像义=知，…，和...，Xw}e胶""*，1 = 1，2^.礼义1表示第1个高光 谱图像，其中m为原始高光谱图像的维数，N为原始高光谱图像的个数，归一化采用的计算方 法为：
[0062]
[0063] 式中，X/表示第i个归一化高光谱图像，XU表示第i个归一化高光谱图像中第j维 的值，min( ?)表示取最小值计算，max( ?)表示取最大值计算；得到归一化高光谱图像 义'=林;，...,单',...，方"'}居瓜趴》。
[0064] 步骤2,用最大似然本征维估计算法计算归一化高光谱图像公的波段本征维n。
[0065] 步骤3,用主成分分析将归一化高光谱图像r的波段数降至n，得到低波段高光谱 图像X":
[0066] 首先计算归一化高光谱图像公的总体协方差矩阵Scdv:
[0067]
[0068] 式中，去'表示归一化高光谱图像的均值；
[0069] 主成分分析的目的是使得投影后的协方差最大化，则其目标函数为：
[0070]
[0071] s.t. WpcaTWpca= I
[0072] 式中，Wpca为特征投影矩阵，I为单位矩阵;约束条件WpcaTWpca= I的目的是防止协方 差的无限增大；由于Scdv为非负定对称矩阵，由非负定矩阵的谱分解定理可知，假设A为Scdv 的秩，则：
[007；3] Scov = AWpca;
[0074] 设、,人2 ,…,人n为上式中前n个最大特征值，对应的特征向量为WPCAl ,WPCA2 ,…,WPCAn, 则采用主成分分析对归一化高光谱图像公进行主成分特征提取得到：
[007引 X" = ( WPCAi，WPCA2，…，WPCAn) Tx' = WpcaTx'
[0076] 式中，若'G吸Wxk表示经过主成分分析后的低波段高光谱图像。
[0077] 步骤4,通过窗口领域，将低波段高光谱图像X"转化为张量型低波段高光谱图像Z:
[0078] 张量型低波段高光谱图像采用W下=阶张量表示：
[0079] Z e IR巧 X 6 X"
[0080] 式中，Fi和F2分别表示单一波段的高光谱图像的高度和宽度;针对高光谱图像的特 点，选取目标像素四周近邻8个像素组成张量表示形式，张量型数据的标签为目标像素对应 的标签，包括训练集标签和测试集标签;可W看出，运种表示方法可W同时包含高光谱图像 的空间信息和光谱波段信息;张量型低波段高光谱图像为：
[0081]
[0082] 式中，Fi = F2 =化+1 = 17,6 = 8，1《。《尸1，1《'2《尸2，。^2分别为尸1和尸2的序号索 引。
[0083] 步骤5,将Z划分成训练集Ztrain与测试集Ztest:
[0084] 设人工给定的训练集样本个数占样本总数的比例为T，在所有张量型低波段高光 谱图像中，随机选取TN个张量型低波段高光谱图像作为训练集Ztrain, (I-T)N个张量型低波 段高光谱图像作为测试集Ztest;N为原始高光谱图像的个数。
[0085] 步骤6,用训练集Ztrain训练深度卷积神经网络，得到最优深度卷积神经网络模型 DCNNoptimal ：
[0086] 利用训练集Ztrain训练屯层深度卷积神经网络，其中屯层结构分别为：
[0087] 第一层：输入层II，深度卷积神经网络的输入数据为训练集Ztrain和训练集标签 Ytrain ；
[0088] 第二层:卷积层C2,设定30个特征图，卷积核大小为4X4;
[0089] 第=层:最大降采样层P3，设定降采样窗口大小为2 X 2，步长为2;
[0090] 第四层:卷积层C4,设定30个特征图，卷积核大小为4X4;
[0091] 第五层:最大降采样层P5，设定降采样窗口大小为2 X 2，步长为2;
[0092] 第六层:卷积层C6，设定30个特征图，卷积核大小为2 X 2;
[0093] 第屯层：Soft-max 层；
[0094] 训练过程为：
[0095] 步骤6.1，随机初始化卷积核W和偏置b，前向计算，得到实际输出值F，
[0096] 步骤6 . 2，计算训练集输出标签fw。与训练集标签Y t r a i n的均方误差
,、。 一'厂,
[0097] 步骤6.3,计算均方误差对卷积核W的梯度和均方误差对偏置b的梯度 dW 如
[0098] 步骤6.4，通过梯度下降算法调整卷积核和偏置，公式为：
[0099]
[0100]
[0101] 式中，W*和b*分别表示调整更新后的卷积核和偏置，a为学习率；
[0102] 步骤6.5，循环执行步骤6.2、6.3和6.4S个步骤10000次，，即对深度卷积神经网络 中的卷积核和偏置更新10000次，得到最优深度卷积神经网络模型DCNNoptimal。
[010引步骤7，用最优深度卷积神经网络模型DC順。Ptimal对训练集Ztrain和测试集Ztest进行 特征提取，得到原始高光谱图像的低维光谱-空间训练集特征Ztrain和测试集特征Ztest。
[0104]步骤8,用训练集特征Ztrain及训练集标签Ytrain训练支持向量机，得到分类器 SVMoptimal O
[01化]步骤9,用分类器SVMDPtimal对测试集特征Ztest进行预测，得到预测标签Ypreidicto [0106] W上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可W做出若干改进和润饰，运些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于， 包括如下步骤： 步骤1，对原始高光谱图像进行归一化； 步骤2，用最大似然本征维估计算法计算归一化高光谱图像的波段本征维η; 步骤3,用主成分分析将归一化高光谱图像的波段数降至η，得到低波段高光谱图像； 步骤4，通过窗口领域，将低波段高光谱图像转化为张量型低波段高光谱图像Z; 步骤5，将Z划分成训练集Ztrain与测试集Ztest; 步骤6,用训练集Ztrain训练深度卷积神经网络，得到最优深度卷积神经网络模型 DCNNoptimal ; 步骤7，用最优深度卷积神经网络模型DCNNciptimal对训练集Ztrain和测试集Z test进行特征 提取，得到原始高光谱图像的低维光谱-空间训练集特征Ztrain和测试集特征Ztest; 步骤8,用训练集特征Ztrain及训练集标签Ytrain训练支持向量机，得到分类器SVM ciptimaI; 步骤9,用分类器SVMciptimal对测试集特征Ztest进行预测，得到预测标签Y pre3ldlC^2. 根据权利要求1所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降 维方法，其特征在于:所述步骤1中，给定原始高光谱图像I ,…，％，…,λλ.}εΚλ，χ，，，,? = 1, 2,…N，Xl表示第i个高光谱图像，其中m为原始高光谱图像的维数，N为原始高光谱图像的个 数，胂一仆粜田的i+笪方法为.式中，x/表示第i个归一化高光谱图像，Xlj表示第i个归一化高光谱图像中第j维的值， min( ·)表示取最小值计算，max( ·)表示取最大值计算；得到归一化高光谱图像3. 根据权利要求1或2所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间 降维方法，其特征在于:所述步骤3中，给定归一化高光谱图像X'=丨<,…，#r··,·%'丨， 首先计筧给定归一化高光谱图像的总体协方差矩阵S cciv:式中，史表示归一化高光谱图像的均值； 主成分分析的目的是使得投影后的协方差最大化，则其目标函数为：式中，WpeA为特征投影矩阵，I为单位矩阵;假设λ为3_的秩，则: Scov=^Wpca; 设入1，入2，…，λη为上式中前η个最大特征值，对应的特征向量为WPCAl ,WPCA2，…，WPCAn，贝丨J米 用 I r+t ZV ZV 士 C 士μ I 卜I 一/U古 Uitfepyl /&V/ 廿仁 I r+t/V 特征提取得至 Ij .式中，JT e 表示经过主成分分析后的低波段高光谱图像。4. 根据权利要求3所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降 维方法，其特征在于:所述步骤4中.1量酒低浈段高普图像采用以下三阶张量表示：式中，FjPF2分别表示单一波段的高光谱图像的高度和宽度;针对高光谱图像的特点， 选取目标像素四周近邻8个像素组成张量表示形式，张量型数据的标签为目标像素对应的 标签，张量型低波段高光谱图像为：式中，F1 = F2 = 2b+l = 17，b = 8，l彡f1彡F1，l彡f2彡F2，f 1、f2分别为F1和F2的序号索引。5. 根据权利要求1或2或4所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降维方法，其特征在于:所述步骤5中，划分训练集Z train与测试集Ztest，设人工给定的训 练集样本个数占样本总数的比例为τ，在所有张量型低波段高光谱图像中，随机选取τΝ个张 量型低波段高光谱图像作为训练集Z train, (Ι-τ)Ν个张量型低波段高光谱图像作为测试集 Ztest;N为原始高光谱图像的个数。6. 根据权利要求5所述一种基于深度卷积神经网络的张量型高光谱图像光谱-空间降 维方法，其特征在于:所述步骤6中，利用训练集Z train训练七层深度卷积神经网络，其中七层 结构分别为： 第一层:输入层11，深度卷积神经网络的输入数据为训练集Ztrain和训练集标签Ytrain; 第二层:卷积层C2，设定30个特征图，卷积核大小为4 X 4; 第三层:最大降采样层P3，设定降采样窗口大小为2 X 2，步长为2; 第四层:卷积层C4，设定30个特征图，卷积核大小为4 X 4; 第五层:最大降采样层P5，设定降采样窗口大小为2 X 2，步长为2; 第六层:卷积层C6，设定30个特征图，卷积核大小为2 X 2; 第七层:Soft-max层； 训练过程为： 步骤6.1，随机初始化卷积核W和偏置b，前向计算，得到实际输出值F ; 步骤6.2，计算训练集输出标签与训练集标签Ytrain的均方误差步骤6.3，计算均方误差对卷积核W的梯，和均方误差对偏置b的梯j 步骤6.4，通过梯度下降算法调整卷积核和偏置，公式为：式中，和#分别表示调整更新后的卷积核和偏置，α为学习率； 步骤6.5,循环执行步骤6.2、6.3和6.4三个步骤10000次，得到最优深度卷积神经网络 模型 DCNNciptimaI 〇
【文档编号】G06T3/00GK106023065SQ201610321578
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】王雪松, 孔毅, 程玉虎
【申请人】中国矿业大学