专利名称：基于神经网络的声纳图像的超分辨率重建方法
技术领域：
本发明属于图像信号处理技术领域，具体地说涉及一种基于神经网络的声纳图像 的超分辨率重建方法。
背景技术：
21世纪是人类探索与开发海洋的世纪，海洋勘测和海军国防建设的技术需求在不 断地提高，使得水下声纳技术越来越受到重视。然而，由于海洋中声音种类多种多样，导致 声纳仪器设备得到的声纳图像通常分辨率较低，目标边缘恶化，不易识别。有效提高声纳图 像的分辨率，增强边缘细节将有利于海底勘测和后续的水下目标定位识别等处理。图像空间分辨率是对图像细节分辨能力的一种度量，也是评价目标细微程度的关 键性指标，所以图像的超分辨率重建一直是人们研究的热点课题。利用多幅具有互补信息 的低分辨率声纳图像来重构一幅高分辨率声纳图像的超分辨重建，为有效提高声纳图像的 分辨率提供了解决途径。目前，超分辨率重建技术主要分为频域法和空域法。频域法最早 是由Tsai和Huang在1984年提出的，该方法缺乏灵活性，不能推广到一般的非平移运动模 型。相比于频域法，空域法能够方便的融合各种先验信息，降质模型涉及范围广，具有更大 的灵活性。其方法主要有非均勻插值法，迭代反投影(IBP)算法，凸集投影(POCS)算法，最 大后验概率估计算法(MAP)和最大似然估计方法(ML)，混合ML/MAP/P0SC，自适应滤波法， 超分辨率盲重建法等。近年来，人们又提出基于学习的超分辨率方法(间接地最大后验概率 估计和直接的最大后验概率估计)、图像类推方法和神经网络方法等。然而，对于分辨率低、 边缘纹理模糊声纳图像，当前的各种超分辨方法大都存在边缘模糊、有用信息量少、纹理细 节弱、信噪比低等问题。
发明内容
本发明的目的是要提供一种边缘纹理清晰、有用信息量较丰富、信噪比高的基于 神经网络的声纳图像的超分辨率重建方法。本发明实现上述目的的技术方案是，一种基于神经网络的声纳图像的超分辨率重 建方法，其创新点在于对待超分辨率重建的声纳图像r进行超分辨率重建，包括以下步 骤
(1)对一幅高分辨率声纳图像进行降质样本构建，先生成该高分辨率声纳图像的4幅 副本图像，再分别对该4幅副本图像进行移位和降采样，从而生成4幅降质样本图像；
(2 )对步骤(1)中的高分辨率声纳图像进行非下采样轮廓波分解，得到高分辨率声纳图 像的K个带通方向子带系数和1个低通子带系数；再对4幅降质样本图像依次进行非下采 样轮廓波分解，每一幅降质样本图像均得到K个带通方向子带系数和1个低通子带系数，K 为正整数；
(3)创建三层的误差反向传播神经网络结构，输入层神经元为16个，隐含层神经元为 个，输出层神经元为16个；
(4)对步骤(2)中的高分辨率声纳图像的K个带通方向子带系数进行分块，得到高分辨 率声纳图像的图像子块·，该高分辨率声纳图像的图像子块〗‘的大小为4*4， 其中d代表第d个带通方向子带系数，η代表第η块图像子块，η为正整数；接着对第m幅 降质样本图像的K个带通方向子带系数进行分块，得到第m幅降质样本图像的图像子块G (l<m<4^<d<IC)，该第m幅降质样本图像的图像子块G的大小为4*4，其中m代表第m 幅降质样本图像，d代表第d个带通方向子带系数，η代表第η块图像子块，η为正整数；
(5)将步骤(4)中的高分辨率声纳图像的图像子块(\<d<K)进行标准化，即将高
分辨率声纳图像的图像子块的大小由4*4转变成16*1，接着对高分辨率声纳图像的图 像子块进行归一化，即使高分辨率声纳图像的图像子块的系数值分布在[-1，1]之 间；再将高分辨率声纳图像的图像子块按照1到η的顺序从右到左竖向排列成矩阵Gli (1 Sd ,其中d代表第d个带通方向子带系数；
(6 )将步骤(4 )中的第m幅降质样本图像的图像子块^ (1< <4,1<^</Γ)进行标准 化，即将第m幅降质样本图像的图像子块G的大小由4*4转变成16*1，接着对第m幅降质 样本图像的图像子块G进行归一化，即使第m幅降质样本图像的图像子块G的系数值分 布在[-1，1]之间；再将第m幅降质样本图像的图像子块G按照1到η的顺序从右到左竖
向排列成矩阵Qm (1< < 4,1《dS幻，其中m代表第m幅降质样本图像，d代表第d个带通 方向子带系数；
(7)将矩阵C11 (m = W = 1)、矩阵 C12 (m = U = D、矩阵 Cf (m 3,d = 1)和矩阵 C14
(> =43= D逐个作为误差反向传播神经网络的训练输入样本矩阵，矩阵G1 = D作 为误差反向传播神经网络的训练目标样本矩阵，进行4*n次神经网络训练；接着将其它 的矩阵C (1< <4,2<^<Γ)逐个作为误差反向传播神经网络的训练输入样本矩阵，
相对应的矩阵(2<^<Ζ)作为误差反向传播神经网络的训练目标样本矩阵，再进
行(Κ-1)*4*η次神经网络训练，从而得到训练好的神经网络，其中隐含层的传递函数为 tansig函数，输出层的传递函数为Iogsig函数，网络训练函数为trainlm函数，即采用 Levenberg-Marquardt最优化算法进行神经网络训练；
(8)将待超分辨率重建的声纳图像r进行立方插值，该待超分辨率重建的声纳图像r 的大小为X*Y，插值后图像的大小变为2ΧΜΥ，然后再对插值后图像进行非下采样轮廓波分 解，得到1个低通子带系数和K个带通方向子带系数，再对插值后图像的K个带通方向子
带系数进行分块，得到插值后图像的图像子块i\<d<K )，图像子块/φ的大小为4*4，
其中d代表第d个带通方向子带系数，ρ代表第ρ块图像子块，接着对插值后图像的图像子块/φ进行标准化，即将插值后图像的图像子块&的大小由4*4转变成16*1，接着再对 插值后图像的图像子块/φ进行归一化，即使插值后图像的图像子块/φ的系数值分布在 [_1，1]之间；再将插值后图像的图像子块/φ以= 按照1到η的顺序从右到左竖向排列成 矩阵4 (d=l)，再将插值后图像的其它图像子块/ >(2 Sdi幻也按照1到ρ的顺序从右到 左竖向排列，得到矩阵集合{;m，. jft}；
(9)依次将矩阵集合{H...H)中的矩阵输入步骤(7)中训练好的误差反向传播 神经网络，依次输出高分辨率的带通方向子带系数的块矩阵A(KdSf);
(10)对步骤(9)中的高分辨率的带通方向子带系数的块矩阵A(IS^f)进行逆归 一化，即使高分辨率的带通方向子带系数的块矩阵AC^d Sf)的系数值还原到原先的取 值范围，接着对高分辨率的带通方向子带系数的块矩阵^(Kd <K)进行逆标准化，即将 高分辨率的带通方向子带系数的块矩阵ACKd《)的大小由16*1转变成原先的4*4，再 将高分辨率的带通方向子带系数的块矩阵^(ISd Sf)按照1到P的顺序合并成大小为 2Χ*2Υ的高分辨率的K个带通方向子带系数^(ISrf Sf)；
(11)将步骤(8)中的插值后图像作为高分辨率的低通子带系数A,再将高分辨率的低 通子带系数馬与步骤(10)中的高分辨率的各带通方向子带系数A(Iidif) —起进行非
下采样轮廓波逆变换，得到超分辨率重建的声纳图像R，从而完成对待超分辨率重建的声纳 图像r的超分辨率重建。
步骤(1)中，将该幅高分辨率声纳图像，记为L，用S表示分辨率， 样本构建的具体步骤如下
1)将该幅高分辨率声纳图像L分别在水平方向上平移χ个像素，在垂直反向上平移y 个像素，其中(X力€{0,1}，得到4幅位移图像Zf (XfZUf义1)；
2)分别对4幅位移图像先进行2倍降采样，再进行双线性插值，得到4幅降质样本 图像乌(迓，迓，迓，边)。步骤(2)中，对高分辨率声纳图像进行J级非下采样轮廓波分解，得到低通子带系 数q和各尺度上的带通方向子带系数Ch (1 < j < JjI < Φ),其中表示尺度，t 表示子带方向，表示尺度J上分解的方向数。步骤(3)中，隐含层神经元个数％，根据如下公式确定
权利要求
1. 一种基于神经网络的声纳图像的超分辨率重建方法，其特征在于对待超分辨率重 建的声纳图像r进行超分辨率重建，包括以下步骤(1)对一幅高分辨率声纳图像进行降质样本构建，先生成该高分辨率声纳图像的4幅 副本图像，再分别对该4幅副本图像进行移位和降采样，从而生成4幅降质样本图像；(2 )对步骤(1)中的高分辨率声纳图像进行非下采样轮廓波分解，得到高分辨率声纳图 像的K个带通方向子带系数和1个低通子带系数；再对4幅降质样本图像依次进行非下采 样轮廓波分解，每一幅降质样本图像均得到K个带通方向子带系数和1个低通子带系数，K 为正整数；(3)创建三层的误差反向传播神经网络结构，输入层神经元为16个，隐含层神经元为 个，输出层神经元为16个；(4)对步骤(2)中的高分辨率声纳图像的K个带通方向子带系数进行分块，得到高分辨 率声纳图像的图像子(^<d<K)，该高分辨率声纳图像的图像子块的大小为4*4， 其中d代表第d个带通方向子带系数，η代表第η块图像子块，η为正整数；接着对第m幅 降质样本图像的K个带通方向子带系数进行分块，得到第m幅降质样本图像的图像子块G，该第m幅降质样本图像的图像子块G的大小为4*4，其中m代表第m 幅降质样本图像，d代表第d个带通方向子带系数，η代表第η块图像子块，η为正整数；(5)将步骤(4)中的高分辨率声纳图像的图像子块^a(1 Sd Γ)进行标准化，即将高分辨率声纳图像的图像子块的大小由4*4转变成16*1，接着对高分辨率声纳图像的图 像子块进行归一化，即使高分辨率声纳图像的图像子块的系数值分布在[-1，1]之 间；再将高分辨率声纳图像的图像子块^^按照1到η的顺序从右到左竖向排列成矩阵( (1 S rf ￡ ^),其中d代表第d个带通方向子带系数；(6 )将步骤(4 )中的第m幅降质样本图像的图像子块G (1 战 4，li 幻进行标准 化，即将第m幅降质样本图像的图像子块G的大小由4*4转变成16*1，接着对第m幅降质 样本图像的图像子块G进行归一化，即使第m幅降质样本图像的图像子块G的系数值分 布在[-1，1]之间；再将第m幅降质样本图像的图像子块G按照1到η的顺序从右到左竖 向排列成矩阵C(\<m<A,\<d<K-) ,Hjpm代表第m幅降质样本图像，d代表第d个带通 方向子带系数；(7)将矩阵 Ci11 O = W = I)、矩阵 C12 如=2乂 =幻、矩阵 CJ13和矩阵 C14一 =4乂 =幻逐个作为误差反向传播神经网络的训练输入样本矩阵，矩阵G1 ￠^ = 1)作 为误差反向传播神经网络的训练目标样本矩阵，进行4*n次神经网络训练；接着将其它 的矩阵C^ (1< <4,2<^<Ζ)逐个作为误差反向传播神经网络的训练输入样本矩阵，相对应的矩阵& (2 SdS JQ作为误差反向传播神经网络的训练目标样本矩阵，再进行(K-l)*4*n次神经网络训练，从而得到训练好的神经网络，其中隐含层的传递函数为 tansig函数，输出层的传递函数为Iogsig函数，网络训练函数为trainlm函数，即采用 Levenberg-Marquardt最优化算法进行神经网络训练；(8)将待超分辨率重建的声纳图像r进行立方插值，该待超分辨率重建的声纳图像r 的大小为X*Y，插值后图像的大小变为2ΧΜΥ，然后再对插值后图像进行非下采样轮廓波分 解，得到1个低通子带系数和K个带通方向子带系数，再对插值后图像的K个带通方向子带系数进行分块，得到插值后图像的图像子块/φ (IS^iT )，图像子块/Φ的大小为4*4，其中d代表第d个带通方向子带系数，ρ代表第ρ块图像子块，接着对插值后图像的图像子块/φ进行标准化，即将插值后图像的图像子块/φ的大小由4*4转变成16*1，接着再对插值后图像的图像子块/φ进行归一化，即使插值后图像的图像子块/φ的系数值分布在[_1，1]之间；再将插值后图像的图像子块厶“=》按照1到η的顺序从右到左竖向排列成矩阵\ (d=l)，再将插值后图像的其它图像子块/φ(2 SrfSiO也按照1到ρ的顺序从右到左竖向排列，得到矩阵集合(4，為，...4，. .40 ；(9)依次将矩阵集合{H...4...4)中的矩阵输入步骤(7)中训练好的误差反向传播 神经网络，依次输出高分辨率的带通方向子带系数的块矩阵A(ISdSf);(10)对步骤(9)中的高分辨率的带通方向子带系数的块矩阵馬0^3进行逆归 一化，即使高分辨率的带通方向子带系数的块矩Sf)的系数值还原到原先的取 值范围，接着对高分辨率的带通方向子带系数的块矩阵进行逆标准化，即将 高分辨率的带通方向子带系数的块矩阵ACIirf <K)的大小由16*1转变成原先的4*4，再 将高分辨率的带通方向子带系数的块矩阵A(ISdSf)按照1到P的顺序合并成大小为 2Χ*2Υ的高分辨率的K个带通方向子带系数A (ISci S Γ);(11)将步骤(8)中的插值后图像作为高分辨率的低通子带系数Rn,再将高分辨率的低 通子带系数礼与步骤(10)中的高分辨率的各带通方向子带系数A(IsKZ) —起进行非下采样轮廓波逆变换，得到超分辨率重建的声纳图像R，从而完成对待超分辨率重建的声纳 图像r的超分辨率重建。
2.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在 于步骤(1)中，将该幅高分辨率声纳图像，记为L，用S表示分辨率，样本构建的具体步骤如 下1)将该幅高分辨率声纳图像L分别在水平方向上平移χ个像素，在垂直方向上平移y 个像素，其中(U) € {0,1}，得到4幅位移图像Zf (々义1名U1/)；2)分别对4幅位移图像先进行2倍降采样，再进行双线性插值，得到4幅降质样本 图像迈(您，迓,迓，鸟)。
3.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在 于步骤(2)中，对高分辨率声纳图像进行J级非下采样轮廓波分解，得到低通子带系数Q和各尺度上的带通方向子带系数C^i (1 < J < JjI < Φ、)，其中表亍尺度，i表示子带方向，表示尺度J上分解的方向数。
4.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在 于步骤(3)中，隐含层神经元个数％，根据如下公式确定
5.根据权利要求1所述的基于神经网络的声纳图像的超分辨率重建方法，其特征在 于tansig 函数如下所示tansig(n) = 2/(l+exp(_2*n))_l ，Iogsig 函数如下所示logsig (n) = 1 / (1 + exp(-n))。
全文摘要
一种基于神经网络的声纳图像的超分辨率重建方法，对待超分辨率重建的声纳图像r进行超分辨率重建，包括以下步骤对一幅高分辨率声纳图像和4幅降质样本图像，先进行非下采样轮廓波分解，再进行神经网络训练；对待超分辨率重建的声纳图像r，先进行立方插值，将插值后图像作为高分辨率的低通子带系数；对声纳图像r再进行非下采样轮廓波分解，然后将待超分辨率重建的声纳图像r的各带通方向子带系数输入训练好的神经网络得到高分辨率的各带通方向子带系数，最后进行非下采样轮廓波逆变换，得到超分辨率重建的声纳图像R。本发明超分辨率重建的声纳图像具有更好的边缘、细节保持效果，目视效果更好，有利于海底勘测和后续水下目标定位识别等处理。
文档编号G06T5/50GK102142136SQ20111005254
公开日2011年8月3日 申请日期2011年3月5日 优先权日2011年3月5日
发明者李庆武, 程倩倩, 范新南, 霍冠英 申请人:河海大学常州校区