基于稀疏表示的图像超分辨率重建方法及系统的利记博彩app
【专利摘要】本发明公开了一种本发明基于稀疏表示的图像超分辨率重建方法及系统，其中方法包括步骤：利用图像训练库得到完备的高低分辨率字典对；将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，利用低分辨率字典获得低分辨率图像块的稀疏表示；将获得的低分辨率图像块的稀疏表示系数近似地等于待求的高分辨率图像块在高分辨率字典中的稀疏表示系数，并利用其估计出相应的高分辨率图像的初始估计值；利用后向投影滤波器来减小高分辨率图像的重建误差。
【专利说明】
基于稀疏表示的图像超分辨率重建方法及系统
技术领域
[0001] 本发明涉及图像处理，尤其涉及一种基于稀疏表示的图像超分辨率重建方法及系 统。
【背景技术】
[0002] 在图像超分辨率重建算法中，首先要建立高分辨率图像之间的关系。一般来说，在 单帧图像超分辨图像重建算法中，几何扭曲可以忽略不计，因此可以将图像获取过程中的 退化现象模拟为原始高分辨率图像经过光学模糊、下采样和噪声干扰等一系列过程，现有 的单帧图像超分辨率算法主要包括基于学习的图像超分辨率算法和基于插值重建的图像 超分辨率算法。
[0003] 基于学习的超分辨率重建技术首先利用高分辨图像训练库和图像退化模型获得 一个高低分辨率的图像训练集，然后通过一定的学习算法获得高低分辨率图像之间的映射 关系，最后利用优化算法对待重建的低分辨率图像进行优化，估计出相应的高分辨率图像。
[0004] 经典的插值方法包括最近邻插值、双线性插值和双三次插值方法。三种插值方法 中，最近邻域和双线性插值计算复杂度相对较低，在多数场合能满足实时运算的需求，因此 它们被广泛应用。但是，不如人意的是，这两种方法对分辨率的提高贡献很小，尤其是无法 得到足够的高频信息，而使得恢复出来的图像仍然存在较大的失真。这三种方法中，双立方 插值最适合增强高频部分的细节信息，它的不足就是其计算复杂度比较大。
[0005] 尽管双立方插值的能提供更多的细节信息，不过，它仍然存在与前两种方法相同 的问题，尤其是需要高分辨率的场合，它无法给出足够多的细节信息。插值方法或者出现锯 齿效应或者出现边缘模糊现象。最近邻插值边缘阶梯锯齿图像失真非常明显，双线性插值 边缘阶梯锯齿图像失真较为明显，有一定的边缘模糊，双立方插值边缘阶梯失真较弱，边缘 模糊非常明显。
[0006] 传统的插值重建方法计算简单容易实现，应用也较为广泛。但是在高放大倍数的 情况下，由于图像原始信息的大量丢失，会使得重建出来的高分辨率图像在边缘处常常过 于平滑，而且缺少足够的细节信息。
[0007] 基于学习的超分辨率算法，在进行高分辨图像重建之前，利用训练库，对图像的先 验信息进行了学习，所以能获得更多的图像细节信息，获得更好的图像重建质量。然而在基 于学习一类的超分辨率算法中，近邻数目选择不当，会使重建出来的高分辨率图像细节和 边缘模糊，从而影响图像的重建质量。
【发明内容】
[0008] 本发明针对上述问题，提供一种基于稀疏表示的图像超分辨率重建方法及系统。
[0009] 本发明解决其技术问题所采用的技术方案是：
[0010] 提供一种基于稀疏表示的图像超分辨率重建方法，包括以下步骤：
[0011] Sl、利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分 辨率字典Dh;
[0012] S2、将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取 该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，得到低分辨率图像块，将 每一个低分辨率图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典Dl获得 y的稀疏表示a'
[0013]
[0014] 像素值， β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响；
[0015] S3、将获得的低分辨率图像块的稀疏表示系数近似地等于待求的高分辨率图像块 在高分辨率字典Dh中的稀疏表示系数，并利用其估计出相应的高分辨率图像块.？ = DAi ;
[0016] S4、利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后的高分辨 率图像块，后向投影滤波器用数学式表达为
，其中，S表 示采样因子，H表示模糊算子，c为常数，Xo为高分辨率图像的初始估计值;采用梯度下降法
来求解：
[0017]
[0018] 其中，Xt表示t次迭代后对高分辨率图像的估计，V表示梯度下降法中的步长。
[0019] 本发明所述的方法中，步骤Sl具体为:提取图像训练库中的高低分辨率图像块信 息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分 辨率字典对。
[0020] 本发明所述的方法中，所提取的一阶、二阶梯度特征为HOG方向梯度直方图特征。 [0021 ]本发明还提供一种基于稀疏表示的图像超分辨率重建系统包括：
[0022]训练模块，用于利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字 典Dl和高分辨率字典Dh;
[0023]稀疏表示模块，用于将待重建的低分辨图像进行双三次放大，获得超分辨率算法 的初始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，将每一 个图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典Dl获得y的稀疏表示 α*：
[0024]
[0025] I勺像素值， β是一个常数，用来调整已重建出来的像素值对待重建块重建的影响；
[0026]高分辨率图像重建模块，用于将获得的低分辨率字典Dl的稀疏表示系数近似地等 于待求的高分辨率图像块在高分辨率字典Dh中的稀疏表示系数，并利用其估计出相应的高 分辨率图像块7 ;
[0027]误差消除模块，用于利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤 波后的高分辨率图像块，后向投影滤波器用数学式表达为r =argmh|Si/7-XfI， 其中，S表示采样因子，H表示模糊算子，，Xo为高分辨率图像的初始估计值，c为常数，采用梯 度下降法来求解：
[0028] Xim+i = Xt+v [ HtSt (Y-SHXt) +c (Xt-X)]
[0029] 其中，Xt表示t次迭代后对高分辨率图像的估计，v表示梯度下降法中的步长。
[0030] 本发明所述的系统中，训练模块具体用于:提取图像训练库中的高低分辨率图像 块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高 低分辨率字典对。
[0031 ]本发明所述的系统中，所提取的一阶、二阶梯度特征为HOG方向梯度直方图特征。 [0032]本发明产生的有益效果是:本发明在进行超分辨率重建的估计过程中引入了参数 β，用来调整已重建出来的像素值对待重建块重建的影响，参数β的引入也就是引入了不确 定性，可阻止不同变量间估计误差的扩大;将高分辨率图像和算法中的未知参数在一个框 架下建模，对未知变量进行联合估计，计算出解析出超参数Xo的值，提高了对噪声的稳定 性，不需要进行参数调整。
【附图说明】
[0033]下面将结合附图及实施例对本发明作进一步说明，附图中：
[0034] 图1是本发明实施例基于稀疏表示的图像超分辨率重建方法的流程图；
[0035] 图2是本发明实施例基于稀疏表示的图像超分辨率重建算法的字典训练过程图；
[0036] 图3是本发明实施例图像重建简图。
【具体实施方式】
[0037] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不 用于限定本发明。
[0038] 本发明基于稀疏表示的图像超分辨率重建算法包括过完备字典构建和高分辨率 图像重建两个阶段。如图1所示，具体包括以下步骤：
[0039] Sl、利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典Dl和高分 辨率字典Dh;
[0040] S2、将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，提取 该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，得到低分辨率图像块，将 每一个低分辨率图像块对应的特征组合成一个向量，利用低分辨率字典Dl获得y的稀疏表 示；
[0041] S3、将获得的低分辨率图像块的稀疏表示系数近似地等于待求的高分辨率图像块 在高分辨率字典中的稀疏表示系数，并利用其估计出相应的高分辨率图像的初始估计值；
[0042] S4、利用后向投影滤波器来减小高分辨率图像的重建误差。
[0043] 在字典构建和图像重建过程中均涉及到稀疏表示系数的求解，因此，下文将对图 像的稀疏表示理论模型、过完备字典构建和高分辨率图像重建方法进行详细说明。
[0044] (1)图像的稀疏表示理论模型
[0045] 图像的稀疏表示指的是，图像或图像信号可以利用过完备原子库中一系列合适的 原子进行线性组合来近似逼近。由于该线性组合用到的原子数目远远小于原子库中原子的 总数目，因此，这个原子库是过完备的。图像的稀疏表示原理如下：
[0046] 给定图像信号Y和过完备字典D，可以利用D中一系列合适的基线性组合来表示Y。 其中的数学关系可表示为：
[0047]
[0048]其中，α是稀疏表示系数，I I · I |〇表示0范数，由于利用表达式求解I I · I |〇是一个 NP难的问题，实际计算中采用11 · I |:的求解过程转化为凸优化问题：
[0049]
[0050] 其中，λ是正则化参数(即a*与a的线性参数值）。
[00511 (2)过完备字典构建
[0052] 基于稀疏表示的图像超分辨率重建算法的第一步是利用图像训练库来获得过完 备的稀疏表示字典。过完备字典的训练是通过提取图像训练库中的高低分辨率图像块信 息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀疏表示的高低分 辨率字典对。
[0053] 图2给出了基于稀疏表示的图像超分辨率重建算法中字典训练的具体过程。具体 为：
[0054]①将低分辨率图像集中的图像划分为NXN大小的图像块，并提取特征。具体方法 是采用4个一维滤波器：
[0055]
[0056]
[0057] 其中，T表示转置。将低分辨图像与这四个滤波器算子的卷积结果作为低分辨图像 的特征。将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为字典训练算法 的输入，这种方法考虑了低分辨率图像的邻域信息，因此有利于提高重建的高分辨率图像 块间的兼容性。
[0058]②训练低分辨率字典。根据①的结果，利用稀疏K-SVD算法求解，得到低分辨率字 典D1。
[0059]③将低分辨率字典Dl通过插值得到与其上一级的高分辨率图像集的尺寸相同的 插值图像集Dh。
[0060] 基于稀疏表示的图像超分辨率重建算法进行字典训练所用的技术包括训练样本 的提取方法和进行字典训练的K-SVD算法。
[0061] a.训练样本的提取
[0062] 在基于稀疏表示的图像超分辨率重建算法中，对图像的处理是分块进行的，训练 样本由图像训练库中的高分辨图像随机抽取而来，通常训练样本数要远远大于字典中的原 子个数。为了获得一个具有广泛适用性的字典，应尽可能选择较多的自然高分辨率图像作 为图像训练库，且图像训练库中的图像信息种类要尽可能多。在具体的字典训练过程中，低 分辨率图像是由高分辨图像退化而来，常常需要提取低分辨率图像的多种特征，并将其特 征进行分块与对应的高分辨图像块组成一个向量进行字典的训练。由于图像的一阶、二阶 梯度能有效地表达图像的特征，且提取算法简单，因此常用它们来表示图像的特征。图像的 一阶、二阶梯度为方向梯度直方图（Histogram of Oriented Gradient,HOG)特征，HOG特征 是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。图像的一阶、二阶梯 度滤波器算子可以表示为：
[0063] fi=[-l,0,l],f2 = fiT
[0064] f3=[l,0,-2,0,l],f4 = f3T
[0065] 其中，T表示转置。将低分辨图像与这四个滤波器算子的卷积结果作为低分辨图像 的特征。然后将分块得到的四个特征块与其对应的高分辨率图像块联合起来作为字典训练 算法的输入。这种方法考虑了低分辨率图像的邻域信息，因此有利于提高重建的高分辨率 图像块间的兼容性。
[0066] b .K-SVD字典训练法
[0067] K-SVD算法是基于稀疏表示的图像超分辨率重建算法中字典训练过程的核心算 法。K-SVD算法又被称为广义K一均值聚类算法，它与K-均值聚类算法有很大的联系，当K-SVD算法中的每个信号只用一个原子来近似表示时，K-SVD算法就退化为K 一均值聚类算法。 它的主要思想是:求解输入样例在当前字典中的稀疏表示以及字典更新这两个过程的不断 交替，根据稀疏表示结果对字典的每一列进行更新。假设有N个训练样本输出，用061^ 4表 示过完备词典，Y = {yiERn，i = l，2,........，N}表示训练样本集合，A = (CXiERk, i = l， 2,......，N}表示训练样本的稀疏表示系数集合，则K-SVD字典训练算法可以等价为求解式
[0068]
[0069] 其中，T为稀疏表示系数中非零数目的上限值。
[0070] (3)图像重建过程
[0071] 详见图3。基于稀疏表示的图像超分辨率重建算法在经过字典训练之后，通过将己 知的低分辨率图像在训练得到的高低分辨率字典中进行稀疏表示和重建，从而估计出期望 的高分辨率图像。基于稀疏表示的图像超分辨率重建算法的高分辨率图像重建过程。
[0072] 首先将待重建的低分辨图像进行双三次放大，获得超分辨率算法的初始图像，接 着提取该初始图像的一阶、二阶梯度特征，对特征进行重叠分块，将每一个图像块对应的特 征组合成一个向量，设为y，然后利用在低分辨率字典Dl中获得y得稀疏表示系α*。
[0076] P为重叠区域，w为重叠区域中已重建出来的像素值，β是一个常数，用来调整已重 建出来的像素值对待重建块重建的影响。β的值可根据利用图片自身的特征来确定
[0073]
[0074]
[0075]
。|1|表示2范数的平方，I I · I I1表示1范数。λ为a*与a的线性参数值。 L0077」然后根据高低分辨率图像块在局部具有相似的几何流形这一特性，可认为高低分 辨率图像块对在训练集中的稀疏表示系数是一致的，因此将获得的低分辨图像块的稀疏表 示系数近似地等于待求的高分辨率图像块在高分辨率字典中的稀疏表示系数，并利用其估 计出相应的高分辨率图像块1。：
[0078]
[0079]利用上述方法，可以获得高分辨率图像的初始估计值Xo。但是，得到的高分辨率图 像并不能精确地代表实际的高分辨率图像，且不能很好地体现高分辨率图像退化成低分辨 率图像的过程，同时低分辨率图像中可能存在干扰(如噪声等）。因此在算法的最后，基于稀 疏表示的图像超分辨率重建算法运用后向投影滤波器来减小高分辨率图像的重建误差。后 向投影滤波器用数学式表达为
[0080]
[0081] 其中，S表示采样因子，H表示模糊算子，c为常数。在实际计算中，常采用梯度下降 法来求解：
[0082] Xim+i = Xt+v [ HtSt (Y-SHXt) +c (Xt-Xo)]
[0083] 其中，Xt表示t次迭代后对高分辨率图像的估计，T表示转置，v表示梯度下降法中 的步长，lm+1表示低分辨率字典Dl中的第m+1个参数，Y表示高分辨率字典Dh中对应的参数。
[0084] 基于稀疏表示的图像超分辨率重建方法可以获得更好的图像重建结果，但缺点是 相对于双二次插值来说，该算法的运行时间比较长，同时与双二次插值和邻域嵌入的方法 相比，该算法在边缘处图像重建得不够平滑。但是基于稀疏表示的图像超分辨率重建算法 能更好的保留原始高分辨率图像的信息。
[0085] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换， 而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
【主权项】
1. 一种基于稀疏表示的图像超分辨率重建方法，其特征在于，包括W下步骤： 51、 利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典D1和高分辨率 字典化； 52、 将待重建的低分辨图像进行双Ξ次放大，获得超分辨率算法的初始图像，提取该初 始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，得到低分辨率图像块，将每一 个低分辨率图像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典D1获得y的 稀疏表不曰其中，，P为重叠区域，W为重叠区域中已重建出来的像素值，β是一 个常数，用来调整已重建出来的像素值对待重建块重建的影响，λ为a^与a的线性参数值； 53、 将获得的低分辨率图像特征块的稀疏表示系数近似地等于待求的高分辨率图像块 在高分辨率字典化中的稀疏表示系数，并利用其估计出相应的高分辨率图像块了 = D/W'; 54、 利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后的高分辨率图 像块，后向投影滤波器用数学式表达夫，其中，S表示采 样因子，Η表示模糊算子，C为常数，Χο为高分辨率图像的初始估计值;采用梯度下降法来求 解： Xim+i = Xt+V [阿(Y-SHXt)+C (Xt-X)] 其中，Τ表示转置，Xt表示t次迭代后对高分辨率图像的估计，V表示梯度下降法中的步 长，lm+1表示低分辨率字典D1中的第m+1个参数，m为整数。2. 根据权利要求1所述的方法，其特征在于，步骤S1具体为:提取图像训练库中的高低 分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得到稀 疏表示的高低分辨率字典对。3. 根据权利要求1所述的方法，其特征在于，所提取的一阶、二阶梯度特征为册G方向梯 度直方图特征。4. 一种基于稀疏表示的图像超分辨率重建系统，其特征在于，包括： 训练模块，用于利用图像训练库得到完备的高低分辨率字典对，包括低分辨率字典D1 和高分辨率字典化； 稀疏表示模块，用于将待重建的低分辨图像进行双Ξ次放大，获得超分辨率算法的初 始图像，提取该初始图像的一阶、二阶梯度特征，对提取的特征进行重叠分块，将每一个图 像块对应的特征组合成一个向量，设为y，然后利用低分辨率字典D1获得y的稀疏表示(/:其中，平为重叠区域，W为重叠区域中已重建出来的像素值，β是一 个常数，用来调整已重建出来的像素值对待重建块重建的影响； 高分辨率图像重建模块，用于将获得的低分辨率字典D1的稀疏表示系数近似地等于待 求的高分辨率图像块在高分辨率字典化中的稀疏表示系数，并利用其估计出相应的高分辨 率图像块矿二D/W''; 误差消除模块，用于利用后向投影滤波器来减小高分辨率图像的重建误差，得到滤波后 的高分辨率图像块，后向投影滤波器用数学式表达为其中，S表示采样因子，Η表示模糊算子，，Xo为高分辨率图像的初始估计值，C为常数，采用梯 度下降法来求解： Xim+i = Xt+V [阿(Y-SHXt)+C (Xt-X)] 其中，Xt表示t次迭代后对高分辨率图像的估计，V表示梯度下降法中的步长。5. 根据权利要求4所述的系统，其特征在于，训练模块具体用于：提取图像训练库中的 高低分辨率图像块信息，并利用K-奇异值分解算法对获得的高低分辨率图像块进行训练得 到稀疏表示的高低分辨率字典对。6. 根据权利要求4所述的系统，其特征在于，所提取的一阶、二阶梯度特征为册G方向梯 度直方图特征。
【文档编号】G06T3/40GK105844590SQ201610167515
【公开日】2016年8月10日
【申请日】2016年3月23日
【发明人】熊盛武, 郑文博, 曹旺, 许开弦, 瞿毅力, 韩恩浩
【申请人】武汉理工大学