一种单幅图像超分辨重建方法
【专利摘要】本发明公开了一种单幅图像超分辨重建方法，该方法利用相互对应的高、低分辨率图像块作为训练数据集，利用交替方向法从训练数据库中训练高分辨率字典和低分辨率字典，然后将输入的低分辨率图像，划分得到原始图像低分辨图像块的集合；而后利用高分辨率字典和低分辨率字典将原始图像低分辨图像块转换成对应高分辨率图像块，将高分辨率图像块组合成为高分辨率图像，最后将高分辨率图像重建获得超分辨率图像。该方法在交替方向法理论框架下，将高、低分辨率字典训练模型转化为3个具有解析解的子问题迭代求解，在保证收敛性的前提下显著改善了计算效率。利用该方法可以实现单幅图像的快速超分辨重建，对图像处理与显示的诸多应用领域具有重要意义。
【专利说明】
-种单幅图像超分辨重建方法
技术领域
[0001] 本发明设及图像处理领域，特别是设及一种单幅图像超分辨重建方法。
【背景技术】
[0002] 视觉信息是人类从客观世界获得信息的主要来源，也是人类认知世界的重要功能 手段，它占人类依靠五官由外界获得的信息总量的大约80%。因此，长期W来图像处理都受 到研究人员的广泛关注。随着信息技术的飞速发展，在遥感成像、医学图像、视频监控等领 域，图像超分辨技术占据了越来越重要的地位。在图像超分辨技术的研究中，单幅图像超分 辨重建方法在实际应用中体现出了特有的优势。
[0003] 单幅图像的超分辨方法主要分为插值方法、基于图像先验的重建方法和基于学习 的方法。基于插值的方法，如最邻近插值法和立方插值法，进行超分辨率重建时会造成图像 表面比较模糊，高频信息会丢失严重，尤其是边缘银齿化现象明显，严重影响图像质量。基 于重建的方法，由于人为强加的图像先验，导致高分辨图像边缘有银齿化现象出现，并且在 高放大因子条件下重建图像的质量严重退化。运些图像超分辨方法虽然存在过平滑、边缘 有银齿化现象等缺陷，但在技术上取得了一定突破，已经趋于成熟并在电子图像、互联网视 频、数字电视等多个领域获得广泛应用。基于学习的图像超分辨方法，是近年来由化eeman 等人首先提出的一种图像分辨方法，其内容是从大量的训练样本集中获取先验知识作为超 分辨率的依据。训练样本都是与输入图像包含同类信息的图像，W输入图像为依据，用学习 过程中获得的知识对输入图像中的信息进行补充，基于学习的方法充分利用了图像本身的 先验知识，在不增加输入图像样本数量的情况下，仍能产生新的高频细节，获得比基于重建 的算法更好的复原结果，并能够较好地运用于人脸和文字等图像的复原。因此基于学习的 超分辨重建方法成为了研究的热点。
[0004] 为了克服传统学习方法计算开销过大的不足，近年来稀疏学习方法成为了主流。 稀疏学习方法通过学习一个过完备字典，并使得图像在该字典上具有稀疏表示，从而显著 减小运算规模。
[0005] 现有的基于稀疏表示的超分辨重建方法，在使用训练数据集学习字典的过程中， 模型求解主要采用梯度下降类算法，求解效率不高，并且计算复杂度较大，影响了整个单幅 图像超分辨重建方法的实际应用。
【发明内容】
[0006] 本发明的目的是针对上述现有技术的不足，而提供一种在保证收敛性的前提下改 善计算效率的单幅图像超分辨重建方法。
[0007] 为解决上述技术问题，本发明所采取的技术方案是：
[000引一种单幅图像超分辨重建方法，包括W下步骤：
[0009] SI:收集网络数据中高清图像，构建训练数据库，并形成高分辨率图像块化和低分 辨率图像块Yi;
[0010] S2:利用交替方向法，从该训练数据库中训练高分辨率字典Dh和低分辨率字典化；
[0011] S3:将输入的低分辨率图像，划分得到原始图像低分辨图像块&的集合；
[0012] S4:利用该高分辨率字典Dh和该低分辨率字典化将该原始图像低分辨图像块Xi转 换成对应高分辨率图像块抽；
[001引S5:将该高分辨率图像块抽组合成为高分辨率图像；
[0014] S6:将高分辨率图像重建获得超分辨率图像。
[0015] 在本发明一种单幅图像超分辨重建方法的另一个实施例中，所述步骤S2,包括如 下步骤：
[0016] S21:建立训练模型：
[0017]
[0018] 其中，化是高分辨率图像块，Yi是低分辨率图像块，N是所述高分辨率图像块表达为 一维向量的长度，M是所述低分辨率图像块表达为一维向量的长度，Dh为待求的高分辨率字 典，Di为待求的低分辨率字典，a为稀疏表示的系数；
[0019] S22:利用交替方法，将该模型分裂成3个子问题a-子问题求解、Dh-子问题求解、Di- 子问题求解，求解直到收敛。
[0020] 在一种单幅图像超分辨重建方法的另一个实施例中，所述利用交替方法对所述训 练模型分裂成3个子问题求解方法包括：
[0021] S22a:a-子问题求解：
[0022] 固定Dh和化，a-子问题的求解为：
[0023]
[0024] 其中，符号[]+表示矩阵的Moore-化nrose广义逆，I表示单位矩阵；
[0025] S22b:Dh-子问题求解：
[0026] 固定a和化，Dh-子问题的求解为：
[0027]
[002引 S22c:Di-子问题求解：
[0029] 固定a和Dh, Di-子问题的求解为：
[0030]
[0031] 在一种单幅图像超分辨重建方法的另一个实施例中，在步骤S3中，将所述低分辨 率图像从左到右、从上到下W步长S提取pXp大小的图像块，得到所述低分辨率图像的原始 图像低分辨率的图像块Xi的集合。
[0032] 在一种单幅图像超分辨重建方法的另一个实施例中，在步骤S4中，将该原始图像 低分辨率图像块&转换成对应高分辨率图像块抽的方法如下：
[0033] Xh=Dh^iTxO
[0034] 其中，
[0035] Xi一一原始低分辨率的图像块；
[0036] Xh一一高分辨率的图像块；
[0037] 化一一低分辨率字典；
[0038] Dh--高分辨率字典。
[0039] 在一种单幅图像超分辨重建方法的另一个实施例中，在步骤S5中，重建获得超分 辨率图像X*采用W下方法模型：
[0040]
[0041] 其中，H为模糊算子，S为迭代计算中相邻的下一个采样算子，C为正的经验参数，X 为超分辨率图像块。
[0042] 本发明的有益效果是：通过本发明提供了一种单幅图像超分辨交替方向重建方 法，该方法在交替方向法理论框架下，将高、低分辨率字典训练模型转化为3个具有解析解 的子问题迭代求解，在保证收敛性的前提下显著改善了计算效率。利用该方法可W实现单 幅图像的快速超分辨重建，对图像处理与显示的诸多应用领域具有重要意义。
【附图说明】
[0043] 图1是根据本发明单幅图像超分辨重建方法的一实施例的流程图；
[0044] 图2是原始输入的低分辨率图像实施例；
[0045] 图3是图2所示低分辨率图像实施例经过本发明单幅图像超分辨重建方法一实施 例重建后得到的超分辨率图像。
【具体实施方式】
[0046] 为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。 附图中给出了本发明的较佳的实施例。但是，本发明可W W许多不同的形式来实现，并不限 于本说明书所描述的实施例。相反地，提供运些实施例的目的是使对本发明的公开内容的 理解更加透彻全面。
[0047] 需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于 本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只 是为了描述具体的实施例的目的，不是用于限制本发明。
[004引图1是根据本发明一实施方式进行单幅图像超分辨重建方法的流程图。从图1可W 看出，该流程始于开始，然后继续执行W下步骤，
[0049] 步骤SI:收集网络数据中高清图像，构建训练数据库，并形成高分辨率图像块化和 低分辨率图像块Yu
[0050] 步骤S2:利用交替方向法，从该训练数据库中训练高分辨率字典Dh和低分辨率字 典Du
[0051] 步骤S3:将输入的低分辨率图像，划分得到原始图像低分辨图像块&的集合。
[0052] 步骤S4:利用该高分辨率字典Dh和该低分辨率字典化将该原始图像低分辨图像块 Xi转换成对应高分辨率图像块抽。
[0053] 步骤S5:将该高分辨率图像块Xh组合成为高分辨率图像。
[0054] 步骤S6:将高分辨率图像重建获得超分辨率图像。
[0055] 优选的，对于步骤S2，训练高分辨率字典Dh和低分辨率字典化，首先先建立训练模 型：
[0化6]
[0057]其中，化是高分辨率图像块，Yi是低分辨率图像块，N是所述高分辨率图像块表达为 一维向量的长度，M是所述低分辨率图像块表达为一维向量的长度，Dh为待求的高分辨率字 典，Di为待求的低分辨率字典，a为稀疏表示的系数。
[005引然后利用交替方法，将该模型分裂成3个子问题a-子问题求解、Dh-子问题求解、Di- 子问题求解，求解直到收敛，优选的求解公式如下：
[0化9] a-子问题求解：
[0060] 固定Dh和化，a-子问题的求解为：
[0061]
[00创其中，符引......]+表示矩阵的Moore-F*en;rose广义逆，I表示单位矩阵。
[0063] Dh-子问题求解：
[0064] 固定a和化，Dh-子问题的求解为：
[00化；
[0066] Di-子问题求解：
[0067] 固定a和Dh, Di-子问题的求解为：
[006引
[0069] 通过上述公式迭代收敛求得高分辨率字典Dh和低分辨率字典化，W及稀疏表示的 系数a。
[0070] 优选的，在步骤S3中，输入128X128的低分辨率图像，将该低分辨率图像从左到 右，从上到下W步长S = I提取一维向量长度=7的7X7大小的图像块，得到原始图像低分辨 率的图像块Xi的集合。
[0071] 优选的，在步骤S4中，将该原始图像低分辨率图像块Xi转换成对应高分辨率图像 块抽的公式如下：
[0072] Xh=Dh^iTxO
[0073] 其中，
[0074] Xi--原始低分辨率的图像块；
[0075] Xh一一高分辨率的图像块；
[0076] Di--低分辨率字典；
[0077] Dh--高分辨率字典。
[0078] 优选的，在步骤55中，重建获得超分辨率图像)(^采用^下模型：
[0079]
[0080] 其中H采用了大小为5X5的，方差为1的高斯矩阵的模糊算子，S为迭代计算中相邻 的下一个采样算子，C为正的经验参数，X为超分辨率图像块。
[0081] 通过W上方法最终获得分辨率为252X252的超分辨率的图像如图3所示。
[0082] 本发明的有益效果是：通过本发明提供了一种单幅图像超分辨交替方向重建方 法，该方法在交替方向法理论框架下，将高、低分辨率字典训练模型转化为3个具有解析解 的子问题迭代求解，在保证收敛性的前提下显著改善了计算效率。利用该方法可W实现单 幅图像的快速超分辨重建，对图像处理与显示的诸多应用领域具有重要意义。
[0083] W上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均 包括在本发明的专利保护范围内。
【主权项】
1. 一种单幅图像超分辨重建方法，其特征在于，包括如下步骤： S1:收集网络数据中高清图像，构建训练数据库，并形成高分辨率图像块Yh和低分辨率 图像块Υι; S2:利用交替方向法，从所述训练数据库中训练高分辨率字典Dh和低分辨率字典Di; S3:将输入的低分辨率图像，划分得到原始图像低分辨图像块心的集合； S4:利用所述高分辨率字典Dh和所述低分辨率字典DU#所述原始图像低分辨图像块Xi 转换成对应高分辨率图像块Xh; S5:将所述高分辨率图像块Xh组合成为高分辨率图像； S6:将所述高分辨率图像重建获得超分辨率图像。2. 根据权利要求1所述的单幅图像超分辨重建方法，其特征在于，所述步骤S2,包括如 下步骤： S21:建立训练模型：其中，Yh是高分辨率图像块，^是低分辨率图像块，N是所述高分辨率图像块表达为一维 向量的长度，Μ是所述低分辨率图像块表达为一维向量的长度，Dh为待求的高分辨率字典，Di 为待求的低分辨率字典，α为稀疏表示的系数； S22:利用交替方法，将所述训练模型分裂成3个子问题求解:α-子问题求解、Dh-子问题 求解、Di-子问题求解，求解直到收敛。3. 根据权利要求2所述的单幅图像超分辨重建方法，其特征在于，所述利用交替方法对 所述训练模型分裂成3个子问题求解方法包括： S22a:a-子问题求解： 固定Dh和Di，a-子问题的求解为：其中，符号[]+表示矩阵的Moore-Penrose广义逆，I表示单位矩阵； S22b:Dh_子问题求解： 固定a和Di，Dh_子问题的求解为：S22c:Di_子问题求解： 固定a和Dh，Di-子问题的求解为：4. 根据权利要求3所述的单幅图像超分辨重建方法，其特征在于，在步骤S3中，将所述 低分辨率图像从左到右、从上到下以步长s提取pXp大小的图像块，得到所述低分辨率图像 的原始图像低分辨率的图像块Χι的集合。5. 根据权利要求4所述的单幅图像超分辨重建方法，其特征在于，在步骤S4中，将所述 原始图像低分辨率图像块Χι转换成对应高分辨率图像块Xh的方法如下： Xh = Dh(DiTXi) 其中， Χι一一原始低分辨率的图像块； Xh--高分辨率的图像块； Di--低分辨率字典； Dh一一高分辨率字典。6. 根据权利要求5所述的单幅图像超分辨重建方法，其特征在于，在步骤S5中，重建获 得超分辨率图像f采用以下方法：其中，Η为模糊算子，S为迭代计算中相邻的下一个采样算子，c为正的经验参数，X为超 分辨率图像块。
【文档编号】G06T3/40GK105957013SQ201610394659
【公开日】2016年9月21日
【申请日】2016年6月6日
【发明人】张凌晓, 贾艳丽, 赵淑君, 杜迎丽
【申请人】南阳理工学院