专利名称：一种自适应在线字典学习的图像超分辨率方法
技术领域：
本发明涉及信号处理和多媒体数据处理领域的图像超分辨率技术，尤其是涉及一种自适应在线字典学习的图像超分辨率方法。
背景技术：
图像超分辨率(super resolution, SR)是指单幅或多幅低分辨率图像恢复成高分辨率(high resolution, HR)图像的过程。随着图像在各行各业日益广泛的应用，人们对图像分辨率的要求也越来越高，因为HR图像意味着图像具有高像素密度，可以为人们提供更多的细节，而且这些细节往往在图像实际应用中起到关键作用。目前图像超分辨率技术在医学成像、遥感侦测、公共安全等领域都已经取得了广泛的应用，甚至在某些图像应用领域，图像的分辨率已经成为衡量图像质量的一个重要指标。因此深入研究图像超分辨率技术，具有十分重要的实际意义。获得高分辨率图像最直接的方法就是使用高分辨率图像传感器，但高分辨率图像传感器的制作往往受到工艺水平以及成本的限制，因此在不改变传感器的前提下，使用软件的方法去改善图像的分辨率成为当前计算机视觉领域的热门研究方向。图像超分辨率技术可以分为三个主要范畴基于插值、基于重建和基于学习的方法，其中基于模型重建和基于学习的方法是近年来主要的研究方向。基于重建的方法主要是构建一个低分辨率图像到高分辨率图像的映射模型，重构效率较高，但是很难找到一个统一的映射模型，而且在进行高放大因子的图像超分辨率重构时重构图像质量会急剧下降。而基于学习的方法因具有重构准确、鲁棒性高等优点，是目前最流行的图像超分辨率技术。基于学习的超分辨率算法思想最早是由Freeman等人于2002年提出，他们利用马尔可夫网络来学习高频和低频信息之间的关系，相比于之前基于插值和基于重建的方法，这种利用样本学习的方法可以获得更多的高频信息，解决了由于先验信息提供能力不足而导致高放大因子下重建图像失真严重的问题。不过这种方法的缺点也比较明显，就是对训练样本的选择要求比较高，而且对图像中的噪声极为敏感。随后Chang等人提出了基于邻域嵌入的图像超分辨率方法，此种方法的基本思想是假设对应的高低分辨率图像块可以在它们的特征空间形成具有相同局部几何结构的流形。该算法相对需要更少的样本，且具有较好的抗噪性能。但是算法存在的问题是高低分辨率图像块在邻域嵌入时较难建立邻域保持关系，为了改进这一问题，出现了基于直方图匹配的训练样本选择算法和基于局部残差嵌入等方法。Karl等人提出使用支持向量回归(SVR)实现图像超分辨率，SVR通过对样本的自动选择，使用了更小的训练集，但是使得图像的对比度相对下降。2010年，Yang等人在压缩感知(CS)框架下，采用稀疏表示理论提出了一种基于学习的图像超分辨率重构方法，他们从一组高分辨率图像及其对应的低分辨率训练图像学习一组稀疏表示基，这组基集合构成一个过完备字典，通过线性规划使得训练集中每一个图像块都可由该过完备字典稀疏表示，随后在超分辨率图像重建过程中，首先得到原始低分辨率图像在过完备字典下的稀疏表示系数，然后用这组稀疏表示系数加权重构出高分辨率图像。该算法开创性的将CS理论用于图像超分辨率技术，克服了邻域嵌入方法中对于邻域大小的选择问题，即在求解稀疏表示的时候，无需指定重构所需要基的个数，其表示系数和基个数同时通过线性规划求解得到。但是该算法存在训练样本过大、字典对建立过程过于复杂、字典选择不具有自适应性等缺陷。同年，浦剑等又提出在字典学习中使用了 BP稀疏编码及K-SVD字典更新的算法，取得了比前者更好的超分辨率效果；但是，该算法仍然存在着训练样本时间长等缺陷。
发明内容
本发明所要解决的技术问题是提供一种训练样本时间短，图像质量高的自适应在线字典学习的图像超分辨率方法。本发明解决上述技术问题所采用的技术方案为一种自适应在线字典学习的图像超分辨率方法，包括以下步骤①选取一组高分辨率图像及其对应的一组低分辨率图像作为训练样本；②提取训练样本的高频特征，得到一组高分辨率样本特征图像和其对应的一组低分辨率样本特征图像，随机抽取高分辨率样本特征图像中的Q个高分辨率样本特征图像小块构成矩阵M，抽取低分辨率样本特征图像中与抽取的高分辨率样本特征图像小块对应的低分辨率特征图像小块构成矩阵M'，其中Q大于等于3万且小于等于10万，将矩阵M和矩阵M'均分成k类，其中k彡2，得到矩阵M'的k个聚类中心…，mk以及初始子字典集合{(D11, Dhl)，(D12, Dh2)，(D13, Dh3)，…，(Dlk, Dhk)},其中 D11, D12, D13,…，Dlk 表示 k 个初始低分辨率子字典，Dhl, Dh2, Dh3,…，Dhk表示k个初始高分辨率子字典；③利用在线算法对初始子字典集合进行优化，得到最优目标子字典集合{(D
权利要求
1. 一种自适应在线字典学习的图像超分辨率方法，其特征在于包括以下步骤 ①选取一组高分辨率图像及其对应的一组低分辨率图像作为训练样本； ②提取训练样本的高频特征，得到一组高分辨率样本特征图像和其对应的一组低分辨率样本特征图像，随机抽取高分辨率样本特征图像中的Q个高分辨率样本特征图像小块构成矩阵M，抽取低分辨率样本特征图像中与抽取的高分辨率样本特征图像小块对应的低分辨率特征图像小块构成矩阵M'，其中Q大于等于3万且小于等于10万，将矩阵M和矩阵W均分成k类，其中k彡2，得到矩阵M'的k个聚类中心…，mk以及初始子字典集合{(D11, Dhl)，(D12, Dh2)，(D13, Dh3)，…，(Dlk, Dhk)},其中 D11, D12, D13,…，Dlk 表示 k 个初始低分辨率子字典，Dhl, Dh2, Dh3,…，Dhk表示k个初始高分辨率子字典； ③利用在线算法对初始子字典集合进行优化，得到最优目标子字典集合{(Dn_best,Dhl_best)，(D]_2—best，D^2—best)，^13-bestJ ^h3-best^， ，(D]_k—best，^hk-best^ ^中 ^11-best ^12-best ^13-best ，^lk-best表示k个最优低分辨率目标子字典，Dhl_best，Dh2_best, Dh3_best,…，Dhk_best表示k个最优高分辨率目标子字典； ④输入需要进行超分辨率放大的低分辨率图像X，提取低分辨率图像X的高频特征，得到低分辨率图像X对应的低分辨率特征图像X’，然后选取低分辨率特征图像X’的第q个图像小块\，q > I，图像小块Xti对应 的矩阵记为Xtl,分别计算矩阵Xti和聚类中心Hi1, m2, m3,…，mk的欧氏距离，比较Xq与各个聚类中心的欧氏距离的大小，得到欧式距离最小的聚类中心mn, I ^ n ^ k，选择以mn为聚类中心的初始低分辨率子字典对应的最优低分辨率目标子字典，记作 D]_q— best ⑤利用SP算法计算矩阵Xtl在Dltrbest下的稀疏表示系数ayaq=argmin | | xq-Dlq_best αql Ι2+λ 11α q 11，α <!=sp(Dlq_best，xq)，具体步骤如下 ⑤-1将Dltrbest中与矩阵Xq相关性最大的K列原子的列号索引记为I； ,表示Dlp_best里列号为1、的原子组成的矩阵，表示矩阵Xq在/η上的投影，X=Dllm Il , , , X ,其中/); , f, , )lD； t t γ * 表示矩阵的转置；fIq-bes1-l^ Jq-best-1^ H!q hes1-1 \ Iq bes1-1ii Iq best-Jq / Iq hesi J0⑤-2初始化定义初始状态投影i,的初始残差向量为a，-< =丨)’h hnr ，初始状态下X ' 中元素最大值所对应的K个序列原子的列号索引记为Itl, I11=I0 rQ =Tesid(XqJ)k^i /rJ=x9-1v d\th,sl卩,表示Dlp_best里列号为I。的原子组成的矩阵； ⑤-3设当前迭代次数为ω，ω > I，当前迭代中投影七的残差向量为Γω，令 = Di , j X */Χ , = il) , ψ D1 , , ) IX , !■当 ill 迭代中 X' ρ 中兀素最大值所fH Iq ηνκι ξι \ !q Hvst--1m !q-hesi Jus βhd Imp对应的K个序列原子的列号索引为Ιω，结合公式Jw : .ι U {Dlq_best中与rn相关性最大的K列原子的列号索引}和/ )更新 和L，L1表示投影'在第ω-l次迭代中的残差向量,表示Dlp_be;st里列号为Ιω的原子组成的矩阵，,!^表示Dlp_best里列号为I的原子组成的矩阵； ⑤-4比较Γω与！·^，若Γω| IPhJ I2，则迭代结束，否则，将ω加I后作为当前迭代次数返回步骤⑤_3中进行迭代更新；⑤-5迭代完成后，使用最小二乘法求得Xq在字典Dltrbest的最优稀疏表示系数aq ； ⑥选择与Dltrbest对应的高分辨率目标子字典Dhtrbest，利用稀疏表示系数aq和Dhtrbest求解Xq在Dhtrbest对应下的高分辨率图像重构小块
2.根据权利要求1所述的一种自适应在线字典学习的图像超分辨率方法，其特征在于所述的步骤③对初始子字典集合进行优化的具体步骤如下 ③-1对低分辨率子字典D11进行优化，具体步骤为 a、假设优化的总迭代次数为T，在第t次迭代中，输入低分辨率样本特征图像中的任意一个特征图像块f1; I < t < T ; b、固定第t-1迭代得到的目标子字典[)、 使用子空间追踪法求解
3.根据权利要求1所述的一种自适应在线字典学习的图像超分辨率方法，其特征在于所述的步骤⑧中去块处理方法为对每次迭代后重叠部分的像素取均值 。
全文摘要
本发明公开了一种自适应在线字典学习的图像超分辨率方法，首先选定一组高分辨率和低分辨率训练图像集，然后在高/低训练图像集上建立一种对应关系，通过高/低分辨率字典对为重构图像提供了更多的先验信息，在高放大因子下也能获得较好的重构效果；同时本发明使用了SP稀疏编码算法，克服了传统贪婪算法重构精确度不高的缺点，同时保持了较低的计算复杂度；优点是服了当下主流字典学习算法中(如MOD、K-SVD等)计算复杂、训练速度慢的缺点，在总体上缩短了图像重构时间，与现有的基于学习图像超分辨率技术相比，本发明提出的方法具有更高的重构精度和更短的算法时间。
文档编号G06T5/50GK103020935SQ20121053587
公开日2013年4月3日 申请日期2012年12月10日 优先权日2012年12月10日
发明者符冉迪, 石大维, 金炜, 李纲, 尹曹谦 申请人:宁波大学