一种基于混合成像系统的实现光场图像超分辨的方法
【专利摘要】本发明涉及一种基于混合成像系统的实现光场图像超分辨的方法，属于光场成像领域。该方法通过引入一张额外的高分辨普通图像解决了手持式光场相机空间分辨率低下的问题。它首先将场景中的点进行分成两类，第一类点对应的像素出现在光场相机所有的视点中，剩下的点归为另一类。对于第一类点，采用改善的块匹配超分辨，第二类点用字典学习超分辨。最后将两种超分辨的结果整合起来，可以得到一张清晰的高分辨图像。
【专利说明】
一种基于混合成像系统的实现光场图像超分辨的方法
技术领域
[0001] 本发明涉及光场成像领域，特别涉及一种基于混合成像系统的实现光场图像超分 辨的方法。
【背景技术】
[0002] 光场成像一直就是计算摄像学研究的热点，它不仅能够应用于三维重建，而且在 识别等人工智能领域也有诸多应用。特别是自从Ng提出了一种手持式光场相机之后，更是 把光场成像推上了热浪的漩涡之中。但是光场采集在实际当中仍然存在诸多问题，其中最 基本的问题是在传感器单元数目有限的情况下，如何折衷光场的空间分辨率和角度分辨 率。
[0003] 如何权衡空间分辨率和角度分辨率，之前有很多工作者从硬件基础入手对此进行 研究，但是始终没有找到合适的解决办法。因此，在目前的工艺水平下，只能求助于算法，来 解决手持式光场相机空间分辨率低下的问题。
[0004] 目前已知的实现光场图像超分辨的方法主要分为三大类。第一类是基于先验知识 或者模型通过数学分析推导，实现超分辨。Levin等人首先将基于贝叶斯的框架应用到光场 上。与此同时，Bishop也在贝叶斯框架下，利用Lambertian和纹理先验信息建立了一个精确 的图像公式。随后Kaushik Mitra使用高斯混合模型对光场图像的patches建模，通过贝叶 斯推断获得一个高分辨率的光场。虽然说先验知识在超分辨率至关重要，但是它只能给出 定性的概念，无法给出定量的描述。所以在使用过程中可以得到一定的效果，但是如果仅仅 靠先验知识是无法得到显著的效果。第二种方法是目前较为流行的字典学习超分辨。字典 学习方法的主要步骤分为两步:一是训练，二是重构。先用一组训练集按照某个约束训练出 一对字典，然后求出已知低分辨光场图像的低分辨率字典的稀疏表示，利用这个稀疏系数 和高分辨率字典重构出高分辨率光场图像。字典学习超分辨虽然可以实现较好的效果，但 是它的超分辨倍数有限，对于光场中需要超分辨到较大的倍数效果一般。第三种方法是基 于混合成像系统的超分辨方法。对于目前民用的手持式光场相机而言，由于相机本身空间 有限，不能容纳太多的传感器单元，所以要获得角度分辨率就必然以牺牲空间分辨率为代 价。
【发明内容】
[0005] 本发明的目的在于提供一种基于混合成像系统的实现光场图像超分辨的方法，解 决分辨率低的问题。
[0006] 为此，本发明提出的1、一种基于混合成像系统的实现光场图像超分辨的方法，其 特征在于包括如下步骤:S1、分析场景中的点，对场景中的点进行分类:对于那些没有高光 没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中，对于那些出现遮挡或 者是存在高光的情况的点，将其分到第二类中；S2、对于第一类中的点，利用改善过的块匹 配方法将其超分辨到指定的分辨率;S3、对于第二类中的点，利用字典学习的方法超分辨到 与步骤S2同样的分辨率;S4、结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像。
[0007] 本发明的优点在于，本方法通过引入一张高分辨率的普通图像，结合块匹配和字 典学习两种不同的手段，实现了光场图像空间分辨率显著提高。
【附图说明】
[0008] 图1是本发明实施例在分类过程中计算1^示意图。
[0009] 图2是本发明实施例改善的块匹配操作示意图。
【具体实施方式】
[0010] 本实施例提供了一种基于混合成像系统的提高光场空间分辨率的方法。本方法通 过引入一张高分辨率的普通图像，结合块匹配和字典学习两种不同的手段，实现了光场图 像空间分辨率显著提高。包括以下几个步骤：1)分析场景中的点，对场景中的点进行分类。 对于那些没有高光没有遮挡能够出现在光场相机所有视点中的点，将其分到第一类中，对 于那些出现遮挡或者是存在高光的情况的点，将其分到第二类中。2)对于第一类中的点，利 用改善过的块匹配方法将其超分辨到指定的分辨率。3)对于第二类中的点，利用字典学习 的方法超分辨到与步骤2)同样的分辨率。4)结合步骤2)和步骤3)拼接出一张完整的高分辨 的光场图像。
[0011] 下面进行具体说明：
[0012] 1、空间点的分类：
[0013]光场图像用大写的F表示，F谦示光场中第j个视点的图像(j为正整数），高分辨率 图像用H表示。H的空间分辨率是Fj的N倍。如附图1所示，图中，"光场图像"，在本文指的是用 Iytro光场相机拍摄的数据，可以分解出不同视点的图像，"高分辨图像"是指用单反相机拍 摄的与Iytro相机相同场景的图像，左边的小黑方框是从光场相机获得的数据中某一个视 点下取得小patch，然后计算它的特征值(可以计算它的一阶和二阶梯度，此处我们计算它 的傅里叶变换）；右边大黑方框是从高分辨图像对应位置取得的patch，然后下采样(此处用 13；[-(31113；[(3下采样），计算它的特征 ;13001]1；[111：1^11提出了这个算法，所以此处文中使用这个人 名指代这个算法，利用此算法，我们先得到一个初步的结果，也就是左边第二个小黑方框， 和右边匹配上的小黑方框，然后把小黑方框中的矩阵数据拉成向量处理，计算他们的欧式 距离（即2范数）。
[0014]先从Fj提取η个patches(块），记为{pi,jh=i,2,.. .,η。接着对于每一个pi,j，从高分辨 率图像H中搜索最佳的匹配块，其中，具体步骤如下：
[0015] 1)计算搜索半径dist。以光场中第j个视点的图像的第i个patch Pi,j为例，先计算 它水平上的一阶梯度、二阶梯度和垂直上的一阶梯度、二阶梯度，然后求这个梯度的平均值 grad，按照先验公式：
[0016]
[0017]
[0018]
[0019]
[0020] 此处NN为要搜索最近邻的个数，是自己设定的一个参数，本例中设为9。可以计算 出与patch pi,j对应的搜索半径。
[0021] 2)先把高分辨率图像H分块，记为{Ph, i }，其中Ph, i的空间分辨率是Pi, j的N倍。然后 将其下采样N倍得到对应的低分辨率的patches，记为{pi,i}。
[0022] 3)对于pu，按照搜索半径dist从{p1;1}中搜索到最佳的匹配块，记为Λ,.。
[0023] 根据上述三个步骤可计算出最佳匹配块。按照之前对于第一类的定义可知，第一 类的patches所包含的信息必然可以在高分辨率图像H中可以直接找到，所以pi, j与Λ,之间 的二范数1^非常小；而第二类的patches恰恰相反，其二范数相比较而言，比较大。所以，按 照如下公式将卜^丨^^…^分为两类：
[0024]
[0025]
[0026]其中，CIj是一个系数，反映了一个场景中的遮挡高光等特征。Oj是所有patches对的 二范数的标准差。
[0027] 2、改善之后的块匹配(对第一类的点）：
[0028]由于所有patches进行傅里叶变换之后，主要包含的是直流信息，其他频率的信息 所占的比例太少，为了突出其他频率的信息，首先对它们去均值，去均值就是对一个patch 求均值，然后再用这个patch的每个像素值减去这个均值。在第2步中，对第一类点去均值， 且对{pi,U去均值。这一部分主要是对第一类的patches进行超分辨，为了区分，记这些 patches为。、将这些patches与在第一部分求得的对应的最佳匹配块组成patches对。首 先对ii.计算其傅里叶变换，记为，接着对它的最佳匹配块爲L.进行傅里叶变换，记为A & 尽管武,.是的最佳匹配块，但是它们之间匹配的仍然不是特别好。它们的幅度谱近似相 等，但是相位谱有点差异。如附图2所示，图2中，左图"光场中的某一个视点"，同图1，使我们 从Iytro拍摄的数据中提取的某一个视点的图像，其中的小白方框是一个patch，右图"高分 辨图像"也同图1，其中白边的大方框是搜索范围，它右边的自适应搜索半径这个方框是给 出的注释，中间的较大的黑方框是采用boominthan方法正在搜索的patch;左边标记具有斜 纹的方框就是上面的小黑方框单独拿出来，右边标记方框是采用boominthan方法搜索到的 匹配块;所谓的纹理相似是指它们的内容一样，只是存在平移变换和旋转变换(这两者合称 反射变换），纹理是图像处理这一领域的术语。
[0029] 在时域内，需要旋转和平移才能与龙^更好地匹配。因为在这里使用的相机是 Iytro相机，它的视角非常小，所以可以忽略掉旋转角。△ X和△ y分别表示水平和垂直上的 像素偏移，可知K7和尤满足如下公式：
[0030]
[0031]
[0032]
[0033] 因此可求得相应的像素偏移Δ χ和Δ y。对于需要重构的高分辨patches/^和对应 的高分辨率patch#卜它们之间的像素偏移为NX ΔΧ和NX Ay。由此可计算出〇
[0034]
[0035]至此已经获得高分辨率的patch(在最后一步利用这些patch，就能实现了超分辨 到指定的分辨率了）
[0036] 3、基于字典学习的方法：
[0037]对于第二类的patches，采用字典学习的方法将其超分辨。首先对高分辨率图像H 下采样N倍，然后上采样N倍，得到一张相对比较模糊的图像，记为H'。然后把H和H'图像对作 为训练撒坦隹仙祐m-冬空曲.」.丨丨丨祐的方法如下：通过解下面这个稀疏编码等式：
[0038]
[0039]其中D={Dh，Di}是训练完的字典（D={Dh，Di}(这种写法表示字典中的低分辨率 patches和高分辨率patches是一一对应的），它是由高分辨率和低分辨率字典组成，T是训 练数据集，α是稀疏系数。先记第二类patches为/?。在重构阶段，对于每一个patches/^·.， 找到它低分辨字典Di的稀疏表示，然后再结合高分辨率字典Dh求出它对应的高分辨率patch ，具体操作就是优化下面这个等式：
[0040]
[0041 ]求出β之后，再用β乘以高分辨率字典Dh，即可得if (这就是高分辨patch)。
[0042]综合步骤2和步骤3可对所有patches超分辨，然后再进行整合(就是把之前的高分 辨patches拼接)即可得一张完整的某个视点的图像。
[0043] 本实施例利用混合成像系统解决分辨率低下的问题，一方面用手持式光场相机采 集低分辨率的光场图像，另一方面用单反相机采集高分辨率的普通图像，并且通过相应的 算法把这两者结合起来，就可以获得高分辨率的光场图像。
[0044] 本实施例至少具有如下实质性特点：
[0045] 1、在光场超分辨领域，我们对场景中的点进行了分类，并且给出了分类的标准。
[0046] 2、在块匹配的基础上，我们首先加入了搜索半径自适应的方法。
[0047] 3、其次，在傅里叶域对最佳匹配块做了仿射变换，使其效果进一步得到提高。
[0048] 4、提出了将块匹配和字典学习结合的框架。
[0049]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发 明说明书及附图内容所作的等效装置或等效方法变换，或直接或间接运用在其他相关的技 术领域，均同理包括在本发明的专利保护范围内。
【主权项】
1. 一种基于混合成像系统的实现光场图像超分辨的方法，其特征在于包括如下步骤： 51、 分析场景中的点，对场景中的点进行分类:对于那些没有高光没有遮挡能够出现在 光场相机所有视点中的点，将其分到第一类中；对于那些出现遮挡或者是存在高光的情况 的点，将其分到第二类中； 52、 对于第一类中的点，利用块匹配方法将其超分辨到指定的分辨率； 53、 对于第二类中的点，利用字典学习的方法超分辨到与步骤S2同样的分辨率； 54、 结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像。2. 如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于 步骤S1中对场景中的点进行分类的方法包括如下步骤： 511、 计算捜索半径山31:; 512、 先把高分辨率图像Η分块，记为{ph,i}，其中ph,i的空间分辨率是的N倍;然后将 其下采样N倍得到对应的低分辨率的patches,记为{pi,i}; 513、 对于pij，按照捜索半径dist从{ρι,ι}中捜索到最佳的匹配块，记为/、-; 514、 按照如下公式将{pi,山=1,2,.,η分为两类：3. 如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于 步骤S2中，对于第一类中的点，利用块匹配方法将其超分辨到指定的分辨率的方法包括如 下步骤： 针对第一类的点，将其patches记为，将运些patches与在第一部分求得的对应的最 佳匹配块组成patches对;首先对巧I,计算其傅里叶变换，记为片/，接着对它的最佳匹配块 乱进行傅里叶变换，记为篇;成和起满足如下公式：根据相位平移理论可得：因此可求得相应的像素偏移A X和Δ y，Δ X和Δ y分别表示水平和垂直上的像素偏移， 对于需要重构的高分辨patchesif;和对应的高分辨率patch与它们之间的像素偏移为N X Δ X和NX Δ y ;由此可计算出巧?4. 如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于 步骤S3中，对于第二类中的点，利用字典学习的方法超分辨到与步骤S2同样的分辨率的方 法包括如下步骤:首先对高分辨率图像Η下采样Ν倍，然后上采样Ν倍，得到一张相对比较模 糊的图像，记为Η/ ;然后把Η和Η/图像对作为训练数据集训练出一个字典;记第二类patches 为巧;在重构阶段，对于每一个patchesA^找到它低分辨字典化的稀疏表示，然后再结合 高分辨率字典Dh求出它对应的高分辨率patchi^2/'。5. 如权利要求4所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于： 对于每一个patches /? >求出它对应的高分辨率patchi^A具体操作就是优化下面运个等 式：求出β之后，再用β乘W高分辨率字典Dh，即可得巧/。6. 如权利要求4所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于， 训练出一个词典的训练的方法如下:通过解下面运个稀疏编码等式：其中0={〇4，化}是训练完的字典，它是由高分辨率和低分辨率字典组成，T是训练数据 集，α是稀疏系数。7. 如权利要求1所述的基于混合成像系统的实现光场图像超分辨的方法，其特征在于 步骤S4中，结合步骤S2和步骤S3拼接出一张完整的高分辨的光场图像的方法包括如下步 骤:把步骤S2和步骤S3所得到的高分辨patches拼接。
【文档编号】G06T3/40GK105844589SQ201610160745
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】王兴政, 吴驹东, 张永兵, 王好谦, 李莉华, 戴琼海
【申请人】深圳市未来媒体技术研究院, 清华大学深圳研究生院