一种用光场相机一次成像直接获取深度图的方法
【专利摘要】一种利用光场相机一次成像直接获取深度图的方法，包括步骤：1)在传统相机内部成像光路中嵌入微透镜阵列构成光场相机；2)对微透镜阵列与图像传感器的相对位置进行标定；3)利用光场相机采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子图像，并计算其灰度图；4)计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标模板和毗连模板，使用SAD算法计算目标模板与毗连模板的相似度，获得最小SAD值；5)步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化取整即得深度图。本发明解决了现有深度图获取技术中存在的系统过于复杂以及计算复杂度高的问题，获取图像相似度高，获得深度图更精确。
【专利说明】一种用光场相机一次成像直接获取深度图的方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其是立体视觉领域，特别涉及一种用光场相机一 次成像直接获取深度图的方法。 技术背景
[0002] 随着信息科学与计算机技术的发展，三维信息获取技术已成为工业检测，生物医 学，虚拟现实等领域的关键技术。在上述领域中，人们对三维信息质量的要求也越来越高。
[0003] 深度信息则是"第三维"的体现，如何更为快速获取更高精度的深度图，一直以来 是研究与开发中的热点方向。目前深度信息获得的方式主要有两大形式：主动式和被动式。 主动式主要向目标发出激光、电磁波、超声波等能够检测回波的能量束，利用物理原理和一 定的数学方法计算出距离。常用方法有激光雷达深度成像、坐标测量机方法、莫尔条纹法、 结构光法等。主动式通过对能量束发射装置的控制可以获取更多信息，但主动式设备造价 高，应用范围有限，而且主动式深度信息获取方法对已获取的图像并不适用。被动式主要是 相对采用几何信息计算深度图，又称计算机立体视觉。立体视觉按所需的图像数目可分为 以下三类：a).利用一幅图像的图像理解方法，此种方法需要复杂的数学建模与学习过程， 效率较低，并且应用场景受限。b).利用在两个不同的观察点获得的同一景物的两幅图像恢 复物体三维信息的双目立体视觉，此种方法由于所用信息不够丰富，获取深度图精度往往 难以满足需求。c).利用多个观察点获得多幅图像的多目立体视觉，相较于双目立体视觉， 此方法获取深度图精度更高，相较于单幅图像的学习方法，所用时间显著缩短，但同时构建 多目系统的过高的复杂度也限制了这种方法的应用。
[0004] 基于全光函数的思想，人们设计出可以捕获包含入射光强度和角度信息的4D光 场的光场相机。光场相机的出现提供了获取深度图的新思路。使用光场相机获取深度图 能获得多目立体视频的精度与效率的效果，构架系统的复杂度也大大降低，并且由于设备 可便携性，应用途径也更为广阔。此外由于光场相机获取数据的关联性，效率能够进一步提 高，达到实时计算出深度图。本发明使用基于微透镜阵列的光场相机，利用其捕获的光场中 重建不同视角的场景图片，根据获得图片关联度大的特性，仅通过一次成像就能够获取深 度图的快速方法。
【发明内容】
[0005] 为解决现有深度图获取技术存在的系统过于复杂以及计算复杂度高的问题，本发 明提供一种用光场相机一次成像获取深度图的方法，其用具有微透镜阵列的光场相机采集 光场信息，一次成像就能够获取深度图。
[0006] 本发明利用光场相机一次成像直接获取深度图的方法，包括如下步骤：
[0007] 1).在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于 传统相机的主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的 焦距；
[0008] 2).对微透镜阵列与图像传感器的相对位置进行标定；
[0009] 3).使用微透镜阵列采集目标景物的原始数据，提取微透镜阵列中每个微透镜下 的子图像，并计算其灰度图；
[0010] 4).计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微 透镜作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标透镜的目标模板和毗连 透镜的峨连模板，使用SAD(sum-of-absolute-difference)算法计算目标模板与峨连模板 的相似度，获得一个最小SAD值；
[0011] 5).步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜 阵列中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0, 255]区间取整即得 深度图。
[0012] 其中，所述微透镜阵列与主透镜平行，并满足光学参数的匹配。
[0013] 优选实施例中所述微透镜阵列由六边形或正方形排布的若干微透镜组成，该微透 镜为柱状或球状。
[0014] 所述微透镜阵列中每个微透镜下能够覆盖10X 10个到30X30个图像传感器单 J Li 〇
[0015] 所述步骤2)对所述微透镜阵列与图像传感器的相对位置标定方法为：
[0016] a).手工标定所述微透镜阵列左上角、右上角以及左下角三个微透镜中心对应所 述图像传感器平面坐标分别为（xlrftUp，ylrftUp)、（XHghtUp，y HghtUp)及h eftBottomJ yieftBottom);
[0017] b).规定所述微透镜阵列中微透镜将沿直线发生偏移，则所述微透镜阵列中序号 (i，j)的微透镜的中心坐标（X，y)为：
【权利要求】
1. 一种用光场相机一次成像直接获取深度图的方法，其特征是包括如下步骤： 1) .在传统相机内部成像光路中嵌入微透镜阵列构成光场相机，微透镜阵列位于传统 相机的得主透镜和图像传感器之间，且微透镜阵列和图像传感器平面的距离为微透镜的焦 距； 2) .对微透镜阵列与图像传感器的相对位置进行标定； 3) .使用微透镜阵列采集目标景物的原始数据，提取微透镜阵列中每个微透镜下的子 图像，并计算其灰度图； 4) .计算每个微透镜下子图像与毗连微透镜下子图像的相似度，分别以每一个微透镜 作为目标透镜，并选择其周围的多个毗连透镜，分别建立目标透镜的目标模板和毗连透镜 的田比连模板，使用SAD(sum-of-absolute-difference)算法计算目标模板与峨连模板的相 似度，获得一个最小SAD值； 5) .步骤4)获得的对应于每个微透镜下子图像的最小SAD值，构成尺寸为微透镜阵列 中微透镜个数的数值矩阵，对该矩阵中的元素进行归一化，在[0, 255]区间取整即得深度 图。
2. 如权利要求1所述的方法，其特征是，所述微透镜阵列与主透镜平行，并满足光学参 数的匹配。
3. 如权利要求1或2所述的方法，其特征是，所述微透镜阵列由六边形或正方形排布的 若干微透镜组成，该微透镜为柱状或球状。
4. 如权利要求1或2所述的方法，其特征是，所述微透镜阵列中每个微透镜下覆盖 10X10个到30X30个图像传感器单元。
5. 如权利要求1所述的方法，其特征是，所述步骤2)对微透镜阵列与图像传感器的相 对位置标定方法为： a) .手工标定所述微透镜阵列左上角、右上角以及左下角三个微透镜中心对应所述图 像传感器干面坐标分力ij 为（XieftUp，yieftUp)、（xrightup，y rightup)及（χι eftBottom， ^leftBottom^ ? b) .规定所述微透镜阵列中微透镜将沿直线发生偏移，则所述微透镜阵列中序号 (i，j)的微透镜的中心坐标（X，y)为：
其中，R为每个微透镜下所覆盖正方形区域一个方向上所含像素的个数；i与j分别为 所述微透镜位于所述阵列中的行列序号。
6. 如权利要求1所述的方法，其特征是，所述步骤4)中，在所述微透镜阵列中根据微透 镜所处的位置来选择目标透镜和其周围3个、5个或8个毗连透镜。
7. 如权利要求6所述的方法，其特征是，当选择非位于所述微透镜阵列的边界上的微 透镜作为目标透镜时，相应选择其上方、右上、右侧、右下、下方、左下、左侧以及左上共8个 微透镜为此目标透镜的峨连透镜。
8. 如权利要求6所述的方法，其特征是，当选择位于所述微透镜阵列的左上角、右上 角、右下角、左下角的微透镜作为目标透镜时，相应选择其毗连的3个微透镜为此目标透镜 的毗连透镜。
9. 如权利要求6所述的方法，其特征是，当选择所述微透镜阵列中以下位置的微透镜 作为目标透镜时，相应选择其毗连的5个微透镜为此目标透镜的毗连透镜；所述的微透镜 是位于所述微透镜阵列的第一行并且并非位于左上角或右上角的微透镜，位于所述透镜阵 列的最后一列并且并非位于右上角或右下角的微透镜，位于所述透镜阵列的最后一行并且 并非位于右下角或左下角的微透镜，以及，位于所述透镜阵列的第一列并且并非位于左下 角或左上角的微透镜。
10.实现权利要求1-9任一项所述方法的一种光场相机，其特征是包括：传统相机和微 透镜阵列，微透镜阵列设置于传统相机的主透镜和图像传感器之间，且微透镜阵列和图像 传感器平面的距离为微透镜的焦距； 其中，所述微透镜阵列是用若干微透镜排布成的六边形或正方形板状阵列，所述微透 镜为柱状或球状；所述微透镜阵列与主透镜平行，两者的F值匹配；所述微透镜阵列中每个 微透镜下覆盖10X10个到30X30个图像传感器单元。
【文档编号】G06T7/00GK104050662SQ201410238723
【公开日】2014年9月17日 申请日期:2014年5月30日 优先权日:2014年5月30日
【发明者】王兴政, 杜远超, 王好谦, 张永兵, 戴琼海 申请人:清华大学深圳研究生院