一种深度图恢复方法
【技术领域】
[0001] 本发明设及计算机视觉技术和图像处理领域，特别设及一种深度图恢复方法。 技术背景
[0002] 本技术所属计算机视觉技术和图像处理领域。深度图是从实际拍摄的场景中获得 的深度信息，它对于增加真实感、进行3D重建和3D电视的应用有着至关重要的作用。现在深 度图的获取分为两种形式，一种是被动方式，另一种是主动方式。本技术所针对的主要是由 深度传感器主动获得的深度图。但现在主流的主动深度传感器(如ToF相机、Kinect等)所获 得的深度图，存在低像素、低信噪比等缺点，如ToF相机获得的深度图受噪点和低分辨的影 响，Kinect获得的深度图有相当大的桐。运些问题都给深度图的应用造成了不便。
[0003] 为了得到高质量的图像信息，目前在运方面有广泛的研究。本技术中主要设及的 问题有噪点等图像退化问题。本技术的基本前提技术包括机器学习中的深度学习技术和深 度图恢复技术。深度学习技术因在图像识别、图像处理中的显著效果，近年来受到了广泛的 关注。本技术中采用了深度学习的卷积神经网络结构(CNN)，在有监督学习下的有着出色的 分类效果，利用核分解来初始化网络权重可W对输入图像起到反卷积的作用。在目前的分 类技术中，机器学习中有线性回归法、非线性回归法、BP算法、支持向量机法等，运其中包括 有监督的学习和无监督的学习。但它们都各自存在一定的缺陷，并且在实际应用中效果比 卷积神经网络要差很多。深度恢复技术有13。、加1^5、6(^6、化。等方法，但使用单独的一种技 术恢复的效果都不理想。
[0004] 为了恢复从深度传感器获得的有缺陷的深度图，目前大都采用基于滤波器的深度 图恢复方案，但是计算复杂度收敛得比较慢。卷积神经网络的一个重要特点是具有权值共 享特性，运使得训练时间和计算时间显著得减少。对于为深度图退化模型而特别设计的AR 模型，可W有效地针对性恢复。由于主要的深度图退化由欠采样、随机深度丢失、结构深度 丢失和附加噪点污染造成，因此，只需针对运几种模型进行参数调整。带有反卷积特性的卷 积神经网络可W有效地对输入的图像进行去噪处理，并由训练的网络将图像准确地分类为 何种退化模型，并由相应的AR参数模型来进行深度图的恢复。
【发明内容】
[0005] 本发明的目的是提出一种深度图恢复方法，显著提高深度图的质量，同时也简化 获得深度图的方法。
[0006] 为此，本发明提出的深度图恢复方法包括:A1:由各类物体的深度图构成训练集； A2:建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练 集中的深度图训练网络结构、调整网络权重;A3:在卷积神经网络的输出层，针对可能的结 果建立自回归模型，并建立评价指标;A4:将深度传感器获得的原始深度图输入卷积神经网 络中，通过去噪、分类后，由自回归模型恢复，通过评价指标检测，若不合要求则将结果图输 入A2中，直到得到高质量深度图或终止循环。
[0007] 本发明采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图 像。利用本发明能够显著提高深度图的质量，同时也简化了获得深度图的方法。
【附图说明】
[0008] 图1是本发明实施例流程示意图。
【具体实施方式】
[0009] 本实施例深度图建立训练集，对训练卷积神经网络的参数结构，使得C順能够对退 化的深度图进行分类。利用核分解的方式，初始化CNN结构中的隐藏层，使得CNN结构具有反 卷积特性，在分类的同时起到去噪、滤波的作用，部分解决了深度图的退化问题。建立AR模 型，并根据主要的退化模型分别对AR模型进行参数的调整。将C順的输出层和AR模型的输入 层建立联系，将CNN对应的输出结果输入到AR模型中。
[0010] 本实施例所提出的一种基于卷积神经网络和自回归模型的深度图恢复方法包括 如下步骤：
[0011] A1:由相当大数量的各类物体的深度图构成训练集;规模可W考虑在1万张深度图 左右，也可W更多，因为越大的训练数据其测试结果更好，但其训练时间也会因此加大，在 一定训练量之后其性能的提升比较有限，对于一般的工作站或者服务器综合考虑性能和时 间，从公共训练集选出一万张左右深度图比较合适；
[0012] A2:建立卷积神经网络(C順），采取核分离方法，获得隐藏层的参数，建立卷积网络 结构，利用训练集中的深度图训练网络结构、调整网络权重。
[001引 A3:在C順的输出层，针对可能的结果建立自回归(AR，aut0-regression)模型，并 建立评价指标；
[0014] A4:将深度传感器获得的原始深度图输入C顺中，通过去噪、分类后，由AR模型恢 复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循 环。
[0015] 在具体的实施方案中，可按下面方式操作。需注意的是，在下面的实施过程中所述 的具体方法(如核分离法、有监督学习算法等)都仅为例举说明，本发明所涵盖的范围不局 限于所例举的运些方法。
[0016] A1:用于训练和测试的各类物体的深度图，可W由深度传感器获得，也可W由网络 获得，但是必须具有所属于何种深度图退化的标签，运在之后的有监督学习中至关重要。对 于单张图像而言，可能存在受多种退化模型综合影响的情况(包括例如：1、由于下采样(刻 意减少图像分辨率)而造成的退化;2、随机深度信息丢失(一种随机误差）；3、结构深度信息 丢失;4、附加噪点导致的深度图退化;5、其他由于深度相机系统误差导致的深度图退化）， 但是对于我们的训练集中的深度图选取应尽量只受单一退化因素的影响，否则会影响训练 的正确性W及分类的正确性。
[0017] 其中，关于"所属于何种深度图退化的标签"解释如下：有监督的机器学习和无监 督的机器学习最大的区别在于有没有前期的人工干预，也就是定义标签。有监督的学习通 过标签对输出值(预测值)进行分类，在此次对四种深度图退化的原因分别建模，因此需要 首先定义运四个标签，然后才能通过机器学习分类。
[0018] A2:建立具有反卷积特性的卷积神经网络，首先，先建立卷积神经网络的模型，
[0019]
[0020] 其中，ho为输入层，h3为输出层，In为隐藏层，运里有两个隐藏层，分别为hi和h2nWi 表示从1-1层到1层的映射系数，bi-i是一个偏移向量，σ( ·)是logistic函数，即，在自变量 为X时，因变量
[0021] 为了在CNN中增加一个反卷积结构用于图像的去噪，将一个IX 1X38的核(此处的 "核"表示核矩阵。核矩阵是样本之间通过核函数影射之后得到的，每两个样本之间进行一 次核函数影射。简单的说，是一个从一个维度映射到另一个维度的映射矩阵)进行核分解 (分解方式下述），得到38个121 X 1和38个1 X 121的一维核。通过38个121 X 1的一维核得到 第一个隐藏层hi的初始权重，用38个IX 121的一维核得到第二个隐藏层h2的初始权重，并在 隐藏层hi和h2之间建立映射关系。
[0022] 其中，核分解的方式有很多种，比如SVD法，此处的分解正是用了运种方法，SVD (singular value decomposition),即奇异值分解，是一种比较常用的数学方法。
[0023] 在建立起网络结构的情况下，训练网络权重（训练方法下述），进行有监督的学习 训练。得到主要的四种深度图退化模型分类网络(包括：1、由于下采样(刻意减少图像分辨 率)而造成的退化;2、随机深度信息丢失(一种随机误差）；3、结构深度信息丢失;4、附加噪 点导致的深度图退化）。
[0024] 其中，训练权重的方法可W由W下方法执行:初始的权重使用随机给定的方式，对 每个权值赋一个较小的数;然后将训练图片输入网络，在网络中进行加权计算，最后输入 logistic函数得到输出值，并与标签值进行比较；利用梯度下降法更新网络权值。如果 logistic函数的输出值与标签值相差较大，则梯度下降法的下降梯度较大;反之，则梯度下 降法的下降梯度小。对大量输入图片重复上述过程，即训练网络权重。
[0025] 监督学习的意思，也就是在输入深度图像时，已经对输出结果进行了分类，所做的 工作为预测输出结果在哪个分类里面。
[0026] A3:针对信号特征精屯、设计系数的AR模型，可W紧密地拟合深度信息，进而实现深 度图的恢复。因此，参数的合理设计变得至关重要。（其具体方法就是下面的建模的过程）。
[0027] 其中"精屯、设计"指的是在建模的工程中，对各种深度图退化的模型分别进行较为 准确的建模。即，考虑不同的退化因素，设计特定的模型系数。
[00巧]首先建立基于AR(auto-regression)的深度恢复模型
[0029]
[0030] 其中，Edata(D，护)是数据项，使得恢复的深度图和待处理深度图保持接近，而不失 真，也就是为了实现拟合。沪表示待处理的深度图，D表示经过恢复的深度图；Ear (D)是AR项， 强化了 AR模型在深度图恢复中的作用。运两项通过系数λ来调节。
[0031] 对数据项的表示方式：
[0032]
[0033] 其中，X表示在深度图中的坐标信息，0表示像素点坐标的集合，山、终分别表示恢 复过的深度图中X处的深度值、待处理的深度图中X处的深度值。
[0034] AR项的表示：
[0035]
[0036] 其中，ax,y表示深度图和深度图对应的彩色图之间的联系信息，也就是我们要设计 的系数，包含两个项，表示深度项