，邊,y表示色彩项，是归一化因子。
[0037] 深度项可W由初始的深度图来估计：
[00；3 引
[0039] 其中是特征的提取率，4表示X处的深度值，.?:表示X处邻域内的加权深度值。此 项的作用是为了防止错误的深度预测而导致后续色彩估计的问题。
[0040] 色彩项是为了防止AR模型在深度不连续的区域过拟合等错误。
[0041]
[0042] 控制了指数函数的衰退率，辕素示了从深度图中提取的特征，磅表示从X点的邻 域中拟合的特征。通过与核Bx逐点矩阵乘法运算来计算
[0043]
[0044] X表示某一点的像素值，4表示对应的色度值;y表示Wx为中必拟合的像素值，t 表示对应的色度值。
[0045] 不同的退化问题，所训练出来的模型参数不同，因此需要首先训练相应的系数。
[0046] 拟合的过程体现在了模型中，因为采用的AR方法是基于最小二乘法的，因此是一 种线性拟合方式，也就是通过现有值来预测未来值，在模型中体现的是通过现有的信息来 恢复丢失的信息，但是又通过引入系数，使得其拟合不是单纯线性拟合。
[0047] 深度图的恢复:通过输入不同退化类型的深度图和其对应的原图来表示上述模型 中待处理深度图和恢复的深度图，训练出了四种AR网络模型的权值，得到相应的系数。在得 到运四种AR网络模型后，输入测试深度图，从C順结构将其分类到对应的退化模型中，则输 入进训练好参数的AR模型，通过，得到估计的深度图，也就是恢复的深度图。
[0048] 由已知分类的四种深度图退化模型，分别进行系数的设计。AR模型的表示如下：
[0049]
[0050] 其中，Edata(D，护)是数据项，使得恢复的深度图和待处理深度图一致，D嗦示待处 理的深度图，D表示经过恢复的深度图；Ear(D)是AR项，强化了 AR模型在深度图恢复中的作 用。运两项通过系数λ来调节。
[0051] 数据项的表示：
[0化2]
[0053] 其中，X表示在深度图中的坐标信息，Ο表示像素点坐标的集合，Dx、心分别
[0054] 表示恢复过的深度图中X处的深度值、待处理的深度图中X处的深度值。
[0化日]AR项的表示：
[0化6]
[0057]其中，ax,y表示在X与其邻域附近y的相关系数。yEN(x)表示在X的邻域附近的y的 坐标。调整aw可W使用AR预测器，即本技术所使用的双边滤波器，并选取11 XII大小的邻 域。
[0化引
[0059] 得到恢复的图像由一个RMSE(;root mean squared error,均方根误差）指标评价， 其比较对象为首次输入的深度图，若MSE越小则效果越好。设定一个阔值，当RMSE小于该值 时，恢复的深度图满足要求。其中RMSE即为均方根误差，其计算方法为，观测值与真实值之 差的平方，再对运些误差平方求和取平均，并最后开平方根。在运里的RMSE的计算为两张图 的像素值做差，并对所有差值的平方求和再除W像素点个数，最后开根号得到RMSE值。
[0060] A4:将深度传感器获得的原始深度图输入中，经过反卷积结构去噪，得到分类 结果，并由相对应的AR模型恢复。由于实际的深度传感器获得的深度图存在多种退化因素 共同作用，出现该种情况时，恢复的深度图可能仍受其他退化因此影响，在RMSE不满足条件 时，将输出图像继续输入到α^Ν结构中迭代。设定迭代次数上限N，在N次要求内不满足则退 出循环。
[0061] 其中反卷积是一种滤波方式。噪点干扰的图片可W被建模为W下形式：
[0062] y = ：x*k
[0063] X表示为潜在的原图，k表示卷积核，就是导致该种噪点干扰的特征，y是卷积得到 的结果，也就是现实中受噪点干扰的图片。在离散傅里叶变化中，X可被解得
[0064]
[0065] 上面反解X的过程为反卷积过程，并且实现了图像去噪。在网络中加入反卷积 结构，即可有效地实现去噪。
[0066] 根据W上模型，通过构建C順分类去噪网络，并对不同类型的深度退化图片分别建 立恢复模型，采用AR自回归迭代的方式利用训练好的模型参数，使得输入的退化深度图得 W恢复，可W有效地恢复由于深度传感器获得的深度图的退化，得到高质量的深度图，并且 可W简化获得深度图的方法，因为算法上的改进可W帮助硬件(如深度相机)提升性能，而 不需要更改现有的硬件。
【主权项】
1. 一种深度图恢复方法，其特征在于，所述方法包括： Al:由各类物体的深度图构成训练集； A2:建立卷积神经网络，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用 训练集中的深度图训练网络结构、调整网络权重； A3:在卷积神经网络的输出层，针对可能的结果建立自回归模型，并建立评价指标； A4:将深度传感器获得的原始深度图输入卷积神经网络中，通过去噪、分类后，由自回 归模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图 或终止循环。2. 如权利要求1所述的深度图恢复方法，其特征在于，所述步骤Al中各类物体的深度图 是用于训练和测试的，构成训练集的方法包括:用数据集来对各类物体的细节进行拟合，深 度学习对数据集进行分层处理，由像素组成基础单元，再由基础单元组成图像细节，图像细 节描绘出图像。3. 如权利要求2所述的深度图恢复方法，其特征在于，所述步骤Al中还包括的如下步 骤:对图像的每层进行分类和识别，并对每层图像进行拟合，通过大量图像集合的数据集的 训练，W有效地去噪。4. 如权利要求1所述的方法，其特征在于，所述步骤A2中通过W下几步建立卷积神经网 络： 建立卷积神经网络的模型，h3=W3*h2血=〇(Wi*hi-i+bi-i)，le {1,2}; A。=;。其中，ho为 输入层，h3为输出层，hi为隐藏层，Wi表示从1-1层到1层的映射系数，bl-l是一个偏移向量，曰 (?)是logistic函数； 通过一个1 X 1 X38的核进行核分解，得到38个121 X 1和38个1 X 121的一维核。通过38 个121 Xl的一维核得到第一个隐藏层hi,用38个IX 121的一维核得到第二个隐藏层h2; 训练网络权重，进行有监督的学习训练，得到主要的四种深度图退化模型分类。5. 如权利要求1所述的方法，其特征在于，所述步骤A3中的建立自回归模型包括如下步 骤： 对于自回归模型，针对信号特征设计的系数紧密地拟合深度信息，进行深度图的恢复； 由已知分类的四种深度图退化模型，分别进行系数的设计。6. 如权利要求1所述的方法，其特征在于，自回归模型的表示如下： 鸣打怎如如,"'?(〇) 其中，Edata(D，护)是数据项，使得恢复的深度图和待处理深度图一致，D嗦示待处理的 深度图，D表示经过恢复的深度图;Ear(D)是自回归项，强化了自回归模型在深度图恢复中的 作用;运两项通过系数A来调节。 数据项的表示： 供的鱼TOV…峨； 別公 其中，X表示在深度图中的坐标信息，0表示像素点坐标的集合，Dx、分别表示恢复过 的深度图中X处的深度值、待处理的深度图中X处的深度值； 自回归项的表示： ￡,,(￡? 4 Tca- T S 押友燕 其中，ax,y表示深度图和深度图对应的彩色图之间的联系信息。7. 如权利要求1所述的方法，其特征在于，在经过特殊设计并且训练的卷积神经网各结 构后，得到进行过矫正和去噪的深度图并且将其分类为最主要的四种退化模型中的一种， 再选择相应的设计好参数的自回归模型进行深度恢复处理。8. 如权利要求1所述的方法，其特征在于，用于训练和测试的各类物体的深度图，可W 由深度传感器获得，也可W由网络获得，但是必须具有所属于何种深度图退化的标签。9. 如权利要求1所述的方法，其特征在于，训练权重的方法为:初始的权重使用随机给 定的方式，对每个权值赋一个较小的数;然后将训练图片输入网络，在网络中进行加权计 算，最后输入logistic函数得到输出值，并与标签值进行比较;利用梯度下降法更新网络权 值，如果logistic函数的输出值与标签值相差较大，则梯度下降法的下降梯度较大;反之， 则梯度下降法的下降梯度小，对大量输入图片重复上述过程，即训练网络权重。10. 如权利要求1所述的方法，其特征在于，得到恢复的图像由一个均方根误差指标评 价，其比较对象为首次输入的深度图，若均方根误差越小则效果越好。
【专利摘要】本发明公开了一种深度图恢复方法，包括如下步骤：A1：由相当大数量的各类物体的深度图构成训练集；A2：建立卷积神经网络(CNN)，采取核分离方法，获得隐藏层的参数，建立卷积网络结构，利用训练集中的深度图训练网络结构、调整网络权重；A3：在CNN的输出层，针对可能的结果建立自回归(AR，auto-regression)模型，并建立评价指标；A4：将深度传感器获得的原始深度图输入CNN中，通过去噪、分类后，由AR模型恢复，通过评价指标检测，若不合要求则将结果图输入A2中，直到得到高质量深度图或终止循环。本发明采用了深度卷积网络来恢复从深度传感器获得的低分辨率、低信噪比的图像。利用本发明能够显著提高深度图的质量，同时也简化了获得深度图的方法。
【IPC分类】H04N13/02, H04N13/00
【公开号】CN105657402
【申请号】
【发明人】张永兵, 沈涛, 王兴政, 王好谦, 李莉华, 戴琼海
【申请人】深圳市未来媒体技术研究院, 清华大学深圳研究生院
【公开日】2016年6月8日
【申请日】2016年1月18日