一种深度图像的修复算法
【专利摘要】本发明提出了一种深度图像的修复算法，该算法将形态学滤波与双边滤波算法相结合的方法对深度图像进行处理，通过形态学中的几种基本算法实现对深度图像中空洞的填补，然后利用双边滤波平滑图像。利用不同的结构元素消除掉目标物体中包含的不同类型的噪声信号。该算法的步骤如下：步骤一：建立形态学算法的膨胀、腐蚀、开运算、闭运算公式；步骤二：建立形态学滤波器；步骤三：选取结构元素；步骤四：建立双边滤波准则。
【专利说明】
-种深度图像的修复算法
技术领域
[0001] 本发明设及深度图像处理，图像修复领域。
【背景技术】
[0002] 深度图像在人机交互、Ξ维场景重建、导航与定位等领域有着较为广泛的应用;深 度图像在采集过程中由于受到设备本身和采集环境的影响，使采集得到的图像中存在大量 的空桐，W致很难提取到准确的深度信息。
[0003] 国内外有很多研究人员对于深度图像的优化与修复也进行了不少的研究，比如通 过高斯滤波的方法对空桐进行填补修复、双边滤波的方法来对深度图像进行修复、通过对 非局域均值滤波加入边缘信息权重对深度图像进行上采样来修复深度图像等，但是各种方 法均有缺陷容易就会造成边缘模糊，丢失边缘信息、存在区域性、大面积空桐的情况效果并 不是很好。
【发明内容】
[0004] 针对上述不足之处，本发明提出将形态学滤波与双边滤波算法相结合的方法对深 度图像进行处理，通过形态学中的几种基本算法实现对深度图像中空桐的填补，然后利用 双边滤波平滑图像。
[0005] 本发明的目的是:使经过处理后的图像更加清晰，易于提取到准确的深度信息。
[0006] 本发明为实现上述目的所采用的的技术方案是:一种深度图像的修复算法，
[0007] 该算法的步骤如下：
[000引步骤一:建立形态学算法的膨胀、腐蚀、开运算、闭运算公式；
[0009] 步骤二:建立形态学滤波器；
[0010] 步骤Ξ:选取结构元素；
[0011] 步骤四：建立双边滤波准则。
[0012] 本发明的有益效果是:本发明将形态学滤波与双边滤波算法相结合的方法对深度 图像进行处理，通过形态学中的几种基本算法实现对深度图像中空桐的填补，然后利用双 边滤波平滑图像。形态学滤波是W形态学中几种基础运算为核屯、算法的一种图像处理的方 法，比起常规的线性滤波，在某种程度上有着更好的效果。它利用不同的结构元素消除掉目 标物体中包含的不同类型的噪声信号。
[0013] 具体实施方法
[0014] 为了使本发明的技术方案、目的更明确，W下结合附图1到4进一步描述此发明。
[0015] 本发明基于形态学滤波和双边滤波相结合的方法对深度图像处理。形态学滤波主 要是基于数学形态学，是一种非线性的滤波形式，它由膨胀、腐蚀、开、闭运算等基本的算法 组合而成。通过集合相关的思想来对图像结构进行分析，可W直观的得到物体的形态本质， 使其易于分析处理。所W利用其运一特性对深度图像中空桐进行处理，处理完成W后图像 会出现一点毛糖的现象，再结合双边滤波具有良好的平滑图像功能，使得处理后的图像更 加清晰，易于提取到准确的深度信息。
[0016] 形态学中包括很多不同的方法，例如，膨胀、腐蚀、开运算和闭运算等，其中膨胀和 腐蚀是最基本的运算。
[0017] -、建立形态学算法的膨胀、腐蚀、开运算、闭运算公式
[0018] 设置f为图像函数，S为结构元素，Df和Dg分别表示为f、s的定义域。
[0019] 1、建立膨胀公式，结合图2
[0020] 膨胀的主要作用是扩充目标物体的边缘，使物体范围增大，运样就可W将与物体 接触到的孤立部分合并进物体本身，在本方法中定义膨胀公式为：
[00別]。适如知邮二ms饼;'Ks，ηνγ)巧（X! y.:! I (t-X)，（Rvy)纪 和（x，y) eDg}
[0022] 2、建立腐蚀公式，结合图3
[0023] 腐蚀的作用刚好和膨胀相反，它主要是使目标物体的边缘向内部收缩，在本方法 中，腐蚀的公式定义为：
[0024] (f Θ S) (t，m) =min{f (t+x，m+y)-s(x，y) I (t+x)，（m+y) eDf和（x，y) eDg}
[00巧]3、建立开运算公式
[0026] 先进行腐蚀运算再进行膨胀运算，运个过程就是开运算，开运算的作用能够去掉 图像中单独的小点、毛刺和小桥，并能平滑物体的边缘，开运算的公式定义为：
[0027] f、''.)没? ('f 资 S,;泻 S
[0028] 4、建立闭运算公式
[0029] 先进行膨胀运算再进行腐蚀运算，运个过程就是闭运算，闭运算的作用能够将目 标物体中存在的细小空桐进行填充，并且能修复细小裂缝、平滑物体的边缘(闭运算是通过 填充图像的凹角来滤波的），闭运算的公式定义为：
[0030] 細黎黨i' f潑S .)资S
[0031] 二、建立形态学滤波器，结合图4
[0032] 开运算能够去除图像中的孤立、毛刺点，闭运算能够填补图像中细小的裂缝，如果 单独运用开闭进行图像滤波，会因为它们自身的特性出现统计偏差的问题，运就会导致滤 波效果不佳，所W需要对开闭运算进行组合使用:开闭滤波和闭开滤波，但是开闭滤波会使 结果幅度偏小，而闭开滤波又会使结果偏大，故在此基础上采用的是将运两种运算进行平 均后使用：
[0033] 开闭滤波公式：
[0034] f〇c = f〇S 参 S
[0035] 闭开滤波公式：
[0036] fc〇 = f 参 SOS
[0037] 采用组合公式：
[00；3 引
[0039] Ξ、选取结构元素
[0040] 结构元素的选取对形态学滤波有着至关重要的作用，结构元素的尺寸大小和形状 都会影响到滤波的结果，所W应当选取合适的结构元素，在本发明中采用的是圆形结构元 素。
[0041] 四、建立双边滤波准则
[0042] 双边滤波是一种非线性滤波双边滤波由两个核函数组成，它不仅参考了空间域上 的相关性，同时还参考了像素值的相似程度。运样就能在滤波的同时考虑到图像信息中的 图像边缘信息，使图像在正常高斯滤波后很模糊的边缘信息得W保持清晰，并且图像边缘 更加平滑。
[0043] 高斯核函数的表达式为：
[0044]
[0045] 其中，Sg表示高斯函数的标准差，高斯核函数仅仅考虑了像素的空间关系，并没有 关注图像的灰度值变化，所W在滤波的时候也将边缘进行了平滑处理，运就导致了滤波的 结果往往趋于模糊化。所W双边滤波则是在此基础上增加一个函数来约束图像的灰度值变 化。所W，上述表达式变换为：
[0046]
[0047] 式中，δκ表示变换后高斯函数的标准差，所W双边滤波的权系数为：
[004引 Η=出出
[0049]如果（i，j)和点(x，y)的灰度值很接近的话，权系数Η就会趋向于出。结果会趋于高 斯滤波的结果。双边滤波的结果取决于Sg和δτ，两个参数当Sg-定δτ的值很大时，权系数Η也 很大，则此时和高斯滤波一样，达不到保留边缘的效果。但是当δτ的值很小时，将会失去滤 波的作用，所W选取合适的参数进行滤波至关重要。
【主权项】
1. 一种深度图像的修复算法，该算法涉及深度图像处理，图像修复领域，其特征是：该 算法的主要步骤如下： 步骤一:建立形态学算法的膨胀、腐蚀、开运算、闭运算公式； 步骤二:建立形态学滤波器； 步骤三:选取结构元素； 步骤四：建立双边滤波准则。2. 根据权利要求1所述的一种深度图像的修复算法，其特征是:步骤一中各公式设立如 下： 设置f为图像函数，s为结构元素，EL和Hg分别表示为f、s的定义域； 1、 建立膨胀公式 膨胀的主要作用是扩充目标物体的边缘，使物体范围增大，这样就可以将与物体接触 到的孤立部分合并进物体本身，在本方法中定义膨胀公式为：2、 建立腐蚀公式 腐蚀的作用刚好和膨胀相反，它主要是使目标物体的边缘向内部收缩，在本方法中，腐 蚀的公式定义为：3、 建立开运算公式 先进行腐蚀运算再进行膨胀运算，这个过程就是开运算，开运算的作用能够去掉图像 中单独的小点、毛刺和小桥，并能平滑物体的边缘，开运算的公式定义为： 4、 建立闭运算公式先进行膨胀运算再进行腐蚀运算，这个过程就是闭运算，闭运算的作用能够将目标物 体中存在的细小空洞进行填充，并且能修复细小裂缝、平滑物体的边缘(闭运算是通过填充 图像的凹角来滤波的），闭运算的公式定义为：3.根据权利要求1所述的一种深度图像的修复算法，其特征是:步骤二中形态学滤波器 的建立方法如下： 开运算能够去除图像中的孤立、毛刺点，闭运算能够填补图像中细小的裂缝，如果单独 运用开闭进行图像滤波，会因为它们自身的特性出现统计偏差的问题，这就会导致滤波效 果不佳，所以需要对开闭运算进行组合使用：开闭滤波和闭开滤波，但是开闭滤波会使结 果幅度偏小，而闭开滤波又会使结果偏大，故在此基础上采用的是将这两种运算进行平均 后使用： 开闭滤波公式：闭开滤波公式：采用组合公式：4. 根据权利要求1所述的一种深度图像的修复算法，其特征是:步骤三结构元素选取为 圆形结构元素。5. 根据权利要求1所述的一种深度图像的修复算法，其特征是:步骤四中双边滤波建立 方法如下为： 高斯核函数的表达式为：表示高斯函数的标准差，双边滤波则是在此基础上增加一个函数来约束图像的灰度 值变化;所以，上表达式变换为：式中§1表示变换后高斯函数的标准差，所以双边滤波的权系数为：
【文档编号】G06T5/00GK105825482SQ201610147426
【公开日】2016年8月3日
【申请日】2016年3月15日
【发明人】范勇, 胡成华
【申请人】四川用联信息技术有限公司