一种基于显著性的深度感知增强方法
【技术领域】
[0001] 本发明涉及图像处理技术及立体成像领域，尤其涉及一种考虑到视觉注意机制和 场景复杂度的深度感知增强方法。
【背景技术】
[0002] 深度感知增强是一种改善立体显示效果的新型技术。随着立体显示技术的蓬勃发 展，人类在享受3D盛宴的同时，对立体显示效果的要求也越来越高。近几年，广大研究者针 对如何增强立体显示的立体感，从不同角度进行了大量的研究。其中，Yang等[1]通过对一 定数量的观察者进行统计，评估他们对于3D场景中相邻物体的深度差的灵敏度，得出背景 视差越小感知相邻物体深度差异的能力越强。Sohn等[2]将视差图分为粗略视差层和细节 视差层，通过增强细节视差层的权重达到感知增强的目的。Jung[3]提出一种深度感知增强 算法，通过对恰可察觉深度差异（JNDD, Just Noticeable Depth Difference)模型的研究， 对深度图进行分割分层处理，对层间的深度差值小于JNDD阈值的对象，采用能量最小化方 法进行增强。此后，Jung等[4]还提出一种修正的JNDD模型，该模型表示由于场景深度的 不同，人眼观测同一物体的大小尺寸会有差异，从而在进行深度感知增强时，这种差异性是 应该被考虑，从而得到修正的JNDD模型，并将该模型应用于深度感知增强。以上提到的深 度感知增强算法并不能保证所有相邻深度层都能够被拉伸，甚至不能保证人眼感兴趣区域 的立体感知被有效的改善。
[0003] 众所周知，人类视觉系统具有在图像中迅速定位对象、精确识别对象的卓越能力。 使机器也拥有这种能力并代替人类对图像进行识别、分类的美好愿景催生了计算机视觉学 科。视觉注意（Visual Attention) /图像显著性（Image Saliency)作为计算机视觉的一 个分支，是指在图像中提取引起人视觉关注或吸引观看者兴趣的区域或对象的过程。同时， 认知心理学和神经生理学领域的研究也指出，人类视觉系统在面对复杂场景时，人类的注 意力会迅速集中在少数显著的视觉对象上，并对这些对象进行优先处理。因此，视觉注意涉 及计算机视觉、认知心理学与神经生理学等学科。视觉注意模型通过计算显著图来模拟人 类的视觉认知能力，并以之定位给定复杂场景中吸引人眼关注的关键对象，虽然较之人类 视觉系统其效果和效率较低，但是其已经获得了广泛的应用。
[0004] 本发明对深度感知增强中存在的不足进行研究，提出了一种基于显著性的深度感 知增强方法。
[0005] 参考文献：
[0006] [1]S. Yang et al., "Discernible difference and change in object depth afforded by stereoscopic three-dimensional content, '，in Proc. SPIE, Stereoscopic Displays Appl. XXIV，2013, pp. 86481C-1 - 86481C-11.
[0007] [2]H. Sohn, Y. J. Jung, andY. M. Ro, "Local disparity remappingto enhance depth quality of stereoscopic 3-D images using stereoacuity function, '，in Proc. SPIE,Stereoscopic Displays Appl. XXV, 2014, pp. 90110L-1 - 90110L-6.
[0008] [3] S.-W. Jung and S.-J. Ko, "Depth sensation enhancement using the just noticeable depth difference,'，IEEE Trans. Image Process. , vol. 21, no. 8, pp. 3624 - 3637, Aug. 2012.
[0009] [4]S.-ff. Jung, aA modified model of the just noticeable depth difference and its application to depth sensation enhancement, '，IEEE Trans. Image Process. , vol. 22, no. 10, pp. 3892 - 3903, Oct. 2013
【发明内容】
[0010] 本发明提供了一种基于显著性的深度感知增强方法，本发明通过对图像场景进行 显著性提取，进行有选择性的基于显著性的深度感知增强，改善立体显示效果，详见下文描 述：
[0011] 一种基于显著性的深度感知增强方法，所述深度感知增强方法包括以下步骤：
[0012] 统计分割图的场景中对象的数量，进行场景复杂度分析，筛选复杂场景；
[0013] 对复杂场景进行显著性提取，获取显著性因子，并获取基于显著性因子的显著性 感知增强的能量函数；
[0014] 通过显著性感知增强的能量函数获取深度感知增强后的深度图；
[0015] 根据深度感知增强后的深度图进行虚拟视点绘制。
[0016] 其中，所述深度感知增强方法还包括：
[0017] 对深度图进行信息标注，将深度图和标记信息作为半自动分割法的输入，输出分 割图。
[0018] 其中，所述显著性因子具体为：
[0020] 其中，λ是比1大的一个常量。
[0021] 进一步地，所述基于显著性因子的显著性感知增强的能量函数具体为：
[0023] 其中，x°表示原始深度图的每一层的平均深度像素值的集合；X表示感知增强后深 度图的每一层的平均深度像素值的集合;Wl是常量因子；M表示分割图的分割层数；Φ 1表 示与第i分割层相邻的分割层的集合;<表示原始深度图中位于第i层的物体深度平均值； X1表示感知增强后深度图中位于第i层的物体深度平均值；X 表示感知增强后深度图中位 于第j层的物体深度平均值；D_d表示恰可察觉深度差异模型。
[0024] 本发明提供的技术方案的有益效果是：本发明依据显著性原理来选择性的拉伸深 度图，优先保证与显著性物体相邻分割层的深度差异达到人眼可察觉的深度差异阈值，使 得人眼能够感知到场景中视觉注意区域之间的层次感，有效的增强了显示图像的深度感、 改善了立体效果。
【附图说明】
[0025] 图1为一种基于显著性的深度感知增强方法的流程图；
[0026] 图2为未采用本发明方法的原始深度图和彩色图；
[0027] 图3为显著性物体提取结果和采用本方法的增强后的深度图。
【具体实施方式】
[0028] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0029] 实施例1
[0030] 本发明实施例旨在克服现有技术的不足，针对当前深度感知增强算法对复杂场景 的适应性有限，研究基于显著性的深度感知增强算法，为立体显示，深度感知增强奠定基 础。研究表明人眼会首先关注复杂场景吸引观看者兴趣的物体或区域，称为视觉注意或者 视觉显著性。因此为达到上述目的，本发明实施例依据视觉注意原理，实现了一种基于视觉 显著性的深度感知增强方法，参见图1，具体的技术方案分为下列步骤：
[0031] 101 :对深度图进行信息标注，将深度图和标记信息作为半自动分割法的输入，输 出分割图；
[0032] 为了获得较为精确的分割效果，本发明实施例采用精确的半自动分割法，该方法 为非局部随机游走算法，该步骤具体为：首先对深度图进行信息标注，之后将标记信息和深 度图作为非局部随机游走算法的输入，获得分割图。其中，非局部随机游走算法为本领域技 术人员所公知，本发明实施例对此不做赘述。
[0033] 具体实现时，也可以为其他的半自动分割法，本发明实施例对此不做限制。
[0034] 102 :统计分割图的场景中对象的数量，进行场景复杂度分析，筛选复杂场景；
[0035] 即，根据上述的分割图，统计场景中对象数量（与分割图的分割层数一致）进行场 景复杂度分析。场景复杂度分析公式如下：
[0037] 其中，N表示绘制中间虚拟视点的数量，根据立体显示环境的要求指定N的大小； d表示深度图的像素值；将对象数量即深度层大于K的定义为复杂场景，其它情况为简单场 景。Djndd是恰可察觉深度差异模型，定义如下：
[0039] 103 :对复杂场景进行显著性提取，获取显著性因子，并获取基于显著性因子的显 著性感知增强的能量函数；
[0040] 对上述复杂场景进行显著性提取，设计显著性因子，优先保证拉伸