一种基于立体视觉显著性的立体图像质量客观评价方法
【技术领域】
[0001] 本发明涉及立体图像领域，尤其涉及一种基于立体视觉显著性的立体图像质量客 观评价方法。
【背景技术】
[0002] 近年来，立体图像处理技术在娱乐行业和科学领域的应用越来越广泛，与平面图 像带给人的视觉感受不同，立体图像为人们提供更加真实的立体视觉感受。但是立体图像 在采集、压缩、储存、运输和显示等过程中会产生各种失真，影响人们的立体视觉感受。立体 图像质量作为立体图像的固有属性是评判立体图像失真的一个重要指标。虽然主观质量评 价方法的准确性较高，但是具有费时费力且成本较高的缺陷，因此建立一个能够准确高效 模拟人眼主观评价结果的立体图像质量客观评价算法具有重要的意义。
[0003] 经过多年的研宄，国内外研宄者已提出了许多立体图像质量客观评价算法。最初， 将均方误差（Mean Squared Error, MSE)、峰值信噪比（Peak Signal Noise Ratio, PSNR)、 结构相似度（Structural Similarity, SSIM) [1]等一些经典的平面图像质量评价算法直接 应用于立体图像的左右视点，通过加权左右图像质量得到立体图像质量客观评价值[2]。文 献[3]和文献[4]考虑深度感知对立体图像质量评价的影响，将2D评价方法融合立体图像 的差异信息或深度信息进行立体图像质量评价。
[0004] 目前，研宄者已将一些容易建模的人眼视觉特性，例如：亮度幅度非线性特性、多 通道特性、对比度敏感度特性和掩盖效应等，用于立体图像质量客观评价算法中。随着各研 宄领域对人类视觉系统的认识逐渐加深，客观评价模型中融入更加复杂和高级的人眼视觉 特性成为了必然的发展方向。视觉显著性作为一种人类视觉系统高级特性，是指人眼对图 像不同区域分配的注意力强度不同。显著区域是人眼比较容易关注的区域，所以观看失真 立体图像时，显著区域出现的失真对人眼的视觉感受影响更大。视觉显著图为立体图像质 量客观评价提供了重要依据，文献[5-8]将视觉显著性的影响用到立体图像质量客观评价 算法中。文献[6]结合立体显著性和SSIM算法[1]对绘制图像进行质量评价。文献[7] 将相位一致性图和显著图作为失真立体图像的特征，使用局部匹配函数加权两个特征图的 差异以计算左右视点间的相关性，进行立体图像质量经验值评价。文献[8]使用SSIM算法 得到原始与失真立体图像的合成图像的结构相似度图，将其与立体显著图融合得到立体图 像质量评价指标。文献[9]将原始和失真立体图像左右视图和其显著图结合，确定原始、失 真立体图像左右视图的选择性显著图；然后对选择性显著图采用SSIM算法来获取显著结 构相似度图，通过给其边缘区域、平滑区域和纹理区域的分配不同的权值来获取单视图的 客观评价值；最后，加权平均左右视图的客观评价值得到立体图像质量客观评价值。文献
[5] [7]提取立体显著图时使用原始立体图像的视差图，忽略了失真立体图像的深度信息失 真对失真立体图像的立体显著图检测的影响。
[0005] 但是上述方法没有考虑人眼的其它视觉特性和深度信息对立体图像质量评价的 影响，导致客观评价值不能有效的反映主观评价结果。
【发明内容】
[0006] 本发明提供了一种基于立体视觉显著性的立体图像质量客观评价方法，本发明根 据融合立体视觉显著图和立体图像综合质量图，准确有效地建立了反映主观评价结果的立 体图像质量的客观评价模型，详见下文描述：
[0007] -种基于立体视觉显著性的立体图像质量客观评价方法，所述立体图像质量客观 评价方法包括以下步骤：
[0008] 通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后的立 体视觉显著图；
[0009] 根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；
[0010] 通过所述立体视觉显著图对所述立体图像综合质量图进行加权求和，获取失真立 体图像质量客观评价值。
[0011] 其中，在所述通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取 优化后的立体视觉显著图的步骤之前，所述立体图像质量客观评价方法还包括以下步骤：
[0012] 通过模拟视觉显著性，获取失真立体图像的立体视觉显著图。
[0013] 其中，所述通过模拟视觉显著性，获取失真立体图像的立体视觉显著图的步骤具 体为：
[0014] 将失真立体图像右视图从RGB色彩空间转换到YCbCr色彩空间，划分为不重叠的 图像块，对图像块进行离散余弦变换；
[0015] 将亮度对比度特征显著图、色度对比度特征显著图、纹理对比度特征显著图和失 真立体图像的绝对差值图进行归一化，通过将归一化后的这些图线性组合获取失真立体图 像的立体视觉显著图。
[0016] 其中，所述通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优 化后的立体视觉显著图的步骤具体为：
[0017] 模拟中央偏移因子，对立体视觉显著图进行初步优化；
[0018] 模拟中心凹特性，对初步优化后的立体视觉显著图进行最终优化。
[0019] 其中，所述根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质 量图的步骤具体为：
[0020] 提取失真立体图像右视图的相位相似度；
[0021] 提取失真立体图像右视图的梯度相似度；
[0022] 分别提取失真立体图像右视图的色度的相似度；
[0023] 计算原始立体图像右视图和失真立体图像右视图之间的相似度；
[0024] 计算失真立体图像左视图的相似度，将失真立体图像右视图的相似度、左视图的 相似度图使用平均值法得到失真立体图像质量图；
[0025] 对原始立体图像的绝对差值图和失真立体图像的绝对差值图采用结构相似度算 法，提取失真立体图像的绝对差值图的质量图；
[0026] 将失真立体图像质量图与绝对差值图的质量图融合，得到立体图像综合质量图。
[0027] 本发明提供的技术方案的有益效果是：本方法在初始立体显著图的基础上，采用 中央偏移与中心凹特性得到最优立体视觉显著图，更好地模拟了人类视觉系统提取显著区 域的视觉过程。然后将立体视觉显著图和立体图像质量图加权相乘并归一化，获取立体图 像客观评价值。与其它三种算法相比较，本算法避免了对整幅图像不同区域采用同等权重 的缺陷。通过实验验证表明，本方法在立体图像质量客观评价方面整体性能优于3SIQA[8] 算法、DSSM[3]算法和SSM[1]算法，具有实际可行性。
【附图说明】
[0028] 图1为源图像"tree2"的示意图；
[0029] 图2为源图像"girl"的示意图；
[0030] 图3为源图像"tree1"的示意图；
[0031] 图4为源图像"tju"的示意图；
[0032] 图5为源图像"family"的示意图；
[0033] 图6为降质图像"river"的示意图；
[0034] 图7为源图像"ox"的示意图；
[0035] 图8为源图像"woman"的示意图；
[0036] 图9为基于立体视觉显著性的立体图像质量评价方法框图；
[0037] 图10为原始显著图、结合两种影响因素的显著图对比图；
[0038] (a)为失真立体图像右视图；(b)为优化前的立体显著图SMl; (C)为经中央偏移 优化后的立体显著图SM' ；（d)为SM'经中心凹优化后的立体显著图SM。
[0039] 图11为基于立体视觉显著性的立体图像质量客观评价方法的流程图。
【具体实施方式】
[0040] 为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步 地详细描述。
[0041] 为了解决【背景技术】中存在的问题，本发明旨在首先通过模拟视觉显著性以初步确 定失真立体图像的立体视觉显著图，再通过模拟中央偏移和中心凹特性对初步确定的立体 视觉显著图进行优化，提取较准确的立体视觉显著图；其次，融合左、右视图的质量图和绝 对差值图的质量图得到立体图像综合质量图；最后，使用立体视觉显著图对立体图像综合 质量图进行加权求和，得到失真立体图像质量的客观评价值，详见下文描述。
[0042] 实施例1
[0043] 一种基于立体视觉显著性的立体图像质量客观评价方法，参见图11，立体图像质 量客观评价方法包括以下步骤：
[0044] 101 :通过模拟中央偏移和中心凹特性，对立体视觉显著图进行优化，提取优化后 的立体视觉显著图；
[0045] 102 :根据失真立体图像质量图、绝对差值图的质量图得到立体图像综合质量图；
[0046] 103:通过立体视觉显著图对立体图像综合质量图进行加权求和，获取失真立体图 像质量客观评价值。
[0047] 其中，在步骤101之前，该立体图像质量客观评价方法还包括：通过模拟视觉显著 性，获取失真立体图像的立体视觉显著图，该步骤具体为：
[0048] 将失真立体图像右视图从RGB色彩空间转换到YCbCr色彩空间，划分为不重叠的 图像块，对图像块进行离散余弦变换（Discrete Cosine Transform，离散余弦）变换； [0049] 将亮度对比度特征显著图、色度对比度特征显著图、纹理对比度特征显著图和失 真立体图像的绝对差值图进行归一