结合流形特征及双目特性的立体图像质量客观评价方法

结合流形特征及双目特性的立体图像质量客观评价方法
【专利摘要】本发明公开了一种结合流形特征及双目特性的立体图像质量客观评价方法，其从人眼以流形方式感知的基础出发使用正交局部保持投影算法从自然场景平面图像上获取降维以及白化操作后的矩阵进行训练获得最佳映射矩阵；为了提高评价的准确性和稳定性去除对于视觉感知不重要的图像块，在完成选块后利用最佳映射矩阵提取选取出的图像块的流形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真；并考虑图像亮度变化对人眼的影响，基于图像块的均值求失真图像的亮度失真；在获得流形相似度和亮度相似度后，采用双目竞争模型对左、右视点图像各自的质量值进行线性加权得到失真立体图像的质量值，评价结果与人眼的主观感知评价结果具有较高的一致性。
【专利说明】
结合流形特征及双目特性的立体图像质量客观评价方法
技术领域
[0001 ]本发明涉及一种立体图像质量评价方法，尤其是涉及一种结合流形特征及双目特 性的立体图像质量客观评价方法。
【背景技术】
[0002] 立体图像质量的定量评价是图像处理领域中充满挑战性的问题。立体图像与平面 图像不同，立体图像包含两个不同的视点。当人观看一幅立体图像时，人类视觉系统(HVS) 并不是将左视点图像和右视点图像分开处理，而是左视点图像和右视点图像之间经过复杂 的双眼融合和竞争过程后形成一幅合成的独眼图，这种融合的独眼图不仅取决于个体的刺 激因素的差异，而且还取决于两个视点间的几何关系。因此，一幅立体图像的质量不仅与单 独的左视点和右视点的质量有关，而且还与双目视觉感知相关。
[0003] 针对立体图像中某一视点的质量评价来说，传统的峰值信噪比(？册1^3丨81^1-切-Noise Ratio，PSNR)等基于保真度的图像质量评价方法虽能较好地评价具有相同内容和失 真的图像质量，但面对多幅图像和多种失真时，其评价结果与主观感知却相差甚远。感知质 量评价方法的目的是通过模拟人眼视觉系统的整体感知机制来获取与视觉感知质量具有 较高一致性的评价结果。通过对人眼视觉系统的生理响应进行建模获取客观评价方法，可 以得到与主观评价有较高一致性的评价结果。优异的图像质量评价方法应能很好地反映人 眼视觉感知特性。现有的基于结构的图像质量评价方法都是从图像的边缘、对比度等结构 信息出发获取图像质量的，而从人眼视觉系统特性设计的图像质量评价方法主要是从人眼 关注及察觉失真的能力角度出发进行图像质量评价的，它们均为从图像的非线性几何结构 以及人眼的感知角度进行质量评价的；但有研究表明针对视觉感知现象，流形是感知的基 础，大脑中以流形方式对事物进行感知，而自然场景图像通常包含流形结构，有着流形非线 性的本质。因此，结合流形特征可以较好地评价立体图像中的单一视点的图像质量。
[0004] 另一方面，从双目感知角度来说，当左视点和右视点对称失真时，立体图像质量评 价较为容易。通常分为两种方法，一种方法是分别对立体图像的两个视点运用平面图像的 质量评价方法进行评价，然后平均这两个视点的质量值得到立体图像的质量值;另一种方 法是采用立体图像的左视点和右视点以及立体图像的深度/视差信息来进行评价，此时需 假定深度/视差信息在HVS判断立体图像的质量中起到一定的作用。然而，第二种方法需要 考虑两个问题，首先，由于真实的深度/视差图并不总是可用的，第二种方法一般都是在估 计深度图时进行立体图像深度感的质量评价，因此，深度/视差估计算法的精度可能会大大 影响评价性能；其次，深度/视差信息可能与三维感知质量不相关，这一点已在Kaptein等的 文章中被证实，他在主观实验中使用了在不同深度下的相同物体的模糊图像，发现在三维 显示中在一定程度上深度不影响图像感知质量。
[0005] 尽管存在上述的这些问题，上述两种方法在针对对称失真的立体图像质量评价上 仍取得了不错的质量评价性能。然而，如果左视点和右视点包含不同程度或失真类型(也称 为不对称的失真刺激），那么上述这两种方法的质量评价性能较差。不对称的失真使立体图 像质量评价问题更具挑战性，主要是因为人眼合成的独眼图的质量与左右视点的失真类型 以及分布有关。例如有两幅失真立体图像，两幅失真立体图像的左视点图像均为相似的尚 质量的图像，而两幅失真立体图像的右视点图像均为近似的低质量的图像。对受试者的观 察结果进行统计，可以发现，对于右视点含有白噪声的失真立体图像，他们认为合成的虚拟 视点图像(独眼图）质量更接近低质量的右视点图像，而对于右视点含有高斯模糊的失真立 体图像，他们认为合成的虚拟视点图像(独眼图）质量更接近高质量的左视点图像。因此，有 效地模拟HVS的双目非对称失真时的感知机制也是提高立体图像质量评价算法性能的关键 之一。合理有效的双目模型可以更加全面地考虑人眼双目感知特性，同时可以提高对对称 失真以及非对称失真立体图像的评价效果。

【发明内容】

[0006] 本发明所要解决的技术问题是提供一种结合流形特征及双目特性的立体图像质 量客观评价方法，其能够获得与主观感知质量一致性较高的客观评价结果。
[0007] 本发明解决上述技术问题所采用的技术方案为:一种结合流形特征及双目特性的 立体图像质量客观评价方法，其特征在于包括以下步骤：
[0008] ①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮 度分量；
[0009] 然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8 X8的图像块；
[0010]接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个 图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为^，其中，5000SN 彡20000，1彡i彡N;
[0011] 再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将Xl中的所 有像素点的像素值排列构成的灰度向量记为X， 1，其中，X，1的维数为64X1，XlW中的第1 个元素至第64个元素的值一一对应为以逐行扫描方式扫描^获得的每个像素点的像素值；
[0012] 之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的 所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将经中 心化处理后得到的灰度向量记为if
[0013] 最后将所有中心化处理后得到的灰度向量组成的矩阵记为χ，χ=[νΚν·.Λ'β/]， 其中，X的维数为64ΧΝ，.??'…寸应表示第1个训练样本中的所有像素点的像素值 排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的 像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第Ν个训练样本中的所有 像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号"[]"为向量表 不符号；
[0014] ②利用主成分分析对X进行降维以及白化操作，将降维以及白化操作后得到的矩 阵记为Xw，其中，维数为ΜΧΝ，Μ为设定的低维维数，1〈Μ〈64;
[0015] ③利用正交局部保持投影算法对Xw中的Ν个列向量进行训练，获得个正交基 的最佳映射矩阵，记为/，其中，/的维数为8 X Μ;
[0016]然后根据/和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J = JwXW，其 中，J的维数为8 X 64，W表示白化矩阵，W的维数为Μ X 64;
[0017]④令IQrg表示宽度为W'且高度为Η'的原始的无失真自然场景立体图像，将的左 视点图像和右视点图像对应记为^^和/i，并提取和/i各自的亮度分量;令Idls表示I〇rg 经失真后的失真立体图像，将Idls作为待评价的失真立体图像，将Idls的左视点图像和右视 点图像对应记为毯和/,1,并提取4和/,1各自的亮度分量；
[0018] 然后将it和/i各自的亮度分量及和ii各自的亮度分量分别划分成
个互不重叠的尺寸大小为8X8的图像块，将1^的亮度分量中的第j个图像块 记为，将的亮度分量中的第j个图像块记为Λ，将/i的亮度分量中的第j个图像块 记为xf夂将/】s的亮度分量中的第j个图像块记为，其中，符号"1」"为向下取整符号，
[0019] 再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度 向量，将彳"中的所有像素点的像素值排列构成的灰度向量记为糌4的亮度分量 中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将中的所有像素点 的像素值排列构成的灰度向量记为将/i的亮度分量中的每个图像块中的所有像素 点的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量 记为将/^的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度 向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，xfW和 、<山。'和<'^的维数均为64 X 1，<以'￡〇/中的第1个元素至第64个元素的值一一 对应为以逐行扫描方式扫描^^'^获得的每个像素点的像素值，中的第1个元素至第 64个元素的值一一对应为以逐行扫描方式扫描xf"获得的每个像素点的像素值，.<4#中 的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的 像素值，中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描xf"获 得的每个像素点的像素值；
[0020] 之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对 应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰 度向量的中心化处理，将经中心化处理后得到的灰度向量记为的亮 度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元 素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将 经中心化处理后得到的灰度向量记为#的亮度分量中的每个图像块对 应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对/1 的亮度分量中的每个图像块对应的灰度向量的中心化处理，将经中心化处理后得到 的灰度向量记为·iff、将的亮度分量中的每个图像块对应的灰度向量中的每个元素的 值减去对应灰度向量中的所有元素的值的平均值，实现对仏的亮度分量中的每个图像块对 应的灰度向量的中心化处理，将经中心化处理后得到的灰度向量记为
[0021] 最后将的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为 xref，L，x7'e/*￡ :=[矿以'￡0/,劣?/AcoV.·，恭 到的灰度向量组成的矩阵记为广^，^〃。[0^，名〃'乂...,#^];将/1的亮度分量对应 的所有中心化处理后得到的灰度向量组成的矩阵记为 将以的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdls，R， '細'，…，砹Λν°'];其中，xref'L和xref' R、xdis'L和xdis'^ ?，砍^对应表示/;的亮度分量中的第1个图像块中的所有像素点的像素 值排列构成的灰度向量经中心化处理后得到的灰度向量、七s的亮度分量中的第2个图像块 中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、t,g的 亮度分量中的第Ν'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理 后得到的灰度向量，对应表示匕的亮度分量中的第1个图像块中 的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度 分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到 的灰度向量、…、€ g:的亮度分量中的第Ν'个图像块中的所有像素点的像素值排列构成的灰 度向量经中心化处理后得到的灰度向量，馬#'···,对应表示的亮度分量 中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰 度向量、/1的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经 中心化处理后得到的灰度向量、…、4,的亮度分量中的第Ν'个图像块中的所有像素点的像 素值排列构成的灰度向量经中心化处理后得到的灰度向量，a …，巧对应 表示的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中 心化处理后得到的灰度向量、/i的亮度分量中的第2个图像块中的所有像素点的像素值排 列构成的灰度向量经中心化处理后得到的灰度向量、…、/=的亮度分量中的第N '个图像块 中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号"[]" 为向量表不符号；
[0022] ⑤计算中的每个列向量与Xdls，1中对应列向量之间的结构差异，将与 之间的结构差异记为并计算X ref'R中的每个列向量与Xdls'R中对 应列向量之间的结构差异，将之间的结构差异记为』
[0023] 然后将rrf，1和Xdis，1对应的Ν'个结构差异按序排列构成一个维数为1ΧΝ'维的向 量，记为 并将)Tf，R和Xdls，R对应的Ν'个结构差异按序排列构成一个维数为1ΧΝ'维的向 量，记为Λ其中，Α中的第j个元素的值为=中的第j个 元素的值为=:;
[0024] 接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图 像块集合和失真右视点图像块集合，具体过程为:al、设计一个左视点图像块选取阈值1? 和一个右视点图像块选取阈值TH2; a2、从vl中提取出所有值大于或等于1?的元素，并从vR 中提取出所有值大于或等于TH2的元素;a3、将的亮度分量中与从A中提取出的元素对应 的图像块构成的集合作为无失真左视点图像块集合，记为Y ^ e f，1， Γ<，Ζ = {xf1 I ，故心〇/) 2 r/fpl S S iV1};并将/念的亮度分量中与从vL中 提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Ydls，1， 产^ =丨ifμ叹(if上':?1咕mpl S y S ΛΠ};将/:的亮度分量中与从VR中提 取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为YM f，R， 】叫』={17/^|3呢(</力°',<力. <")27^2,1<##，};将以的亮度分量中与从，中提 取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Y dls，R， YJ^R = I ΑνΕ^Μ·^〇Ι J^,R,cal^ > Ν，^ ；
[0025] ⑥计算中的每个图像块的流形特征向量，将中的第t个图像块的流形特 征向量记为= Jxiruw ;并计算Ydls，L中的每个图像块的流形特征向量，将Ydls， L 中的第t个图像块的流形特征向量记为= Jxif ;计算Yraf，R中的每个图像块的 流形特征向量，将YMf，R中的第t'个图像块的流形特征向量记为，/;：^ = jx.f 计 算Ydls>R中的每个图像块的流形特征向量，将Ydls>R中的第 t'个图像块的流形特征向量记为 =jx_if力°，；其中，l<t<K，K表示Yref，L中包含的图像块的总个数，也即Y dis，L中 包含的图像块的总个数，1彡t'彡K'，K'表示Yraf， R中包含的图像块的总个数，也即Ydls，R中包 含的图像块的总个数，/产气的维数均为8X1，^〃 0;表示r#中的第 t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向 量，if 表示Y dl4中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中 心化处理后得到的灰度向量，表示rrf，R中的第t'个图像块中的所有像素点的像素值 排列构成的灰度向量经中心化处理后得到的灰度向量，尤表示Ydls，R中的第t'个图像 块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量；
[0026] 然后将中的所有图像块的流形特征向量组成一个矩阵，记为R1;并将Ydis，1中 的所有图像块的流形特征向量组成一个矩阵，记为DS将r ef，R中的所有图像块的流形特征 向量组成一个矩阵，记为Rr;并将Y dls，R中的所有图像块的流形特征向量组成一个矩阵，记为 DR;其中，RL和DL的维数均为8 XK，rMPDr的维数均为8 XK'，RL中的第t个列向量为/f#，DL中 的第t个列向量为<#，rr中的第t'个列向量为/中的第t'个列向量为
[0027] 再计算的亮度分量与/1的亮度分量的流形特征相似度，记为MF<，
-Η十算的亮度分量与/?￡的亮度分量的流形特征 相似度，记为
；其中，圮，表示R1中第m行第t 列的值，AL表示护中第m行第t列的值，表示Rr中第m行第t '列的值，At表示DR中第m行 第t '列的值，&为一个用于保证结果稳定性的很小的常量；
[0028] ⑦计算/&的亮度分量与/1的亮度分量的亮度相似度，记为MF哲，
Η十算的亮度分量与/rfi的亮度分量 的亮度相似度，记为·其中， \
厂士i. k'+ //广v表示中的第t个图像块中的所有像素点的像素值的平均值：
表示Ydls>1中的第t个图像块中的所有像素点的像素值的平均值：
表示 中的第t'个图像块中的所有像素点的像素值的平均值
表示 Ydls>R中的第t'个图像块中的所有像素点的像素值的平均值
为一个很小 的常量；
[0029 ]⑧对MF片和MF巧进行幂指数加权得到么的质量分数，记为M F S 1， 磨符"=(f X (MES# f ;对MRSf和MF和进行幂指数加权得到4的质量分数，记为 MFSR，MFSw 了 X (MRg)''':其中，α 用于调节 MF# 和 节MF句和MKSf的相对重要性，α+β = 1;
[0030]⑨利用双目竞争模型求取/〗s的加权值和/|,的加权值，对应记为〇1和ω κ;然后利 用ω ^MFSl进行加权，利用ω 行加权，得到Idis的质量值，记为Q，Q = ω L X MFSl+ c〇RXMFSR，其中，ωι用于调节MFS1的相对重要性，ω%于调节MFS 1^]相对重要性，ωι+ωκ = 1〇
[0031] 所述的步骤②中的Xw的获取过程为：
[0032] ②-1、计算X的协方差矩阵，记为C，
其中，C的维数为64X64，XTSX 的转置矩阵；
[0033] ②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ Ψ, 0 ... 0 ~ 和E，其中，ψ的维数为64X64, ψ= 〇 ψ2…0 , 和Ψ64对应表示分解得到的 0 0 0 Ψ?4 第1个、第2个和第64个特征值，Ε的维数为64 X 64，Ε = [eie2. . . e64]，ei、e2和e64对应表示分解 得到的第1个、第2个和第64个特征向量，ei、e2和e64的维数均为64X 1;
[0034] ②-3、计算白化矩阵，记为W，
，其中，W的维数为MX64，
4M表示分解得到的第Μ个特征值，Μ为设定的 低维维数，1〈M〈64，ET为E的转置矩阵；
[0035] ②-4、计算降维以及白化操作后得到的矩阵Xw，Xw=WXX。
[0036] 所述的步骤⑤中
，
，其中，符号"I I"为取绝对值符号， if ^(g)表示中的第g个元素的值，^￡'力幻表示^^中的第g个元素的值， ⑷表示中的第g个元素的值，萃表示萃心/中的第g个元素的值。
[0037] 所述的步骤⑤中的al步骤中THi = median(vL)，TH2 = median(vR)，其中，median() 为中值选取函数，medianW)表示选取中的所有元素的值中的中值，median(v R)表示选取 vR*的所有元素的值中的中值。
[0038] 所述的步骤⑨中的ω$Ρωκ的获取过程为：
[0039] ⑨-1、采用尺寸大小为Q X Q的滑动窗口，在中逐像素点滑动，将划分成
个重叠的尺寸大小为QXQ的图像块，将中的第P个图像块记为 同样，采用尺寸大小为QXQ的滑动窗口，在仏中逐像素点滑动，将么划分成
个重叠的尺寸大小为QXQ的图像块，将/(1中的第P个图像块记为 采用尺寸大小为Q X Q的滑动窗口，在4中逐像素点滑动，将/f.g划分成
十重叠的尺寸大小为QXQ的图像块，将中的第P个图像块记为 采用尺寸大小为〇\〇的滑动窗口，在/1中逐像素点滑动，将/1划分成
个重叠的尺寸大小为QXQ的图像块，将/1中的第P个图像块记为 、其中，9彡Q彡37且Q为奇数：
[0040] ⑨-2、采用高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为QXQ，且标准 差为ζ，得到卷积模板，其中，3<ζ<6;然后对卷积模板中的每个元素的值进行归一化处理， 得到归一化处理后的卷积模板，其中，对于卷积模板中的任一个元素的值，其除以卷积模板 中的所有元素的值的和得到该元素对应的归一化处理后的值；
[0041] ⑨-3、利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的 像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为€广' ￡，
，同样，利用归一化处理后的卷积模板，获取中的每 个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权 平均值记为
利用归一化处理后的卷积模板，获 取中的每个图像块中的所有像素点的像素值的加权平均值，将3中的所有像素点的 像素值的加权平均值记戈
.利用归一化处理后的 卷积模板，获取it中的每个图像块中的所有像素点的像素值的加权平均值，将中的所 有像素点的像素值的加权平均值记为
.其中， u彡Q，1彡v彡Q，M〇de(u，V)表示归一化处理后的卷积模板中下标为（u，v)的元素的值， ^'￡(?4表示5^中坐标位置为(11^)的像素点的像素值，<1?,^表示<1中坐标位 置为(u，v)的像素点的像素值，表示Sf 3中坐标位置为(u，v)的像素点的像素值， j (?,V)表示3中坐标位置为(u，v)的像素点的像素值；
[0042] ⑨-4、根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中 的每个图像块中的所有像素点的像素值的方差，作为方差能量;同样，根据中的每个图像 块中的所有像素点的像素值的加权平均值，计算/,i中的每个图像块中的所有像素点的像素 值的方差，作为方差能量;根据中的每个图像块中的所有像素点的像素值的加权平均 值，计算中的每个图像块中的所有像素点的像素值的方差，作为方差能量;根据巧,中的 每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像素 点的像素值的方差，作为方差能量；
[0043] ⑨-5、根据/上中的所有图像块各自对应的方差能量，获取仏的能量图，记为EM '同样，根据/1中的所有图像块各自对应的方差能量，获取ii的能量图，记为Edls'根据 中的所有图像块各自对应的方差能量，获取的能量图，记为Eraf，R;根据/1中的所有图 像块各自对应的方差能量，获取的能量图，记为Edls，R;其中， 宽度均为1
且高度均为
，E1rf， L·中的第p个像素点的像素值E1rf，L·(p)为/" ￡?中 的第Ρ个图像块对应的方差能量，Edls，1中的第ρ个像素点的像素值Edls， l(p)为&中的第ρ个 图像块对应的方差能量，E^R中的第p个像素点的像素值E^R(p)为&中的第p个图像块 对应的方差能量，E dls，R中的第p个像素点的像素值Edls，R(p)为/i中的第p个图像块对应的方 差能量；
[0044]⑨-6、计算左视点图像的局部能量比率图，记为Ratio、将Ratic^中的第p个像素点 的像素值记为Ratiol(p)
;并计算右视点图像的局部能量比率图，记 为RatioR，将RatioR中的第p个像素点的像素值记为RatioR(p)
;，其 中，Ratio1和RatioR的宽度均为
且高度均为

;其中， 〇:
[0046] 与现有技术相比，本发明的优点在于：
[0047] 1)本发明方法是从人眼以流形方式感知的基础出发使用正交局部保持投影算法 从自然场景平面图像上获取降维以及白化操作后的矩阵进行训练获得一个通用的最佳映 射矩阵；为了提高评价的准确性和稳定性，本发明方法首先采用了视觉阈值策略来去除对 于视觉感知不重要的图像块，在完成选块之后利用最佳映射矩阵提取选取出的图像块的流 形特征向量，然后通过流形特征相似度来衡量失真图像的结构失真;之后考虑了图像亮度 变化对人眼的影响，基于图像块的均值求取失真图像的亮度失真，这使得本发明方法具有 更高的评价准确性，也扩大了其对各类失真的评价能力，能够客观地反映图像受到各种图 像处理和压缩方法影响下视觉质量的变化情况，并且本发明方法在获得左视点图像和右视 点图像的亮度分量各自对应的流形相似度和亮度相似度后，考虑双目竞争对待评价的失真 立体图像质量的影响，采用简单有效的双目竞争模型对左视点图像和右视点图像各自的质 量值进行线性加权得到待评价的失真立体图像的质量值，该过程使得本发明方法不仅在对 称失真的立体图像质量评价上取得了与人眼主观评价更接近的评价结果，而且也提高了对 非对称的失真立体图像质量评价的性能，因而本发明方法获得的最终的评价结果与人眼的 主观感知评价结果具有较高的一致性。
[0048] 2)本发明方法的评价性能受立体图像库不同的影响微乎其微，选用不同的训练库 得到的性能结果基本相同，因此本发明方法中的最佳映射矩阵是一个通用的流形特征提取 器，一旦通过正交局部保持投影算法训练获取后便可以用于所有失真立体图像质量的评 价，而不需要每次评价都进行耗时的训练过程，并且用于训练的平面图像和测试的失真立 体图像是相互独立的，因此可以避免测试结果对训练数据的过度依赖，从而能够有效地提 高客观评价结果与主观感知质量之间的相关性。
【附图说明】
[0049] 图1为本发明方法的总体实现框图。
【具体实施方式】
[0050] 以下结合附图实施例对本发明作进一步详细描述。
[0051] 优异的图像质量评价方法应能很好地反映人眼视觉感知特性。针对视觉感知现 象，有研究表明流形是感知的基础，人的感知是在认知流形和拓扑连续性的基础上进行的 即人类感知局限在低维流形之上，大脑以流形方式对事物进行感知；大脑中神经元群体活 动通常可描述为一个神经放电率的集合的结果，所以可表示为一个维数等于神经元数目的 抽象空间中的点。研究发现每个神经元在一个神经元群体中的放电率可用一个少数变量的 平滑函数表示，这说明神经元群体活动是局限在一个低维流形之上。因此，将图像流形特征 应用于视觉质量评价可得到与主观感知质量一致性较高的评价结果。而流形学习则能较好 地帮助找到图像等在低维流形中的内在几何结构，体现事物的非线性流形的本质。
[0052] 本发明根据人眼以流形方式感知的视觉特性以及流形学习理论同时考虑双目竞 争特性，提出了一种结合流形特征及双目特性的立体图像质量客观评价方法，其在训练阶 段，利用流形学习正交局部保持投影算法得到最佳映射矩阵用于提取图像的流形特征;在 质量预测阶段，在将原始的无失真自然场景立体图像与失真立体图像各自的左视点图像和 右视点图像的亮度分量划分为图像块后，去除每个图像块的均值使所有图像块对应的灰度 向量都具有零均值，在这基础上计算流形特征相似度;而所有图像块的均值则用于计算亮 度相似度，其中，流形特征相似度表征了两幅图像的结构差异，而亮度相似度则度量了失真 图像的亮度失真，最后均衡两个相似度得到失真立体图像的左视点图像和右视点图像各自 的整体视觉质量;在此基础上考虑双目竞争对立体图像质量的影响，通过利用局部能量图 来求取左视点图像和右视点图像各自的加权值来对左视点图像和右视点图像各自的质量 值进行加权来获取最终的失真立体图像的质量值。本发明方法通过双目竞争模型模拟双目 竞争特性在对称和非对称失真立体图像的评价上取得了不错的效果。
[0053] 本发明的结合流形特征及双目特性的立体图像质量客观评价方法的总体实现框 图如图1所示，其包括以下步骤：
[0054] ①选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮 度分量；
[0055] 然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8 X8的图像块；
[0056] 接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个 图像块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为^，其中，5000SN 彡20000，1彡i彡N;
[0057] 再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将Xl中的所 有像素点的像素值排列构成的灰度向量记为X， 1，其中，X，1的维数为64X1 ,χ，1中的第1 个元素至第64个元素的值一一对应为以逐行扫描方式扫描^获得的每个像素点的像素值；
[0058] 之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的 所有元素的值的平均值，实现对每个训练样本对应的灰度向量的中心化处理，将经中 心化处理后得到的灰度向量记为i,'即f中的第1个元素的值等于X， 1中的第1个元素的 值减去X，1中的所有元素的值的平均值，依次类推，年?"中的第64个元素的值等于X， 1中的 第64个元素的值减去X，1中的所有元素的值的平均值；
[0059] 最后将所有中心化处理后得到的灰度向量组成的矩阵记为 其中，X的维数为64ΧΝ，Λ?'…对应表示第1个训练样本中的所有像素点的像素值 排列构成的灰度向量经中心化处理后得到的灰度向量、第2个训练样本中的所有像素点的 像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、第N个训练样本中的所有 像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号"[]"为向量表 不符号。
[0060]在此，多幅无失真自然场景平面图像的尺寸大小可以全部相同或可以各不相同或 可以部分相同，在具体实施时如选取10幅无失真自然场景平面图像;N的取值范围是通过大 量实验确定的，如果N的取值太小(小于5000个)即图像块个数较少时会大幅影响训练精度， 如果N的取值太大(大于20000个）即图像块个数较多时训练精度提升不多但计算复杂度会 增加很多，因此本发明将N的取值范围限制为5000<N<20000,具体实施时如取N = 20000; 由于灰度图像只考虑图像的亮度分量，由此可知每个训练样本对应的灰度向量为长度为8 X8 = 64的向量。
[0061 ] ②利用现有的主成分分析(Principal Components Analysis，PCA)对X进行降维 以及白化操作，将降维以及白化操作后得到的矩阵记为Xw，其中，维数为MXN，M为设定 的低维维数，1 <M〈64，在本实施例中取M=8。
[0062] 在此具体实施例中，步骤②中的Xw的获取过程为：
[0063] ②-1、计算X的协方差矩阵，记为C， 其中，C的维数为64X64，XTSX 的转置矩阵。
[0064] ②-2、采用现有技术对C进行特征值分解，分解为特征值对角矩阵和特征向量矩 >丨 0 ... 0 _ 0 Ψ 〇 阵，对应记为Ψ和E，其中，Ψ的维数为64Χ64，Ψ= 1 和Ψ64对应表 0 § 0 Ψ Μ 示分解得到的第1个、第2个和第64个特征值4的维数为64\644=[6162...664]，61、62和664 对应表示分解得到的第1个、第2个和第64个特征向量，ei、e4Pe64的维数均为64X1。
[0065] ②-3、计算白化矩阵，记为
其中，W的维数为MX64，
，Φμ表示分解得到的第Μ个特征值，Μ为设定的 低维维数，1 <Μ〈64，在本实施例中取M=8，ΕΤ*Ε的转置矩阵。 ψλ 0 … 0 … 0 0 η " * * Q ，:·..： 0
[0066] 在此，Ψμχ64为由Ψ中的前Μ行组成的矩阵，即平_64 =::::：:.， 0 0 ψλ? *** 0 Μ为设定的低维维数，在实验中只取了 ψ的前8行，即前8个主成分用于训练，也就是说X经降 维以及白化操作后维数从64维降到了 Μ=8维。
[0067] ②-4、计算降维以及白化操作后得到的矩阵Xw，Xw=WXX。
[0068] ③利用现有的正交局部保持投影算法（0LPP，orthogonal Locality Preserving Projection)对Xw中的N个列向量进行训练，获得个正交基的最佳映射矩阵，记为/，其 中，/的维数为8XM;
[0069] 在进行学习之后，最佳映射矩阵应该从白化样本空间转化回到原始样本空间，即 然后根据/和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J = JWXW，其中，J的维数 为8 X 64，W表示白化矩阵，W的维数为Μ X 64，W的获取过程参见步骤②-1至步骤②-3;本发明 方法将J看作是大脑以流形方式感知的一个模型，可以用于提取图像块的流形特征。
[0070] ④令Ic>rg表示宽度为W'且高度为H'的原始的无失真自然场景立体图像，将的左 视点图像和右视点图像对应记为'和4,并提取^和4各自的亮度分量;令1&表示 1_经失真后的失真立体图像，将Idls作为待评价的失真立体图像，将Idls的左视点图像和右 视点图像对应记为和匕，并提取/i和G各自的亮度分量；
[0071]然后将4和/&各自的亮度分量及4和攻各自的亮度分量分别划分成
个互不重叠的尺寸大小为8X8的图像块，将的亮度分量中的第j个图像块 记为^^''将4:的亮度分量中的第j个图像块记为xf''将/i的亮度分量中的第j个图像 块记为将/fi的亮度分量中的第j个图像块记为xf j，其中，符号"U "为向下取整符 号，l<j<N，，
[0072]再将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度 向量，将.<"￡中的所有像素点的像素值排列构成的灰度向量记为将的亮度分量 中的每个图像块中的所有像素点的像素值排列构成一个灰度向量，将xf#中的所有像素点 的像素值排列构成的灰度向量记为^^^、将4,的亮度分量中的每个图像块中的所有像 素点的像素值排列构成一个灰度向量，将.< ￡中的所有像素点的像素值排列构成的灰度向 量记为将的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰 度向量，将中的所有像素点的像素值排列构成的灰度向量记为其中，#^和 <-、和勺维数均为64Xl，xp' z""中的第1个元素至第64个元素的值一一 对应为以逐行扫描方式扫描^^^获得的每个像素点的像素值，中的第1个元素至第 64个元素的值一一对应为以逐行扫描方式扫描xf"获得的每个像素点的像素值，.中 的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描获得的每个像素点的 像素值，"中的第1个元素至第64个元素的值一一对应为以逐行扫描方式扫描.<^获 得的每个像素点的像素值；
[0073 ]之后将的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对 应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对应的灰 度向量的中心化处理，将经中心化处理后得到的灰度向量记为并将'的亮 度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元 素的值的平均值，实现对的亮度分量中的每个图像块对应的灰度向量的中心化处理，将 经中心化处理后得到的灰度向量记为将砍的亮度分量中的每个图像块对应 的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对的 亮度分量中的每个图像块对应的灰度向量的中心化处理，将"经中心化处理后得到的 灰度向量记为，将/1的亮度分量中的每个图像块对应的灰度向量中的每个元素的值 减去对应灰度向量中的所有元素的值的平均值，实现对/i的亮度分量中的每个图像块对 应的灰度向量的中心化处理，将# Α?;β/经中心化处理后得到的灰度向量记为#
[0074]最后将/&的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为 『^，，/^^〃'^^，…，砍-小并将心的亮度分量对应的所有中心化处理后得到 的灰度向量组成的矩阵记为俨^'￡^=[圹^^-，一;->将砍的亮度分量对应的 所有中心化处理后得到的灰度向量组成的矩阵记为X dls'L，xw=[rz'''-fw，.'^y；]; 将毯的亮度分量对应的所有中心化处理后得到的灰度向量组成的矩阵记为Xdls，R， Xffo』=[矿如',矿知…，砹'心;其中， ，…,#_对应表示4的亮度分量中的第1个图像块中的所有像素点的像素 值排列构成的灰度向量经中心化处理后得到的灰度向量、#.g的亮度分量中的第2个图像块 中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、…、的 亮度分量中的第Ν'个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理 后得到的灰度向量，,私:/对应表示&的亮度分量中的第1个图像块中 的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量、的亮度 分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到 的灰度向量、…、/&的亮度分量中的第Ν'个图像块中的所有像素点的像素值排列构成的灰 度向量经中心化处理后得到的灰度向量，矿…，砹以对应表示4的亮度分量中 的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度 向量、的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中 心化处理后得到的灰度向量、…、的亮度分量中的第Ν'个图像块中的所有像素点的像素 值排列构成的灰度向量经中心化处理后得到的灰度向量，貧，笔对应表 示/i的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中心化 处理后得到的灰度向量、/i的亮度分量中的第2个图像块中的所有像素点的像素值排列构 成的灰度向量经中心化处理后得到的灰度向量、…、/】, s的亮度分量中的第N '个图像块中的 所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量，符号"[]"为向 量表不符号。
[0075] ⑤由于每个图像块对应的灰度向量中的每个元素的值在减平均值后的块包括了 对比度和结构等信息，可将得到的块称作结构块，因此本发明利用绝对方差差值(Absolute Variance Error，AVE)计算中的每个列向量与Xdls，1中对应列向量之间的结构差异，将 与之间的结构差异记为J并计算Fef，R中的每个列向量与 Xd 1 s，R中对应列向量之间的结构差异，将与坏' 之间的结构差异记为 4VE{;'(! R，⑶1 .变-具_) ·
[0076] 然后将和Xdis，1对应的Ν'个结构差异按序排列构成一个维数为1XN'维的向 量，记为vS并将Frf，R和Xdls，R对应的Ν'个结构差异按序排列构成一个维数为1ΧΝ'维的向 量，记为v R;其中，vL中的第j个元素的值为<，ν丨=广，'乂，vR中的第j个 元素的值为= jF別if'~'ff
[0077] 接着获取无失真左视点图像块集合和失真左视点图像块集合及无失真右视点图 像块集合和失真右视点图像块集合，具体过程为:al、设计一个左视点图像块选取阈值1? 和一个右视点图像块选取阈值TH 2; a2、从中提取出所有值大于或等于1?的元素，并从vR 中提取出所有值大于或等于TH2的元素;a3、将/〗.g的亮度分量中与从J中提取出的元素对应 的图像块构成的集合作为无失真左视点图像块集合，记为Y ^ e f，1， = μ叹(j^w,苹，;并将益的亮度分量中与从彳中 提取出的元素对应的图像块构成的集合作为失真左视点图像块集合，记为Ydls，1， =丨xfI』^, 2 mpi S _/ S h将的亮度分量中与从vR中提 取出的元素对应的图像块构成的集合作为无失真右视点图像块集合，记为YMf，R， = Λ 2 7H2，1 S y S Λ〇 :将《的亮度分量中与从W中提 取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为Ydls，R， Γ叙足={xf'j I ，s，co/,xf，幻.〇/) > JT/2,1 < < Λρ}。
[0078] 在此具体实施例中，步骤⑤中狀阳 艺=1 g=] 64 64 Σ(ν/Α??%))2-Σ卩⑷)2 ·其中，符号? Γ为取绝对值符号， 笑=1 又=1 表示中的第g个元素的值，if w(g)表示鏐以中的第g个元素的值， 表示可中的第g个元素的值，.?'Λ?Β/ω表示中的第g个元素的值。
[0079] 在此具体实施例中，步骤⑤中的al步骤中THi = median(vL)，TH2 = median(vR)，其 中，medianO为中值选取函数，median (vl)表示选取的所有元素的值中的中值，median (vR)表示选取3中的所有元素的值中的中值。
[0080] ⑥计算YMf A中的每个图像块的流形特征向量，将YMf A中的第t个图像块的流形特 征向量记为= 并计算Ydis，L中的每个图像块的流形特征向量，将Y dis，L 中的第t个图像块的流形特征向量记为=Jxif'w;计算rrf，R中的每个图像块的 流形特征向量，将严f，R中的第t'个图像块的流形特征向量记为r,:w，r广Λ = :计 算Ydls>R中的每个图像块的流形特征向量，将Ydls>R中的第 t'个图像块的流形特征向量记为 =Jx_if#dS其中，1彡t彡K，K表示严f，L中包含的图像块的总个数，也即Y dis，L中 包含的图像块的总个数，1彡t'彡K'，K'表示Yraf，R中包含的图像块的总个数，也即Y dls，R中包 含的图像块的总个数，/fA￡、的维数均为SXU.ifWw表示Y Mf，1中的第 t个图像块中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向 量，表示Y dls>1中的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中 心化处理后得到的灰度向量，if ΑΕ?/表示中的第t'个图像块中的所有像素点的像素值 排列构成的灰度向量经中心化处理后得到的灰度向量，表示Y dls，R中的第t'个图像块 中的所有像素点的像素值排列构成的灰度向量经中心化处理后得到的灰度向量；
[0081] 然后将中的所有图像块的流形特征向量组成一个矩阵，记为R1;并将Ydis，1中 的所有图像块的流形特征向量组成一个矩阵，记为dS将ref，R中的所有图像块的流形特征 向量组成一个矩阵，记为R r;并将Ydls，R中的所有图像块的流形特征向量组成一个矩阵，记为 D R;其中，妒和炉的维数均为8 XK，r4PDr的维数均为8 XK'，妒中的第t个列向量为?，以中 的第t个列向量为<"〃，Rr中的第t'个列向量为#'DR中的第t'个列向量为
[0082] 再计算/,L的亮度分量与么的亮度分量的流形特征相似度，记为，
;计算的亮度分量与的亮度分量的流形特征 相似度，记为：
其中，表示护中第m行第t 列的值，<，表示DL中第m行第t列的值，表示Rr中第m行第t'列的值，D),表示D R中第m行 第t'列的值，&为一个用于保证结果稳定性的很小的常量，在本实施例中取& = 0.09。
[0083] ⑦计算的亮度分量与/i的亮度分量的亮度相似度，记为MFS;，
_;计算的亮度分量与/.i的亮度分量 的亮度相似度，记为；其中， V
m 表示中的第t个图像块中的所有像素点的像素值的平均值
表示Ydls>1中的第t个图像块中的所有像素点的像素值的平均值
表示 中的第t'个图像块中的所有像素点的像素值的平均值：
表示 Ydls>R中的第t'个图像块中的所有像素点的像素值的平均值，C 2为一个很小 的常量，在本实施例中取c2 = 0.001。
[0084] ⑧对MF#和进行幂指数加权得到4的质量分数，记为MF S 1， MF# f;对MR#和进行幂指数加权得到的质量分数，记为 MF SR，A χ (MEgf;其中，α用于调节MMf和MRSf的相对重要性，β用于调 节MRSf和的相对重要性，α+β = 1，在本实施例中取α = 〇.25、β = 0.75。
[0085] ⑨利用双目竞争模型求取4的加权值和4的加权值，对应记为coL和coR;然后利用 ω 1对MFS1进行加权，利用ω 4啦〇^进行加权，得到Idis的质量值，记为Q，Q = ω1XMFSl+ ω R XMFSR，其中，coLffi于调节MFSL的相对重要性，co Rffi于调节MFS1^相对重要性，coL+coR=l。
[0086] 在此具体实施例中，步骤⑨中的〇1和ωκ的获取过程为：
[0087] ⑨-1、采用尺寸大小为Q X Q的滑动窗口，在/jg中逐像素点滑动，将人％划分成
个重叠的尺寸大小为QXQ的图像块，将中的第P个图像块记为 同样，采用尺寸大小为QXQ的滑动窗口，在4中逐像素点滑动，将4划分成
个重叠的尺寸大小为QXQ的图像块，将中的第P个图像块记为 2 ;采用尺寸大小为Q X Q的滑动窗口，在^ s中逐像素点滑动，将划分成
个重叠的尺寸大小为QXQ的图像块，将中的第P个图像块记为 ;采用尺寸大小为QXQ的滑动窗口，在砬中逐像素点滑动，将4划分成
个重叠的尺寸大小为QXQ的图像块，将/i中的第P个图像块记为 其中，9<Q<37且Q为奇数，在本实施例中取I
[0088] ⑨-2、采用现有的高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为QXQ， 且标准差为ζ，得到卷积模板，其中，3<ζ<6,在本实施例中取ζ = 4.5;然后对卷积模板中的 每个元素的值进行归一化处理，得到归一化处理后的卷积模板，其中，对于卷积模板中的任 一个元素的值，其除以卷积模板中的所有元素的值的和得到该元素对应的归一化处理后的 值。
[0089] ⑨-3、利用归一化处理后的卷积模板，获取中的每个图像块中的所有像素点的 像素值的加权平均值，将中的所有像素点的像素值的加权平均值记为
同样，利用归一化处理后的卷积模板，获取中的每 个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权 平均值记为
利用归一化处理后的卷积模板，获 取中的每个图像块中的所有像素点的像素值的加权平均值，将^中的所有像素点的 像素值的加权平均值记为
利用归一化处理后的 卷积模板，获取/i中的每个图像块中的所有像素点的像素值的加权平均值，将"中的所 有像素点的像素值的加权平均值记为
，其中，Κ u彡Q，1彡V彡Q，M〇de(u，V)表示归一化处理后的卷积模板中下标为（u，v)的元素的值， 表示f中坐标位置为(u，v)的像素点的像素值，v)表示中坐标位 置为(u，v)的像素点的像素值，表示f'Λ中坐标位置为( u，v)的像素点的像素值， 表示中坐标位置为(u，v)的像素点的像素值。
[0090] ⑨-4、根据中的每个图像块中的所有像素点的像素值的加权平均值，计算中 的每个图像块中的所有像素点的像素值的方差，作为方差能量;同样，根据/1中的每个图像 块中的所有像素点的像素值的加权平均值，计算/么中的每个图像块中的所有像素点的像素 值的方差，作为方差能量;根据中的每个图像块中的所有像素点的像素值的加权平均 值，计算/i中的每个图像块中的所有像素点的像素值的方差，作为方差能量;根据/^中的 每个图像块中的所有像素点的像素值的加权平均值，计算/1中的每个图像块中的所有像素 点的像素值的方差，作为方差能量。
[0091] ⑨_5、根据/:^中的所有图像块各自对应的方差能量，获取的能量图，记为 '同样，根据中的所有图像块各自对应的方差能量，获取ils的能量图，记为Edls'根据 中的所有图像块各自对应的方差能量，获取4，的能量图，记为EMf>R;根据中的所有 图像块各自对应的方差能量，获取/(1的能量图，记为Edls，R;其中，em夂 的宽度均为
1且高度均为」
中的第ρ个像素点的像素值ΕΜ??，ι(ρ)为匕 中的第Ρ个图像块对应的方差能量，Edls，t中的第ρ个像素点的像素值Edls，l(p)为中的第Ρ 个图像块对应的方差能量，Eraf，R中的第p个像素点的像素值E#R(p)为匕中的第p个图像块 对应的方差能量，E dls，R中的第p个像素点的像素值Edls，R(p)为Ji中的第p个图像块对应的方 差能量。
[0092] ⑨-6、由于参考立体图像是无失真立体图像，且双眼融合占主导，当左视点和右视 点中的一个视点图像在一些空间位置存在失真时，该失真可能会影响左视点图像和右视点 图像的结构的一致性，从而双眼竞争占主导，其结果是，某一视点可以在任何时刻占主导地 位。因此，基于以上原理，本发明计算左视点图像和右视点图像各自的局部能量比率图，过 程为:计算左视点图像的局部能量比率图，记为Ratio 1，将Ratio1中的第p个像素点的像素值 记为Ratic^p)，
：并计算右视点图像的局部能量比率图，记为RatioR， 将RatioR中的第p个像素点的像素值记为RatioR(p):
;其中，Ratio1和 RatioR的宽度均为
·且高度均为
[0093]局部能量比率图提供了有用的局部信息，这可以用于结合两个单视点图像的质量 来预测立体图像的图像质量。 其中， p-1
f
[0095]为进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
[0096] 在三个公开的测试图像库上对本发明方法进行了测试和对比。这三个测试图像库 分别为NBU、LIVE I、LIVE II立体图像库。其中，NBU立体图像库共包含12幅原始立体图像以 及在此基础上进行失真处理获取的312幅对称失真的失真立体图像，失真类型共有5种，分 别为JPEG、JP2K、Gblur、WN和H.264失真;LIVEI立体图像库共包含20幅原始立体图像以及 在此基础上进行失真处理获取的365幅对称失真的失真立体图像，失真类型共有5种，分别 为JPEG、JP2K、Gblur、WN和FF失真;LIVEII立体图像库共包含8幅原始立体图像以及在此基 础上进行失真处理获取的360幅对称和非对称失真的失真立体图像，失真类型与LIVE I立 体图像库相同。
[0097]当然，针对上述的每个立体图像库中的每幅失真立体图像都会给定一个主观分数 例如平均主观分（Mean opinion score，M0S)或平均主观分差值（Differential mean opinion score，DM0S)。最终的算法性能验证是在比较主观评分与图像质量评价算法客观 评价结果基础上进行的。
[0098]采用3个通用评价指标并根据视频质量评价专家组PhaseI/II(VQEG)提供的标准 验证方法来获取图像质量客观评价方法的评价性能。采用SR0CC指标来评价本发明方法的 预测单调性的优劣，采用PLCC和RMSE两个指标来评价本发明方法的准确性，在求取PLCC的 过程中采用5参数非线性映射函数来进行非线性拟合。
[0099] 本发明方法将与具有代表性的5种图像质量评价方法进行比较，包括:FI_PSNR、 FI-SS 頂、FI-MS-SSIM、FI-VIF、FI-UQI 图像质量评价方法。
[0100] 在本实施例中采用TOY图像数据库中的10幅无失真立体图像，并随机选取20000个 图像块用于训练得到最佳映射矩阵J，随后将其用于后续的图像质量评价。表1给出了本发 明方法及FI-PSNR、FI-SS頂、FI-MS-SS頂、FI-VIF、FI-UQI图像质量评价方法在三个立体图 像数据库上的3个预测性能指标SROCC、PLCC和RMSE的值。表1中对所有图像质量客观评价方 法中指标性能最优的图像质量客观评价方法以黑体标出，从表1可知，本发明方法在所有立 体图像库上的性能都很好。首先，在NBU和LIVE I立体图像库上本发明方法的性能最优，优 于其他所有图像质量客观评价方法;其次，在LVIE II立体图像库上本发明方法的性能较大 幅度地优于其他所有图像质量客观评价方法。因此，整体上来说，与其他所有图像质量客观 评价方法相比，本发明方法获得的失真立体图像的质量值与主观评价更加接近。
[0101] 为了更加综合地评判图像质量客观评价方法预测特定失真引起的图像质量降质 的能力，将本发明方法与其他图像质量客观评价方法在特定失真下的评价性能进行了测 试，选择PLCC和SR0CC作为性能指标。表2给出了本发明方法及？1-?3冊、？1-33頂、？1-1^-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库中的15组特定失真子库上 的预测性能指标PLCC的值；表3给出了本发明方法及FI-PSNR、FI-SSM、FI-MS-SSIM、FI-VIF、FI-UQI图像质量评价方法在三个立体图像数据库中的15组特定失真子库上的预测性 能指标SR0CC的值。在表2中用黑体标识出了每个立体图像库中每种失真类型下的PLCC值最 优的图像质量评价方法，在表3中用黑体标识出了每个立体图像库中每种失真类型下的 SR0CC值最优的图像质量评价方法。从表2和表3中可以看出，本发明方法在PLCC和SR0CC指 标上在三个立体图像库上均是最优次数最多的。因此，可以得出如下结论:总的来说，在特 定失真类型下，本发明方法的表现最优，而FI_UQI图像质量评价方法紧随其后；另外，在 LIVE II立体图像库上，本发明方法的评价性能较其他图像质量评价方法更加优异，而在 LIVE和NBU立体图像库上虽然不是最优，但也处于折中的位置。
[0102] 表1本发明方法及？1-?5冊小1-55]小1-]\^-55]小1，1?小1-1^1图像质量评价方 法在三个立体图像数据库上的3个预测性能指标SR0CC、PLCC和RMSE的值
[0104] 表2本发明方法及？1-?5冊小1-55]小1-]\^-55]小1，1?小1-1^1图像质量评价方 法在三个立体图像数据库中的15组特定失真子库上的预测性能指标PLCC的值
[0105]
[0106] 表3本发明方法及？1-?5冊小1-55]小1-]\^-55]小1，1?小1-1^1图像质量评价方 法在三个立体图像数据库中的15组特定失真子库上的预测性能指标SR0CC的值
【主权项】
1. 一种结合流形特征及双目特性的立体图像质量客观评价方法，其特征在于包括W下 步骤： ① 选取多幅无失真自然场景平面图像，并提取每幅无失真自然场景平面图像的亮度分 量； 然后将每幅无失真自然场景平面图像的亮度分量划分成互不重叠的尺寸大小为8X8 的图像块； 接着从所有无失真自然场景平面图像的亮度分量中的所有图像块中随机选取N个图像 块，将选取的每个图像块作为一个训练样本，将第i个训练样本记为XI，其中，5000《N《 20000，l《i《N; 再将每个训练样本中的所有像素点的像素值排列构成一个灰度向量，将Χι中的所有像 素点的像素值排列构成的灰度向量记为Xi^l，其中，Χι^α?的维数为64Xl，Xie°l中的第1个元 素至第64个元素的值一一对应为W逐行扫描方式扫描XI获得的每个像素点的像素值； 之后将每个训练样本对应的灰度向量中的每个元素的值减去对应灰度向量中的所有 元素的值的平均值，实现对每个训练样本对应的灰度向量的中屯、化处理，将经中屯、化 处理后得到的灰度向量记为和。'： 最后将所有中屯、化处理后得到的灰度向量组成的矩阵记为x，x =[為tw，馬Mi，…，卷严]， 其中，X的维数为64XN，奇…，f/"'对应表示第1个训练样本中的所有像素点的像素值 排列构成的灰度向量经中屯、化处理后得到的灰度向量、第2个训练样本中的所有像素点的 像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量、…、第N个训练样本中的所有 像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量，符号"[]"为向量表 示符号； ② 利用主成分分析对X进行降维W及白化操作，将降维W及白化操作后得到的矩阵记 为XW，其中，X"的维数为μχν,Μ为设定的低维维数，1<M<64; ③ 利用正交局部保持投影算法对XW中的N个列向量进行训练，获得XW的8个正交基的最 佳映射矩阵，记为/，其中，/的维数为8 X Μ; 然后根据/和白化矩阵计算原始样本空间的最佳映射矩阵，记为J，J = /XW，其中，J的 维数为8 X 64，W表示白化矩阵，W的维数为Μ X 64; ④ 令Wg表示宽度为W'且高度为Η'的原始的无失真自然场景立体图像，将Idw的左视点 图像和右视点图像对应记为括和公.,，并提取巧g和巧g各自的亮度分量;令Idis表示Idw经失 真后的失真立体图像，将Idis作为待评价的失真立体图像，将Idis的左视点图像和右视点图 像对应记为/1和瑞，并提取/,1和/1各自的亮度分量； 然后将片;g和切y各自的亮度分量及4和/i各自的亮度分量分别划分成^ X ^个 互不重叠的尺寸大小为8XS的图像块，将4的亮度分量中的第j个图像块记为xf'S将瑞 的亮度分量中的第j个图像块记为，将瑞。的亮度分量中的第j个图像块记为，将/i 的亮度分量中的第j个图像块记为其中，符号1」"为向下取整符号，再将巧·,的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向量， 将.if'"中的所有像素点的像素值排列构成的灰度向量记为xf't"'/:将巧g的亮度分量中的 每个图像块中的所有像素点的像素值排列构成一个灰度向量，将Xf 6中的所有像素点的像 素值排列构成的灰度向量记为将/i的亮度分量中的每个图像块中的所有像素点 的像素值排列构成一个灰度向量，将中的所有像素点的像素值排列构成的灰度向量记 为皆将瑞的亮度分量中的每个图像块中的所有像素点的像素值排列构成一个灰度向 量，将xf中的所有像素点的像素值排列构成的灰度向量记为xf ;其中，和 χΓ*'"'、吟心'郝吟'心。'的维数均为MXl，种化…'中的第1个元素至第64个元素的值一一 对应为W逐行扫描方式扫描获得的每个像素点的像素值，#'心。坤的第1个元素至第 64个元素的值一一对应为W逐行扫描方式扫描<''^获得的每个像素点的像素值，.中 的第1个元素至第64个元素的值一一对应为W逐行扫描方式扫描Xf't获得的每个像素点的 像素值，:中的第1个元素至第64个元素的值一一对应为W逐行扫描方式扫描xf"获 得的每个像素点的像素值； 之后将片的亮度分量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰 度向量中的所有元素的值的平均值，实现对巧^的亮度分量中的每个图像块对应的灰度向 量的中屯、化处理，将《w'ew经中屯、化处理后得到的灰度向量记为壬并将每g的亮度分 量中的每个图像块对应的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的 值的平均值，实现对片，的亮度分量中的每个图像块对应的灰度向量的中屯、化处理，将 听^'…'经中屯、化处理后得到的灰度向量记为皆心将4的亮度分量中的每个图像块对应 的灰度向量中的每个元素的值减去对应灰度向量中的所有元素的值的平均值，实现对 的亮度分量中的每个图像块对应的灰度向量的中屯、化处理，将.rf't'ew经中屯、化处理后得到 的灰度向量记为馬…将瑞的亮度分量中的每个图像块对应的灰度向量中的每个元素的 值减去对应灰度向量中的所有元素的值的平均值，实现对的亮度分量中的每个图像块对 应的灰度向量的中屯、化处理，将xf'AnW经中屯、化处理后得到的灰度向量记为支fAeW; 最后将度，的亮度分量对应的所有中屯、化处理后得到的灰度向量组成的矩阵记为ref ,L，X。'"=[.皆辛f …并将瑞的亮度分量对应的所有中屯、化处理后得到的 灰度向量组成的矩阵记为乂心^，又"'''6 =[坪"'心。''，巧''心。'','''，斯'心。];将4的亮度分量对应的 所有中屯、化处理后得到的灰度向量组成的矩阵记为Xd"'L，X''uJ=[种"L。"，辟…，媒'1'。"]. 将堪的亮度分量对应的所有中屯、化处理后得到的灰度向量组成的矩阵记为Xdis'K，;其中，XTef'L和x'ef'Rjdis'L和xdis'R的维数均为64XN'， 奸y'X'"/，考W'tw/，…，.巧W'w/对应表示巧g的亮度分量中的第1个图像块中的所有像素点的像素 值排列构成的灰度向量经中屯、化处理后得到的灰度向量、巧g的亮度分量中的第2个图像块 中的所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量、…、片,,的 亮度分量中的第Ν'个图像块中的所有像素点的像素值排列构成的灰度向量经中屯、化处理 后得到的灰度向量，.矿'*'"'，辉''&"'，···，巧…对应表示冷的亮度分量中的第1个图像块中 的所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量、這,的亮度 分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到 的灰度向量、…、/f,的亮度分量中的第Ν'个图像块中的所有像素点的像素值排列构成的灰 度向量经中屯、化处理后得到的灰度向量，背。心。'，皆一皆'。。'对应表示4的亮度分量 中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰 度向量、/i的亮度分量中的第2个图像块中的所有像素点的像素值排列构成的灰度向量经 中屯、化处理后得到的灰度向量、…、巧j的亮度分量中的第Ν'个图像块中的所有像素点的像 素值排列构成的灰度向量经中屯、化处理后得到的灰度向量，背b心。'，.皆'心。'，.·.，端心。'对应 表示/i的亮度分量中的第1个图像块中的所有像素点的像素值排列构成的灰度向量经中 屯、化处理后得到的灰度向量的亮度分量中的第2个图像块中的所有像素点的像素值排 列构成的灰度向量经中屯、化处理后得到的灰度向量、…、的亮度分量中的第Ν'个图像块 中的所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量，符号"[]" 为向量表示符号； ⑤计算ref'L中的每个列向量与X"s'L中对应列向量之间的结构差异，将巧/-心。'与种心。' 之间的结构差异记为^化听心0''）;:并计算中的每个列向量与X"s'K中对应列 向量之间的结构差异，将.if 与吟Ai。'之间的结构差异记为然后将ref'斗日Xdis'L对应的Ν'个结构差异按序排列构成一个维数为1XN'维的向量，记 为vS并将)rf'K和xdis'K对应的Ν'个结构差异按序排列构成一个维数为1ΧΝ'维的向量，记为 Λ其中，vL中的第j个元素的值为巧'。。'，-?戸'^"')，乂啤的第^'个元素的值 巧联者狄収尤天具左视点圏像巧集曾和失真左视点图像块集合及无失真右视点图像块集 合和失真右视点图像块集合，具体过程为:al、设计一个左视点图像块选取阔值T曲和一个右视 点图像块选取阔值T比;a2、从中提取出所有值大于或等于T出的元素，并从^中提取出所有值 大于或等于T比的元素;曰3、将片g的亮度分量中与从中提取出的元素对应的图像块构成的集 合作为无失真左视点图像块集合，记为严''^4 1=鲜严|如風种'。。\吟一''^会规1，1.空片料； 并将il的亮度分量中与从v^中提取出的元素对应的图像块构成的集合作为失真左视点图 像块集合，记为Y"s'L，r成。-二{皆"[μF左(巧化?'，挣、山'〇'：) > Γ巧，1 < y < ΛΓh将4的亮 度分量中与从^中提取出的元素对应的图像块构成的集合作为无失真右视点图像块集合， 记为ref'vr分'S =打;句''S μ化巧句'心。Uf'心。/)> J7f2，i<y<w'}将猛的亮度分量中 与从八中提取出的元素对应的图像块构成的集合作为失真右视点图像块集合，记为ydis'K， γ 出础二、种玉 \avE 巧.f'R";，畔'民'…')么 ΤΗ"\< j < N、}.， ⑥ 计算ytef'啤的每个图像块的流形特征向量，将ref'啤的第t个图像块的流形特征向 量记为/'严'^/;""二Jx.f,""'"';并计算Y"s'L中的每个图像块的流形特征向量，将Y"s'L中的 第t个图像块的流形特征向量记为聲s'S聲"。^=1乂背"'^'6<;计算严^中的每个图像块的流形 特征向量，将ref'K中的第t'个图像块的流形特征向量记为/;W'A，矿^^=^式;"'6'^^;计算 Ydis'K中的每个图像块的流形特征向量，将Ydis'K中的第t'个图像块的流形特征向量记为 屯'Wi=jx新Wi'fW ;其中，i《t《K，K表示ytef'L中包含的图像块的总个数，也即Y"s'L中 包含的图像块的总个数，l《t'《κ'，κ'表示r6f'κ中包含的图像块的总个数，也即γdls'κ中包 含的图像块的总个数，>f心，每W、沪'气《心*的维数均为SX1，矿心。嗦示YKf'L中的第t 个图像块中的所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量， 表示Ydis'啤的第t个图像块中的所有像素点的像素值排列构成的灰度向量经中屯、化 处理后得到的灰度向量，表示ref'K中的第t'个图像块中的所有像素点的像素值排列 构成的灰度向量经中屯、化处理后得到的灰度向量，辦'^'"'嗦示Ydis'K中的第t'个图像块中的 所有像素点的像素值排列构成的灰度向量经中屯、化处理后得到的灰度向量； 然后将￥^61'^中的所有图像块的流形特征向量组成一个矩阵，记为护;并将￥4"'^中的所 有图像块的流形特征向量组成一个矩阵，记为沪;将ref'K中的所有图像块的流形特征向量 组成一个矩阵，记为rk;并将ydis'K中的所有图像块的流形特征向量组成一个矩阵，记为I/; 其中，R哺〇L的维数均为8XK，R哺的维数均为8XK'，RL中的第t个列向量为/fW'，DL中的 第t个列向量为中的第t'个列向量为r;W'A，炉中的第t'个列向量为却"?; 再计算巧^的亮度分量与4的亮度分量的流形特征相似度，记为W厂·S,，;计算/,,w的亮度分量与增$的亮度分量的流形特征 相似度，记为她部巧中，媒f表示RL中第m行第t 列的值，巧表示〇L中第m行第t列的值，城,,表示RK中第m行第t'列的值，媒，表示妒中第m行 第t '列的值，Cl为一个用于保证结果稳定性的很小的常量； ⑦ 计算4的亮度分量与4的亮度分量的亮度相似度，记为.W或， 计算的亮度分量与ii的亮度分量 1 1--L·t - L 的亮度相似度，记为zV//巧;V，其中， /Τ'"表示rBf'L中的第t个图像块中的所有像素点的像素值的平均值//,""'^表示￥4"'^中的第*个图像块中的所有像素点的像素值的平均值表示YTBf'K中的第t'个图像块中的所有像素点的像素值的平均值表 示ydis'K中的第t'个图像块中的所有像素点的像素值的平均值：C2为一个很 小的常量； ⑧ 对MK《和Μ扔跨进行幕指数加权得到4的质量分数，记为MFS^;对MFSf和MF巧进行幕指数加权得到瑞的质量分数，记为;其中，α用于调节和始F好的相对重要性，β用于调 节MF巧和MF巧的相对重要性，α+β= 1; ⑨ 利用双目竞争模型求取巧i的加权值和巧，的加权值，对应记为ω 4日ω Κ;然后利用ω L 对1。5^进行加权，利用ω 6对1。5^进行加权，得到1<^3的质量值，记为9，Q= ω L XMFS^ ω Κ X MFSK，其中，c〇L用于调节mFSL的相对重要性，ωΚ用于调节MFSK的相对重要性，c〇L+c〇K=l。2.根据权利要求1所述的结合流形特征及双目特性的立体图像质量客观评价方法，其 特征在于所述的步骤②中的XW的获取过程为： ②-1、计算X的协方差矩阵，记为C，C=.^(Xχχl)，其中，C的维数为64X64，χT为χ的转 N 置矩阵； ②-2、对C进行特征值分解，分解为特征值对角矩阵和特征向量矩阵，对应记为Ψ和E， 其中，Ψ的维数为64X64，Ψι、Ψ2和Ψ64对应表示分解得到的第1 个、第2个和第64个特征值，E的维数为64X64，E=[ele2...e64]，el、e52和e64对应表示分解 得到的第1个、第2个和第64个特征向量，ei、i52和日64的维数均为64X 1; ②-3、计算白化矩阵，记为其中，W的维数为Μ X 6 4，，Φμ表示分解得到的第Μ个特征值，Μ为设定的 低维维数，1 <Μ<64，εΤ为Ε的转置矩阵； ②-4、计算降维W及白化操作后得到的矩阵Xw，xw二WXX。3. 根据权利要求1或2所述的结合流形特征及双目特性的立体图像质量客观评价方法， 其特征在于所述的步骤⑤中其中，符号"I Γ'为取绝对值符号， 巧'1Μ'(幻表示if'L"'中的第g个元素的值，均(幻表示為"''-。'中的第g个元素的值， '心。'(別表示皆中的第g个元素的值，為(幻表示种中的第g个元素的值。4. 根据权利要求3所述的结合流形特征及双目特性的立体图像质量客观评价方法，其 特征在于所述的步骤⑤中的al步骤中THi = median(vL)，Τ此=median(vR)，其中，median() 为中值选取函数，median(vL)表示选取yL中的所有元素的值中的中值，median(vK)表示选取 八中的所有元素的值中的中值。5. 根据权利要求1所述的结合流形特征及双目特性的立体图像质量客观评价方法，其 特征在于所述的步骤⑨中的ω呀日ω K的获取过程为： ⑨-1、采用尺寸大小为QXQ的滑动窗口，在巧^中逐像素点滑动，将培g划分成 取，f巧'个重叠的尺寸大小为Q X Q的图像块，将4中的第P个图像块记为 公r'S同样，采用尺寸大小为QXQ的滑动窗口，在4中逐像素点滑动，将4划分成 W'-^l><fパ'-^^个重叠的尺寸大小为QXQ的图像块，将/i中的第p个图像块记为 巧产采用尺寸大小为Q X Q的滑动窗口，在中逐像素点滑动，将划分成 ( 〇-]λ ( 〇-1 λ X 个重叠的尺寸大小为QXQ的图像块，将嫂g中的第ρ个图像块记为 V ^ J \ 之 J 公采用尺寸大小为QX Q的滑动窗口，在铅中逐像素点滑动，将/1划分成 ( 〇-]\ ? (9…Π X巧个重叠的尺寸大小为QXQ的图像块，将吃中的第Ρ个图像块记为 \ 。J Κ 之 J 马f "S其中，9《Q《37且Q为奇数⑨-2、采用高斯低通滤波函数，并设置所需的卷积模板的尺寸大小为QXQ，且标准差为 ζ，得到卷积模板，其中，然后对卷积模板中的每个元素的值进行归一化处理，得到 归一化处理后的卷积模板，其中，对于卷积模板中的任一个元素的值，其除W卷积模板中的 所有元素的值的和得到该元素对应的归一化处理后的值； ⑨-3、利用归一化处理后的卷积模板，获取片X中的每个图像块中的所有像素点的像素 值的加权平均值，将中的所有像素点的像素值的加权平均值记为gw's同样，利用归一化处理后的卷积模板，获取.這^中的每 个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的像素值的加权取媒g中的每个图像块中的所有像素点的像素值的加权平均值，将中的所有像素点的 像素值的加权平均值记夫閉用归一化处理后的 平均值记关 利用归一化处理后的卷积模板，获 卷积模板，获取/完中的每个图像块中的所有像素点的像素值的加权平均值，将Sf'6中的所 有像素点的像素值的加权平均值记为其中， u《Q，l《v《Q，Mode(u，v)表示归一化处理后的卷积模板中下标为（u，v)的元素的值， 邸"（"，V'锭示巧W中坐标位置为(U，V)的像素点的像素值，公;'"'i ("，V)表示技f中坐标位 置为(u，v)的像素点的像素值，公;：'''B(w，v)表示马Γ'''A中坐标位置为(u，v)的像素点的像素 值，气V，)表示Sf中坐标位置为(U，V)的像素点的像素值； ⑨-4、根据公g中的每个图像块中的所有像素点的像素值的加权平均值，计算找g中的每 个图像块中的所有像素点的像素值的方差，作为方差能量；同样，根据中的每个图像块 中的所有像素点的像素值的加权平均值，计算/立中的每个图像块中的所有像素点的像素 值的方差，作为方差能量;根据公.g中的每个图像块中的所有像素点的像素值的加权平均 值，计算片L中的每个图像块中的所有像素点的像素值的方差，作为方差能量;根据/?,中的 每个图像块中的所有像素点的像素值的加权平均值，计算中的每个图像块中的所有像 素点的像素值的方差，作为方差能量； ⑨-5、根据4中的所有图像块各自对应的方差能量，获取4的能量图，记为E"f'L;同 样，根据/i中的所有图像块各自对应的方差能量，获取培，的能量图，记为Edls'S根据據g.中 的所有图像块各自对应的方差能量，获取/fg的能量图，记为Etef'K;根据巧，中的所有图像块 各自对应的方差能量，获取4的能量图，记为E"s'K;其中，E心'L、E"s'L、ETef'哺Edis'K的宽度 均为且高度均为巧'-￡^1，护ef'L中的第P个像素点的像素值护ef'L(p)为成中的第 P个图像块对应的方差能量，Ed"'^中的第p个像素点的像素值Ed"'Hp)为/i中的第p个图像 块对应的方差能量，Etef'K中的第P个像素点的像素值护ef'K(p)为4中的第P个图像块对应的 方差能量，Edis'K中的第P个像素点的像素值Edis'K(p)为/完中的第P个图像块对应的方差能 量； ⑨-6、计算左视点图像的局部能量比率图，记为Rati〇L，将Rati〇L中的第P个像素点的像 素值记为Ratio^p)，并计算右视点图像的局部能量比率图，记为 Rati〇K，将Rati〇K中的第P个像素点的像素值记为Rati〇K(p):;其中， Rati〇L和Rati〇R的宽度均为r'-^且高度均为巧; 厶么
【文档编号】G06K9/62GK106097327SQ201610397239
【公开日】2016年11月9日
【申请日】2016年6月6日 公开号201610397239.6, CN 106097327 A, CN 106097327A, CN 201610397239, CN-A-106097327, CN106097327 A, CN106097327A, CN201610397239, CN201610397239.6
【发明人】郁梅, 王朝云, 陈芬, 何美伶
【申请人】宁波大学