基于广义回归神经网络的无参考立体图像质量评价方法
【专利摘要】本发明公开了一种基于广义回归神经网络的无参考立体图像质量评价方法，其根据待评价的失真立体图像的左、右视点图像各自的幅值图像和相位图像及左、右视点图像之间的视差图像，获取左右视点双目能量图像，进一步得到双目能量调制后的归一化直方图统计特征向量；对于训练集中的每幅失真立体图像，以相同的方式获得特征向量，对训练集中的所有失真立体图像各自的主观评分和特征向量进行训练，得到广义回归神经网络训练模型，最后对待评价的失真立体图像的双目能量调制后的归一化直方图统计特征向量进行测试，得到客观质量评价预测值；优点是能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。
【专利说明】
基于广义回归神经网络的无参考立体图像质量评价方法
技术领域
[0001] 本发明设及一种立体图像质量客观评价方法，尤其是设及一种基于广义回归神经 网络的无参考立体图像质量评价方法。
【背景技术】
[0002] 进入二十一世纪W来，随着立体图像/视频系统处理技术的日趋成熟，W及计算机 网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单 视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给 用户W身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的 发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和 视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编 码、传输、解码及显示等处理环节都会引入一定失真，运些失真将对立体视觉主观感知质量 产生不同程度的影响，由于在大多数的应用系统中原始无失真参考图像是不可得的，因此 如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立 与主观质量评价相一致的客观评价模型显得尤为重要。
[0003] 目前，研究人员提出了不少针对单视点视觉质量无参考评价方法，然而由于缺乏 系统理论深入研究立体视觉感知特性，因此还没有有效地无参考立体图像质量评价方法。 相比单视点视觉质量无参考评价模型，无参考立体图像质量评价模型需要考虑不同失真类 型立体掩蔽效应W及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的 影响。因此，不能简单地把现有的单视点视觉质量无参考评价模型直接扩展到无参考立体 图像质量评价方法中。现有的无参考质量客观评价方法主要是通过机器学习来预测评价模 型的，但针对立体图像，现有的无参考立体图像质量评价方法还是平面图像评价方法的简 单扩展，并没有考虑双目视觉特性，因此，如何在评价过程中有效地提取特征信息，在评价 过程中进行双目视觉特性结合，使得客观评价结果更加符合人类视觉感知系统，是无参考 立体图像进行客观质量评价过程中需要研究解决的问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于广义回归神经网络的无参考立体图 像质量评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结 果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种基于广义回归神经网络的无 参考立体图像质量评价方法，其特征在于包括W下步骤：
[0006] ①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为化dis(x，y)}，将Sdis 的右视点图像记为{Rdis(x，y)}，其中，l《x《W，l《y《H，W表示Sdis的宽度，H表示Sdis的高 度，LdisU，y)表示化dis(x，y)}中坐标位置为（x，y)的像素点的像素值，RdisU，y)表示{Rdis (x，y)}中坐标位置为(x，y)的像素点的像素值；
[0007]②分别对化 dis(x，yM和{Rdis(x，y)}实施 Iog-Gabor滤波，得到化 dis(x，y) WtHRdis (x，y)}各自的幅值图像和相位图像，将化dis(x，y)}的幅值图像和相位图像对应记为{Gmis (x，y)}和{PL_dis(x，y)}，将{Rdis(x，y)}的幅值图像和相位图像对应记为{GR_dis(x，y)}和 {PR_dis(x，y)}，其中，GL_dis(x，y)表示{GL_dis(x，y)}中坐标位置为(x，y)的像素点的像素值， PL_dis (X，y)表示{PL_dis (X，y)}中坐标位置为(X，y)的像素点的像素值，GR_dis (X，y)表示{GR_dis (x，y)}中坐标位置为(x，y)的像素点的像素值，PR_dis(x，y)表示{PR_dis(x，y)}中坐标位置为 (x，y)的像素点的像素值；
[0008]③采用块匹配方法计算{Ldis(x，y)}与{Rdis(x，y)}之间的视差图像，记为{ddlsU， y)}，其中，ddis(x，y)表示{ddis(x，y)}中坐标位置为(x，y)的像素点的像素值；
[0009]④概屆{GL_dis(x，y)}和化_出3(义，7)}、{姑_化3(义，7)}和化_山3山7)}、{(1化3山7)}，计算5(113的 左右视点双目能量图像，记为{Fdis(x，y)}，将{Fdis(x，y)}中坐标位置为(x，y)的像素点的像素值记 为尸"3(又，7)，^^；,。(尤.1') = (&_4瓜,刮+(&_,,。(一川(,。(叫')..1')）+6^.&^^^ 其中，GR_dis(x+ddis(x，y)，y)表示{GR_dis(x，y)}中坐标位置为(x+ddis(x，y)，y)的像素点的像 素值，(W)=巧._曲,化好-屯化("(y，?)，)，?)，），PR_dis (x+ddis (X，y)，y)表示{PR_dis (X，y)} 中坐标位置为(x+ddis (X，y)，y)的像素点的像素值，cos ()为取余弦函数；
[0010]⑤采用局部二值化模式操作对{Fdis(x，y)}进行处理，得到{Fdis(x，y)}的旋转不变 性局部二值化模式图像，记为{LBPriu(X，y)}，其中，LBPriu (X，y)表示{LBPriu (X，y)}中坐标位 置为(x，y)的像素点的像素值；
[00川⑥根据|Fdis(x，y)巧日化BPriuU,y)}，计算Sdis的双目能量调制后的归一化直方图 统计特征向量，记为H，将H中的第m个元素记为H(m)，
， 其中，H的维数为IXm'维，m'=P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，1 ，f0为统计函数表示形式，
[0012] ⑦采用n"幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失 真立体图像集合，该失真立体图像集合包括多幅失真立体图像;然后利用主观质量评价方 法分别评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像 集合中的第j幅失真立体图像的主观评分记为DM0&;再按照步骤①至步骤⑥的操作，W相 同的方式获取该失真立体图像集合中的每幅失真立体图像的双目能量调制后的归一化直 方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的双目能量调制后的 归一化直方图统计特征向量记为其中，n"〉l，l《j《N'，N'表示该失真立体图像集合中 包含的失真立体图像的总幅数，0《DMOS j《100，Hj的维数为1 X m '维，m '= P巧，P表示步骤⑤ 中的局部二值化模式操作中的领域参数；
[0013] ⑧将该失真立体图像集合作为训练集;然后利用广义回归神经网络对训练集中的 所有失真立体图像各自的主观评分和双目能量调制后的归一化直方图统计特征向量进行 训练，使得经过训练得到的回归函数值与主观评分之间的误差最小，得到广义回归神经网 络训练模型;再根据广义回归神经网络训练模型，对Sdis的双目能量调制后的归一化直方图 统计特征向量H进行测试，预测得到Sdis的客观质量评价预测值。
[0014] 所述的步骤⑤中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R 取值为1。
[0015] 与现有技术相比，本发明的优点在于：
[0016] 1)本发明方法考虑了双目融合视觉特性，利用运些特性获取双目能量调制后的归 一化直方图统计特征向量来模拟双目视觉感知，使得本发明方法能够充分考虑到立体视觉 感知特性。
[0017] 2)本发明方法在充分利用了双目视觉感知特性的基础上，采用左右视点双目能量 图像对其旋转不变性局部二值化模式图像进行调制，得到的双目能量调制后的归一化直方 图统计特征向量能够有效地表示主观视觉特性，因此能有效地提高客观评价结果与主观感 知之间的相关性。
【附图说明】
[0018] 图1为本发明方法的总体实现框图。
【具体实施方式】
[0019] W下结合附图实施例对本发明作进一步详细描述。
[0020] 本发明提出的一种基于广义回归神经网络的无参考立体图像质量评价方法，其总 体实现框图如图1所示，其包括W下步骤：
[0021] ①令Sdis表示待评价的失真立体图像，将Sdis的左视点图像记为化dis(x，y)}，将Sdis 的右视点图像记为{Rdis(x，y)}，其中，l《x《W，l《y《H，W表示Sdis的宽度，H表示Sdis的高 度，LdisU,y)表示化dis(x，y)}中坐标位置为（x，y)的像素点的像素值，RdisU,y)表示{Rdis (x，y)}中坐标位置为(x，y)的像素点的像素值。
[0022] ②分别对化 dis(x，yM和{Rdis(x，y)}实施 Iog-Gabor滤波，得到化 dis(x，y) WWRdis (x，y)}各自的幅值图像和相位图像，将化dis(x，y)}的幅值图像和相位图像对应记为{Gmis (x，y)}和{PL_dis(x，y)}，将{Rdis(x，y)}的幅值图像和相位图像对应记为{GR_dis(x，y)}和 {PR_dis(x，y)}，其中，GL_dis(x，y)表示{GL_dis(x，y)}中坐标位置为(x，y)的像素点的像素值， PL_dis (X，y)表示{PL_dis (X，y)}中坐标位置为(X，y)的像素点的像素值，GR_dis (X，y)表示{GR_dis (x，y)}中坐标位置为(x，y)的像素点的像素值，PR_dis(x，y)表示{PR_dis(x，y)}中坐标位置为 (x，y)的像素点的像素值。
[002；3]③采用块匹配方法计算化dis(x，y)}与{Rdis(x，y)}之间的视差图像，记为{ddisU， y)}，其中，ddis(x，y)表示{ddis(x，y)}中坐标位置为(x，y)的像素点的像素值。
[0024] ④根据{a_dis(x，y)}和{托_出3(、7)}、{屯出3(、7)}柳托_出3(、7)}、{山13知7)}，计算5(113的左右 视点双目能量图像，记为|Fdis(x，y)}，将{Fdis(x，y)}中坐标位置为(x，y)的像素点的像素值记为 Fdis(X'y)，、'少）=侣化化(―\-+屯,K VI，r))-+ Gi (尤,'v)xGg +而,'（a'.r)，'^ 其中，GR_dis(x+ddis(x，y)，y)表示{GR_dis(x，y)}中坐标位置为(x+ddis(x，y)，y)的像素点的像 素值，
，PR_dis(x+ddis(x，y)，y)表示{PR_dis(x，y)} 中坐标位置为(x+ddis (X，y)，y)的像素点的像素值，cos ()为取余弦函数。
[0025] ⑤采用现有的局部二值化模式操作对{Fdis(x，y)}进行处理，得到{Fdis(x，y)}的旋 转不变性局部二值化模式图像，记为{LBPriu(X，y)}，其中，LBPriu(X，y)表示{LBPriu(X，y)}中 坐标位置为(X，y)的像素点的像素值。
[0026] 在本实施例中，步骤⑤中的局部二值化模式操作中的领域参数P取值为8、局部半 径参数R取值为1。
[0027] ⑥根据{Fdis(x，yM和化BPriuU,y)}，计算Sdis的双目能量调制后的归一化直方图 统计特征向量，记为H，将H中的第m个元素记为H(m):
其 中，H的维数为IXm'维，m'=P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，在 本实施例中取P = 8，1'，f ()为统计函数表示形式
[0028] ⑦采用n"幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失 真立体图像集合，该失真立体图像集合包括多幅失真立体图像;然后利用现有的主观质量 评价方法分别评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立 体图像集合中的第j幅失真立体图像的主观评分记为DMOSj;再按照步骤①至步骤⑥的操 作，W相同的方式获取该失真立体图像集合中的每幅失真立体图像的双目能量调制后的归 一化直方图统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的双目能量调 制后的归一化直方图统计特征向量记为田;其中，n"〉l，如取n" = 10，l《j《N'，N'表示该失 真立体图像集合中包含的失真立体图像的总幅数，0《DM0?《100，?的维数为lXm'维，m' = P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数，在本实施例中取P = 8。
[0029] ⑧广义回归神经网络(GR順)具有很强的非线性映射能力和柔性网络结构W及高 度的容错性和鲁棒性，应用于解决非线性问题，因此本发明将该失真立体图像集合作为训 练集;然后利用广义回归神经网络对训练集中的所有失真立体图像各自的主观评分和双目 能量调制后的归一化直方图统计特征向量进行训练，使得经过训练得到的回归函数值与主 观评分之间的误差最小，得到广义回归神经网络训练模型;再根据广义回归神经网络训练 模型，对Sdis的双目能量调制后的归一化直方图统计特征向量H进行测试，预测得到Sdis的客 观质量评价预测值。
[0030] 为了进一步验证本发明方法的可行性和有效性，进行实验。
[0031] 在此，采用LIVE立体图像失真库来分析利用本发明方法得到的失真立体图像的客 观质量评价预测值与主观评分之间的相关性。运里，利用评估图像质量评价方法的3个常用 客观参量作为评价指标，即非线性回归条件下的Pearson相关系数（Pearson linear correlation coef f icient，PLCC)、Spearman相关系数（Spearman rank order correlation coeff icient，SR0CC)、均方误差（root mean squared error，RMSE)，PLCC和 RMSE反映失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。
[0032] 利用本发明方法计算LIVE立体图像失真库中的每幅失真立体图像的客观质量评 价预测值，再利用现有的主观质量评价方法获得LIVE立体图像失真库中的每幅失真立体图 像的主观评分。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做五参数 Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价 结果与主观评分相关性越好。反映本发明方法的质量评价性能的化CC、SROCC和RMSE相关系 数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的客观质 量评价预测值与主观评分之间的相关性是很好的，表明客观评价结果与人眼主观感知的结 果较为一致，足W说明本发明方法的可行性和有效性。
[0033] 表1利用本发明方法得到的失真立体图像的客观质量评价预测值与主观评分之间 的相关性
[0034]
【主权项】
1. 一种基于广义回归神经网络的无参考立体图像质量评价方法，其特征在于包括W下 步骤： ① 令Sdi康示待评价的失真立体图像，将Sdis的左视点图像记为{Ldis(x，y)}，将Sdis的右 视点图像记为{Rdis(x，y)}，其中，l《x《W，l《y《H，W表示Sdis的宽度，H表示Sdis的高度，Ldis (x，y)表示lLdis(x，y)}中坐标位置为(x，y)的像素点的像素值，Rdis(x，y)表示{Rdis(x，y)}中 坐标位置为(X，y)的像素点的像素值； ② 分别对化 dis(x，yM和{Rdis(x，y)}实施log-Gabor 滤波，得到化 dis(x，yM和{Rdis(x, y)}各自的幅值图像和相位图像，将化dis(x，y)}的幅值图像和相位图像对应记为{GL_dis(x， y)}和{PL_dis (X，y)}，将{Rdis (X，y)}的幅值图像和相位图像对应记为{GR_dis (X，y)}和{PR_dis (x，y)}，其中，GL_dis(x，y)表示{GL_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，PL_dis (x，y)表示{PL_dis(x，y)}中坐标位置为(x，y)的像素点的像素值，GR_dis(x，y)表示{GR_dis(x， y)}中坐标位置为(x，y)的像素点的像素值，PR_dis(x，y)表示{PR_dis(x，y)}中坐标位置为(X， y)的像素点的像素值； ③ 采用块匹配方法计算化dis(x，y)}与{Rdis(x，y)}之间的视差图像，记为{ddis(x，y)}， 其中，ddis(x，y)表示{ddis(x，y)}中坐标位置为(x，y)的像素点的像素值； @根据搞_(^3山7)}和化_(^3估7)}、{6[?_(^3山7)}和化_(^3山7)}、{山13估7)}，计算5(^3的左 右视点双目能量图像，记为{Fdis(x，y)}，将{Fdis(x，y)}中坐标位置为(x，y)的像素点的像素值记 为Fd i S (X, y)，^^而分='怡_典梓，劝'+(&(訂d舰快.础切)'％巧__化枝片》鳥_版权中d化快拥.>〇 X.扣却館瓜州:， 其中，GR_dis(x+ddis(x，y)，y)表示{GR_dis(x，y)}中坐标位置为(x+ddis(x，y)，y)的像素点的像 素值，巧=入；-入;(4、(-、'0')0'），PR_dis (x+ddis (X，y )，y)表示{PR_dis (X，y)} 中坐标位置为(x+ddis(X，y)，y)的像素点的像素值，cos()为取余弦函数； ⑤ 采用局部二值化模式操作对{Fdis(x，y)}进行处理，得到{Fdis(x，y)}的旋转不变性局 部二值化模式图像，记为化BPriu(X，y)}，其中，LBPriu(X，y)表示{LBPriu(X，y)}中坐标位置为 (x，y)的像素点的像素值； ⑥ 根据{Fdis (X，y)}和化BPriu(X，y)}，计算Sdis的双目能量调制后的归一化直方图统计 特征向量，记为H，将Η中的第m个元素记为H(m)庚 中，Η的维数为IXn/维，π/=P+2，P表示步骤⑤中的局部二值化模式操作中的领域参数， m《n/，f〇为统计函数表示形式⑦ 采用η"幅原始的无失真立体图像，建立其在不同失真类型不同失真程度下的失真立 体图像集合，该失真立体图像集合包括多幅失真立体图像;然后利用主观质量评价方法分 别评价出该失真立体图像集合中的每幅失真立体图像的主观评分，将该失真立体图像集合 中的第j幅失真立体图像的主观评分记为DMOSw再按照步骤①至步骤⑥的操作，W相同的 方式获取该失真立体图像集合中的每幅失真立体图像的双目能量调制后的归一化直方图 统计特征向量，将该失真立体图像集合中的第j幅失真立体图像的双目能量调制后的归一 化直方图统计特征向量记为町；其中，n"〉l，l《j《N/，沪表示该失真立体图像集合中包含 的失真立体图像的总幅数，〇《〇10&《100，&的维数为1乂11/维，11/=?巧^表示步骤@中的 局部二值化模式操作中的领域参数； ⑧将该失真立体图像集合作为训练集;然后利用广义回归神经网络对训练集中的所有 失真立体图像各自的主观评分和双目能量调制后的归一化直方图统计特征向量进行训练， 使得经过训练得到的回归函数值与主观评分之间的误差最小，得到广义回归神经网络训练 模型;再根据广义回归神经网络训练模型，对Sdis的双目能量调制后的归一化直方图统计特 征向量Η进行测试，预测得到Sdis的客观质量评价预测值。2.根据权利要求1所述的基于广义回归神经网络的无参考立体图像质量评价方法，其 特征在于所述的步骤⑤中的局部二值化模式操作中的领域参数P取值为8、局部半径参数R 取值为1。
【文档编号】H04N13/00GK105979253SQ201610300453
【公开日】2016年9月28日
【申请日】2016年5月6日
【发明人】周武杰, 张爽爽, 潘婷, 蔡星宇, 顾鹏笠, 郑飘飘, 岑岗, 王中鹏, 周扬, 吴茗蔚, 邱薇薇, 陈芳妮, 郑卫红, 陈寿法, 陶坚, 葛丁飞
【申请人】浙江科技学院