专利名称：一种立体图像质量客观评价方法
技术领域：
本发明涉及一种立体图像质量评价技术，尤其是涉及一种基于双目融合和双目掩蔽的立体图像质量客观评价方法。
背景技术：
随着三维显示技术的逐步发展，立体图像技术在各领域得到了广泛的应用。然而， 如何建立有效的符合人类视觉感知的立体图像质量评价方法已成为立体图像处理与压缩领域的一个研究热点。立体图像质量评价从方法学角度可分为两种方法主观质量评价方法和客观质量评价方法。主观质量评价方法是通过大量的测试人员对立体图像进行视觉感知质量评价。 由于主观质量评价方法操作极为不便并且消耗大量的时间和人力物力，因此立体图像质量评价研究的最终目标是建立一种能够自动地评价并且评价结果与主观质量评价结果一致的客观质量评价模型。立体图像客观质量评价方法通过对失真信息进行模型化来预测测试立体图像的视觉质量，因此在视频处理领域中起到了十分重要的作用，如用于监控和调整图像质量、优化算法及参数设置、评价系统或算法性能等。目前，研究人员提出了多种立体图像客观质量评价方法，其中一类有代表性的方法是直接用平面图像质量评价方法分别对立体图像的左右视点图像进行评价所得结果的平均值作为立体图像质量预测值；而另一类方法是将立体图像质量评价分成两部分平面失真评价和立体失真评价。第一类方法将立体图像视为由独立存在的左右视点图像组成的集合，完全没有考虑到立体图像所具有的特殊性；而第二类方法在第一类方法的基础上，仅仅利用立体图像的深度或者视差信息来评价立体图像特有的失真质量。显然，这两类方法都是平面图像客观质量评价方法的延伸或改进。与平面图像相比，立体图像不仅仅是多了一个通道，其质量评价至少存在以下几个难点问题(I) 立体图像特有的失真类型如Crosstalk、Cardboard、Keystone等的评价问题；(2)立体图像深度感知信息的表示及其失真评价问题；(3)立体图像左右视点间相互作用问题。目前，以上这些问题尚未得到解决，导致现有的客观质量评价模型的评价结果与立体图像的视觉质量不一致。
发明内容
本发明所要解决的技术问题是提供一种基于双目融合(binocular fusion)和双目掩蔽(binocular suppression)的立体图像质量客观评价方法,其能够客观地反映立体图像受到各种图像处理和压缩方法影响下的视觉质量变化情况，与人类视觉系统特性相一致。本发明解决上述技术问题所采用的技术方案为一种立体图像质量客观评价方法，其特征在于包括以下步骤①定义立体图像客观质量评价中用于参照的原始立体图像为参考立体图像，将参考立体图像的左视点图像记为I1，将参考立体图像的右视点图像记为Ir，将参考立体图像在人类视觉系统中形成的cyclopean图像记为C ;定义立体图像客观质量评价中用于测试的参考立体图像的失真图像为测试立体图像，将测试立体图像的左视点图像记为^，将测试立体图像的右视点图像记为/;，将测试立体图像在人类视觉系统中形成的cyclopean图像记为0，其中，参考立体图像的左视点图像I1、参考立体图像的右视点图像Ir、测试立体图像的左视点图像A、测试立体图像的右视点图像A的尺寸大小均为WXH，W表示图像的宽度，H 表不图像的闻度；②将测试立体图像在人类视觉系统中形成的cyclopean图像d划分为三类区域 第一类区域为遮挡区域，记为及·，该遮挡区域及·的信息仅存在于左视点和右视点的一个视点中；第二类区域为双目掩蔽区域，记为為 ，该双目掩蔽区域為 的信息为左视点和右视点中图像内容差异较大或视差较大的双目信息；第三类为双目融合区域，记为，该双目融合区域兔,的信息为左视点和右视点中图像内容相似且视差较小的双目信息；③将测试立体图像在人类视觉系统中形成的cyclopean图像d分割成互不重叠的大小为kXk的图像块，并将所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型， 然后根据图像块的类型更新及^、Rbs^ ，对应得到更新后的遮挡区域及·'、更新后的双目掩蔽区域、更新后的双目融合区域瓦/，接着获取参考立体图像在人类视觉系统中形成的cyclopean图像C中与瓦J对应位置的区域R。。/、与先/对应位置的区域RbJ、与兔/对应位置的区域Rb/，再对'的左视点对应区域&/、it'的右视点对应区域 C'、4/的左视点对应区域戌/、的右视点对应区域私'、R。。。'、V的左视点对应区域i^'、RbJ的右视点对应区域iC'、Rb/的左视点对应区域的右视点对应区域凡/■'中的所有大小为kXk的图像块分别进行奇异值分解，得到各个图像块各自对应的奇异值，其中，k大于I ;④根据及^Rocc'与Rtcc/中所有对应位置的大小为kXk的图像块之间的奇异值距离， 获得見J的全局失真程度Q。。。；根据穴/与中所有对应位置的大小为kXk的图像块之间的奇异值距离及^^/与尺。中所有对应位置的大小为kXk的图像块之间的奇异值距离，获得及J的全局失真程度Qbs;根据&'与<'中所有对应位置的大小为kXk的图像块之间的奇异值距离及或'与中所有对应位置的大小为kXk的图像块之间的奇异值距离，获得Λ/的全局失真程度Qbf ；⑤根据及_'的全局失真程度Q。。。、及J的全局失真程度Qbs和或/的全局失真程度Qbf，采用线性回归方程，计算测试立体图像的全局失真程度，记为Q，Q =
'+ b + C = I
η
LXQ(xx+bXQbS+cXQbf，其中，a, b, c 均为系数，a, b, c 满足条件
O < α < I 0<b<l 0<c<l所述的步骤②的具体过程为
②-I、将参考立体图像的左视点图像I1中坐标位置为(x,y)的像素点记为尸将参考立体图像的右视点图像Ir中坐标位置为(S，t)的像素点记为尸I,，将测试立体图像的左视点图像/冲坐标位置为(X，y)的像素点记为》将测试立体图像的右视点图像/;中坐标位置为(S，t)的像素点记为 ，其中，I②_2、对参考立体图像进行立体匹配，获得参考立体图像中的各个像素点的水平视差和垂直视差，具体过程为判断与是否相匹配，如果两者相匹配，则将两者的匹
配关系表示为(尸K,)，并将和戍,的水平视差都记为(，<=μ-χ|，将；4和<,的垂直视差都记为0<厂|〖_少|，否则，如果参考立体图像的右视点图像Ir中不存在与/4相匹配的像素点，则将的匹配关系表示为(尸U)，并将的水平视差和垂直视差都确定为255，如果参考立体图像的左视点图像I1中不存在与O目匹配的像素点，则将^的匹配关系轰不为[φ，Prsj)，并将的水平视差和垂直视差都确定为255,其中，“I I ”为取绝对值符号，“ Φ ”为空集表不符号；②_3、对测试立体图像进行立体匹配，获得测试立体图像中的各个像素点的水平视差和垂直视差，具体过程为判断武丨与久^是否相匹配，如果两者相匹配，则将两者的匹
配关系表示为(足^义)，并将冗,义的水平视差都记为 =|^|，将冗，和式,的垂直视差记为<y = \t-y\，否则，如果测试立体图像的右视点图像兄中不存在与相匹配的像素点，则将武j的匹配关系表示为(瓦f 4，并将武j的水平视差和垂直视差都确定为 255，如果测试立体图像的左视点图像义中不存在与久^相匹配的像素点，则将久^的匹配关系表示为(么武，将&,的水平视差和垂直视差都确定为255，其中，“ I I ”为取绝对值符号， “ Φ”为空集表不符号；②-4、将测试立体图像在人类视觉系统中形成的cyclopean图像d划分为遮挡区域和匹配区域及》-，遮挡区域及^由左视点遮挡区域及L和右视点遮挡区域及二两部分组成，表示为'K ^jRrocc，左视点遮挡区域及^为测试立体图像的左视点图像义中匹配关系为的像素点的集合，表示为义厂⑶^说^武^/丄右视点遮挡区域瓦为测试立体图像的右视点图像I中匹配关系为(么尤)的像素点的集合，表示为 RL={pA^prJ^p, e，匹配区域瓦α Λ为测试立体图像的左视点图像A和测试立体图像的右视点图像/;相匹配的像素点的集合，其中，“U”为集合并运算符号，“Λ”为“与”运算符号;②_5、进一步将匹配区域&^划分为双目掩蔽区域^和双目融合区域式,，双目掩蔽区域元为由&的左视点对应区域尾与元的右视点对应区域疋经双目掩蔽得到的合成区域，双目融合区域为由尾/■的左视点对应区域力丨/与尾/■的右视点对应区域尾；/·经双目融
合得到的合成区域，其中，
权利要求
1.一种立体图像质量客观评价方法，其特征在于包括以下步骤①定义立体图像客观质量评价中用于参照的原始立体图像为参考立体图像，将参考立体图像的左视点图像记为I1，将参考立体图像的右视点图像记为Ir，将参考立体图像在人类视觉系统中形成的cyclopean图像记为C ;定义立体图像客观质量评价中用于测试的参考立体图像的失真图像为测试立体图像，将测试立体图像的左视点图像记为^，将测试立体图像的右视点图像记为/;，将测试立体图像在人类视觉系统中形成的cyclopean图像记为 C，其中，参考立体图像的左视点图像I1、参考立体图像的右视点图像Ir、测试立体图像的左视点图像A、测试立体图像的右视点图像义的尺寸大小均为WXH，W表示图像的宽度，H表示图像的高度；②将测试立体图像在人类视觉系统中形成的cyclopean图像d划分为三类区域第一类区域为遮挡区域，记为JL，该遮挡区域及^的信息仅存在于左视点和右视点的一个视点中；第二类区域为双目掩蔽区域，记为兔,，该双目掩蔽区域為 的信息为左视点和右视点中图像内容差异较大或视差较大的双目信息；第三类为双目融合区域，记为kf，该双目融合区域兔 /的信息为左视点和右视点中图像内容相似且视差较小的双目信息；③将测试立体图像在人类视觉系统中形成的cyclopean图像d分割成互不重叠的大小为kXk的图像块，并将所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，然后根据图像块的类型更新及^、ks、兔/，对应得到更新后的遮挡区域更新后的双目掩蔽区域&/、更新后的双目融合区域瓦/，接着获取参考立体图像在人类视觉系统中形成的 cyclopean图像C中与对应位置的区域U、与对应位置的区域RbJ、与式/对应位置的区域Rbf'，再对、元1的左视点对应区域疋'、瓦/的右视点对应区域瓦V、Rbf' 的左视点对应区域戌/、式/的右视点对应区域、RbJ的左视点对应区域</、 Rbs;的右视点对应区域i 。、Rbf'的左视点对应区域M/、Rbf'的右视点对应区域凡；/■'中的所有大小为kXk的图像块分别进行奇异值分解，得到各个图像块各自对应的奇异值，其中，k大于I ;④根据見J与R。。/中所有对应位置的大小为kXk的图像块之间的奇异值距离，获得見J的全局失真程度Q。。。；根据穴/与中所有对应位置的大小为kXk的图像块之间的奇异值距离及&/与中所有对应位置的大小为kXk的图像块之间的奇异值距离，获得及J 的全局失真程度Qbs;根据&'与<■'中所有对应位置的大小为kXk的图像块之间的奇异值距离及或；■'与中所有对应位置的大小为kXk的图像块之间的奇异值距离，获得Λ/的全局失真程度Qbf ；⑤根据的全局失真程度Q。。。、及J的全局失真程度Qbs和或,'的全局失真程度Qbf，采用线性回归方程,计算测试立体图像的全局失真程度,记为Q,Q = aXQ0CC+bXQbs+cXQbf,Jt中，a, b, c均为系数，a, b, c满足条件
2.根据权利要求I所述的一种立体图像质量客观评价方法，其特征在于所述的步骤② 的具体过程为②-I、将参考立体图像的左视点图像I1中坐标位置为(X，y)的像素点记为尸将参考立体图像的右视点图像I,中坐标位置为(s，t)的像素点记为/C，将测试立体图像的左视点图像义中坐标位置为U，y)的像素点记为武Y将测试立体图像的右视点图像/;中坐标位置为(s，t)的像素点记为，其中，I彡χ彡W，1彡y彡H，1彡s彡W，1彡t彡H;②-2、对参考立体图像进行立体匹配，获得参考立体图像中的各个像素点的水平视差和垂直视差，具体过程为判断与尸,是否相匹配，如果两者相匹配，则将两者的匹配关系表示为(尸K,)，并将和式,的水平视差都记为(，(=μ-χ|，将/4和戍,的垂直视差都记为0<厂卜少|，否则，如果参考立体图像的右视点图像Ir中不存在与/4相匹配的像素点，则将的匹配关系表示为并将的水平视差和垂直视差都确定为 255，如果参考立体图像的左视点图像I1中不存在与O目匹配的像素点，则将/C的匹配关系表示为(么式，并将<,的水平视差和垂直视差都确定为255，其中，“ I I ”为取绝对值符号，“ Φ ”为空集表不符号；②_3、对测试立体图像进行立体匹配，获得测试立体图像中的各个像素点的水平视差和垂直视差，具体过程为判断武丨与久^是否相匹配，如果两者相匹配，则将两者的匹配关系表示为PL，武,)，并将冗,义的水平视差都记为 =ι^-χ|，将冗，和式,的垂直视差记为，否则，如果测试立体图像的右视点图像兄中不存在与相匹配的像素点，则将的匹配关系表示为(瓦，并将的水平视差和垂直视差都确定为255，如果测试立体图像的左视点图像/冲不存在与尺湘匹配的像素点，则将式 的匹配关系表示为 (Φ,Ρ,)，将的水平视差和垂直视差都确定为255，其中，“ I I ”为取绝对值符号，“ Φ ”为空集表不符号；②-4、将测试立体图像在人类视觉系统中形成的cyclopean图像d划分为遮挡区域及_和匹配区域及》-，遮挡区域及^由左视点遮挡区域及L和右视点遮挡区域及二两部分组成，表示为:kocc=klocc ^jkrocc，左视点遮挡区域及^为测试立体图像的左视点图像i中匹配关系为(足，,4的像素点的集合，表示为尤,={瓦」(足 汉,/山右视点遮挡区域&:为测试立体图像的右视点图像I中匹配关系为(么尤)的像素点的集合，表示为 hAWKX dj，匹配区域之_为测试立体图像的左视点图像/>测试立体图像的右视点图像/;相匹配的像素点的集合，其中，“u”为集合并运算符号，“λ”为“与”运算符号；②_5、进一步将匹配区域划分为双目掩蔽区域和双目融合区域式,，双目掩蔽区域元为由&的左视点对应区域尾与元的右视点对应区域疋经双目掩蔽得到的合成区域， 双目融合区域为由尾/■的左视点对应区域力丨/与尾/■的右视点对应区域尾；/·经双目融合得到的合成区域，其中，
3.根据权利要求I或2所述的一种立体图像质量客观评价方法，其特征在于所述的步骤③的具体过程为③-I、将测试立体图像在人类视觉系统中形成的cyclopean图像d分割成互不重叠的大小为kXk的图像块，并将测试立体图像在人类视觉系统中形成的cyclopean图像d中的所有图像块分为遮挡块、双目掩蔽块、双目融合块三种类型，具体分类过程为对于测试立体图像在人类视觉系统中形成的cyclopean图像d中的任意一个图像块，将其记为6，判断乡中是否存在属于iL的像素点，如果5中存在属于U勺像素点，则将5标记为遮挡块，如果 5中不存在属于瓦J勺像素点，则再判断力中是否存在属于之的像素点，如果存在，则将5标记为双目掩蔽块，否则，将力标记为双目融合块，其中，k大于I ;③-2、将由测试立体图像在人类视觉系统中形成的cyclopean图像d中的所有遮挡块构成的区域作为更新后的遮挡区域，记为及_'，将由测试立体图像在人类视觉系统中形成的cyclopean图像d中的所有双目掩蔽块构成的区域作为更新后的双目掩蔽区域，记为瓦/，将由测试立体图像在人类视觉系统中形成的cyclopean图像d中的所有双目融合块构成的区域作为更新后的双目融合区域，记为兔/，并将更新后的的左视点遮挡区域和 Aocc $勺右·视点、 当g域、之御·&视点、对■应g域# Rbs怕右■视点、对■应g域、Rbf '的·&视点、对■应区域和兔/的右视点对应区域分别记为及^和&^、&/和兔V、■'和if;③-3、将参考立体图像在人类视觉系统中形成的cyclopean图像C中与瓦J对应位置的区域记为R。。。，，Rocc' = R1occ 'UiC '，其中，“ U ”为集合并运算符号，iC为参考立体图像在人类视觉系统中形成的cyclopean图像C中与itj对应位置的区域， rLc ={p[,y I p[,y e I1 ^p1xy e R1occ'}，U为参考立体图像在人类视觉系统中形成的 cyclopean图像C中与瓦V对应位置的区域，^C'= IaPIj;③-4、将参考立体图像在人类视觉系统中形成的cyclopean图像C中与戌/对应位置的区域记为I尸^ UlAP1xy ￡戌/}，将参考立体图像在人类视觉系统中形成的 cyclopean 图像 C 中与兒1 对应位置的区域记为,Rrbs'= {prs t | prs t g Ir aprs t e Rbs')；③-5、将参考立体图像在人类视觉系统中形成的cyclopean图像C中与戌/对应位置的区域记 将参考立体图像在人类视觉系统中形成的cyclopean图像C中与
4.根据权利要求3所述的一种立体图像质量客观评价方法，其特征在于所述的步骤③-1中k = 4。
5.根据权利要求3所述的一种立体图像质量客观评价方法，其特征在于所述的步骤④ 的具体过程为④-I、计算見
6.根据权利要求5所述的一种立体图像质量客观评价方法，其特征在于所述的步骤⑤ 中 a = 0，b = O. 5，c = O. 5。
全文摘要
本发明公开了一种立体图像质量客观评价方法，其通过模拟人类视觉系统处理立体图像的过程，获得立体图像在人类视觉系统中形成的cyclopean图像，该cyclopean图像是由遮挡区域、双目融合区域、双目掩蔽区域三个区域组成，根据图像奇异值表征图像属性具有较强的稳定性，结合人类视觉系统处理cyclopean图像中不同区域特点，采用测试立体图像和参考立体图像对应的cyclopean图像之间的奇异值距离来表示测试立体图像对应的cyclopean图像的失真程度，从而最终获得测试立体图像的整体视觉质量，本发明方法能够客观地反映立体图像受到各种图像处理和压缩方法影响下视觉质量的变化情况，与人类视觉系统特性相一致。
文档编号H04N13/00GK102595185SQ20121004629
公开日2012年7月18日 申请日期2012年2月27日 优先权日2012年2月27日
发明者周俊明, 彭宗举, 李福翠, 蒋刚毅, 邵枫, 郁梅 申请人:宁波大学