一种基于视觉注意机制的视频水印方法
【专利摘要】本发明公开一种基于视觉注意机制的视频水印方法，选择MPEG-2视频关键帧的视觉非显著区域的DCT域嵌入二进制水印信息，实现视频版权保护的目的。本发明包括以下步骤：解码载体视频，获取视频关键帧I帧；采用Koch?and?Itti视觉显著模型分析视频关键帧的视觉显著性，划分视觉显著区域；选择人眼不太敏感的视觉非显著区域，对亮度分量的DCT直流系数进行固定步长的奇偶量化索引调制，嵌入水印信息。分析已嵌入水印的视频关键帧的视觉显著性，判断水印嵌入区域，根据水印嵌入规则提取水印信息。本发明有效利用了人眼视觉注意特性，提高了视频水印的不可见性，且对常见的视频攻击有较好的鲁棒性，有效缓解了水印不可见性与鲁棒性之间的矛盾。
【专利说明】一种基于视觉注意机制的视频水印方法
【技术领域】
[0001]本发明涉及一种多媒体信息版权保护方法，具体是一种基于视觉注意机制的视频水印方法，属于信息安全【技术领域】。
【背景技术】
[0002]数字水印是一种有效解决知识产权纠纷的手段之一。视频是互联网上用户生成内容(UGC)的主要形式，便捷的获取方式滋生了众多侵权、盗版行为，因此如何使用视频水印维护版权所有者的合法权益成为当下热门的研究课题，权衡水印不可见性和鲁棒性之间的矛盾依然是所有水印算法共同的目标。
[0003]视频是一系列与时间相关的图像序列，因此很多图像水印算法也被运用到视频水印中来[1]。同时由于视频本身的特殊性:数据量大，数据结构复杂，实时性要求，压缩编码标准，运动区域与非运动区域不均匀，遭受特定种类攻击等，使得视频水印的发展相对滞后
[2]。不同的视频编码标准对视频水印造成局限性，成熟的MPEG-2，MPEG-4与最新的H.264/AVC视频编码标准对应的视频需各不相同的水印方案，这些都成为在视频中嵌入鲁棒的不可见水印的难以攻克的技术障碍。
[0004]视觉注意机制[3]在图像水印中已经有了较多研究，而视频由于其复杂性，很少有算法在视频水印中运用人眼视觉模型，大多数现有算法仅仅在变换域上或者运动矢量中嵌入水印，这样得到的视频往往画质变化较明显，人眼容易察觉到视频的失真，不能满足水印的不可见性。根据人眼视觉特性，每一帧画面上的信息都有视觉焦点区域和背景区域之分，焦点区域的内容更吸引人眼的注意，因此如果在焦点区域嵌入水印，人眼十分容易感知到画面的变化。
[0005]人眼具有快速从画面中选取感兴趣区域的能力，该兴趣区域往往包含了整幅图像中最重要的信息。Koch and Itti视觉显著模型通过模拟人眼视觉注意过程，提取底层特征自动解析画面中的视觉显著区域，将显著信息从背景区域分离出来。对视频而言，视频以特定帧率播放时，一个场景中人眼往往只会注意某一部分重要画面，大部分背景被忽略。人眼感兴趣区域中嵌入的水印对画面造成的失真比其它区域更有可能引起人眼注意，水印嵌在人眼不太敏感的视觉非显著区域更能保证水印的不可见性。引入视觉注意机制的视频水印方案，划分显著区域后嵌入水印对缓解水印不可见性和鲁棒性的矛盾有积极的作用。
[0006]参考文献:
[0007][I] Πυ^?Γ Gj Dugelay J L.A guide tour of video watermarking [J].Signalprocessing:丄mage communicat1n.18(4):263-282，2003.
[0008][2]张江，赵黎，杨士强.视频水印技术综述[J].计算机应用，04:850-852, 2005.
[0009][3]Borji A,Itti L State-of-the-art in visual attent1n modeling[J].1EEE Transact1ns on Pattern Analysis and Machine Intelligence.35(I):185-207，2013.
[0010][4]Itti L，Koch C，Niebur E.A model of saliency-based visual attent1nfor rapid scene analysis[J].1EEE Transact1ns on Pattern Analysis and MachineIntelligence.20(11):1254-1259，1998.
[0011][5]Itti L, Koch C.A saliency-based search mechanism for overt and covertshifts of visual attent1n[J].Vis1n research.40 (10):1489-1506, 2000.
【发明内容】
[0012]发明目的:为了缓解视频水印不可见性和鲁棒性之间的矛盾，本发明提供一种基于视觉注意机制的视频水印算法。采用Koch and Itti视觉显著模型分析视频关键帧的视觉显著性，在视觉非显著区域嵌入水印，降低人眼察觉水印嵌入的可能，提高水印不可见性。采用奇偶量化索引调制规则嵌入水印信息，保证算法对常见的视频攻击:高斯噪声、椒盐噪声、乘性噪声、亮度饱和度调节、均值滤波、帧删除帧插入等具有较强的鲁棒性。
[0013]技术方案:一种基于视觉注意机制的视频水印方法，包括以下几个步骤:
[0014]步骤A、解码MPEG-2载体视频，获取待嵌水印的视频关键帧；
[0015]步骤B、采用Koch and Itti视觉显著模型分析视频关键帧的视觉显著性，划分视觉显著区域；
[0016]步骤C、选择人眼不敏感的视觉非显著区域作为水印嵌入区域，将亮度分量的DCT直流系数进行固定步长的奇偶量化索引调制嵌入置乱的二进制水印；
[0017]步骤D、以T帧为周期重复嵌入多次水印，每新嵌入一个水印，在第一个关键帧中嵌入真正的水印之前先嵌入一段标志序列P(N)，用于定位提取水印时的帧起始位置；嵌完水印，重新编码输出含水印的MPEG-2视频；
[0018]步骤E、解码嵌入了水印的载体视频，根据嵌入的标志序列定位已嵌水印的起始关键帧。分析水印嵌入帧的视觉显著性判断水印嵌入区域，根据奇偶量化索引调制的特点，从亮度分量的DCT直流系数中提取嵌入的水印。
[0019]作为本发明的一个优选方案，利用视觉显著模型划分关键帧的视觉显著区域，来确定水印的嵌入区域，具体步骤如下:
[0020]步骤B1、原始视频帧通过线性滤波器分解为颜色、强度和方向三种特征。
[0021]其中，颜色特征将原来的RGB色彩空间的红r、绿g、蓝b重新定义为四色通道:红R、绿G、蓝B、黄Y，他们之间的关系如公式⑴所示:
[0022]R = T- (g+b) /2
[0023]G = g- (r+b) /2(I)
[0024]B = b- (r+g) /2
[0025]Y= (r+g)/2-1 r_g I/2_b
[0026]Koch and Itti模型通过计算颜色对之间的色差来表示颜色特征,定义红绿(RG)和蓝黄(BY)两种对比通道。
[0027]RG = R-G(2)
[0028]BY = B-Y
[0029]强度特征由颜色分量决定，定义为:
[0030]I = (r+g+b) /3(3)
[0031]方向特征由二维Gabor滤波器对强度特征滤波，得到不同方向的局部特征。模型提取4个方向的方向特征图0( θ )，Θ = {0°，45° ,90° ,135° }。
[0032]步骤Β2、采用高斯金字塔模型对滤波得到的颜色、强度、方向7种子特征进行逐级高斯滤波和降采样，金字塔层级设为σ =0，1，2…8，层级O表示原图，层级每增加一级，对上一级的图像进行一次滤波和降采样，横向和纵向尺寸降为原来的一半，得到不同分辨率的特征子图。
[0033]步骤Β3、采用中央-周边差异算子将高斯金字塔模型得到的九层特征子图进行跨尺度相减，计算中央区域与周边区域的对比度。选取金字塔模型中的层级c = {2，3，4}作为中间层，选取s = c+S作为周边层，δ = {2, 3}为差异因子，依次计算每个特征6对尺度间的特征图，即{2-4，2-5，3-5 ，3-6，4-6，4-7}。跨尺度相减操作符用Θ表示。
[0034]I (c, s) = I I (C) Θ I (s)
[0035]RG (c, s) = I RG (C) Θ RG (s) |(4)
[0036]BY (c, s) = I BY (c) Θ BY (s) I
[0037]0(c, s, θ ) = |0(c, θ ) 0O(s, θ ) θ = {0。，45。，90。，135。}
[0038]其中，I (c)、I (s)表示高斯金字塔模型中中央层c层和周边层s层上的强度特征，I (c，s)表示两个层级间的强度对比特征；RG(c)、BY(C)和RG(S)、BY(S)分别表示中央层c层和周边层s层上的红绿和蓝黄两种颜色通道的特征，RG (c，s)、BY (c，s)表示两个层级间的两种颜色对比特征；0(c，0)、O(s，θ )表示方向为θ时中央层c层和周边层s层上的方向特征，0(c，s，θ)表示方向为θ时两个层级间的方向对比特征。
[0039]最终，模型得到不同尺度下强度特征子图6张，颜色特征子图12张，方向特征子图24张,共计42张显著图。
[0040]步骤Β4、将每个特征不同尺度下的显著子图合成一张显著图，采用非线性迭代归一化算子Ν(.)依次处理42张显著子图，设置合适的迭代次数加强显著区域，忽略平缓区域，步骤如下:
[0041](I)每张子图的特征值归一化至固定的区间[0，1]；
[0042](2)寻找子图中的全局最大值Μ，及除M外其余局部最大值的均值
[0043](3)图中每个位置乘以放大系々(M-历)，若小于M的1/10，则置零；
[0044]经过迭代归一化操作得到每个特征不同尺度下的突出图，将每个尺度映射至同一金字塔层级，选取层级σ = 3，进行跨尺度叠加，用符号Φ表示，分别得到强度、颜色、方向特征的突出图。
[0045]强度突出图:7=十二十:=+3iV(/(Cj))(5)
[0046]颜色突出图:C=十;U 十:=[Λ/(抓(U)HA/(价(r..v))](6)
[0047]方向突出图,=Σ(7).θ-{0%45\90°
[0048]将三个特征突出图各自归一化后线性叠加，得到最终的综合视觉显著图SM:
【权利要求】
1.一种基于视觉注意机制的视频水印方法，其特征在于:利用人眼视觉注意特性，将视频关键帧划分为视觉显著区域和非显著区域，选择视觉非显著区域的亮度分量作为水印嵌入区域，采用奇偶量化索引调制的方式嵌入水印；该方法具体包括以下步骤: 步骤A、解码MPEG-2载体视频，获取待嵌水印的视频关键帧； 步骤B、采用Koch and Itti视觉显著模型分析视频关键帧的视觉显著性，划分视觉显著区域； 步骤C、选择视觉非显著区域作为水印嵌入区域，将亮度分量的DCT直流系数进行固定步长的奇偶量化索引调制嵌入置乱的二进制水印； 步骤D、以T帧为周期重复嵌入多次水印，每新嵌入一个水印，在第一个关键帧中嵌入真正的水印之前先嵌入一段标志序列P(N)，用于定位提取水印时的帧起始位置；嵌完水印，重新编码输出含水印的MPEG-2视频； 步骤E、解码嵌入了水印的载体视频，根据嵌入的标志序列定位已嵌水印的起始关键帧；分析水印嵌入帧的视觉显著性判断水印嵌入区域，根据奇偶量化索引调制的特点，从亮度分量的DCT直流系数中提取嵌入的水印。
2.如权利要求1所述的基于视觉注意机制的视频水印方法，其特征在于，采用音视频快速转换平台FFMPEG实现步骤A，具体过程如下: 采用FFMPEG系统构建视频水印嵌入、提取仿真平台；首先将MPEG-2载体视频解码成YUV序列；然后根据关键巾贞标志位key_frame = l,pic_type = I,锁定视频关键巾贞I巾贞；最后根据一个完整的水印是否已嵌完和嵌入周期T，判断当前关键帧是否为待嵌水印帧。
3.如权利要求1所述的基于视觉注意机制的视频水印方法，其特征在于，采用Kochand Itti视觉显著模型划分人眼视觉显著区域，步骤B具体包括以下步骤: 步骤B1、原始视频帧通过线性滤波器分解为颜色、强度和方向三种特征； 其中，颜色特征将原来的RGB色彩空间的红r、绿g、蓝b重新定义为四色通道:红R、绿G、蓝B、黄Y，他们之间的关系如公式⑴所示:
R = r- (g+b)/2 G = g-(r+b)/2(I)
B = b- (r+g) /2
Y= (r+g)/2-|r-g|/2-b Koch and Itti模型通过计算颜色对之间的色差来表示颜色特征,定义红绿(RG)和蓝黄(BY)两种对比通道； RG = R-G(2)
BY = B-Y 强度特征由颜色分量决定，定义为: I = (r+g+b)/3(3) 方向特征由二维Gabor滤波器对强度特征滤波，得到不同方向的局部特征；模型提取4个方向的方向特征图0( Θ )，Θ = {O。，45°，90° ,135° }。 步骤B2、采用高斯金字塔模型对滤波得到的颜色、强度、方向7种子特征进行逐级高斯滤波和降采样，金字塔层级设为σ =0，1，2…8，层级O表示原图，层级每增加一级，对上一级的图像进行一次滤波和降采样，横向和纵向尺寸降为原来的一半，得到不同分辨率的特征子图； 步骤B3、采用中央-周边差异算子将高斯金字塔模型得到的九层特征子图进行跨尺度相减，计算中央区域与周边区域的对比度；选取金字塔模型中的层级c = {2，3,4}作为中间层，选取s = c+S作为周边层，δ = {2, 3}为差异因子，依次计算每个特征6对尺度间的特征图，即{2-4，2-5，3-5，3-6，4-6，4-7};跨尺度相减操作符用Θ表示；
I (c, s) = 11 (c) Θ I (s) I RG (c, s) = I RG (c) Θ RG (s) |(4)
by (c, s) = |by(c) oby(s) 0(c, S，θ ) = |o(c, θ ) 00(S, θ ) I θ = {0。，45。，90。，135。} 最终，模型得到不同尺度下强度特征子图6张，颜色特征子图12张，方向特征子图24张，共计42张显著图； 步骤B4、将每个特征不同尺度下的显著子图合成一张显著图，采用非线性迭代归一化算子N(.)依次处理42张显著子图，设置合适的迭代次数加强显著区域，忽略平缓区域，步骤如下: (1)每张子图的特征值归一化至固定的区间[0，1]； (2)寻找子图中的全局最大值M，及除M外其余局部最大值的均值 (3)图中每个位置乘以放大系数(M-，若小于M的1/10，则置零； 经过迭代归一化操作得到每个特征不同尺度下的突出图，将每个尺度映射至同一金字塔层级，选取层级σ =3，进行跨尺度叠加，用符号Θ表示，分别得到强度、颜色、方向特征的突出图； 强度突出图:Γ = 0^2 十=+3 N(/(c,s))(5) 颜色突出图:f =十；U 十.:=;[/VM(U) +.V))](6) 方向突出图 0= Σ "Κ,3"_.，λ.，Θ))]Π)
'e={0\45\90M35J} 将三个特征突出图各自归一化后线性叠加，得到最终的综合视觉显著图SM: SM = ^(AH/-)+.V(C) + N(O))(8) 步骤B5、采用Winner-Take-All竞争机制找出视觉最显著焦点和半径为R的圆形视觉最显著区域；采用返回抑制策略屏蔽当前显著区域，在剩余区域使用Winner-Take-All得到视觉第二焦点和第二显著区域，依次划分出视频帧的前三个视觉最显著区域。
4.如权利要求3所述的基于视觉注意机制的视频水印方法，其特征在于，在人眼视觉不敏感的非显著区域嵌入水印，所述步骤C具体包括以下步骤: 步骤Cl、根据步骤B中视觉显著区域划分的结果，选择除三个视觉最显著区域之外的区域作为视觉非显著区域，将视觉非显著区域作为水印嵌入区域； 步骤C2、将原始水印图像转换成置乱的二进制水印比特流；将关键帧亮度分量进行8X8DCT变换，获取视觉非显著区域第k个分块的DCT直流系数DCTtlGO及当前待嵌水印W⑴； 步骤C3、采用奇偶量化索引调制规则，以固定步长D均匀量化DCTtlGO，修改系数嵌入水印，最终满足公式(9):
其中，L.」表示向下取整； 若当前直流系数满足公式(9)，则调整后的直流系数为公式(10)所示:
若不满足，根据系数在量化区间的位置，将直流系数调整为公式(11)所示:
步骤C4、将量化后的系数作为新的直流系数，进行逆DCT变换，得到嵌入水印后视频帧。
5.如权利要求1所述的基于视觉注意机制的视频水印方法，其特征在于，所述步骤D具体包括以下步骤: 以T帧为周期重复嵌入多次水印，减少视觉显著模型稳定性对水印鲁棒性的影响；若一个水印没有全部嵌完，则选择下一个相邻关键帧的视觉非显著区域继续嵌入；若一个水印已嵌完，则根据周期T，搜索下一个周期的关键帧，重新开始嵌入水印；每次新嵌入一个水印时，在第一个嵌入帧中真正嵌入水印前，先嵌入一段标志序列P(N)，以便提取水印时定位一个完整水印嵌入帧的起始位置。
6.如权利要求1所述的基于视觉注意机制的视频水印方法，其特征在于，从嵌入水印的视觉非显著区域提取水印，所述步骤E具体包括以下步骤: 步骤E1、输入嵌入水印的MPEG-2载体视频，解码成YUV序列，根据关键帧标志位key_frame = 1，pic_type = I，锁定视频关键帧I中贞； 步骤E2、采用Koch and Itti视觉显著模型分析关键帧的视觉显著性，划分前三个半径为R的圆形视觉最显著区域； 步骤E3、将关键帧的亮度分量进行8X8DCT变换，选择不在视觉显著区域内的分块的DCT直流系数DCTtl (k)，根据奇偶量化索引调制后的特点，公式(12)提取当前分块中嵌入的水印:
其中，W’ (i)表示当前块中提出的二进制水印，L.」表示向下取整，D表示量化步长； 步骤E4、将关键帧起始位置提取的水印序列与标志序列P(N)比较，判断当前帧是否已嵌入水印； 若无水印嵌入，则判断下一个关键帧，直至定位至一个水印的起始嵌入帧； 若有水印嵌入，则提取该帧中非显著区域分块内的水印，当前帧提取结束，继续从下一个关键帧中提取，直到提取的水印量等于一个完整水印的大小； 步骤E5、将重复嵌入的水印全部提取后，经反置乱生成二进制文件，转换成图片形式的水印信息。
【文档编号】H04N19/467GK104168484SQ201410407187
【公开日】2014年11月26日 申请日期:2014年8月19日 优先权日:2014年8月19日
【发明者】严勤, 施杰, 吕勇, 邓舒宇, 潘阳续, 董峦 申请人:河海大学