一种高质量边信息生成方法

一种高质量边信息生成方法
【专利摘要】本发明提供一种高质量边信息生成方法，包括：通过WZ帧与相邻参考关键帧之间的相关性，确定前向运动估计或后向运动估计；其中所述相邻参考关键帧为前向参考关键帧、后向参考关键帧；对于WZ帧的当前块，将当前块的4个时间和空间上相关性的运动矢量的对应点作为搜索起始点候选点，并通过计算每一搜索起始点候选点的运动矢量确定的对应块与当前块的SAD值，并选择SAD值最小的对应块作为搜索起始点，获取搜索起始点后，然后分别在水平方向和竖直方向确定搜索窗口的大小，在确定了搜索起始点和搜索窗口后就可以进行宏块的匹配搜索获得运动矢量MV；采用大小可变的块进行块匹配以得到更加准确细化的运动矢量MV；基于双向运动估计方法对单向运动估计得到的运动矢量MV进行修正；进行加权重叠块双向运动补偿。
【专利说明】
-种高质量边信息生成方法
技术领域
[0001] 本发明设及属于图像处理技术领域，特别是指一种高质量边信息生成方法。
【背景技术】
[0002] 分布式视频编码框架是一种全新的非对称的视频压缩框架，是在编码端对各视频 帖进行独立编码(即帖内编码），并在解码端对各视频帖进行联合解码(即帖间解码）。
[0003] 其中高质量的边信息对于改善分布式视频编码性能具有非常重要的影响力。边信 息主要由与待译码WZ帖(Wyner-Ziv)相邻的参考关键帖产生。边信息与当前帖越相似，生成 的边信息就越好，译码过程中出现错误的概率越低，解码端从编码端请求的校验位就会相 应变少。此外，边信息还与经过译码器产生的量化值一起重构当前帖，进而可W提高分布式 视频编码系统的率失真性能和压缩效率。因此，如何提高边信息的质量成为分布式视频编 码研究中的热点之一。
[0004] 现有技术的边信息生成方法所获得的边信息，会使得所求得的边信息帖中很多块 的运动矢量出现偏差，导致边信息的准确度不高，主要表现在W下几处：
[0005] (1)运动矢量是通过运动估计所获得的，并不一定符合物体的真实运动方向。运是 由于传统视频编码中为保证视频的压缩率，只满足运动预测的残差最小。比如，在图像内容 均匀并且运动捜索范围较大的情况下，具有最小SAD值的运动矢量并不能很准确地反映块 的真实运动情况。因此序列的真实运动轨迹与采用传统固定的较大捜索窗获取的运动矢量 之间还存在一定的差距。
[0006] (2)由于实际情况物体不是匀速直线运动的，因此WZ帖与前后相邻帖的相关性肯 定不一样，有时候当前解码帖与后向关键帖的相关性大而与前向关键帖的相关性较小，而 有时候情况则相反。
[0007] (3)传统SAD准则是忽略图像块中相邻像素间的空间相关性，而仅仅对当前图像块 和参考图像块中各相应像素的灰度差值进行分析。换句话说，当SAD取最小值时，仅仅表示 的是当前块和匹配块的绝对误差和最小，而不是当前块与匹配块的真实结构最相似。此外， 由于反射和阴影效应的存在，同一个物体点在运动前后成像亮度可能会发生改变，由此可 得恒定亮度的假设有时是不成立的。即当前图像块与参考关键帖中代表着物体实际运动的 正确匹配块之间的SAD值可能不是最小值，从而使运动估计得到的矢量并不能描述图像块 的实际物理运动轨迹。
[000引（4)现有的块匹配实际上是将一个视频帖图像分成一系列大小相同的图像块，并 假设在同一个图像块中所有像素的运动方式是按照同一方向进行平移的，且图像不进行旋 转与伸缩。而现实中物体的实际运动一般是不规则的，因此会导致物体边缘通常与块边界 不重合的现象。此外，对视频帖进行分块的过程中，并不能确保物体完整的出现在一个块 中，当多个不同运动方向的物体在同一个块内时，现有技术中只用同一个运动矢量表示块 内所有像素的运动方向显然是不恰当的。因此在进行块匹配时，采用大小相同的块获得的 运动矢量与物体的真实运动矢量之间肯定会存在误差。

【发明内容】

[0009] 针对现有技术中存在的边信息的准确度不高的问题，本发明要解决的技术问题是 提供一种高质量边信息生成方法。
[0010] 为了解决上述问题，本发明实施例提出了一种高质量边信息生成方法，包括：
[0011] 步骤1、基于WZ帖与相邻的参考关键帖之间的相关性，确定前向运动估计或后向运 动估计;其中所述相邻参考关键帖为前向参考关键帖、后向参考关键帖；
[0012] 步骤2、对于WZ帖的当前块，将当前块的4个时间和空间上相关性的运动矢量的对 应点作为捜索起始点候选点，并通过计算每一捜索起始点候选点的运动矢量确定的对应块 与当前块的SAD值，并选择SAD值最小的对应块作为捜索起始点，获取捜索起始点后，然后分 别在水平方向和竖直方向确定捜索窗口的大小，在确定了捜索起始点和捜索窗口后就可W 进行宏块的匹配捜索获得运动矢量MV;
[0013] 步骤3、采用大小可变的块进行块匹配W得到更加准确细化的运动矢量MV;
[0014] 步骤4、基于双向运动估计方法对步骤3所述的单向运动估计得到的运动矢量MV进 行修正；
[0015] 步骤5、进行加权重叠块双向运动补偿。
[0016] 其中，所述步骤1具体为：
[0017]步骤11、编码端根据WZ帖与相邻的参考关键帖之间的信息，通过W下公式计算WZ 帖与相邻的参考关键帖之间的相关性：
[001 引 Cl)
[0019] 其中，SAD化和SADBb表示WZ帖与前向参考关键帖、后向参考关键帖的块之间的时间 相关性，round (?)函数表示取四舍五入，Rat i obb和Rat i obf表示WZ帖与参考关键帖的时间 相关系数，其中拉i-i(x，y)表示相邻的前向参考关键帖2i-l中块的像素值，拉i+i(x，y)表示相 邻的后向参考关键帖2i+l中块的像素值，（x，yGB)表示坐标(x，y)在块B中；
[0020] 其中在进行运动补偿时，Ratio化和Ratiobf作为参考关键帖与WZ帖的块之间的前 向和后向加权系数，其值越小表明该相邻的参考关键帖与WZ帖相关性越强，而进行内插补 偿时要求使用较大的权值，否则使用较小的权值；
[0021] 步骤12、将WZ帖与相邻的参考关键帖的块间的时间相关性SAD化、SADBb，W及WZ帖 与参考关键帖的时间相关系数Ratiobb和Ratiobf，通过量化编码后形成相关信息，并将该 相关信息传输送到解码端；
[0022] 步骤13、在解码端，将WZ帖分割成大小相等且互不重叠的块，在根据接收到的编码 端的相关信息后，判断捜索方向，然后每个块进行运动捜索；其中，若SADBf^SADBb，那么表 示原始WZ帖的当前块与后向参考关键帖X2W的相应块有很强的相关性，从而在运动捜索时 则将前向参考关键帖X21-1作为参考关键帖，即采用前向运动估计;否则，在运动捜索时将后 向参考关键帖拉i+l作为参考关键帖，即义用后向运动估计。
[0023] 其中，所述步骤2具体为：
[0024] 步骤21、对于WZ帖的当前块，将当前块的4个时间和空间上相关性的运动矢量的对 应点作为捜索起始点候选点，并通过计算每一捜索起始点候选点的运动矢量确定的对应块 与当前块的SAD估，并洗择SAD估景小的对府块化为捜索起始点；即： 闺
(2)
[0026] 其中，MViG {MVi，MV2，MV3，MV4};
[0027] 步骤22、获取捜索起始点后，然后分别在水平方向和竖直方向确定捜索窗口的大 小；
[002引其中在水平方向即X方向确定捜索窗口 Lx的方法具体为：
[0029] Lx=max(4，M化re_X〉MVcur_X ?M化re_X:MVcur-X+1)(3)
[0030] 甘 rh.
[0031]
[0032] 其中，MVpre_xk是当前WZ顿的前一已解码WZ倾中第k个块X方向的运动矢量值，MB_ Mim为前一已解码WZ帖总的分割块个数；
[0033] MV cur_X=max(max(MVcur_X_up,MVcur_X_le ft),MVcur_X_upr i ght) (5)
[0034] 其中，MVcu;r_X_up = abs(MVcu;r_x_up-MVcu;r_x_mean)
[00：35 ] MV 州;r_x_mean = (MV 州;r_x_up+MV 州;r_x_l ef t+MV 州 r-X-Upr i ght) /3
[0036] MVcu;r_x_up、MVcu;r_x_l ef t 和 MVcu;r_x_up;r ight 分别表示当前块上方、左边、右上 方=个块X方向的运动矢量值；
[0037] 利用上述相同的方法计算 MVcu;r_X_lef t 和 MVcu;r_X_up;right;
[0038] 利用上述Lx相同的的计算方法与来计算竖直方向即Y方向确定捜索窗口 Ly。
[0039] 其中，所述步骤3包括：
[0040] 步骤31、将前向参考关键帖X2i-i、后向参考关键帖X2i+i的对应像素块B2i-i、B2i+i进 行灰度分布误差GDE计算，当GDE值越小时表明两对应块相关性越强；
[0041 ]步骤32、比较灰度分布误差GDE与阔值T;如果若GDE^T,则认为该像素块的运动剧 烈程度较大，将其判定该块为运动块，将该8 X 8运动块继续划分为4个4 X 4的子块，并重新 计算每个子块B2ik化=1，2，3，4)的运动矢量MVi (i = 1，2，3，4);否则将其判定为保留块，且 该保留块的运动矢量即为MVo;
[0042] 步骤33、将每个子块B2ik的父块和与该子块相邻的3个大块的运动矢量作为该子块 的候选运动矢量，然后将每个候选矢量分别作为该子块的运动矢量并计算该子块与其匹配 块之间的灰度分布误差值GDE，最后取使GDE值最小的运动矢量作为该子块的运动矢量MVi。
[0043] 其中，所述步骤3还包括:通过W下方法计算基于灰度分布误差的运动估计匹配：
[0044]
[0045] (ID
[0046] 式中，M为捜索范围，当代价函数F (dx，dy)为最小值时，运动矢量(dx，dy)即为GDE准 则下的最佳运动矢量MV，运时原图像块与最佳匹配块之间的灰度分布结构相似度最高。
[0047] 其中，所述步骤4包括：
[004引步骤41、对于每个块进行运动估计后获得的所有运动矢量MV，将其作为欲插值帖 中每一个不重叠块的候选，然后如图7所示的在候选矢量中选择离块中屯、最接近的运动矢 量，将此矢量作为该块选择的运动矢量MV;
[0049] 步骤42、将该运动矢量MV作为初始运动矢量，通过初始运动矢量MV计算候选的 残差D(MV〇为：
[(K)加 ] (12)
[0化1] 其中，MV' ￡[1￥-1'，1￥+。为候选运动矢量，1'为搜索范围，拉1-1和拉1+1分别为前后相 邻已解码帖的亮度值；
[0052]步骤43、W获得双向对称运动估计后的运动矢量MV为：
[oow]
(巧）。
[0054] 其中，所述步骤5包括：
[0055] 采用加权中值矢量滤波器对MV进行平滑处理，加权中值矢量滤波器根据运动矢量 的局部空间相关性对当前块进行处理W减少错误运动矢量MV的数目，具体包括：
[0056] 针对当前块Bo及其周围相邻8个块的运动矢量MV分别表示为MViQ = O, 1，2,...， 8 )，经过滤波后输出的应满足：
[0化7] CM):
[005引式中，MVi表示当前滤波块的候选运动矢量，表示滤波后输出的运动矢量;权值 系数Wj由每个块的预测均方误差最小均方误差(MSE)得到：
[0化9] (巧）
[0060] 若MSE(MVj)较大，说明权值系数Wj就较小，则滤波输出的可能性就越小；反之， 若MSE(MVj)较小，说明权值系数Wj就较大，则滤波输出的可能性就越大。
[0061] 其中，所述步骤6包括：
[0062] 步骤61、将当前WZ帖和前后参考关键帖8X8块扩展到12 X 12大小的块W使相邻块 之间出现重叠；
[00创步骤62、当前块与重叠的；个图像块的的运动矢量分别为MVi = (IiJi)、MV2=(i2， j2)、MV3=(i3，j3)、MV4=(i4，j4);针对块之间不同的重叠数目和根据WZ帖中块与前后关键 帖中对应块相关性的不同，从而在插值时分别赋予不同的权重系数进行运动补偿；
[0064]对于区域1由于其与4个块均有重叠，因此该块像素值为： (16)
[00 化]
[0066] 对于区域2由于其与2个块均有重叠，因此该块像素值为：
[0067]
(17)
[006引对于区域3由于其与其它块没有重叠，因此该块像素值为：
[0069] 阿（X ,y) = Ratiobf XX2i-i(x+i4,y+j4)+Ratiot)b X枯 i+i(x-i4,y-j4) (18)
[0070] 式中，系数取值如下；wai = wa2 = wa3= 1/5、wa4 = 2/5、wb3= 1/3、wb4 = 2/3 ,Ratiobf、 Ratio化分别表示在进行运动补偿时相邻块间的前向和后向加权系数，X2i-i(x，y)、X2i+i(x, y)分别表示前一关键帖和后一关键帖的像素值。
[0071] 其中，所述方法还包括:利用W下方法进行边信息质量评价：
[0072] 通过W下公式计算解码得到的图像和原图像之间的像素偏差：
[0073]
[0074]
[00对式中，fk(x，y)和fk-i(x，y)分别为原始帖和解码帖中像素点的灰度值，MXN为图像 的大小。
[0076] 本发明的上述技术方案的有益效果如下:上述方案相比较现有的边信息生成方法 具有W下优点：
[0077] 1:充分利用同一帖内相邻宏块运动矢量的空间相关性和相邻帖宏块运动矢量的 时间相关性，在进行运动矢量捜索匹配步骤时，能够自适应捜索起始点和捜索窗口大小，从 而使边信息的产生速度更快质量更高。
[0078] 2:在编码端，计算WZ帖与相邻关键帖的时间相关性，并且解码端根据不同的相关 性采用不同的权值进行帖内插生成边信息。对相关性大的帖采取较大权重，对相关性小的 帖采取较小权重，而不是像传统算法一样直接取1/2,运样补偿后生成的边信息更加接近原 始图像。
[0079] 3:灰度分布误差匹配准则通过挖掘图像中相邻像素间灰度的空间相关性，从而在 当前块进行匹配时能够获得最佳匹配块，使得到的运动矢量更加准确。
[0080] 4:可变块运动估计则根据运动复杂度的不同将图像分成大小不同的宏块，对运动 一致性较好的区域(平坦的背景区域和运动物体的内部)采用较大的块，对运动复杂的边缘 区域将大块继续划分成较小的子块，然后分别对运些子块重新匹配做运动估计，因此通过 可变块运动估计获得的运动矢量比采用大小相同块得到的运动矢量更加精细，从而提高了 生成边信息的质量，增强了图像的主观效果。
【附图说明】
[0081 ]图I为基于像素域的分布式视频编码系统的工作流程图；
[0082] 图2为块匹配运动估计的工作原理示意图；
[0083] 图3为本发明实施例的边信息生成方法流程图；
[0084] 图4为候选捜索起始点的工作原理图；
[0085] 图5为块分割的原理示意图；
[0086] 图6为现有的单向运动估计存在缺陷的工作原理图；
[0087] 图7为双向运动估计候选运动矢量的原理图；
[0088] 图8为本发明实施例的双向运动估计的运动矢量修正的工作原理图；
[0089] 图9为本发明实施例的运动矢量平滑滤波的工作原理图；
[0090] 图10为本发明实施例的重叠块运动补偿的工作原理图。
【具体实施方式】
[0091] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具 体实施例进行详细描述。
[0092] 如图1所示的，WZ帖的编码过程包括：
[0093] 1.1首先对WZ帖进行2?量化处理，形成量化符号流q，其中量化值的好坏直接影响 边信息重构时的效果；
[0094] 1.2然后对符号流q按重要性的不同提取位平面，最后采用化rbo编码器对分解后 的量化系数进行独立编码；
[00M] 1.3编码后将校验位缓存在缓存器中，解码端可W通过反馈信道向编码端请求发 送运些校验位W辅助生成边信息。
[0096] WZ帖的解码过程：
[0097] 2.1通过WZ帖前后已解码K帖进行运动估计和运动补偿产生边信息；其中边信息与 WZ帖的关系可W理解为是WZ帖通过虚拟信道后，形成的一个具有噪声的边信息；
[0098] 2.2然后化rbo解码器向编码端请求部分校验位进行解码;如果边信息质量越好请 求的次数就越少；当解码正确时，即解码过程中的误码率小于某个设定的阔值，解码码流通 过位平面重组得到符号流q/ ;当解码错误时，解码端向编码端发送请求，W获得更多的校验 位辅助解码;重复步骤2.2，直到误码率小于设定的阔值；
[0099] 2.3解码端根据解码的量化符号流和边信息重构WZ帖。
[0100] 其中，边信息是基于块匹配运动估计的原理生成的，其如图2所示的，将视频帖分 成多个规则的块进行运动捜索，并且为每一个子分配一个运动矢量。具体来说就是先将视 频帖分为多个尺寸为MXN的块，并认为相邻视频帖中的对应块的像素位移相同。首先在视 频帖内找确定一个块，称为当前块;然后在参考关键帖内大小为(M+2d) X (N+2d)的捜索范 围内进行运动捜索，并按照一定的匹配准则在参考关键帖中找到最相似的块，则该最相似 的块称为匹配块，并计算出匹配块与当前块之间的相对运动位移，运个过程称为"运动估 计"。通常运动估计的准确度越高，视频图像补偿的残差就越小，图像的质量也就越高。由此 可W看出运动估计对于生成高质量的边信息非常重要。当然，前述的捜索范围取值只是举 例，可W根据视频运动的剧烈程度设定捜索范围。
[0101] 本发明实施例高质量边信息生成方法包括：
[0102] 1、基于原始图像相关性的前向/后向运动估计选取：
[0103] 由于WZ帖与相邻的参考关键帖的原始图像具有相关性，而传统捜索方法在选取前 向运动估计或后向运动估计时并没有考虑到运一点，因此在插值的时候容易产生比较严重 的块效应。为了改善上述缺陷，本发明实施例中需要在运动估计时，利用原始图像相关性信 息，自适应选取前向或后向运动估计。具体包括：
[0104] 步骤11、在编码端，因为已经知道WZ帖和相邻的参考关键帖的信息，所W可W在编 码端直接计算出WZ帖与相邻的参考关键帖的相关性。但是分布式视频编码要求编码复杂度 较低，所W可W使用简单高效的SAD准则进行图像间相关性的计算。本发明实施例中采用如 下的公式计算WZ帖与相邻的参考关键帖之间的相关性：
[0105]
[0106] 其中，SAD化和SADBb表示WZ帖与前向参考关键帖、后向参考关键帖的块之间的时间 相关性，round (?)函数表示取四舍五入，Rat i obb和Rat i obf表示WZ帖与参考关键帖的时间 相关系数，其中X2i-l(x，y)表示相邻的前向参考关键帖2i-l中块的像素值，X2i+i(x，y)表示 相邻的后向参考关键帖2i+l中块的像素值，（x，yGB)表示坐标(x，y)在块B中；
[0107] 其中在进行运动补偿时，Ratio化和Ratiobf作为参考关键帖与WZ帖的块之间的前 向和后向加权系数，其值越小表明该相邻的参考关键帖与WZ帖相关性越强，而进行内插补 偿时要求使用较大的权值，否则使用较小的权值；
[0108] 步骤12、将WZ帖与相邻的参考关键帖的块间的时间相关性SAD化、SADBb，W及WZ帖 与参考关键帖的时间相关系数Ratiobb和Ratiobf，通过量化编码后形成相关信息，并将该 相关信息传输送到解码端。
[0109] 由于该方法为解码端提供了原始WZ帖的相关信息，从而提高了边信息的质量。
[0110] 步骤13、在解码端，将WZ帖分割成大小相等且互不重叠的块，在根据接收到的编码 端的相关信息后，判断捜索方向，然后每个块进行运动捜索。
[01川其中，若SAD^^SADBb，那么表示原始WZ帖的当前块与后向参考关键帖拉W的相应 块有很强的相关性，从而在运动捜索时则将前向参考关键帖X21-1作为参考关键帖，即采用 "前向运动估计"；否则，在运动捜索时将后向参考关键帖X2W作为参考关键帖，即采用"后 向运动估计"。
[0112] 2、自适应捜索窗的单向运动估计：
[0113] 现有的全捜索算法是在捜索范围内对所有像素点进行匹配，W计算得到一个最优 的运动矢量。但是对于运动相对平缓的区域，采用现有的全捜索肯定会消耗额外计算量从 而使解码端复杂度加大。为了解决上述问题，本发明实施例中充分挖掘视频信号的时间和 空间相关性，在进行运动矢量捜索时，利用相关性就能够自适应确定捜索起始点和调整捜 索范围大小。具体包括：
[0114]步骤21、根据参考关键帖中与WZ帖当前块在时间和空间上具有相关性的块作为捜 索起始点候选点，并根据每一参考关键帖的运动矢量确定相应的SAD值，并选择最小SAD值 对应的运动矢量作为当前块的最终捜索起始点；
[0115]步骤22、确定捜索起始点后，需要确定捜索范围，即该捜索起始点在X方向上的捜 索窗Lx和在Y方向上的捜索窗Ly。在确定了捜索起始点和捜索窗口后就可W进行块的匹配捜 索。
[0116] 步骤21、确定捜索起始点，如图4所示，本发明实施例中选择了当前块的4个时间和 空间上相关性的运动矢量的对应点作为捜索起始点候选点，并通过运些候选运动矢量确定 的块与当前块的SAD值，并选择将SAD值最小的块作为捜索起始点。
[0117] 如图4所示的，其中标为0的是当前块，标为1的是时间上的相邻块，左边标为2的、 上方标为3的、右上方标为4的都是空间上的相邻块。设图4中1 #、2#、3#、4#块对应的运动矢 量分别为MVi、MV2、MV3、MV4，通过运些运动矢量确定的块与当前块的SAD值分别为SADi、SAD2、 SAD3、SAD4，则将SAD值最小的块确定为最终的捜索起始点。
[0118] 具体的，根据公式(2)确定最终的捜索起始点：
[0119]
。）
[0120] 其中，MViG {MVi，MV2，MV3，MV4}。
[0121] 步骤22、在确定了捜索起始点后，确定捜索窗口的大小。
[0122] 通过大量实验表明：视频中块的运动剧烈程度在水平和竖直两个方向上是不同 的。一般情况下，水平方向比竖直方向运动剧烈。因此，为了最大幅度地缩小捜索范围，本发 明实施例分别在水平和竖直方向上确定捜索窗口的大小。
[0123] 由于在水平方向（X方向）和竖直方向（Y方向）确定捜索窗口的方法完全相同，在此 只WX方向为例来具体说明如何确定捜索窗口：
[0124] Lx=max(4 ,M化 re_X〉MVcu;r_X?M化 re_X :MVcu;r_X+l) (3)
[0125] 其中；
[0126] ；4)
[0127]其中，MVpre_a是当前WZ帖的前一已解码WZ帖中第k个块X方向的运动矢量值，MB_ Mim为前一已解码WZ帖总的分割块个数；
[012引 MVcu;r_X=max(max(MVcu;r_X_up,MVcur-X-left) ,MVcur-X-Upright) (5)
[0129] 其中，MVcu;r_X_up = abs(MVcu;r_x_up-MVcu;r_x_mean)
[0130] MV cur_x_mean =(MVcur_x_up+MVcur_x_left+MVcur_x_upr i ght)/3
[01 別]MVcu;r_x_up、MVcu;r_x_lef t和MVcu;r_x_up;right分别表不当前块上方、左边、右上 方=个块X方向的运动矢量值；
[0132] 利用上述相同的方法计算MVcu;r_X_left 和MVcu;r_X_up;right;
[0133] 利用上述Lx相同的的计算方法与来计算Ly。
[0134] 3、灰度分布误差的运动估计匹配捜索准则
[0135] 为了能够更加准确的用运动估计得到的运动矢量表示物体实际的运动轨迹，需要 准确地描述当前块块与参考关键帖的块之间的相似程度。运些块的图像之间的相似程度， 除了包含图像块间各对应像素本身灰度值的相似程度之外，还包含块的相邻像素点之间灰 度分布结构的相似程度。
[0136] 本发明实施例还提出了一中基于灰度分布误差的运动估计匹配准则。
[0137] 假设WZ帖的当前块为Be,相邻的参考关键帖中的候选匹配块为Br,运动矢量为MV = (山，(^。对于像素点^，7)在胖2帖的块扣中的灰度分布情况，用像素点^，7)与邻域像素之 间的灰度差值来表示：
[013 引 Pc(x，y，i，j)=Bc(x，y)-Bc(x+i，y+j)，ijG{-l，0，l} (6)
[0139] 像素点（x，y)的8个邻域像素对应的不同灰度差值分别表示像素点（x，y)处8个不 同方向的灰度分布情况。
[0140] WZ帖的块Be中像素点（X，y)在相邻的参考关键帖中的候选匹配Br中的对应像素点 为(x+dx，y+dy)，其各方向的灰度分布情况可表示为：
[0141] Pr (x+dx，y+dy，i，j) = Br (x+dx，y+dy) -Br (x+dx+i，y+dy+j )，ijG{-l，0，：L}(7)
[0142] 在像素空间局部区域，当前块Be中像素点（x，y)与候选匹配块为Br中像素点（x+dx， y+dy)之间的平均灰度分布误差表示为：
[0143] (蚁
[0144] 通过公式(8)可W看出，当Pc(x,y ,i , j)越相近扣(x+dx，y+dy,i , j)，误差 D(x,y ,dx, dy)越小，说明当前块Be的像素点（x，y)与候选匹配块为Br的像素点（x+dx，y+dy)所在局部区 域的灰度分布结构就越相似。因此，误差D(x，y，dx，dy)能够有效地表示像素(x，y)与像素(X+ dx，y+dy)所在局部区域的灰度分布结构的相似程度。
[0145] 通常当物体发生运动后，物体肯定会发生大小不同的形变。虽然运些形变对灰度 分布误差的影响微乎其微，但是对于内容不同的图像块之间的灰度分布误差却不能忽略。 所W当物体发生运动后，形变会严重影响到块匹配的准确性，因此非常有必要对其进行修 正，修正后的平均灰度分布误差定义为：
[0146]
(9)
[0147] T是为阔值，可W根据根据大量不同剧烈程度的视频序列进行测试而得到。
[0148] 通过上面的介绍可W看出，本发明实施例中可W采用如下方法计算基于灰度分布 误差的运动估计匹配，其定义如下：
[0149] MV = ar 卵 inFc(dx，dy)，dxG[-M，M]，dyG[-M，M] (10)
[0150] (11》
[0151] 式中，M为捜索范围，当代价函数F(山，dy)为最小值时，运动矢量(山，dy)即为GDE准 则下的最佳运动矢量MV，运时原图像块与最佳匹配块之间的灰度分布结构相似度最高。
[0152] 4、可变块的划分
[0153] 块匹配法的基本原理为:首先将每一帖图像分割成大小相等且互不重叠的块，然 后按照一定的匹配准则对当前帖中的每一个块在参考关键帖中一定范围内寻找到相应的 最佳匹配块。但是对于运动复杂的边缘区域和运动细节比较丰富的图像区域，同一个块里 可能存在多个不同方向的运动矢量，因此块内所有像素的运动方向显然不能只用同一个运 动矢量描述。因此，要想获得更加精确的运动矢量场，可W根据运动剧烈程度的不同将图像 分成大小不同的块，对运动一致性较好的区域采用较大的块，对运动复杂的边缘区域和运 动细节比较丰富的图像区域，将大块继续划分成较小的块，然后分别对运些块重新做运动 估计。因此本发明实施例中如图5所示，采用基于可变块的运动矢量优化算法，通过判断两 个对应块的灰度分布误差值GDE和阔值T将块分为保留块和运动块。
[0154] 在本发明实施例中，WZ帖中被划分为M X N的块。如图5所示的是采用8 X 8的块为例 进行说明。其中拉i-l、X2i+汾别表示前向参考关键帖和后后参考关键帖，&康示生成的边信 息帖。
[0155] 在块匹配时，为了计算边信息帖Y21中块B21的运动矢量，需要先在后向参考关键帖 X21+冲寻找与块B21位置相同的块B2W，然后用该块B2W在前向参考关键帖拉1-冲进行运动 估计W确定前向参考关键帖的最佳匹配块B21-1，通过块B2W与块B21-1之间的位移矢量得出 前向运动矢量MVo。具体步骤为：
[0156] 步骤41、将前向参考关键帖X2i-i、后向参考关键帖X2i+i的对应像素块B2i-i、B2i+i进 行灰度分布误差GDE计算，当GDE值越小时表明两对应块相关性越强；
[0157] 步骤42、比较灰度分布误差GDE与阔值T;如果若GDE^T,则认为该像素块的运动剧 烈程度较大，将其判定该块为运动块，将该8 X 8运动块继续划分为4个4 X 4的子块，并重新 计算每个子块B2ik化=1，2，3，4)的运动矢量MVi (i = 1，2，3，4);否则将其判定为保留块，且 该保留块，其运动矢量即为MVo;
[0158] 步骤43、将每个子块B2ik的父块和与该子块相邻的3个大块的运动矢量作为该子块 的候选运动矢量，然后将每个候选矢量分别作为该子块的运动矢量并计算该子块与其匹配 块之间的灰度分布误差值GDE，最后取使GDE值最小的运动矢量作为该子块的运动矢量MVi。
[0159] 在经过了步骤41-步骤43后，内插帖运动矢量场已由8X8的块变成4X4的块，从而 能够有效提高运动矢量的精度，增强图像的主观视觉效果。
[0160] 5、双向运动估计
[0161 ]由于单向运动估计存在固有的缺陷，通过单向运动估计得到的内插帖运动矢量不 一定能够穿过所有块的正中屯、位置，因此内插得到的图像容易导致重叠或未覆盖的现象存 在，如图6即为内插帖中存在未覆盖现象。
[0162] 本发明实施例提出了一种双向运动估计方法，进一步的对单向运动估计得到的运 动矢量MV进行修正。具体步骤是：
[0163] 首先进行单向运动估计获得的所有运动矢量MV，并将其作为欲插值帖中每一个不 重叠块的候选，然后如图7所示的在候选矢量中选择离块中屯、最接近的运动矢量，将此矢量 作为该块选择的MV。由于选择的运动矢量MV不是直接通过块B2i计算得到，不能准确表示真 实的运动矢量，因此需要进一步对其进行修正。
[0164] 若MV为初始运动矢量，通过公式（10)获得，由于其与真实的运动矢量之间肯定存 在误差，因此必须如图8所示在设定的范围内进行双向对称运动估计。
[0166]
[0165] 通过初始运动矢量MV计算候选MV^的残差D(MV/ )为：
(12)
[0167] 其中，￡曲￥-1'，1￥+門为候选运动矢量，1'为捜索范围，拉1-1和拉1+1分别为前后相 邻已解码帖的亮度值；
[0168] 从而可W获得双向对称运动估计后的运动矢量MV为：
[0169]
(13)
[0170] 通过上面双向运动估计得到修改的MV后，然后再对每个块进行1/2精度的双向运 动估计，即通过1/2精度细捜索可W得到更加准确可靠的运动估计。
[0171] 6、空间域运动平滑
[0172] 在做运动估计时，受到图像噪声等因素的影响，容易使得到运动矢量MV陷入局部 最优的问题，因此就会导致矢量空间不一致的情况发生，从而使内插图像出现严重的块效 应，具体可W如图9所示。为了改善上述缺陷，本发明实施例中采用加权中值矢量滤波器对 MV进行平滑处理，加权中值矢量滤波器综合考虑运动矢量的局部空间相关性对当前块进行 处理，减少错误MV的数目，从而增加了运动矢量的空间一致性。
[0173]如图9所不，设当自U的块Bo及其周围相邻8个块的MV分别表不为MVi(i = 0,1,2,, 8)，则经过滤波后输出的应满足：
[0174] C14)
[0175] 式中，MVi表示当前滤波块的候选运动矢量，表示滤波后输出的运动矢量;权值 系数Wj由每个块的预测均方误差最小均方误差(MSE)得到：
[0176] (巧）
[0177] 若MSE(MVj)较大，说明权值系数W梯尤较小，则滤波输出的Mr可能性就越小；反之， 若MSE(MV班交小，说明权值系数W端较大，则滤波输出的可能性就越大。
[0178] 7、加权重叠块双向运动补偿
[0179] -般情况下，像素的重建是通过前一帖的像素与后一帖对应像素的平均值获得 的，运种方法容易产生方块效应。特别是当周围的运动矢量互不相关或者运动矢量不准确 时，运种现象变得更加严重。为了改善上述问题，本发明实施例采用加权重叠块双向运动补 偿方法，根据WZ帖中块与相邻块重叠数目的不同W及根据WZ帖中块与前后关键帖中对应块 相关性的不同，从而在插值时分别赋予不同的权重系数进行运动补偿，具体步骤为：
[0180] 步骤71、如图10所不，将当自U WZ帖和自U后参考关键帖8 X 8块扩展到12 X 12大小的 块，扩展后的块与其相邻块之间必然会出现重叠现象。
[0181] 步骤71、假设块与重叠的S个图像块的的运动矢量为MVi=(ii，ji)、MV2=(i2，j2)、 MV3 = ( i3，j3 )、MV4 = ( i4，j4);针对块之间不同的重叠数目和根据WZ帖中块与前后关键帖中 对应块相关性的不同，从而在插值时分别赋予不同的权重系数进行运动补偿；
[0182] 对于区域1由于其与4个块均有重叠，因此该块像素值为：
[01831
ae)
[0184] 对于区域2由于其与2个块均有重叠，因此该块像素值为：
[0185] …J
(17)
[0186] 对于区域3由于其与其它块没有重叠，因此该块像素值为：
[0187] Fパx,y)=RatiobfX枯i-l(x+i4,y+j4)+RatiobbX枯i+l(x-i4,;y-j4) (18)
[018引 式中，系数取值如下：wai = wa2 = wa3= 1/5、wa4 = 2/5、wb3= 1/3、wb4 = 2/3 ,Ratiobf、 Ratio化分别表示在进行运动补偿时相邻块间的前向和后向加权系数，X2i-i(x，y)、X2i+i(x, y)分别表示前一关键帖和后一关键帖的像素值。
[0189] 8、边信息质量评价
[0190] 评价边信息质量的含义就是评价生成的视频帖图像的质量。图像质量一般是指待 评价图像与原图像之间的差异，即对原图像经过传输或估计之后图像发生的差异，此外还 包括原图像包含的信息。
[0191] 本发明实施例采用客观质量评价，其指利用相应的数学模型对图像进行评价，一 般可W得到定量的评价结果。当前客观质量评价方法主要采用峰值信噪比（PSNR)，它是通 过计算解码得到的图像和原图像之间的像素偏差所得到的。其定义分别为：
[0192]
[0193]
[0194] 式中，fk(x，y)和fk-i(x，y)分别为原始帖和解码帖中像素点的灰度值，MXN为图像 的大小。
[01%] W上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明所述原理的前提下，还可W作出若干改进和润饰，运些改进和润饰也 应视为本发明的保护范围。
【主权项】
1. 一种高质量边信息生成方法，其特征在于，包括： 步骤1、基于WZ帖与相邻的参考关键帖之间的相关性，确定前向运动估计或后向运动估 计;其中所述相邻的参考关键帖为前向参考关键帖、后向参考关键帖 步骤2、确定WZ帖的当前块，并确定与所述当前块具有时间和/或空间相关性的运动矢 量的对应块作为捜索起始点候选点，并通过每一捜索起始点候选点的运动矢量确定的对应 块与当前块的SAD值，并选择将SAD值最小的对应块作为捜索起始点；获取捜索起始点后，然 后分别在水平方向和竖直方向确定捜索窗口的大小，在确定了捜索起始点和捜索窗口后就 可W进行宏块的匹配捜索获得运动矢量MV; 步骤3、采用大小可变的块进行块匹配W得到更加准确细化的运动矢量MV; 步骤4、基于双向运动估计方法对步骤3所述的单向运动估计得到的运动矢量MV进行修 正； 步骤5、进行加权重叠块双向运动补偿。2. 根据权利要求1所述的高质量边信息生成方法，其特征在于，所述步骤1具体为： 步骤11、编码端根据WZ帖与相邻的参考关键帖之间的信息，通过W下公式计算WZ帖与 相邻的参考关键帖之间的相关性：(0 其中，SAD化和SADBb表示WZ帖与前向参考关键帖、后向参考关键帖的块之间的时间相关 性，round ( ·)函数表示取四舍五入，Rat iobb和Rat iobf表示WZ帖与参考关键帖的时间相关 系数，其中X2i-i(x，y)表示相邻的前向参考关键帖2i-l中块的像素值，拉w(x，y)表示相邻的 后向参考关键帖2i+l中块的像素值，（x，yeB)表示坐标(x，y)在块B中； 其中在进行运动补偿时，Ratio化和Ratiobf作为参考关键帖与WZ帖的块之间的前向和 后向加权系数，其值越小表明该相邻的参考关键帖与WZ帖相关性越强，而进行内插补偿时 要求使用较大的权值，否则使用较小的权值； 步骤12、将WZ帖与相邻的参考关键帖的块间的时间相关性SADBf、SADBb，W及WZ帖与参 考关键帖的时间相关系数Ratio化和Ratiobf，通过量化编码后形成相关信息，并将该相关 信息传输送到解码端； 步骤13、在解码端，将WZ帖分割成大小相等且互不重叠的块，在根据接收到的编码端的 相关信息后，判断捜索方向，然后对每个块进行运动捜索；其中，若SAraF^SADBB，那么表示 原始WZ帖的当前块与后向参考关键帖X2W的相应块有很强的相关性，从而在运动捜索时则 将前向参考关键帖X21-1作为参考关键帖，即采用前向运动估计；否则，在运动捜索时将后向 参考关键帖拉1+1作为参考关键帖，即采用后向运动估计。3. 根据权利要求1所述的高质量边信息生成方法，其特征在于，所述步骤2具体为： 步骤21、对于WZ帖的当前块，将当前块的4个时间和空间上相关性的运动矢量的对应点 作为捜索起始点候选点，并通过计算每一捜索起始点候选点的运动矢量确定的对应块与当 前块的SAD值，并选择SAD值最小的对应块作为捜索起始点；即：其中，MVi e {MVi，MV2，MV3，MV4}; 步骤22、获取捜索起始点后，然后分别在水平方向和竖直方向确定捜索窗口的大小； 其中在水平方向即X方向确定捜索窗口 Lx的方法具体为： Lx=max(4，MVpre_X〉MVcur_X?MVpre_X:MVcur_X+l) (3) 其中：其中，MVpr e_xk是当前WZ帖的前一已解码WZ帖中第k个块X方向的运动矢量值，MB_n皿为 前一已解码WZ帖总的分割块个数； MV cur_X=max(max(MVcur_X_up,MVcur_X_left),MVcur_X_upr i ght) (5) 其中，MVcur_X_up = abs (MVcur_x_up-MVcur_x_mean) MVcur_x_me曰n=(MVcur_x_up+MVcur_x_left+MVcur_x_upright)/3 MVcu;r_x_up、MVcu;r_x_lef t和MVcu;r_x_up;right分别表不当前块上方、左边、右上方S 个块X方向的运动矢量值； 利用上述相同的方法计算MVcu;r_X_lef t和MVcu;r_X_up;ri曲t; 利用上述Lx相同的的计算方法与来计算竖直方向即Υ方向确定捜索窗口 Ly。4. 根据权利要求1所述的高质量边信息生成方法，其特征在于，所述步骤3包括： 步骤31、将前向参考关键帖拉i-i、后向参考关键帖拉W的对应像素块B2i-i、B2i+i进行灰度 分布误差GDE计算，当GDE值越小时表明两对应块相关性越强； 步骤32、比较灰度分布误差GDE与阔值T;如果若GDE^T，则认为该像素块的运动剧烈程 度较大，将其判定该块为运动块，将该8 X 8运动块继续划分为4个4 X 4的子块，并重新计算 每个子块B2ik化=1，2,3,4)的运动矢量1￥1。= 1，2,3,4);否则将其判定为保留块，且该保 留块的运动矢量即为MVo; 步骤33、将每个子块B2ik的父块和与该子块相邻的3个大块的运动矢量作为该子块的候 选运动矢量，然后将每个候选矢量分别作为该子块的运动矢量并计算该子块与其匹配块之 间的灰度分布误差值GDE，最后取使GDE值最小的运动矢量作为该子块的运动矢量MVi。5. 根据权利要求4所述的高质量边信息生成方法，其特征在于，所述步骤3还包括:通过 W下方法计算基于灰度分布误差的运动估计匹配： MV=arg min Fc(dx，dy)，dxe[-M，M]，dye[-M，M] (10)(11) 式中，Μ为捜索范围，当代价函数F(dx，dy)为最小值时，运动矢量(dx，dy)即为GDE准则下 的最佳运动矢量MV，运时原图像块与最佳匹配块之间的灰度分布结构相似度最高。6. 根据权利要求1所述的高质量边信息生成方法，其特征在于，所述步骤4包括： 步骤41、对于每个块进行运动估计后获得的所有运动矢量MV，将其作为欲插值帖中每 一个不重叠块的候选，然后如图7所示的在候选矢量中选择离块中屯、最接近的运动矢量，将 此矢量作为该块选择的运动矢量MV; 步骤42、将该运动矢量MV作为初始运动矢量，通过初始运动矢量MV计算候选的残差 D(MV')为：(12) 其中，MV/ e[MV-T，MV+T]为候选运动矢量，T为捜索范围，拉i-i和X2W分别为前后相邻已 解码帖的亮度值； 步骤43、W获得双向对称运动估计后的运动矢量MV为：(13)。7. 根据权利要求1所述的高质量边信息生成方法，其特征在于，所述步骤5包括： 采用加权中值矢量滤波器对MV进行平滑处理，加权中值矢量滤波器根据运动矢量的局 部空间相关性对当前块进行处理W减少错误运动矢量MV的数目，具体包括： 针对当前块Bo及其周围相邻8个块的运动矢量MV分别表示为MVi(i = 0，l，2, . . .，8)，经 过滤波后输出的MV/应满足：(14) 式中，MVi表示当前滤波块的候选运动矢量，表示滤波后输出的运动矢量;权值系数 wj由每个块的预测均方误差最小均方误差(MSE)得到：(巧） 若MSE(MVj)较大，说明权值系数wj就较小，则滤波输出的MV/可能性就越小;反之，若MSE (MVj)较小，说明权值系数W端较大，则滤波输出的MV/可能性就越大。8. 根据权利要求1所述的高质量边信息生成方法，其特征在于，所述步骤6包括： 步骤61、将当前WZ帖和前后参考关键帖8 X 8块扩展到12 X 12大小的块W使相邻块之间 出现重叠； 步骤62、当前块与重叠的Ξ个图像块的的运动矢量分别为MVi= (ii，ji)、MV2=，j2)、 MV3 = (i3，j3)、MV4= (i4，j4);针对块之间不同的重叠数目和根据WZ帖中块与前后关键帖中 对应块相关性的不同，从而在插值时分别赋予不同的权重系数进行运动补偿； 对于区域1由于其与4个块均有重叠，因此该块像素值为：对于区域2由于其与2个块均有重叠，因此该块像素值为：对于区域3由于其与其它块没有重叠，因此该块像素值为： FY(x,y) =Ratiobf X 拉 i-i(x+i4，y+j4)+Ratiot)bX&i+i(x-i4，y-j4) (18) 式中，系数取值如下：WA1=WA2 = WA3= 1/5、wa4 = 2/5、wb3 = 1/3、wb4 = 2/3，Ratiobf、 Ratio化分别表示在进行运动补偿时相邻块间的前向和后向加权系数，X2i-i(x，y)、X2i+i(x, y)分别表示前一关键帖和后一关键帖的像素值。9.根据权利要求1所述的高质量边信息生成方法，其特征在于，所述方法还包括:利用 W下方法进行边信息质量评价： 通过W下公式计算解码得到的图像和原图像之间的像素偏差：式中，fk(x，y)和fk-i(x，y)分别为原始帖和解码帖中像素点的灰度值，MXN为图像的大 小。
【文档编号】H04N19/80GK105939475SQ201610396056
【公开日】2016年9月14日
【申请日】2016年6月6日
【发明人】程德强, 刘洋, 姜海龙, 寇旗旗, 张国鹏, 刘海, 丁丁
【申请人】中国矿业大学