专利名称：基于感兴趣区域运动补偿时域滤波方法
技术领域：
本发明属于视频编码及网络传输领域，具体涉及基于感兴趣区域的运 动估计和运动补偿时域滤波技术。
背景技术：
在互联网迅速发展的今天，人们对于视频流媒体的服务要求越来越高， 传统的视频编解码方案在提供内容可伸縮方面很难满足用户需求的多样 性。在一幅图像或视频序列中， 一般来说人们真正关心的只是其中的部分 内容，而在过去的视频编解码的标准中编码大部分都是基于帧的，即对于 一帧图像中的所有内容都是采用相同的处理方式。这样会导致在低比特率
时，整帧图像的质量都要受到限制。为此，基于感兴趣区域(ROI)的内容 可伸縮编码的方式成为了研究的热点。其中的关键技术就是基于感兴趣区 域的运动时域补偿技术，目前还没有较好的解决方案。
发明内容
本发明的目的在于提供基于感兴趣区域的运动补偿时域滤波方法，消 除时域信息冗余。完成在最高分辨率下对图像和视频进行一次编码，允许 根据用户指定内容要求从局部码流中解码，以提供在异构网络中任意感兴 趣区域(ROI)的可伸縮编解码的解决方案。
为了实现上述任务，本发明采用的技术解决方案是包括以下步骤 1 )对视频序列进行视频分割和跟踪得到感兴趣区域的边界；
2)得到的边界将原始视频分为背景和前景，进行感兴趣区域ROI的运
动估计得到背景和前景的运动矢量树3) 将得到的运动矢量树通过感兴趣区域ROI的运动补偿得到背景、前
景中每一个像素的运动轨迹；
4) 通过感兴趣区域ROI的边界传递得到每一级低频帧对应的感兴趣区 域的边界描述；
5) 将得到的每一级感兴趣区域的边界和每一个像素的运动轨迹，进行 感兴趣区域ROI的运动补偿时域滤波来有效的去除视频的时间冗余，同时获 得时间的可伸縮性。
所述的视频分割是利用手工标定或是图像分割算法，提取视频起原始视 频帧中的感兴趣区域ROI，然后实施视频跟踪算法，最终将视频分为前景和 背景。
所述的感兴趣区域ROI的运动估计是对一个组帧GOP的前景与背景区 域分别进行运动估计，对于前景部分来说，当作是一组新的区域图像进行处 理，但是像素的具体位置取在整帧视频中的绝对坐标，对于背景部分来说， 其运动估计作用范围为整帧视频，这样将分别得到前景和背景两棵运动矢量 树。
所述的感兴趣区域(ROI)的运动补偿是在运动估计完成之后，将得到的 块的运动矢量映射到像素，然后对于每一个像素进行运动补偿，对于前景 来说，由于是前景中的元素独立完成运动估计，运动补偿后的像素仍然在 前景之中，但是对于背景来说，做完运动补偿之后，有一部分像素的对应 像素进入到前景当中，为了保证能够完全重构，对于这部分像素来说，将 它们都作为未关联像素来进行处理。
所述的感兴趣区域的边界传递是解决除了原始视频的感兴趣区域的边 界描述通过视频分割的结果给出，而其他级的低频帧上的不再进行分割但需要得到边界的问题，在每一级的滤波进行的时候，除了输出对应的高低 频帧之外，也要输出这些高低频帧对应的感兴趣区域的边界描述，其中低 频帧对应原来偶数帧的边界，而高频帧对应原来奇数帧的边界。
所述的感兴趣区域ROI的运动补偿时域滤波是对于前景和背景分别沿 区域像素的运动轨迹进行时域小波分解，并且在对背景的处理当中对于一 类特殊的未关联像素采用高频帧赋零，低频帧保持的方式得到对应的高低 频帧，在进行分数精度插值的时候，采用对回字型区域分不同部分进行边 界判断，通过小波分解后得到的前景，背景的高低频帧可以直接进行线性 叠加来得到整帧的高低频帧。
将运动估计后得到的两棵区域运动矢量树送入进行运动矢量的编码模
块，同时将时域滤波后得到的区域叠加高、低频帧送入进行基于感兴趣区 域(ROI)的空间小波分解模块。对于感兴趣区域(ROI)的小波系数进行 自适应的提升。将得到的三维小波系数结果送入熵编码器中进行编码，对 于编码完的码流在各种条件进行嵌入式码率截断控制，使得感兴趣区域 (ROI)内的部分可以获得更多的码率，以获得的更好的内容视觉效果。
本发明成功的实现了以上基于感兴趣区域的去除时域冗余的技术，完 成基于感兴趣区域的可伸縮视频编码方法，并可以将其应用于网络传输中 去。用户可以根据自身需求来获取相应质量和内容的视频流进行播放。
本发明提供了支持任意感兴趣区域(ROI)的运动补偿时域滤波技术 方案，消除时域信息冗余，完成基于感兴趣区域的可伸縮数字视频编解码， 对用户关注的内容区域分配以更高的码率，从而获得更好的观看质量，更 加适应新型视频应用的发展。
图1是本发明感兴趣区域ROI的体系结构图。 图2是本发明感兴趣区域ROI的运动估计示意图； (a)是当前帧；(b)是参考帧。 图3是本发明感兴趣区域ROI的运动补偿示意图。 图4是本发明感兴趣区域ROI的组帧时域小波分解示意图。 图5是本发明感兴趣区域ROI的边界传递示意图。 下面结合附图对本发明的内容作进一步详细说明。
具体实施例方式
参照图1所示，首先通过视频分割技术得到感兴趣区域(ROI)的边界， 将原始视频划分为前景和背景。采用基于感兴趣区域(ROI)的运动估计技 术来得到每一个像素的运动轨迹，得到运动轨迹之后通过基于感兴趣区域 (ROI)的运动补偿时域滤波得到前景和背景区域的高低频帧，消除区域时 域信息冗余。叠加后的区域高低频帧送入进行基于感兴趣区域(ROI)的空 间小波变换，同时将得到的区域运动矢量进行运动矢量编码。对于感兴趣 区域(ROI)部分对应在各个频带中的小波系数进行自适应提升。将提升后 的小波系数送入到熵编码器中进行嵌入式编码，最后进行码率控制。
参照图2所示，该技术利用分级可变块块匹配(HVSBM， Hierarchical
Variable Size BlockMatching)方法来得到区域视频帧的的运动轨迹。但是
在全分辨率下迸行，不进行金字塔的分解。固定大小的块匹配，将视频帧
划分成一系列宏块，然后在参考帧中搜索匹配的块
(血,办)-argmin X|^Jx，:v]-Xre/[x—办]「
其中XJ;c，W为当前块的像素值，Xre/&-办]为参考块的像素值。S为 搜索范围，lf为匹配准则。当p-l时匹配准则为SAD,当p-2时，匹 配准则为MSE。使得上式成立的(血,办)为得到的块的运动矢量值。对于前景区域来说当作一幅区域图像进行运动估计，背景通过整帧减去前景区域 的方式得到运动矢量。
参照图3所示，对前景区域中的每一个像素通过得到的运动矢量进行 时域运动补偿滤波，得到每一个像素的运动轨迹，由于前景的区域运动估 计是独立进行的，即涉及到的像素都是前景当中的像素，可以保证区域运 动补偿的像素也在前景当中。但对于背景部分来说，由于他的运动矢量是 采用相减方式得到的，那么在进行运动补偿时，可能有一部分像素得到的 对应像素进入到了前景，因此对于背景部分的运动补偿需要加以判断，对 于运动补偿后进入前景的像素，将该像素当作未关联像素进行处理。
参照图4所示，对于基于LG53的小波滤波来说主要公式如下 Hi = /z謂洲0]M4尸2,+^2, (4 ) + /zw洲l]5, + //而洲2]爐尸2,+1—2;+2 (4+1) ( 1 )
丄,.=/而洲1风+ /we洲0]M4 "2,—2i+1( Hi.!) + /而洲2]M4 C/2,—2W (/f ,+1) ( 2 )
其中Hj为时域滤波后得到的高频帧的滤波值
A为时域滤波后得到的低频帧的滤波值
^为奇数帧中的一个象素值
4为偶数帧中的一个象素值
M4f—预测(Predict)步骤，MA表示后面括号中的像素是沿运动轨 迹和A对应的像素。
M4C/—提升(Update)步骤，MA表示后面括号中的像素是沿运动轨 迹和B,对应的像素。
/we/g似
= -0.42389563 ,/zw/g似[1] = 0.84779125 /we/gfe [2] = -0.42389563 /we/g^
= 0.36115757,/we!'g/if [1] = 1.2247449 /we/g/^ [2] = 0.36115757 具体过程首先，按照提升要求的一般步骤，把时域的视频帧序列分为 两组A组帧和B组帧(也就是按偶数帧和奇数帧分组)。对于B组帧中的万,帧，它和A组帧的4帧和4+1帧分别进行前向运动估计和后向运动估 计。如图所示。
其次，在进行完运动估计的基础上，对于5,帧中的像素，沿运动估计方
向可以在4帧和4+1帧中找到对应的像素(理想情况下，其他情况在后面讨 论)。按照公式(1)所示进行预测，这样我们就可以得到高频帧/z,中的一 个对应像素的滤波值。
再次，在得到高频帧序列H的基础上，对于A组帧中的4帧，它和H 组帧的/^帧和/Z,帧分别进行前向运动估计和后向运动估计，显然，这里 我们没有考虑到视频序列的左右两个边界，在后面我们会进行讨论。
最后，在进行完运动估计的基础上，对于4帧中的像素，沿运动估计方 向可以在/^帧和/Z,帧中找到对应的像素(理想情况下，其他情况在后面 讨论)。按照公式(2)所示进行更新，这样我们就可以得到低频帧z,中的 一个对应像素的滤波值。
以上步骤对于得到的低频帧序列进行重复，直到序列中只剩下希望达到 的低频帧(比如说，最终只有一帧低频帧)。
现在采用将前景和背景分开来进行时域小波分解。前景背景区域的像素位置 都是在整帧中的绝对位置。对于背景来说，区域运动补偿中判断为未关联像 素的像素，进行滤波得到高频帧时，对应的像素位置值为零；得到低频帧时， 对应位置像素位置的值为该像素本身的值。在分别得到背景、前景的高低频 帧后，可以进行线性叠加来得到整帧的高低频帧。由于运动估计是分数像素 精度的，所以在滤波时要得到分数位置像素值时，需要进行插值，由于插值 时所用到的插值像素有可能进入到前景，需要加以判断。分为8个区域，对 于每一个区域的判断标准不同。图中的vx是感兴趣区域的起始点的横坐标，vy是感兴区域的起始点的纵坐标，hor是视频的宽，ver是视频的高。 hor—content是感兴趣区域的宽度，ver—content是感兴趣区域的高度。判断时 对于图中的区域l， 3， 5， 7上边界和左边界均为0，下边界为ver，右边界为 hor，对于区域2来说，上边界和左边界为0，下边界为vy，右边界为hor，对 于区域4来说，上边界为vy+ver一content,左边界为0，下边界为ver,右边界为 hor。对于区域6来说，上边界为0，左边界为vx+hor—content,下边界为ver， 右边界为hor。对于区域8来说，上边界和左边界为0，下边界为ver，右边界 为vx。
区域上边界左边界下边界右边界
100V6rhor
200vyhor
300varhor
4vx + ver—cont6nt0V6rhor
500V6rhor
60vy + hor一contentvsrhor
700vsrhor
800vx
参照图5所示，原始视频每一帧的感兴趣区域的边界由分割的结果来 给出。但以下每一级都是在上一级得到的低频帧的基础上进行的，这些低 频帧的边界通过上一级来得到。低频帧对应偶数帧的边界，高频帧对应奇 数帧的边界， 一级一级的向下传递。
10
权利要求
1. 基于感兴趣区域运动补偿时域滤波方法，其特征在于包括以下步骤1)对视频序列进行视频分割和跟踪得到感兴趣区域的边界；2)得到的边界将原始视频分为背景和前景，进行感兴趣区域ROI的运动估计得到背景和前景的运动矢量树；3)将得到的运动矢量树通过感兴趣区域ROI的运动补偿得到背景、前景中每一个像素的运动轨迹；4)通过感兴趣区域ROI的边界传递得到每一级低频帧对应的感兴趣区域的边界描述；5)将得到的每一级感兴趣区域的边界和每一个像素的运动轨迹，进行感兴趣区域ROI的运动补偿时域滤波来有效的去除视频的时间冗余，同时获得时间的可伸缩性。
2. 根据权利要求l所述的基于感兴趣区域运动补偿时域滤波方法，其特征在于，所述的视频分割是利用手工标定或是图像分割算法，提取视频起原始视频帧中的感兴趣区域ROI，然后实施视频跟踪算法，最终将视频分为前景和背景。
3. 根据权利要求l所述的基于感兴趣区域运动补偿时域滤波方法，其特征在于，所述的感兴趣区域ROI的运动估计是对一个组帧GOP的前景与背景区域分别进行运动估计，对于前景部分来说，当作是一组新的区域图像进行处理，但是像素的具体位置取在整帧视频中的绝对坐标，对于背景部分来说,其运动估计作用范围为整帧视频，这样将分别得到前景和背景两棵运动矢量树。
4. 根据权利要求1所述的基于感兴趣区域运动补偿时域滤波方法，其 特征在于所述的感兴趣区域(ROI)的运动补偿是在运动估计完成之后，将 得到的块的运动矢量映射到像素，然后对于每一个像素进行运动补偿，对 于前景来说，由于是前景中的元素独立完成运动估计，运动补偿后的像素 仍然在前景之中，但是对于背景来说，做完运动补偿之后，有一部分像素 的对应像素进入到前景当中，为了保证能够完全重构，对于这部分像素来 说，将它们都作为未关联像素来进行处理。
5. 根据权利要求1所述的基于感兴趣区域运动补偿时域滤波方法，其特征在于所述的感兴趣区域的边界传递是解决除了原始视频的感兴趣区 域的边界描述通过视频分割的结果给出，而其他级的低频帧上的不再进行 分割但需要得到边界的问题，在每一级的滤波进行的时候，除了输出对应 的高低频帧之外，也要输出这些高低频帧对应的感兴趣区域的边界描述， 其中低频帧对应原来偶数帧的边界，而高频帧对应原来奇数帧的边界。
6. 根据权利要求l所述的基于感兴趣区域运动补偿时域滤波方法，其特 征在于所述的感兴趣区域ROI的运动补偿时域滤波是对于前景和背景分别 沿区域像素的运动轨迹进行时域小波分解，并且在对背景的处理当中对于一 类特殊的未关联像素采用高频帧赋零，低频帧保持的方式得到对应的高低频 帧，在进行分数精度插值的时候，采用对回字型区域分不同部分进行边界判 断，通过小波分解后得到的前景，背景的高低频帧可以直接进行线性叠加来 得到整帧的高低频帧。
全文摘要
本发明公开了基于感兴趣区域运动补偿时域滤波方法，该方法采用视频分割技术来得到感兴趣的区域ROI，采用感兴趣区域ROI的运动估计技术得到前景、背景的运动矢量树，采用边界判断的运动补偿技术得到每一个像素的运动轨迹，采用感兴趣区域的边界传递技术得到每一级低频帧的边界，采用基于感兴趣区域ROI的运动补偿时域滤波技术来去除时域冗余。将原来的视频分成较为独立的两部分区域，对于每一部分可以单独进行处理，通过上述方法实现基于感兴趣区域内容的可伸缩视频编码。在码率较低时，对于人们所关注的内容区域可以分配更多的码率，使得前景区域内容更加清晰，以达到较好的观看效果。
文档编号H04N7/26GK101478678SQ20081023653
公开日2009年7月8日 申请日期2008年12月30日 优先权日2008年12月30日
发明者兰旭光, 毕重远, 斌 王, 薛建儒, 郑南宁, 政 马, 雯 马 申请人:西安交通大学