基于小波域残差的分布式视频编解码方法
【技术领域】
[0001] 本发明涉及图像通信领域中的分布式视频编解码问题,尤其是涉及一种在低码率 下的小波域残差的分布式视频编解码方法。
【背景技术】
[0002] 近年来,随着数字视频应用的快速发展,数字视频应用不断向高清晰度、高帧率、 高压缩率方向发展,当前主流的视频压缩标准协议H.264/AVC局限性日益凸显。在2003年, 新一代具有更高清晰度,更高帧率,更高压缩率的视频压缩编码协议HEVC应运而生。与主流 H. 264标准相比,在相同率失真的条件下,HEVC的压缩率是H. 264近一倍。然而HEVC的高压缩 率是以牺牲编码端的编码复杂度为代价,HEVC编码端的复杂度是H. 264编码端复杂度的2到 4倍。H.264和HEVC编码标准均采用变换编码和预测编码相结合的编码框架,由于在编码端 进行复杂的运动补偿和运动估计等操作,其复杂度能达到解码端的5至10倍。这种传统的编 码方式比较适用于一次编码,多次解码的结构中,比如视频点播等。
[0003] 随着信息社会的迅猛发展,人们对生活质量的不断追求,各种新型的多媒体应用 设备层出不穷如:无线智能监控、摄像可共享的智能手机、移动摄像机等。这些新型应用的 编码设备比较简单,能量存储以及运算能力都很有限,但是解码设备一般具不受能量限制, 并且能处理复杂的运算。因此,传统的视频编码技术在嵌入式多媒体设备实现视频的压缩 编码,存在其局限性。
[0004] 为了解决这一问题,分布式视频编码(Distributed Video Coding,DVC)应运而 生。DVC具有编码复杂度低,鲁棒性能高的特点。它采用独立编码、联合解码的方式,在解码 端挖掘帧间以及多信源间的相关性,从而将复杂的运动补偿和运动估计从编码端移到了解 码端,降低了编码端的复杂度,更适用于目前新型的多媒体设备中。由于基于像素域的DVC 系统压缩效率低,因此目前大多数的DVC系统都是基于变换域的。国外学者Anne和Girod等 提出了实用的离散余弦变换(DCT)的DVC系统。但这种基于DCT的DVC系统存在不足,图像经 过离散余弦变换后存在"方块效应",影响了图像清新度。经过DVC的进一步发展,国内外学 者提出了基于小波变换的DVC系统。刘伟提出在分布式视频编码的小波域中解码端采用自 适应学习的译码算法MRMR。基于离散小波变换(DWT)的图像不仅可以避免了"方块效应"的 产生,同时也具有能量集中的特点。其多尺度多分辨率的特性,有利于解码端的相关性预 测,从而得到更准确的边信息。因此,基于DWT的DVC系统具有很好的发展前景。但目前基于 DWT的DVC系统因为没有对图像信源的模型进行充分考虑,编码码率相对典型DCT域DVC提升 不大,编码码率仍然较高。
【发明内容】
[0005]针对实现小波域分布式视频编码的高码率问题,本发明充分利用视频序列时域上 的相关性,提出了一种基于小波域残差的分布式视频编解码方法。与原有的小波域分布式 视频编解码系统相比,对运动平缓的视频序列不仅能有效地降低码率,而且能在相同码率 下提升了重建视频序列的质量,对运动剧烈的视频序列,R-D性能也获得了部分提升。
[0006] 本发明的基本思想基于传统的残差编码理论,即一个较好的预测可以使得图像的 残差像素值收敛于0值附近,从而在概率分布上形成一个极不均匀的峰值分布;而在小波变 换域下,频率分量将在0值附近出现陡峭的峰值分布,系数的取值范围也变得更小,在在这 种情况下,与原始的数据相比残差数据中的信源熵大大降低了。与传统视频编解码系统相 比,分布式视频编解码系统编码端简单,解码端复杂,即决定了分布式残差编解码系统不能 像传统视频残差编解码系统在编码端通过高复杂度运动估计和运动补偿得到当前帧的预 测值。在本发明中充分利用图像的帧间的时域相关性以及小波变换多尺度多分辨率的特点 使得帧间的时域相关性能够在小波域中延伸。将前后关键帧K_f和K_1输入到预测器中得到 当前帧的预测帧,再将预测帧和当前帧分别进行小波变换,再将两者相同层相同频带作差, 由于各层各频带依然存在帧间相关性,故作差后,系数的差值的取值范围也变得更小,所需 量化步也更小,可以避免量化步长较大带来的量化失真,失真减小,在解码端所需的校验信 息相对也会更小,故可以达到降低码率的效果。
[0007] 本发明提供的一种基于小波域残差的分布式视频编解码方法,包括编码端和解码 端两部分。编码端将相邻两个GOP的关键帧,输入到预测器中,对当前帧进行预测,得到当前 帧的预测帧F'(t),并对其进行η层9/7小波变换,再将当前帧F(t)与预测帧F'(t)各层各频 带分别求残差,再对残差进行量化,比特面提取,LDPCA信道编码。在解码端主要包括,将已 解码重建的前一帧作为参考帧,获取初始运动矢量MVo,更新当前帧各层各频带的频带边信 息,获取当前帧各层各频带的残差边信息,再进行残差重建,求得残差信息,再与当前帧的 预测帧F '( t)各层各频带相加后再进行DWT求得当前帧。
[0008] 与传统视频编码相比,分布式视频编码的特点是编码端简单,解码端复杂。在预测 编码中继续保留分布式视频编码端简单,解码端复杂的特点,小波域残差的分布式视频编 不能像传统预测编码那样,在编码端通过运动估计,运动补偿获得当前帧的预测值,所以本 发明提出一种基于小波域残差的分布式视频编解码方法的关键是利用小波变换具有多尺 度,多分辨率的特点以及利用小波变换后在各层各频带帧间时域相关性,在编码端产生当 前帧的预测值,进而求得残差;在解码端通过预测帧和参考帧获得当前帧的残差边信息,利 用残差边信息进行译码重建残差信息,再将译码重建后的残差信息与预测帧的频带信息相 加后获得当前帧。同时为了减小解码端在运动估计与运动补偿造成的误差传递,将视频序 列分为按一定的长度分为多个图像组,每个图像组包括一个关键帧与多个WZ帧。
[0009] 根据以上分析,在编码端将视频序列由分类器,将视频序列分为wz帧和关键帧将 关键帧和WZ按一定的长度,将视频序列分为多个图像组。为了在编码端和解码端获得相同 的预测值,这样避免由于编码端和解码端由于预测不一致带来的预测误差。将关键帧首先 通过传统视频编码H. 264的帧内编码和帧内解码后,将相邻两个图像组的关键帧1(_€和1(_1 输入到预测器中,预测器根据当前帧F(t)与两个关键帧K_f与K_1的帧间距离通过本发明的 预测算法在线性运算复杂度下,分别得到关键帧K_^^K_1的权重,进而获得当前帧的预测 帧;再将预测帧F'(t)和当前帧F(t)分别进行小波变换3层的9/7小波变换,再将预测帧F' (t)和当前帧F(t)相同层相同频带分别作差即得到残差信息Res。作差后的残差系数的差值 的取值范围也变得更小,所需量化步也更小,可以避免量化步长较大带来的量化失真。再经 过量化和基于LDPCA的信道编码,将编码后的校验位经反馈信道传输到解码端。
[0010]在解码端,将关键帧首先通过传统视频编码Η. 264的帧内解码后,将相邻两个图像 组的关键帧K_f和K_1输入到与编码端相同预测器中,即可得到与编码端相同的预测值。在 视频序列中,由于前后两帧有高度的相关性,后一帧延续了前一帧中的运动趋势,而当前帧 的预测帧仅仅是在数值上的近似,未考虑运动趋势上的连续性,故在进行运动估计与运动 补偿时任然选择已解码的前一帧作为参考帧。将当前帧第η层最低频带与参考帧第η层最低 频带频带信息进行运动估计,再运动补偿后,得到当前帧的第η层其余三个频带的频带边信 息。预测帧的频带边信息相减后即可得到当前帧的残差边信息,将残差边信息经过信道译 码与残差重建后获得的当前帧的残差信息,再将残差信息与预测帧的频带信息相加后即可 得到当前帧的频带信息,当所有的频带信息解码完成后,将当前帧第一层的频带信息经过 小波逆变换后,得到当前帧。
[0011] 本发明方法提出了基于小波域残差分布式视频编码系统的框架,其中最关键的是 在不改变分布视频编码编码端简单,解码端复杂的特点下,由预测器产生当前帧的预测帧, 获取残差信息,在解码端结合预测帧与参考帧获得当前帧的残差边信息,在残差译码后,再 由预测帧的频带信息与残差信息获取当前帧的频带信息。因此,本发明的着手点是围绕在 小波域残差的分布式视频编码框架下,在编码端产生当前帧预测帧,构建残差信息;在解码 端产生当前帧的频带信息,构建残差边信息,最后由预测帧与译码残差信息重建当前帧。
【附图说明】
[0012] 图1为基于小波域残差的分布式视频编解码方法框图;
[0013] 图2位对100帧hall(176X144,30帧/秒)的视频序列在小波变换后,以2为量化步 长,统计在小波域中原始视频序列及其残差的灰度级概率分布。
[0014] 图3-a~图3-e为本发明为基于小波域残差的分布式视频编解码方法与小波域的 分布式视频编解码系统的率失真曲线图,其中图3-a为mobile的率失真曲线;图3-b为 forman的率失真曲线;图3-c为hall的率失真曲线;图3-d为soccer的率失真曲线;图3-e为 highway的率失真曲线。
【具体实施方式】
[0015] 下面结合实施例对本发明作进一步的详细说明,有必要指出的是,以下的实施例 只用于对本发明做进一步的说明,不能理解为对本发明保护范围的限制,所属领域技术熟 悉人员根据上述
【发明内容】
,对本发明做出一些非本质的改进和调整进行具体实施,应仍属 于本发明的保护范围。
[0016] 如图1所示,本发明中采用帧间线性预测算法,包括在编码端利用产生的预测帧进 行残差信息的获取和在解码端利用预测帧与参考帧产生残差边信息对当前帧进行译码重 构两部分。编码端将相邻两个GOP的关键