专利名称：用于视频压缩的高性能环路滤波器的利记博彩app
技术领域：
本申请涉及用于视频压缩的高性能环路滤波器。
背景技术：
由于图像和视频的数据量较大，所以在传输或存储时，总是将它们用压缩的形式表示。基于块的转换编码被广泛用于图像压缩方法。首先，采用8阶DCT(Order-SDCT)来压缩信号能量，然后，对转换系数应用量化处理。基于块的转换编码还广泛用于视频数据，该视频数据先被帧内/帧间预测压缩以进一步压缩信号能量。然后，对视频信号的残差转换系数执行量化。这样的视频编码方法常由于其使用转换编码和预测编码而被称为混合视 频编码。大多数视频编码标准(包括H.264/AVC)采用混合视频编码。在图像和视频编码系统中，量化是导致编码失真(例如块效应和环状假影)的主源。为了减少混合视频编码中的失真，采用两种主要途径将去块滤波器(deblockingfilter)集成到视频编解码器。去块滤波器可用作后处理滤波器或环路滤波器。后处理滤波器仅在编码环之外的显示缓冲上运行，因此在标准化过程中不是规范的。在编码环中运行的环路滤波器和过滤帧被用作后续编码帧的参考。编码和解码中使用的环路滤波器需要在标准化过程中进行指定。图I示出H. 264/AVC编码器的方块图。在图中示出了用于编码的输入视频帧Fn，并且在宏块单元中对该Fn进行处理。通过运动估计模块100将Fn与参考帧(例如先前的编码帧F' n_i)进行比较，然后通过运动补偿单元200和帧内预测单元300的常规处理生成运动补偿预测P。将P从当前宏块中减去以产生残差块，该残差块由转换单元400转换，然后由量化单元500量化。量化的转换系数是由熵编码器600编码的熵。单元700反量化后获得量化的残差系数。然后，系数由反转换单元800反转换，以产生量化的残差块。运动补偿预测P被添加至量化的残差块来创建重构快。环路滤波器900被用以减少阻断失真的影响，然后根据一系列重构块创建重构参考帧。一般而言，使用环路滤波器可获得比使用后处理滤波器更好的性能。初期的环路滤波器使用基于增强的方式来减少编码失真。初期的环路滤波器在块边界附近应用低通滤波器。在本领域中，H.264/AVC标准建议并采用去块环路滤波器(DLF)。去块环路滤波器(DLF)通过执行围绕块边界的样本分析来运行，并调整每个块边界处的低通滤波器的滤波强度。然而，这些基于技术的增强不会导致显著的主观视觉质量或客观的峰值信噪比(PSNR)的改进。还建议了基于修复的技术来优化地抑制量化噪声。优化的线性维纳滤波器(linear Wiener filter)是众所周知的抑制噪声的技术。线性维纳滤波器被建议如后处理滤波器或环路滤波器那样来减少视频中的量化噪声。可通过基于修复的技术来显著地提高客观质量。维纳滤波需要原始信号和噪声的自相关及交叉相关的知识，所以滤波器系数需要以视频编码方案的比特流进行传递。在解码器侧，从比特流提取滤波器系数来构建优化的维纳滤波器。由于需要大量比特数来表示滤波器系数，所以一个优化的自适应环路滤波器(ALF)仅用于一帧。ALF可整体地减少每帧的平均失真，但ALF不适合帧内的不同局部区域。已开发出了虑及帧内不同局部区域的多种自适应方法。三维块匹配(BM3D)方法使用维纳滤波器阈值来对通过块匹配来分组的3D离散余弦转换(DCT)系数进行修复，该方法还具有在图像去噪上所获得的优越性能。在Jun Xu> Yunfei Zheng、Peng Yin、Joelsole、 Cristina Gomila 和 Dapeng Wu 的“Sparsity-based Deartifacting Filtering inVideo Compression(用于压缩视频的基于稀疏性的假像滤波)”，IEEE Int. Conf. ImageProcess (ICIP2009), Cairo, Egypt, Nov. 2009中示出的BM3D方法仅在编码帧内作为后处理工具有良好作用。已发现了使用BM3D方法作为用于编码帧内和编码帧间的环路滤波器的有效方式。还建议了基于块的自适应方法。代表性的方法是基于四叉树(quadtree)的自适应环路滤波器，由 T. Chujoh> N. Wada 和 G. Yasuda 在 “Quadtree-based adaptive loopfilter (基于四叉树的自适应环路滤波器)”，ITU-TSG16 Contribution, C181, Geneva, Jan. 2009文献进行了描述，基于四叉树的自适应环路滤波器是关键技术区域(KTA)软件中的编码效率改进工具之一。基于四叉树的自适应环路滤波器(QALF)允许将块过滤或不过滤，并使用四叉树表示边信息。KTA软件中的另一工具提供了进一步的改进，该工具被称为带有去块环路滤波器的基于四叉树的自适应环路滤波器(QALF+DLF)。该方案允许块被ALF或DLF过滤。边信息还可使用四叉树来表示。该方案在目标和视觉的质量改进上实现了现有技术的性能。然而，基于块的方法不完全捕获非均匀帧的局部统计。Non-Local Kuan (NLK)滤波器基于最小均方误差(MMSE)修复来设计。这在以下文献中进行了描述Renqi Zhang、Wanli Ouyang和Wai-kuen Cham的“Image Postprocessingby Non-local Kuan，s Filter (Non-Local Kuan 滤波器进行的图像后处理)”, Journal ofVisual Communication and Image Representation,Elsevier。这些滤波器通过捕获图像中的局部自相似特性来工作。基于NLK的滤波器建议了两种图像后处理方法(即，DNLK和0⑶NLK滤波器的方法)。这两种方法均使用双层的滤波处理。0⑶NLK滤波器结合了过完备(overcomplete)转换和DNLK滤波器的优点。它们都在图像后处理方面具有现有技术水准的性能。
发明内容
一方面，本申请公开了一种视频环路滤波器，其包括参数估计单元，确定基于导频帧的平均值系数和方差系数；滤波器单元，接收视频编码过程中的量化残差系数，并根据所述量化残差系数和所确定出的平均值与方差来修复系数；以及反整数余弦转换(ICT)单元，对所修复的编码系数执行反整数余弦转换以获得过滤帧。另一方面，本申请公开了一种用于改进视频编码性能的方法，其包括确定基于导频帧的平均值系数和方差系数；在视频编码过程中检索量化残差系数；
根据所述量化残差系数以及确定出的平均值和方差来修复系数；以及对所修复的编码系数执行反整数余弦转换以获得过滤帧。
图I示出了现有技术中的H. 264/AVC编码器；图2示出了用于现有技术的图像中块的移块表示；图3示出了根据现有技术的DNLK滤波器的方块图； 图4示出了根据本申请一个实施方式的NLK环路滤波器的方块图；图5示出了获得残差块的操作；图6示出了四叉树块划分示例；图7示出了根据本申请一个实施方式的基于四叉树的NLK(QNLK)滤波器的方块图；图8示出了用于CIF序列Carphone的I、P、B编码帧的基于四叉树的块划分；图9示出了用于编码序列Foreman的R-D曲线；图10示出了用于编码序列Akiyo的R-D曲线；以及图11和图12分别示出了用于Carphone和Football序列的视觉质量比较实验结果。
具体实施例方式下面参照附图对本发明的实施方式进行描述，但这些附图仅用于说明目的而不是对本发明的限制。为了易于理解本中请的实施方式，下面首先对Non-Local Kuan(NLK)滤波器的原理进行描述。设Bnun为帧内第m块的行和第n块的列处的MXM块，为相对于块Bnun在水平方向具有k移位并在垂直方向具有I移位的块。图2分别给出当k =-I，I = -1和1^=1，1 = 0时的两个示例。基于块的转换应用在每个移位块上。因此，对于Bm, 中每个量化系数yQ，其相邻系数yi，i = 1，2，...，k可从移位块中获得。考虑噪声模型y = x+n,其中向量n表示噪声，向量y包含量化系数Ytl和来自移位块的相邻系数yi i = 1,2, . . . , K,向量X包含对应的原始系数X0和Xi, i = 1,2, , K。根据线性最小均方误差(LMMSE)估计，可以获得kLMMSE = (i0, ,..., )r = E[x] + CxyC~； (y - ￡[x]),(I)其中，E[x]是x的预期值，Cxy是x与y之间的交叉协方差，是信号y的反自协方差。根据现有的假设，即原始系数X与量化噪声n不相关的情况下，LMMSE滤波器成为点式(point-wise)NLK 滤波器X0 =X0+ 2 2 (y0~x0)(2)
f7X0 + ^n0因此，滤波器不是对的每个元素进行计算，而是仅对A进行计算，元是量化系数I0的LMMSE估计。均匀分布的量化噪声模型被多种方法广泛使用，所以量化系数J0的噪声方差可从如下所示的具体量化步骤Qtl中确定
权利要求
1.一种视频环路滤波器，包括 参数估计单元，确定基于导频帧的平均值系数和方差系数； 滤波器单元，接收视频编码过程中的量化残差系数，并根据所述量化残差系数和所确定出的平均值系数与方差系数来修复编码系数；以及 反整数余弦转换(ICT)单元，对所修复的编码系数执行反整数余弦转换以获得过滤帧。
2.根据权利要求I所述的滤波器，其中，所述滤波器单元包括NLK滤波器单元或OCNLK滤波器单元。
3.根据权利要求I所述的滤波器，其中，所述导频帧为使用QALF+DLF环路滤波器获得的编码帧。
4.根据权利要求I所述的滤波器，其中，所述滤波器单元通过所述量化残差系数和原始系数的线性最小均方误差确定所修复的编码系数。
5.根据权利要求I所述的滤波器，其中，所述滤波器单元通过 ^ _C2x^0 = xO-1 76 — xO). 确定所修复的编码系数，其中七表示所修复的编码系数；以及 ^和^丨分别表示所确定的平均值系数和方差系数，y0表示所述量化残差系数。
6.根据权利要求I所述的滤波器，还包括 信息率失真优化单元，根据所述过滤帧中的块和所述导频帧中的块确定四叉树块划分指示；以及 自适应块选择单元，根据所述四叉树块划分指示从所述过滤帧中的块和所述导频帧中的块中选择最终块，所述最终块用于形成所述过滤帧。
7.根据权利要求6所述的滤波器，其中，所述信息率失真优化单元通过将(D+XR)最小化来确定所述四叉树块划分指示Im,n， 其中 D表示经处理的帧与原始帧之间的失真， R表示用于块控制边信息的比特，以及 入为用于D和R的拉格朗日缩放因子。
8.一种用于改进视频编码性能的方法，包括 确定基于导频帧的平均值系数和方差系数； 在视频编码过程中检索量化残差系数； 根据所述量化残差系数以及确定出的平均值系数和方差系数来修复编码系数；以及 对所修复的编码系数执行反整数余弦转换以获得过滤帧。
9.根据权利要求8所述的方法，其中，所述导频帧为使用QALF+DLF环路滤波器获得的编码中贞。
10.根据权利要求8所述的方法，其中，所述修复的步骤还包括 通过所述量化残差系数和原始系数的线性最小均方误差确定所修复的编码系数。
11.根据权利要求8所述的方法，其中，所修复的编码系数通过以下计算来确定
12.根据权利要求8所述的方法，还包括 基于信息率失真优化从所述过滤帧中的块和所述导频帧中的块确定四叉树块划分指示；以及 根据所述四叉树块划分指示选择最终块，所述最终块用于形成所述过滤帧。
13.根据权利要求12所述的方法，其中，所述四叉树块划分指示通过将(D+XR)最小化来确定， 其中 D表示经处理的帧与原始帧之间的失真， R表示用于块控制边信息的比特，以及 入为用于D和R的拉格朗日缩放因子。
14.视频环路滤波器，包括 参数估计单元，确定基于导频帧的平均值系数和方差系数； 滤波器单元，接收来自图像编码过程的量化残差系数，并根据所述量化残差系数和所确定出的平均值系数与方差系数来修复编码系数；以及 反整数余弦转换(ICT)单元，对所修复的编码系数执行反整数余弦转换以获得过滤帧； 信息率失真优化单元，基于所述过滤帧中的块和所述导频帧中的块来确定四叉树块划分指示；以及 自适应块选择单元，根据所述四叉树块划分指示从所述过滤帧中的块和所述导频帧中的块中选择最终块，所述最终块用于形成所述过滤帧。
15.根据权利要求14所述的滤波器，其中，所述滤波器单元包括NLK滤波器单元或OCNLK滤波器单元。
16.根据权利要求14所述的滤波器，其中，所述滤波器单元通过所述量化残差系数和原始系数的线性最小均方误差确定所修复的编码系数。
17.根据权利要求14所述的滤波器，其中，所述滤波器单元通过
18.根据权利要求14所述的滤波器，其中，所述信息率失真优化单元通过将(D+XR)最小化来确定所述四叉树块划分指示Im，n， 其中 D表示经处理的帧与原始帧之间的失真， R表示用于块控制边信息的比特，以及入为用于D和R的拉格朗日 缩放因子。
全文摘要
公开了用于改进客观及主观视频编码性能的滤波器和方法。滤波器包括参数估计单元，确定基于导频帧的平均值系数和方差系数；滤波器单元，接收视频编码过程中的量化残差系数，根据所述量化残差系数和所确定出的平均值与方差来修复编码系数；反整数余弦转换(ICT)单元，将所述反整数余弦转换应用于所修复的编码系数以获得过滤帧；信息率失真优化单元，确定四叉树块划分指示；以及自适应块选择单元，根据四叉树块划分指示选择最终块，最终块用于形成过滤帧。
文档编号H04N7/50GK102710936SQ201110461250
公开日2012年10月3日 申请日期2011年12月30日 优先权日2011年1月4日
发明者张任奇, 湛伟权 申请人:香港中文大学