专利名称：基于稀疏表示的视频差错隐藏方法和装置的利记博彩app
技术领域：
本发明涉及图像处理技术领域，特别涉及一种基于稀疏表示的视频差错隐藏方法 和装置。
背景技术：
作为互联网和第三代移动(3G)网络的杀手级应用，实时视频通信服务已经成为 了运营商、设备商和服务提供商所共同关注的焦点。其核心在于如何为用户提供高质量的 视频传输质量。但是，底层承载网络具有时变性，给视频流高效传输造成了较大的不确定 性。特别是，突发的网络拥塞或者信道衰落将导致接收端视频流的解码差错，进一步导致重 构图像出现严重失真。为了掩盖此类视频图像的视觉失真，差错隐藏算法应运而生，并作一 种流媒体应用中必备的解码后处理工具。差错隐藏的本质是根据正确接收的各种视频信息(如纹理、编码模式和运动向量 等)来最大程度地恢复解码出错的图像区域。目前，学术界和工业界设计的差错隐藏算法 主要基于两类思路(1)时域替代策略，即直接采用前一解码图像中的对应宏块(相同位置 的参考宏块，或者当前宏块运动向量所指向的参考宏块)替代当前损坏宏块；(2)空域平滑 策略，即利用周边像素信息插值出当前损坏宏块的像素值。第一类思路虽然利用了视频帧 时域上的相关性，但是对损坏区域的空域纹理信息并没有很好的利用。第二类思路则往往 不适用于连续信息包丢失的情况。因为位于损坏区域周围的宏块大量丢失，也就意味着能 够提供给空域掩盖策略的信息相当有限，所以能重构的图像质量将会很差。
发明内容
本发明的目的旨在至少解决上述技术缺陷，本发明提供一种基于稀疏表示的视频 差错隐藏方法和装置。为达到上述目的，本发明一方面提出一种基于稀疏表示的视频差错隐藏方法，包 括以下步骤检测并获取当前帧中的损坏像素区和完好的像素区；获得所述当前帧中完好 的像素区内像素相对于参考帧的运动向量；根据所述运动向量对所述当前帧和所述参考帧 进行宏块匹配以生成所述完好的像素区的运动补偿后的残差图像；根据所述残差图像构建 图像稀疏度目标函数；和对所述图像稀疏度目标函数求解，并根据求解结果填充所述损坏 像素区。本发明另一方面还提出了一种基于稀疏表示的视频差错隐藏装置，包括宏块检 测和获取模块，用于检测并获取当前帧中的损坏像素区和完好的像素区；运动向量检测获 得模块，用于获得所述当前帧中完好的像素区内像素相对于参考帧的运动向量；残差图像 生成模块，用于根据所述运动向量对所述当前帧和所述参考帧进行宏块匹配以生成所述完 好的像素区的运动补偿后的残差图像；稀疏度目标函数构建模块，用于根据所述残差图像 生成模块生成的所述残差图像构建图像稀疏度目标函数；和填充模块，用于对所述稀疏度 目标函数构建模块生成的图像稀疏度目标函数求解，并根据求解结果填充所述损坏像素
4区。本发明直接利用了图像稀疏表示特性来重构发生错误的图像区域，简单易用，性 能优异，且本发明联合利用了视频帧间和帧内的相关特性，可以有效地对大区域损坏的视 频进行恢复。另外，本发明利用视频帧的空域和时域相关性，并联合优化空域图像和时域残 差图像的稀疏度表示函数，从而确保在恶劣的传输状况下都能有优异的差错掩盖性能。因 此，本发明不仅解决了用户端接收视频数据出错时视频质量大幅下降的问题，而且还能够 克服现有技术中存在的不足。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为本发明实施例的基于稀疏表示的视频差错隐藏方法的流程图；图2为本发明实施例的构建运动补偿后的残差图像的示意图；图3为本发明实施例的基于稀疏表示的视频差错隐藏装置结构图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。如图1所示，为本发明实施例的基于稀疏表示的视频差错隐藏方法的流程图。如 图2所示，为本发明实施例的构建运动补偿后的残差图像的示意图，其中，F。为当前帧，&为 F。对应的参考帧。设巧和分别为当前帧F。和参考帧&中像素位置3f处的像素值， M句为当前帧F。中像素无所对应的运动向量。该方法包括以下步骤步骤S101，检测并获取当前帧F。中损坏的像素区域钱(即图2中的灰度方块)和 完好的像素区Ds (即图2中的白色方块)。步骤S 102，获得当前帧中完好的像素区Ds内像素3 相对于参考帧的运动向量 v(x)。步骤S103，根据所述运动向量对当前帧F。和参考帧F,进行宏块匹配以生成所述 完好的像素区Ds的运动补偿后的残差图像FA(x eDs) = Fr(3c + v(3c);3c e(无e￡>s)。步骤S104，根据所述残差图像构建图像稀疏度目标函数。设v为逆向二维离散余 弦变换(DCT)基，e。为当前帧F。的二维DCT系数(空域图像的稀疏表示)，e A为残差帧 Fa的二维DCT系数(时域运动补偿后残差图像的稀疏表示)。在本发明的一个实施例中， 例如可设置这两类稀疏度表示的加权系数、=0.6，该加权稀疏度优化的目标函数如下min || Vec[ e J || +0. 6X || Vec[ e J ||
5
S.t. FA (x G ) = S[i//0A
S*[^c]-Fr(xeD;) = S*[^A]其中，|| ||工表示求取一阶范数操作符，Vec[ ]表示矩阵向量化操作符，S[ ] 为对Ds区域的采样操作符，S*[ ]为对耗区域的采样操作符，s. t.表示对极约束条件。步骤S105，对待约束的图像稀疏度目标函数求解。在本发明的一个实施例中，可利 用拉格朗日乘子法将上述带约束的最小化目标函数转化为无约束的最小化问题，即
■I {nnnJ(0c;0&;j3) = \Vec[dc}\ +0.6x|—4 氏 1^ Ds)-S[V6c)}—其中，3为拉格朗日乘子。对上述无约束最小化问题，采用迭代阈值算法(FISTA)获取最优解的是和 式。具体迭代求解过程可参见文献(A. Beck, and M. Teboulle, "A fastiterative shrinkage-thresholding algorithm for linear inverse problems, " SIAMJournal on Imaging Sciences, vol. 2, no. 1,pp.183-202,2009.)步骤S106，计算么的逆向二维DCT变换并取出损坏区域对应的像素值 S*[^0C]，以及以此结果填补损坏的像素区域《。如图3所示，为本发明实施例的基于稀疏表示的视频差错隐藏装置结构图。该装 置100包括宏块检测和获取模块110、运动向量检测获得模块120、残差图像生成模块130、 稀疏度目标函数构建模块140和填充模块150。宏块检测和获取模块110用于检测并获取 当前帧中的损坏像素区和完好的像素区。运动向量检测获得模块120用于获得所述当前帧 中完好的像素区内像素相对于参考帧的运动向量。残差图像生成模块130用于根据运动向 量对当前帧和所述参考帧进行宏块匹配以生成所述完好的像素区的运动补偿后的残差图 像。稀疏度目标函数构建模块140用于根据残差图像生成模块130生成的所述残差图像构 建图像稀疏度目标函数。填充模块150用于对稀疏度目标函数构建模块140生成的图像稀 疏度目标函数求解，并根据求解结果填充所述损坏像素区。在本发明的一个实施例中，填充模块150包括计算子模块151和填充子模块152。 计算子模块151用于利用拉格朗日乘子法和迭代阈值算法获取最优解的4和4，并计算4的
逆向二维DCT变换yg。填充子模块152用于取出损坏区域对应的像素值么]，并以此结
果填补损坏的像素区域钱。本发明直接利用了图像稀疏表示特性来重构发生错误的图像区域，简单易用，性 能优异，本发明联合利用了视频帧间和帧内的相关特性，可以有效地对大区域损坏的视频 进行恢复。另外，本发明利用视频帧的空域和时域相关性，并联合优化空域图像和时域残差 图像的稀疏度表示函数，从而确保在恶劣的传输状况下都能有优异的差错掩盖性能。因此， 本发明不仅解决了用户端接收视频数据出错时视频质量大幅下降的问题，而且还能够克服 现有技术中存在的不足。
6
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
一种基于稀疏表示的视频差错隐藏方法，其特征在于，包括以下步骤检测并获取当前帧中的损坏像素区和完好的像素区；获得所述当前帧中完好的像素区内像素相对于参考帧的运动向量；根据所述运动向量对所述当前帧和所述参考帧进行宏块匹配以生成所述完好的像素区的运动补偿后的残差图像；根据所述残差图像构建图像稀疏度目标函数；和对所述图像稀疏度目标函数求解，并根据求解结果填充所述损坏像素区。
2.如权利要求1所述的基于稀疏表示的视频差错隐藏方法，其特征在于，所述残差图 像为 ,其中，Ds为完好的像素区，巧(3f)为当前帧F。的像素值函数，乃(句为F。对应的参考帧&的像素值，其中j表示像素在视频帧 中的坐标是当前帧F。中像素3 所对应的运动向量。
3.如权利要求2所述的基于稀疏表示的视频差错隐藏方法，其特征在于，所述图像稀 疏度目标函数为 e。为当前帧F。的二维DCT系数，e A为参考帧？，的二维DCT系数，II II i表示求取一阶 范数操作符，\ G
为预先设定的加权系数，Vec[ ]表示矩阵向量化操作符，S[ ] 为对Ds区域的采样操作符，S*[ ]为对钱区域的采样操作符，s. t.表示约束条件。
4.如权利要求3所述的基于稀疏表示的视频差错隐藏方法，其特征在于，所述对图像 稀疏度目标函数求解，并根据求解结果填充所述损坏像素区进一步包括利用拉格朗日乘子法和迭代阈值算法获取最优解的&和& ；和计算&的逆向二维DCT变换一丨，并取出损坏区域对应的像素值 以及以此结果填补损坏的像素区域战。
5.一种基于稀疏表示的视频差错隐藏装置，其特征在于，包括宏块检测和获取模块，用于检测并获取当前帧中的损坏像素区和完好的像素区； 运动向量检测获得模块，用于获得所述当前帧中完好的像素区内像素相对于参考帧的 运动向量；残差图像生成模块，用于根据所述运动向量对所述当前帧和所述参考帧进行宏块匹配 以生成所述完好的像素区的运动补偿后的残差图像；稀疏度目标函数构建模块，用于根据所述残差图像生成模块生成的所述残差图像构建 图像稀疏度目标函数；和填充模块，用于对所述稀疏度目标函数构建模块生成的图像稀疏度目标函数求解，并 根据求解结果填充所述损坏像素区。’其中，V为逆向二维离散余弦变换DCT基，
6.如权利要求5所述的基于稀疏表示的视频差错隐藏装置，其特征在于，所述残差图 像为&(无€坏)=厂(无+汽句;3^坏)-巧(无€辟),其中，Ds为完好的像素区，巧⑷为当前帧F。的像素值函数，Fr (芍为F。对应的参考帧&的像素值，其中，表示像素在视频帧中 的坐标，^句是当前帧F。中像素jf所对应的运动向量。
7.如权利要求6所述的基于稀疏表示的视频差错隐藏装置，其特征在于，所述图像稀 疏度目标函数为minll Vec[0j || A || Vec[ 0 J || :Fc(xeDs) = S[W0c}Si.=’其中，￥为逆向二维离散余弦变换DCT基，S*[￥Gc}-Fr{x^D"s) = S*[￥e,}e。为当前帧F。的二维DCT系数，e A为参考帧^的二维DCT系数，II II i表示求取一阶 范数操作符，\ G
为预先设定的加权系数，Vec[ ]表示矩阵向量化操作符，S[ ] 为对Ds区域的采样操作符，S*[ ]为对《区域的采样操作符，s. t.表示约束条件。
8.如权利要求7所述的基于稀疏表示的视频差错隐藏装置，其特征在于，所述填充模 块包括计算子模块，用于利用拉格朗日乘子法和迭代阈值算法获取最优解的4和4，并计算4 的逆向二维0(^变换^4;和填充子模块，用于取出损坏区域对应的像素值，并以此结果填补损坏的像素区 域鸽。
全文摘要
本发明提出一种基于稀疏表示的视频差错隐藏方法，包括检测并获取当前帧中的损坏像素区和完好的像素区；获得所述当前帧中完好的像素区内像素相对于参考帧的运动向量；根据所述运动向量对所述当前帧和所述参考帧进行宏块匹配以生成所述完好的像素区的运动补偿后的残差图像；根据所述残差图像构建图像稀疏度目标函数；和对所述图像稀疏度目标函数求解，并根据求解结果填充所述损坏像素区。本发明直接利用了图像稀疏表示特性来重构发生错误的图像区域，简单易用，性能优异。
文档编号H04N7/26GK101895769SQ20101021220
公开日2010年11月24日 申请日期2010年6月21日 优先权日2010年6月21日
发明者戴琼海, 肖红江 申请人:清华大学