一种基于图像超分辨率的视频编解码方法及装置制造方法
【专利摘要】本申请提供的基于图像超分辨率的视频编解码方法及装置，本申请方法在对待编码和待编码的视频图像进行预测前，先对待编码/待解码视频图像进行超分辨率插值处理，可以对待编码/待解码图像进行放大及进行细节信息恢复，从而，在对待编码/待解码图像进行预测得到预测块时，相比现有技术利用线性插值对视频图像进行预测的方法，更能有效还原原图像，避免出现现有技术中预测块边缘模糊的问题，从而提升视频图像预测的准确性，进而提升视频图像的编码效率。
【专利说明】一种基于图像超分辨率的视频编解码方法及装置
【技术领域】
[0001] 本发明涉及图像超分辨率【技术领域】，具体涉及一种基于图像超分辨率的视频编解 码方法及装置。
[0002]
【背景技术】
[0003] 传统的编码方法是利用待编码图像与视频自身的信息冗余对视频图像进行压缩 处理的，随着编码技术的不断进步，视频编码的冗余度不断降低，待编码图像与视频自身的 时空域相关性被充分利用。借助待编码图像与视频以外的信息，对待编码图像和视频信息 进行预测，从而降低待编码图像与视频本身的信息量，是大幅度提高图像与视频压缩效率 的新方向。
[0004] 现有技术中，为了提高视频图像帧间预测效率，分像素运动补偿技术普遍被采用。 为了获得分像素信息，目前普遍采用线性插值的方法。线性插值方法的优点是简单，但缺点 是难以恢复高分辨率图像的高频细节信息，同时对于边缘部分造成模糊，从而制约了分像 素运动补偿的效率。
[0005]
【发明内容】
[0006] 本发明实施例提供的基于图像超分辨率的视频编码方法，包括：利用预训练的纹 理字典库对待编码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典库包括： 一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高分辨率图 像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理包括：进行图像放大 及图像的细节信息恢复；对所述待编码图像的各个图像块在所述参考图像上进行运动估计 和运动补偿，得到与所述待编码视频图像的各个图像块对应的预测块；将所述待编码视频 图像的图像块与对应的所述预测块相减，得到预测残差块；对所述预测残差块进行编码处 理。
[0007] 本发明实施例提供的基于图像超分辨率的视频解码方法，包括：对获取的图像编 码流信号进行解码得到预测残差块；利用预训练的纹理字典库对待解码视频图像进行超分 辨率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基为： 训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的 映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复；对所述待解 码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述各个图像块对应 的预测块；将所述预测块与所述预测残差块相加得到解码后的视频图像。
[0008] 本发明实施例提供的基于图像超分辨率的视频编码装置，包括：超分辨率插值处 理单元，用于利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，得到参 考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率 图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率 插值处理包括：进行图像放大及图像的细节信息恢复；预测单元，用于对所述待编码图像 上的各个图像块在参考图像上进行运动估计和运动补偿，得到与所述待编码视频图像的各 个图像块对应的预测块；减法计算单元，用于将所述待编码视频图像的各图像块与所述运 动估计单元估计得到的对应的预测块相减，得到预测残差块；编码单元，用于对所述减法计 算单元计算得到的所述预测残差块进行编码处理。
[0009] 本发明实施例提供的基于图像超分辨率的视频解码装置，包括：解码单元，用于对 获取的图像编码流信号进行解码得到预测残差块；超分辨率插值处理单元，用于利用预训 练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像，所述纹理字典 库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块以及与所述高 分辨率图像块对应的低分辨率图像块，所述超分辨率插值处理包括：进行图像放大及图像 的细节信息恢复；预测单元，用于对所述待解码视频图像上的各个图像块在所述参考图像 上进行运动补偿，得到与所述各个图像块对应的预测块；加法计算单元，用于将所述运动补 偿处理单元得到的所述预测块与所述解码单元获取得到的所述预测残差块相加得到解码 后的视频图像。
[0010] 从以上技术方案可以看出，本发明实施例具有以下优点： 本申请提供的基于图像超分辨率的视频编解码方法及装置，本申请方法在对待编码和 待编码的视频图像进行预测前，先对待编码/待解码视频图像进行超分辨率插值处理，可 以对待编码/待解码图像进行放大及进行细节信息恢复，从而，在对待编码/待解码图像进 行预测得到预测块时，相比现有技术利用线性插值对视频图像进行预测的方法，更能有效 还原原图像，避免出现现有技术中预测块边缘模糊的问题，从而提升视频图像预测的准确 性，进而提升视频图像的编码效率。
【专利附图】
【附图说明】
[0011] 本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将 变得明显和容易理解，其中 ： 图1为实施例一的基于图像超分辨率的视频编码方法的流程图； 图2a_2c为本申请一种实施例中图像块局部纹理结构的特征提取示意图； 图3为实施例二的步骤101的一种实施方式的流程图； 图4为本实施例三的基于图像超分辨率的视频解码方法流程图； 图5为实施例三的的步骤202的一种实施方式的流程图； 图6为本申请实施例五的装置结构示意图； 图7为本申请实施例五超分辨率插值处理单元的结构示意图； 图8为本申请实施例六的装置结构示意图； 图9为本申请实施例六的超分辨率插值处理单元的结构示意图。
【具体实施方式】
[0012] 本申请实施例中，提供了一种基于图像超分辨率的视频编解码方法及装置，可以 恢复图像的高频信息，提高图像的质量，从而应用于对视频图像的时域预测，提升预测的准 确性，进而提高编解码效率。
[0013] 下面通过【具体实施方式】结合附图对本申请作进一步详细说明。
[0014] 实施例一： 请参考图1，图1为一种实施例中基于图像超分辨率的视频编码方法的流程图。如图1 所示，本实施例提供一种基于图像超分辨率的视频编码方法，可以包括以下步骤： 101、利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理。
[0015] 经过超分辨率插值处理后，得到参考图像。所述纹理字典库包括：一组或多组字典 基，所述字典基为：训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨 率图像块组合的映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢 复。
[0016] 102、待编码视频图像上的各个图像块在参考图像上进行运动估计和运动补偿，得 到与各个图像块对应的的预测块。
[0017] 其中，所述图像块可以按照预设的划分规则在视频图像上进行划分，例如：将 2X2个像素划分为一个图像块。本申请对划分规则仅作举例不作具体限定。
[0018] 本实施例步骤中，可以对待编码视频图像上划分好的各个图像块进行在参考图像 中进行运动估计和运动补偿，计算各个图像块在参考帧中的位置偏移和对应像素值，从而 得到经过运动估计后的与待编码视频图像的各个图像块对应的预测块。
[0019] 103、将所述待编码视频图像的图像块与对应的预测块相减，得到预测残差块。
[0020] 104、对预测残差块进行编码处理。
[0021] 本申请实施例一提供的基于图像超分辨率的视频编码方法，利用预训练的纹理字 典库对待编码视频图像进行超分辨率插值处理，可以对待编码图像进行放大及进行细节信 息恢复，再对进行超分辨率插值处理后的参考图像块进行运动估计，得到对应的预测块，然 后将预测块与待编码视频图像相减得到残差块，再对残差块进行编码。相比现有技术利用 线性插值对视频图像进行预测的方法，本申请方法在对待编码的视频图像进行预测前，先 对待编码视频图像进行超分辨率插值处理，可以对待编码图像进行放大及进行细节信息恢 复，这样，在对待编码图像进行运动估计处理得到预测块时，避免出现现有技术中预测块边 缘模糊的问题，从而提升预测的准确性，进而提高编码效率。
[0022] -个优选的实施例中，纹理字典库中各字典基按照各训练图像的高分辨率图像块 的局部特征以及与所述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述 局部特征包括局部二值结构（LBS, Local Binary Structure)和锐利边缘结构（SES，Sharp Edge Structure)。
[0023] 本实施例中，纹理字典是预先训练得到的，纹理字典的预训练可以采取以下实施 方式： S1、从包含若干个训练图像的训练图像集中选取多个高分辨率局部图像块，其中，高分 辨率局部图像块由其所在图像上的至少两个像素点组成。对训练图像进行降采样处理，获 取与每个局部图像块一一对应的低分辨率局部图像块。
[0024] S2、提取高分辨率局部图像块的局部特征，得到高分辨率字典样本Dh(y)，以及，提 取与每个所述局部图像块一一对应的低分辨率局部图像块的局部特征，得到低分辨率字典 样本D1 (y)，将所述高分辨率字典样本与所述低分辨率字典样本相互映射组合得到一组字 典基样本，所述局部特征包括LBS和SES。
[0025] S3、对所述多组字典基样本进行训练，得到纹理字典库。
[0026] 下面对本申请实施例一中利用预训练的纹理字典库对视频图像进行超分辨率插 值处理的过程及原理进行举例说明。
[0027] 如图2a、2b和2c所示，A、B、C、D是局部相邻的四个像素点，图中，像素点的高度反 应了像素点的灰度值大小。如图2a所示，A、B、C、D四个像素点组成一块平坦局部区域，因 此灰度值大小相等。如图2b所示，像素点A和B的灰度值比像素点C和D的灰度值高。本 实施例定义LBS-Geometry (LBS_G)区分这种几何结构上的不同，LBS-Geometry (LBS_G) 的计算方式如公式（1):
【权利要求】
1. 一种基于图像超分辨率的视频编码方法，其特征在于，包括： 利用预训练的纹理字典库对待编码视频图像进行超分辨率插值处理，得到参考图像， 所述纹理字典库包括：一组或多组字典基，所述字典基包括：训练图像的高分辨率图像块 以及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处 理包括：进行图像放大及图像的细节信息恢复； 对所述待编码视频图像上的各个图像块在所述参考图像上进行运动估计和运动补偿， 得到与所述待编码视频图像的各个图像块对应的预测块； 将所述待编码视频图像的图像块与对应的所述预测块相减，得到预测残差块； 对所述预测残差块进行编码处理。
2. 如权利要求1所述的基于图像超分辨率的视频编码方法，其特征在于，所述纹理字 典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像 块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边 缘结构。
3. 如权利要求2所述的基于图像超分辨率的视频编码方法，其特征在于，所述利用预 训练的纹理字典库对待编码视频图像进行超分辨率插值处理包括： 提取待编码视频图像上各个图像块的局部特征； 将所述待编码视频图像中各个图像块的局部特征与所述纹理字典库中各个字典基的 局部特征进行匹对，获取匹对的字典基； 利用所述匹对的字典基对所述待编码视频图像上对应的图像块进行图像细节信息恢 复及图像放大处理。
4. 一种基于图像超分辨率的视频解码方法，其特征在于，包括： 对获取的图像编码流信号进行解码得到预测残差块； 利用预训练的纹理字典库对待解码视频图像进行超分辨率插值处理，得到参考图像， 所述纹理字典库包括：一组或多组字典基，所述字典基为：训练图像的高分辨率图像块以 及与所述高分辨率图像块对应的低分辨率图像块组合成的映射组，所述超分辨率插值处理 包括：进行图像放大及图像的细节信息恢复； 对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补偿，得到与所述 各个图像块对应的预测块； 将所述预测块与所述预测残差块相加得到解码后的视频图像。
5. 如权利要求4所述的基于图像超分辨率的视频解码方法，其特征在于，所述纹理字 典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像 块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利 边缘结构。
6. 如权利要求5所述的基于图像超分辨率的视频解码方法，其特征在于，所述利用预 训练的纹理字典库对待解码视频图像进行超分辨率插值处理包括： 提取所述待解码视频图像各个图像块的局部特征； 将所述待解码视频图像中各个图像块的的局部特征与所述纹理字典库中各个字典基 的局部特征进行匹对，获取匹对的字典基； 利用所述匹对的字典基对所述待解码视频图像进行细节信息恢复及图像放大处理。
7. -种基于图像超分辨率的视频编码装置，其特征在于，包括： 超分辨率插值处理单元，用于利用预训练的纹理字典库对待编码视频图像进行超分辨 率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基包括： 训练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的 映射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复； 预测单元，用于对所述待编码图像上的各个图像块在参考图像上进行运动估计和运动 补偿，得到与所述待编码视频图像的各个图像块对应的预测块； 减法计算单元，用于将所述待编码视频图像的各图像块与所述运动估计单元估计得到 的对应的预测块相减，得到预测残差块； 编码单元，用于对所述减法计算单元计算得到的所述预测残差块进行编码处理。
8. 如权利要求7所述的基于图像超分辨率的视频编码装置，其特征在于， 所述纹理字典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所 述高分辨率图像块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二 值结构和锐利边缘结构； 所述超分辨率插值处理单元具体包括： 提取模块，用于提取待编码视频图像上各图像块的局部特征； 匹对模块，用于将所述提取模块提取的所述待编码视频图像中各个图像块的局部特征 与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基； 图像处理模块，用于利用所述匹对模块匹对出的所述匹对的字典基对所述待编码视频 图像上对应的图像块进行图像细节信息恢复及图像放大处理。
9. 一种基于图像超分辨率的视频解码装置，其特征在于，包括： 解码单元，用于对获取的图像编码流信号进行解码得到预测残差块； 超分辨率插值处理单元，用于利用预训练的纹理字典库对待解码视频图像进行超分辨 率插值处理，得到参考图像，所述纹理字典库包括：一组或多组字典基，所述字典基为：训 练图像的高分辨率图像块以及与所述高分辨率图像块对应的低分辨率图像块组合成的映 射组，所述超分辨率插值处理包括：进行图像放大及图像的细节信息恢复； 预测单元，用于对所述待解码视频图像上的各个图像块在所述参考图像上进行运动补 偿，得到与所述各个图像块对应的预测块； 加法计算单元，用于将所述运动补偿处理单元得到的所述预测块与所述解码单元获取 得到的所述预测残差块相加得到解码后的视频图像。
10. 如权利要求9所述的基于图像超分辨率的视频解码装置，其特征在于，所述纹理字 典库中各字典基按照各训练图像的高分辨率图像块的局部特征以及与所述高分辨率图像 块对应的低分辨率图像块的局部特征进行分类，所述局部特征包括局部二值结构和锐利边 缘结构； 所述超分辨率插值处理单元包括： 提取模块，用于提取所述待解码视频图像的局部特征； 匹对模块，用于将所述提取模块提取的所述待解码视频图像中各个图像块的的局部特 征与所述纹理字典库中各个字典基的局部特征进行匹对，获取匹对的字典基； 图像处理模块，利用所述匹对模块匹对出的所述匹对的字典基对所述待解码视频图像 进行细节信息恢复及图像放大处理。
【文档编号】H04N19/53GK104244006SQ201410230514
【公开日】2014年12月24日 申请日期:2014年5月28日 优先权日:2014年5月28日
【发明者】王荣刚, 赵洋, 王振宇, 高文, 王文敏, 董胜富, 黄铁军, 马思伟 申请人:北京大学深圳研究生院