专利名称：一种视频图像的超分辨率方法、装置和设备的利记博彩app
技术领域：
本发明涉及视频图像领域，特别涉及一种视频图像的超分辨率方法、装置和设备。
背景技术：
视频图像的超分辨率，是指利用低分辨率视频图像，通过相应的处理，得到高分辨率视频图像的技术。超分辨率技术应用的场景十分广泛，在高清电视、移动通信、图像和视频压缩技术、社会安全、视频监控、图形渲染、图像修复、生物认证、卫星和天文图像等领域都有着重要的应用价值和市场前景，因此对于视频图像实现超分辨率的方法也就尤为重要。目前，视频图像的超分辨率的方法主要有一种是基于插值的超分辨率方法，该方 法一般是利用低分辨率视频图像中的已知点，通过一定的函数关系插值出高分辨率视频图像中的未知点，从而得到高分辨率的视频图像；另一种是基于模糊运动估计的超分辨率方法，该方法是利用图像无论是在空间还是时间上都存在大量冗余信息，在当前帧以及当前帧的相邻帧都能找到许多相似块，根据差异给每个相似块分配权重，然后将这些相似块映射到低分辨率视频图像中的点和所分配的权重相乘累加后得到高分辨率视频图像中的点的新值。在实现本发明的过程中，发明人发现现有技术至少存在以下问题基于插值的超分辨率方法，只是基于图像像素值，对于放大倍数比较大(超过2倍)时，容易产生模糊和锯齿边缘的问题，很难达到超分辨率锐化的效果；基于模糊运动估计的超分辨率方法，将相似块映射到低分辨率视频图像中的点和权重加权累加时，需要利用高、低分辨率视频图像中点的坐标映射关系，对于非整数倍的超分辨率，低分辨率视频图像中的点不能准确映射到高分辨率视频图像中。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种视频图像的超分辨率方法和设备。所述技术方案如下一方面，提供了一种视频图像的超分辨率方法，所述方法包括对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数；当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍；对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。具体地，所述得到中间高分辨率视频图像之后，还包括
判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同；当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。具体地，所述得到所述目标高分辨率视频图像之后，还包括提取边缘信息的高分辨率视频图像；将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。具体地，所述将所述中间高分辨率视频图像作为所述目标高分辨率视频图像之 后,还包括提取边缘信息的高分辨率视频图像；将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。进一步地，所述提取边缘信息的高分辨率视频图像，具体包括提取所述原始低分辨率视频图像的边缘信息；对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。另一方面，提供了一种视频图像的超分辨率装置，所述装置包括第一处理模块，用于对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数；计算模块，用于当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍；第二处理模块，用于对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。具体地,所述装置还包括判断模块，用于判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同；确定模块，用于在所述判断模块判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。具体地,所述装置还包括提取模块，用于提取边缘信息的高分辨率视频图像；第一增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。具体地,所述装置还包括提取模块，用于提取边缘信息的高分辨率视频图像；第二增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。
进一步地，所述提取模块，具体用于提取所述原始低分辨率视频图像的边缘信息；对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。本发明实施例提供的技术方案带来的有益效果是通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 图I是本发明实施例一提供的视频图像的超分辨率方法流程图；图2是本发明实施例二提供的视频图像的超分辨率方法流程图；图3是本发明实施例三提供的视频图像的超分辨率设备结构示意图；图4是本发明实施例三提供的视频图像的超分辨率设备另一种结构示意图；图5是本发明实施例三提供的视频图像的超分辨率设备第三种结构示意图；图6是本发明实施例三提供的视频图像的超分辨率设备第四种结构示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。实施例一本发明实施例提供了一种视频图像的超分辨率方法，参见图1，该方法包括101、对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；整数倍为目标高分辨率视频图像的分辨率与原始低分辨率视频图像的分辨率之间的倍数的整数；102、当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的的分辨率的非整数倍；103、对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。具体地，得到中间高分辨率视频图像之后，还包括判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同；当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时，则将中间高分辨率视频图像作为目标高分辨率视频图像。具体地，得到目标高分辨率视频图像之后，还包括提取边缘信息的高分辨率视频图像；
将边缘信息的高分辨率视频图像通过增益控制之后，与目标高分辨率视频图像相力口，得到增强的目标高分辨率视频图像。具体地，将中间高分辨率视频图像作为目标高分辨率视频图像之后，还包括提取边缘信息的高分辨率视频图像；将边缘信息的高分辨率视频图像通过增益控制之后，与中间高分辨率视频图像相力口，得到增强的目标高分辨率视频图像。进一步地，提取边缘信息的高分辨率视频图像，具体包括提取原始低分辨率视频图像的边缘信息；
对边缘信息进行放大，得到边缘信息的高分辨率视频图像。综上所述，本发明实施例通过对原始低分辨率视频图像首先进行基于模糊运动估计的整数倍的超分辨率处理，然后再进行基于插值的非整数倍的超分辨率处理，得到目标高分辨率视频图像，既解决了一般的基于模糊运动估计的超分辨率方法对于非整数倍的超分辨率处理效果不好的问题，同时解决了基于插值的超分辨率方法的容易产生模糊和锯齿边缘的问题。实施例二本发明实施例提供了一种视频图像的超分辨率方法，参见图2，该方法包括201、获取输入的原始低分辨率视频图像，计算目标高分辨率视频图像与原始低分辨率视频图像之间的倍数，获取倍数的整数；具体地，目标高分辨率视频图像与原始低分辨率视频图像之间的倍数确定为宽、高的放大倍数均为原始低分辨率视频图像到目标高分辨率视频图像宽高所需放大倍数；而宽、高的放大倍数的整数，均为原始低分辨率视频图像到目标高分辨率视频图像宽高所需放大倍数的整数部分。例如，要将标清视频格式(720X480)超分辨率到高清视频格式(1920X1080)，由于1920/720=2. 67，1080/480=2. 25，所以宽高的放大倍数分别2. 67倍和2. 25倍，而宽高的放大倍数的整数分别为2和2。202、获取输入的原始低分辨率视频图像之后，提取原始低分辨率视频图像的边缘信息，对边缘信息进行放大，得到边缘信息的高分辨率视频图像；具体地，可以利用LOG算子提取边缘信息，对提取的原始低分辨率视频图像的边缘信息进行放大可以采用双立方差值以及多相位插值的方法，也可以采用其他任一放大方法，最后得到的边缘信息的高分辨率视频图像的分辨率与目标高分辨率视频图像相同；需要说明的是，由于该步骤在获取输入的原始低分辨率视频图像后进行，并且是单独的执行步骤，所以该步骤可以在步骤201的计算目标高分辨率视频图像与原始低分辨率视频图像之间的倍数之前进行，也可以在步骤207之前的任一步骤之后进行，本发明实施例不做限制。203、对原始低分辨率视频图像进行基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；中间高分辨率视频图像的分辨率是原始低分辨率视频图像的分辨率的整数倍；整数倍为目标高分辨率视频图像的分辨率与原始低分辨率视频图像的分辨率之间的倍数的整数；具体地，在某个时刻的当前帧图像中的某一个参考块，在当前帧以及当前帧的相邻帧都能找到许多和参考块相似的图像块，找到这些相似块后，根据它们与参考块的相似程度给每个相似块分配一个权重，然后将这些相似块和权重加权后取代当前参考块，模糊运动估计相当于将找到的所有相似块都参与运算，而精确运动估计是是要找出最准确的块。具体地，首先对输入的原始低分辨率视频图像通过一般的插值放大整数倍得到初始的闻分辨率视频图像；然后，在初始的闻分辨率视频图像对于当如目标点，选取一个目标区域(通常选取一个矩形区域)和限定一个搜索区域，然后在搜索区域中选取至少一个比较区域；再次，将目标区域和比较区域比较，得到它们的差别(也可以是欧式距离)，并根据得到的差别依据一定的关系給各个比较区域赋予一个权重；最后，将各个比较区域的权重与比较区域映射到原始低分辨率视频图像中的点相乘累加归一化，得到中间高分辨率视频图像中当前点的新值。
本发明实施例可以具体采用模糊运动估计中的基于NLM (Non-local Means,非局部均值)的超分辨率方法对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分
辨率处理NLM的原理是基于图像中存在大量冗余，即图像内容在它的邻域内会有许多相同以及相似的内容。因此，NLM方法根据邻域内的点与当前待处理的点的相似性给邻域内的点安排权重，然后将这些点加权平均后来代替当前待处理的点的值，它的数学描述如下式
Α Σ,·, ncV(k η 'h ill仏 j]X[k, I] =__■■■■■■■■ ■■■■■■:■■■■■■■■■i■■■■■■■■■■■■■■■■
Σα^α,ηΗ Α^·/]其中，N(k，I)代表当前像素点(k，I)的邻域，w[k，I, i, j]是邻域内(i，j)像素点想对于当前像素点(k, I)的权重，输入像素点为y[k, I],输出像素点为X[k, I]。其中权重w的计算是以两个块之间的欧氏距离(Euclidean distance)来分配权重的，具体方法如下式
ΛΛ= exp{-llRL·,y~Ruyr2}
2δ^式中，凡yj；表示输入图像中以像素点[k，I]为中心的一个图像块，兄彳表示以输
入图像中[k，I]点的邻域内的点[i，j]为中心的一个图像块，IHj;-凡、,_V Il纟表示这两个块之间的欧氏距离，δ是一个控制参数。基于NLM的超分辨率方法计算差别时利用上式中两个块之间的欧氏距离。204、判断中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同；具体地，判断步骤203中得到的视频图像的分辨率与目标高分辨率视频图像的分辨率是否相同，例如，要将标清视频格式(720X480)超分辨率到高清视频格式(1920X1080)，步骤203中放大整数倍分别为2倍、2倍，这样得到的图像大小为1440X960，它与目标高分辨率视频图像大小1920X1080不相同，就需要执行步骤205 ；当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率相同时，则将中间高分辨率视频图像作为目标高分辨率视频图像；假如上例中最终需要得到的目标高分辨率视频图像大小为1440X960，那么步骤203中得到的视频图像的分辨率和目标高分辨率视频图像的分辨率相同，就不需要执行步骤205。
205、当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的的分辨率的非整数倍；具体地，当目标高分辨率视频图像的分辨率与中间高分辨率视频图像的分辨率不同时，将计算目标高分辨率视频图像与步骤203得到的中间高分辨率视频图像之间的非整数倍,此处放大倍数小于2 ;例如,将标清视频格式(720X480)超分辨率到高清视频格式(1920X1080)，由于在步骤203中已经将原始带分辨率的图像(720X480)放大2倍后，得到1440X960的中间高分辨率视频图像，再将1440X960的中间高分辨率视频图像放大到1920X1080的目标高分辨率视频图像，此时由1440X960到1920X1080的放大倍数分别为宽 1920/1440=1. 33 倍，高 1080/960=1. 125 倍。206、对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。具体地，基于插值的超分辨率方法是目前超分辨率研究中最直观的方法，这类方 法一般是利用低分辨率视频图像中的已知点，通过一定的函数关系插值出高分辨率视频图像中的未知点。图像插值的一般数学表达式如下式所示，其中g(i，j)为缩放图像中待插值点的像素值，f(k, I)为原始图像中坐标(k，I)处的像素值，h(i-k，j-1)为插值基函数。
权利要求
1.一种视频图像的超分辨率方法，其特征在于，所述方法包括 对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数； 当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍； 对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。
2.根据权利要求I所述的方法，其特征在于，所述得到中间高分辨率视频图像之后，还包括 判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同； 当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。
3.根据权利要求I所述的方法，其特征在于，所述得到所述目标高分辨率视频图像之后,还包括 提取边缘信息的高分辨率视频图像； 将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。
4.根据权利要求2所述的方法，其特征在于，所述将所述中间高分辨率视频图像作为所述目标高分辨率视频图像之后，还包括 提取边缘信息的高分辨率视频图像； 将所述边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。
5.根据权利要求3或4所述的方法，其特征在于，所述提取边缘信息的高分辨率视频图像，具体包括 提取所述原始低分辨率视频图像的边缘信息； 对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。
6.一种视频图像的超分辨率装置，其特征在于，所述装置包括 第一处理模块，用于对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；所述整数倍为目标高分辨率视频图像的分辨率与所述原始低分辨率视频图像的分辨率之间的倍数的整数； 计算模块，用于当所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率不同时，计算所述目标高分辨率视频图像与所述中间高分辨率视频图像之间的的分辨率的非整数倍； 第二处理模块，用于对所述中间高分辨率视频图像进行所述非整数倍的基于插值的超分辨率处理，得到所述目标高分辨率视频图像。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括判断模块，用于判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率是否相同； 确定模块，用于在所述判断模块判断所述中间高分辨率视频图像的分辨率与所述目标高分辨率视频图像的分辨率相同时，则将所述中间高分辨率视频图像作为所述目标高分辨率视频图像。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括 提取模块，用于提取边缘信息的高分辨率视频图像； 第一增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述目标高分辨率视频图像相加，得到增强的目标高分辨率视频图像。
9.根据权利要求7所述的装置，其特征在于，所述装置还包括 提取模块，用于提取边缘信息的高分辨率视频图像； 第二增强模块，用于将所述提取模块提取的边缘信息的高分辨率视频图像通过增益控制之后，与所述中间高分辨率视频图像相加，得到增强的目标高分辨率视频图像。
10.根据权利要求8或9所述的装置，其特征在于，所述提取模块，具体用于提取所述原始低分辨率视频图像的边缘信息；对所述边缘信息进行放大，得到所述边缘信息的高分辨率视频图像。
全文摘要
本发明公开了一种视频图像的超分辨率方法和设备，属于视频图像领域。方法包括对原始低分辨率视频图像进行整数倍的基于模糊运动估计的超分辨率处理，得到中间高分辨率视频图像；当中间高分辨率视频图像的分辨率与目标高分辨率视频图像的分辨率不同时，计算目标高分辨率视频图像与中间高分辨率视频图像之间的分辨率的非整数倍；对中间高分辨率视频图像进行非整数倍的基于插值的超分辨率处理，得到目标高分辨率视频图像。本发明通过对原始低分辨率视频图像分别进行基于模糊运动估计和基于插值的超分辨率处理，解决了非整数倍的超分辨率处理效果不好和容易产生模糊和锯齿边缘的问题。
文档编号H04N7/01GK102881000SQ201210330199
公开日2013年1月16日 申请日期2012年9月7日 优先权日2012年9月7日
发明者郑成林, 陈海 申请人:华为技术有限公司