一种视频图像实时共享播放的超分辨率重构方法和系统的利记博彩app
【专利摘要】本发明提供一种视频图像实时共享播放的超分辨率重构方法和系统，方法包括构造参考帧图像、运动估计以及参考帧修正，所述参考帧图像构造时，对于非边缘像素点采用双线性插值或双三次插值，对于边缘像素点采用小波插值，由于双线性插值和双三次插值相当于低通滤波器，会使高频信息丢失，使边缘和纹理等细节变得模糊，而小波插值可以很好的保持边缘信息，采用这种方式获得的参考帧图像改善了边缘模糊的现象，提高了超分辨率图像重建结果图像的峰值信噪比，明显改善了图像的边缘效果，从而改善了最终重构的高分辨率图像的质量，解决了现有技术中参考帧图像边缘模糊的技术问题。
【专利说明】一种视频图像实时共享播放的超分辨率重构方法和系统
【技术领域】
[0001] 本发明涉及一种视频图像重构方法，具体地说是一种视频图像实时共享播放的超 分辨率重构方法和系统。
【背景技术】
[0002] 在视频显示技术中，随着分辨率和显示尺寸的不断快速膨胀，1080P显示早已进入 人们的日常生活。对于高清视频信号或更高分辨率的视频信号的需求也已经成为一种必不 可少的基本指标。然而，在像素级高清或更高分辨率的实时视频传输信号处理过程中，最大 的难题就在于如何获得高分辨率且细节丰富的视频信息。对于目前常用的网络带宽而言， 通用的10/100兆有线网络和150兆无线网络都无法胜任此项工作。
[0003] 通过实际研究与国内外产品对比发现，可行的解决途径一般有两种：一个途径就 是改变成像系统的内在分辨率，来适应高速的实时视频传输；另一个途径就是通过计算机 软件处理的方式提高图像分辨率，从而满足人们对高质量高清晰度的图像需求。对于前者 而言，更换网络基础设施对原有设备的利用和其他基础设施的改造提出了巨大的挑战，其 实际投资与费用均未必能满足实际工程需求；对于后者而言，需要解决如何通过软件处理 实现图像的高分辨率，在不改变成像系统内在分辨率限制的情况下，实现视频图像的实时 传输。
[0004] 针对网络化实时视频传输与显示技术来说，涉及到的主要算法分为两类：一类是 视频信号的压缩技术，另一类是视频图像的重构技术。
[0005] 在视频信号的压缩技术方面，为保证视频信号能够远距离传输，国内外大多数知 名产品均采用标准的视频压缩编码技术，如较常用的有H. 264/AVC编码、JPEG2000编码等 形式。究其原因主要是这些视频编译码技术在计算机应用中十分常见且易用，很多硬件制 造商和芯片生产企业也为此做了大量的努力，其成型产品或芯片种类丰富，使用方便。在国 内的视频监控领域中，H.264/AVC编码基本作为主要的手段被应用于各类相关产品中。但 由于其产品的大部分核心技术由少数国外企业所掌控，很难根据自身的实际情况来制定符 合实际工程需要的特定产品。另一方面，这些专用视频处理芯片和产品均属于固定配置，灵 活性较差。
[0006] 超分辨率重构技术是以增加译码端的计算复杂度来有效地降低编码采集端的计 算量的方法。中国专利文献CN1863272A中公开了一种视频图像超分辨率重构方法，该方法 包括以下步骤：步骤1，构造参考帧，作为超分辨率图像的预估计值；步骤2,通过运动估计 方法，将观察帧中至少一个像素点投影到参考帧；步骤3,根据投影像素点在参考帧中的位 置选择适当的修复函数计算投影像素点的灰度估计值；步骤4,当投影像素点的灰度估计 值与观察帧中对应像素点的实际灰度值的差异大于对当前观察帧所确定的阈值时，对参考 帧进行图像修复。通过该方法，可以减少边缘震荡效应，提高重构图像的精度。但是，在该 方案中，构造参考帧采用在视频序列中取出一帧进行灰度级插值，以达到要求的分别率。但 是，由于在视频序列中存在边缘图像和非边缘图像，所以，进行灰度级插值一般采用线性插 值方法。由于线性插值方法相当于低通滤波器，会使边缘和纹理等细节变得模糊，导致高分 别率重构后的图像质量差。此外，还由于现有的运动估计方法多数是基于误差单调分布的 假设，即确立一个搜索方向，搜索步长从大到小，而对其他方向的搜索不予考虑，从而降低 了搜索精度，因此运动估计的准确性较差。
【发明内容】
[0007] 本发明的目的是针对现有技术中存在超分辨率重构过程中参考帧的边缘和纹理 模糊、运动估计准确性差的问题，提供一种更高效、更准确的视频图像超分辨率重构方法和 系统。
[0008] 为解决上述存在的技术问题实现发明目的，本发明的目的之一是通过以下技术方 案实现的：
[0009] -种视频图像实时共享播放的超分辨率重构方法，其内容包括如下步骤：
[0010] (1)将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中 选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于 边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像，即 高分辨率图像的初始估计图像；
[0011] (2)通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上；
[0012] (3)对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计 算该像素点的灰度估计值，与观察图像中该像素点的实际值进行比较，超出误差则进行修 正，如此循环进行修正，当达到一定的循环次数或误差值已经收敛在预设的范围内时结束 修正；对选取的多幅观察图像中的每个像素点采用步骤（3)所述方法对参考帧图像进行修 正处理后结束修正，最终得到的修正后的参考帧图像即为高分辨率结果图像。在步骤（1) 中，所述将接收到的视频图像转换成低分辨率图像序列，其转换过程是：将从编码端得到的 压缩后的视频图像，通过超分辨率图像降质模型处理，得到低分辨率图像序列。
[0013] 在步骤（2)中，所述运动估计的方法是采用三步搜索法，其过程包括如下步骤：
[0014] ①选取一定步长，选取原点作为中心点；
[0015] ②以所述中心点为正方形的中心构建正方形，所述正方形的中心到所述正方形边 的距离为所述步长，选择所述正方形的四个顶点以及四条边的中点，分别进行误差计算并 比较，得到最小误差点；
[0016] ③判断所述步长是否大于最小步长阈值，如果是，则以步骤②中所述最小误差点 为中心点，将步骤①中所述步长减半，然后重复进行步骤②；否则以步骤②的最小误差点所 在的位置为最佳运动矢量，退出搜索。
[0017] 在步骤（3)中，所述找出参考帧图像中观察图像投影的像素点并计算该像素点的 灰度估计值，其过程是：在参考帧图像中找出观察图像投影的像素点的点扩散函数范围内 的像素，再由点扩散函数计算出这个像素点的灰度估计值。
[0018] 更进一步，在所述的视频图像超分辨率重构方法步骤（1)、（2)和（3)之后，还包括 时间超分辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧。
[0019] 所述时间超分辨率重构是通过重采样滤波器来实现。
[0020] 本发明的另一目的是提供一种视频图像实时共享播放的超分辨率重构系统，包括 空间超分辨率重构模块和时间超分辨率重构模块；所述的空间超分辨率重构模块包括：
[0021] 参考帧构建单元，将接收到的视频图像转换成低分辨率图像序列，从所述低分辨 率图像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双 三次插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的 参考巾贞图像；
[0022] 运动估计单元，通过运动估计的方法将观察图像的像素点投影到所述参考帧图像 上；
[0023] 修正单元，对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素 点并计算该像素点的灰度估计值，与观察图像中的该像素点的实际值进行比较，超出误差 则进行修正；对所有观察图像中的每个像素点进行循环修正处理后结束修正；
[0024] 所述的时间超分辨率重构模块是将空间超分辨率重构模块处理后的视频图像的 各帧中间插入新的过渡帧进行时间超分辨率重构。
[0025] 本发明的上述技术方案相比现有技术具有以下优点：
[0026] (1)本发明所述的视频图像实时共享播放的超分辨率重构方法，包括构造参考帧 图像、运动估计以及参考帧修正，所述参考帧图像构造时，对于非边缘像素点采用双线性插 值或双三次插值，对于边缘像素点采用小波插值，由于双线性插值和双三次插值相当于低 通滤波器，会使高频信息丢失，使边缘和纹理等细节变得模糊，而小波插值可以很好的保持 边缘信息，采用这种方式获得的参考帧图像改善了边缘模糊的现象，提高了超分辨率图像 重建结果图像的峰值信噪比，明显改善了图像的边缘效果，从而改善了最终重构的高分辨 率图像的质量，解决了现有技术中参考帧图像边缘模糊的技术问题。此外，本发明的方案可 以提高实时传输中的图像分辨率，采用计算机显卡信号为主要传输的视频信号信源，提供 了一种能够适应当前百兆以太网和IEEE802. 11η带宽的要求和利用现有网络基础设施，在 不改变网络布局布线及路由交换设备等任何现有的网络基础的条件下，同时无需复杂的编 译码算法和设备，可适用于平板电脑，笔记本电脑，台式电脑，智能手机等装置的超分辨率 重建技术。
[0027] (2)本发明所述的视频图像实时共享播放的超分辨率重构方法，运动估计采用三 步搜索法进行估计，该方法采用由粗到细的搜索策略，进行匹配计算，跟踪最小无差点，该 方法可以达到减小计算量的目的，且避免了现有技术中只确立一个搜索方向，其他方向的 搜索不予考虑造成的精度低的问题，本发明的三步搜索法通过由粗到细的方式对周围的多 个点进行了根据搜索，提高了搜索精度。
[0028] (3)本发明所述的视频图像实时共享播放的超分辨率重构方法，还包括时间超分 辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧，通过平滑地在已经接收 到的视频图像各帧中间插入若干新的过渡帧，达到提高视频播放效率的效果，利用视频序 列中的相邻图像间具有较强的相关性，通过插入过渡帧的方法不仅能够减少达到最佳重构 图像所需的时间，而且可以明显的改善了重构图像的质量。
[0029] (4)本发明所述的视频图像实时共享播放的超分辨率重构方法，通过重采样滤波 器来对视频图像进行时间上的重构，可以有效的估计出视频传输中丢失的视频帧图像，有 效的提高了视频图像的时间分辨率。
[0030] (5)本发明所述的视频图像实时共享播放的超分辨率重构方法，通过点扩散函数 来计算投影的像素点的灰度估计值，由于绝大多数的成像系统并不是理想的光学系统，图 像在经过摄像头的时候总有一定的退化，会产生一些模糊，通过点扩散函数来更好的还原 投影的像素点，该方法可以作为一个视频图像实时共享与播放的系统使用，该系统得到的 视频图像细节清晰，不会产生图像丢帧现象，且计算复杂度低，利于实时应用。
【专利附图】
【附图说明】
[0031] 图1是一种视频图像实时共享播放的超分辨率重构方法的流程图；
[0032] 图2是一种视频图像实时共享播放的超分辨率重构方法中构造参考帧的插值流 程图；
[0033] 图3是双线性插值的原理图；
[0034] 图4是三步搜索法的搜索示意图；
[0035] 图5是视频图像实时共享与播放系统框图。
【具体实施方式】
[0036] 为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合 附图，对本发明作进一步详细的说明，下面给出本发明的具体的实施方式。
[0037] 实施例1 :
[0038] 本实施例中提供一种视频图像实时共享播放的超分辨率重构方法，当视频图像经 过网络传输后，在接收端通过超分辨率重构的方式，重新生成视频图像，通过增加译码端的 计算复杂度来有效地降低编码采集端的计算量，提供视频图像的分辨率尺寸和播放速率。
[0039] 本实施例中的基于视频图像实时共享与播放的超分辨率重构方法，其流程图如图 1所示，该方法内容包括：
[0040] (1)首先，将接收到的视频图像转换成低分辨率图像序列。在对译码端得到的小分 辨率视频图像进行重构的过程中，首先建立超分辨率复原的退化降质模型，通过软件的方 法生成低分辨率图像观测序列。
[0041] 然后，从所述低分辨率图像序列中选择一幅图像，来构建参考帧图像。视频图像重 构采用凸集投影的方式，实现凸集投影的第一步就是根据视频图像序列构造参考帧，也就 是预估的超分辨率图像，从理论上来说，整个成像空间图像集合的任一点开始，在经过向所 有约束集投影的过程后，都可以找到它在交集上的投影，也就是以任意的图像作为参考帧 开始重构，最后都能得出可以接受的重构结果，而实际上，初值估计对于算法是否可行的影 响是比较大的，实际上通常为了加快收敛速度，减少重复修正需要的次数，降低算法的计算 量和消耗的时间，构造的参考帧与最后的重构结果越相似越好。
[0042] 当选定一幅最相近的图像后，需要对该图像进行插值处理，对于非边缘像素点采 用双线性插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重 建的参考帧图像，插值流程图如图2所示。
[0043] 双线性插值和小波插值是两种常用的插值算法。
[0044] 双线性插值是利用了需要处理的原始图像像素点周围的四个像素点的相关性，通 过双线性算法计算得出的。双线性插值的原理图如图3所示。对于一个目的坐标，通过向 后映射法得到其在原始图像的对应的浮点坐标（i+u，j+v)，其中i，j均为非负整数，u，v为
[0, 1]区间的浮点数，则这个像素的值f(i+u，j+v)可由原图像中坐标为（i，j)、（i+1，j)、 (i，j+1)、（i+1，j+1)所对应的周围四个像素的值决定，即：
[0045] f (i+u, j+v) = (1-u) X (1-v) Xf (i, j) + (l~u) XVXf (i, j+l)+uX (l~v) Xf (i+1, j)+uXvXf(i+l，j+1)，其中f(i，j)表示源图像（i，j)处的像素值，以此类推，这就是双线 性内插值法。
[0046] 如图3所示，已知（0,0)、（0，1)、（1，0)、（1，1)四点的灰度，可以由相邻像素的灰度 值f(0,0)和f(l，0)在X方向上线性插值求出（x，0)的灰度f(x，0)，由另外两个相邻像素 f(0，l)和f(l，l)在X方向上线性插值可求出（x，l)的灰度f(x，l)，最后由f(x，0)，f(x， 1)在Y方向上进行线性插值就可以得到（X，y)的灰度f (X，y)。
[0047] 在同一行内根据待插值像素点与其前后的原图像像素点的位置距离进行加权线 性插值，即离原图像像素点越近的待插值像素点，原图像像素的加权系数就越大；行间根 据待插值行与其上下的原图像行间的距离进行加权线性插值，即离原图像行越近的待插值 行，原图像行的加权系数就越大。
[0048] 作为可以替换的实施方式，双线性插值算法也可以被替换为双三次插值算法。双 三次插值又称立方卷积插值，该算法利用待采样点周围16个点的灰度值作三次插值，不仅 考虑到4个直接相邻点的灰度影响，而且考虑到各邻点间灰度值变换率的影响，三次插值 可以得到更接近高分辨率图像的放大效果。双三次插值通过下式进行计算：
[0049] a(l(l+a1(lx+a(lly+a2(lx 2+a11xy+a(l2y2+a 21x2y+a12xy2+a 22x2y2a3(lx3+a (l3y3+a31x3y+a13xy 3+a32x3y2+ 2 3, 3 3 a23x y +a33x y
[0050] 或者用一种更加紧凑的形式，
[0051]
【权利要求】
1. 一种视频图像实时共享播放的超分辨率重构方法，其特征在于：该方法内容包括如 下步骤： (1) 将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图像序列中选择 一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次插值，对于边缘 像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考帧图像； (2) 通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上； (3) 对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并计算该 像素点的灰度估计值，与观察图像中该像素点的实际值进行比较，超出误差则进行修正，如 此循环进行修正，当达到一定的循环次数或误差值已经收敛在预设的范围内时结束修正； 对所有观察图像中的每个像素点进行修正处理后结束修正； (4) 采用时间超分辨率重构步骤，在处理后的视频图像的各帧中间插入新的过渡帧。
2. 根据权利要求1所述的一种视频图像实时共享播放的超分辨率重构方法，其特征在 于：在步骤（1)中，所述将接收到的视频图像转换成低分辨率图像序列，其转换过程是：将 从编码端得到的压缩后的视频图像，通过超分辨率图像降质模型处理，得到低分辨率图像 序列。
3. 根据权利要求1所述的一种视频图像实时共享播放的超分辨率重构方法，其特征在 于：在步骤（2)中，所述运动估计的方法是采用三步搜索法，其过程包括如下步骤： ① 选取一定步长，选取原点作为中心点； ② 以所述中心点为正方形的中心构建正方形，所述正方形的中心到所述正方形边的距 离为所述步长，选择所述正方形的四个顶点以及四条边的中点，分别进行误差计算并比较， 得到最小误差点； ③ 判断所述步长是否大于最小步长阈值，如果是，则以步骤②中所述最小误差点为中 心点，将步骤①中所述步长减半，然后重复进行步骤②；否则以步骤②的最小误差点所在的 位置为最佳运动矢量，退出搜索。
4. 根据权利要求1所述的一种视频图像实时共享播放的超分辨率重构方法，其特征在 于：在步骤（3)中，所述找出参考帧图像中观察图像投影的像素点并计算该像素点的灰度 估计值，其过程是：在参考帧图像中找出观察图像投影的像素点的点扩散函数范围内的像 素值，再由点扩散函数计算出这个像素点的灰度估计值。
5. 根据权利要求1或2或3所述的视频图像实时共享播放的超分辨率重构方法，其特 征在于，在上述步骤之后，还包括时间超分辨率重构步骤，在处理后的视频图像的各帧中间 插入新的过渡帧。
6. 根据权利要求5所述的视频图像实时共享播放的超分辨率重构方法，其特征在于， 所述时间超分辨率重构通过重采样滤波器来实现。
7. -种视频图像实时共享播放的超分辨率重构系统，其特征在于：它包括空间超分辨 率重构模块和时间超分辨率重构模块；所述的空间超分辨率重构模块包括： 参考帧构建单元，将接收到的视频图像转换成低分辨率图像序列，从所述低分辨率图 像序列中选择一幅图像，对该图像进行插值，对于非边缘像素点采用双线性插值或双三次 插值，对于边缘像素点采用小波插值，将通过插值后得到的图像作为超分辨率重建的参考 帧图像； 运动估计单元，通过运动估计的方法将观察图像的像素点投影到所述参考帧图像上； 修正单元，对所述参考帧图像进行修正，找出参考帧图像中观察图像投影的像素点并 计算该像素点的灰度估计值，与观察图像中的该像素点的实际值进行比较，超出误差则进 行修正；对所有观察图像中的每个像素点进行循环修正处理后结束修正； 所述的时间超分辨率重构模块将空间超分辨率重构模块处理后的视频图像的各帧中 间插入新的过渡帧进行时间超分辨率重构。
【文档编号】H04N19/51GK104159119SQ201410320064
【公开日】2014年11月19日 申请日期:2014年7月7日 优先权日:2014年7月7日
【发明者】杨大伟, 张汝波, 刘冠群, 毛琳, 吴俊伟 申请人:大连民族学院