基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法
【专利摘要】本发明公开了一种基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法，包括：对视频序列在时空域进行运动分析，构建所述视频序列鲁棒性的光流运动估计模型，得到运动向量；根据所述运动向量，对所述视频序列进行双向时空运动补偿，得到补偿后的视频序列；采用基于Zernike不变矩的快速非局部模糊配准机制的跨尺度融合策略，对所述补偿后的视频序列进行时空超分辨率重建，得到高时空分辨率的视频序列。本发明不依赖于精确的亚像素运动估计，可适用于各种复杂的运动模式，如角度旋转和局部运动等，能为运动目标的精确识别和跟踪提供更加清晰流畅的视频信息，具有很强的实际应用价值。
【专利说明】
基于鲁棒光流和Zern i ke不变矩的视频时空超分辨率重建 方法
技术领域
[0001]本发明涉及图像/视频增强技术领域，特别是指一种基于鲁棒光流和Zernike不变 矩的视频时空超分辨率重建方法。
【背景技术】
[0002] 分辨率是空间运动图像质量的重要指标，分辨率越高，从运动图像序列中所获取 到的关于空间运动目标的细节信息就越丰富，从而更有利于对空间运动目标进行精确识别 和跟踪。由于运动或光学模糊、欠采样及噪声干扰等因素，使得运动图像序列的视觉效果较 差。
[0003] 传统的超分辨率重建方法依赖于精确的亚像素运动估计，因此仅局限于一些全局 平移等简单的运动模式。视频序列中存在着一些较为复杂的运动模式，当视频序列中存在 不同角度的旋转时，帧间的时空相似性变得十分微弱，帧间信息很难得到有效地利用，进而 影响到超分辨率重建的质量。传统的基于运动向量的帧插值技术由于不可避免的受到运动 估计误差的影响，会使得插值帧中出现视觉上的块效应或空洞效应。
[0004] 迭代反投影法、最大后验估计MAP、凸集投影法POCS等往往依赖于精确的亚像素运 动估计，仅在一些全局平移等简单的运动模式，以及单一的运动目标场景下能取得较好的 效果，无法有效处理一些复杂的运动场景，难以实现精确的运动估计，严重影响到超分辨率 重建的质量。
【发明内容】
[0005] 有鉴于此，本发明的目的在于提出一种基于鲁棒光流和Zernike不变矩的视频时 空超分辨率重建方法，不再依赖于精确的亚像素运动估计，以适应各种复杂的运动模式。
[0006] 基于上述目的本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率 重建方法，包括：
[0007] 对视频序列在时空域进行运动分析，构建所述视频序列鲁棒性的光流运动估计模 型，得到运动向量；
[0008] 根据所述运动向量，对所述视频序列进行双向时空运动补偿，得到补偿后的视频 序列；
[0009] 采用基于Zernike不变矩的快速非局部模糊配准机制的跨尺度融合策略，对所述 补偿后的视频序列进行时空超分辨率重建，得到高时空分辨率的视频序列。
[0010] 在可选的实施例中，所述对视频序列在时空域进行运动分析，构建所述视频序列 鲁棒性的光流运动估计模型，得到运动向量，包括：
[0011]计算得到亮度守恒约束和梯度守恒约束联合驱动的数据项；
[0012]在光流目标能量函数的运动平滑约束中，引入运动结构自适应策略，计算得到正 则项；
[0013]根据自适应加权中值滤波，计算得至排局部项；
[0014] 建立包含所述数据项、正则项、非局部项的光流估计模型目标能量函数，通过最小 化所述光流估计模型目标能量函数计算得到所述运动向量。
[0015] 在可选的实施例中，所述根据所述运动向量，对所述视频序列进行双向时空运动 补偿，包括：
[0016] 第η帧中，坐标为(x，y)的像素能量值的计算式为：
[0017] Ιη(χ,γ)=λιΧ In-i(x+0.5Xu,y+0.5Xv)+A2X In+i(x-〇.5Xu,y-〇.5Xv),
[0018] 其中，In(x，y)表示第η帧中，坐标为(x，y)的像素能量值，（u，v)为所述运动向量。
[0019] 在可选的实施例中，所述采用基于Zernike不变矩的快速非局部模糊配准机制的 跨尺度融合策略，对所述补偿后的视频序列进行时空超分辨率重建，得到高时空分辨率的 视频序列，包括：
[0020] 使用基于迭代曲率的插值机制对所述补偿后的视频序列进行处理，得到初始估计 序列；
[0021] 使用基于Zernike不变矩的快速非局部模糊配准机制对所述初始估计序列进行处 理，对不同时空尺度的连续视频帧进行跨尺度融合，得到融合估计序列；
[0022]使用模糊处理和迭代更新机制对所述融合估计序列进行处理，得到所述高时空分 辨率的视频序列。
[0023]从上面所述可以看出，本发明提供的基于鲁棒光流和Zernike不变矩的视频时空 超分辨率重建方法，不依赖于精确的亚像素运动估计，可适用于各种复杂的运动模式，如角 度旋转和局部运动等，且具有较好的噪声鲁棒性和旋转不变性。本发明提升了时空超分辨 率重建的整体性能，能为运动目标的精确识别和跟踪提供更加清晰流畅的视频信息，具有 很强的实际应用价值。
【附图说明】
[0024] 图1为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的实施例的流程示意图；
[0025] 图2为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的一个可选实施例的流程示意图；
[0026] 图3为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的一个可选实施例的实现流程示意图；
[0027] 图4为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的另一可选实施例的流程示意图；
[0028] 图5为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的另一可选实施例的实现流程示意图。
【具体实施方式】
[0029] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0030] 需要说明的是，本发明实施例中所有使用"第一"和"第二"的表述均是为了区分两 个相同名称非相同的实体或者非相同的参量，可见"第一" "第二"仅为了表述的方便，不应 理解为对本发明实施例的限定，后续实施例对此不再一一说明。
[0031] 为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实例对本 发明做进一步详细地说明。
[0032] 在本发明的一个方面，提供基于鲁棒光流和Zernike不变矩的视频时空超分辨率 重建方法的一个可选的实施例。
[0033] 图1为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的实施例的流程示意图。如图所示，在本实施例中，包括：
[0034] S10,对视频序列在时空域进行运动分析，构建所述视频序列鲁棒性的光流运动估 计模型，得到运动向量。
[0035] SI 1，根据所述运动向量，对所述视频序列进行双向时空运动补偿，得到补偿后的 视频序列。
[0036] S12,采用基于Zernike不变矩的快速非局部模糊配准机制的跨尺度融合策略，对 所述补偿后的视频序列进行时空超分辨率重建，得到高时空分辨率的视频序列。
[0037] 本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法，不 依赖于精确的亚像素运动估计，可适用于各种复杂的运动模式，如角度旋转和局部运动等， 且具有较好的噪声鲁棒性和旋转不变性。本发明提升了时空超分辨率重建的整体性能，能 为运动目标的精确识别和跟踪提供更加清晰流畅的视频信息，具有很强的实际应用价值。
[0038] 图2为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的一个可选实施例的流程示意图；图3为本发明提供的基于鲁棒光流和Zernike不变矩的 视频时空超分辨率重建方法的一个可选实施例的实现流程示意图。如图所示，在本发明的 一些可选的实施例中，步骤S10,对视频序列在时空域进行运动分析，构建所述视频序列鲁 棒性的光流运动估计模型，得到运动向量，具体包括：
[0039] S20,计算得到亮度守恒约束和梯度守恒约束联合驱动的数据项。
[0040] S21，在光流目标能量函数的运动平滑约束中，引入运动结构自适应策略，计算得 到正则项。
[0041 ] S22，根据自适应加权中值滤波，计算得到非局部项。
[0042] S23,建立包含所述数据项、正则项、非局部项的光流估计模型目标能量函数，通过 最小化所述光流估计模型目标能量函数计算得到所述运动向量。
[0043] 本实施例对光流运动估计模型进行了改进和优化，进一步提升模型的鲁棒性和运 动估计精度。具体表现在如下三个方面：
[0044] 为了增强模型对于光照噪声等因素的鲁棒性，本实施例对光流运动估计模型的数 据项进行优化，构建亮度守恒约束和梯度守恒约束联合驱动的数据项，计算方法如下：
[0045]
[0046] 其中参数ζ是两种约束之间的权重调节因子，I(x，y，t)表示像素点(x，y)在时间点 t的亮度值，Ix，I y，It为I(x，y，t)关于x，y，t的偏导数，（ux，vy)为光流估计获取的运动矢量。
[0047] 为保护运动间断处和边缘细节，实施例在光流目标能量函数的运动平滑约束的正 则项中，引入运动结构自适应策略，改进后的正则项定义如下：
[0048]
[0049] 其中，I Vux| +I Vvy I是传统的TV正则化操作。c〇(x，y)是保护运动细节的自适应性 权重，其计算方法如下：
[0050] ω (x,y) = exp( -1 VIi |k)
[0051 ] 根据理论计算和实验验证，当参数k取0.8时，运动估计性能最好。
[0052] 本实施例在光流目标能量方程中引入一个启发式非局部项，通过采用自适应加权 中值滤波对各层的光流运动估计结果进行优化，进一步提升方法的精度和鲁棒性。对该过 程进行数学建模，并可求解如下问题：
[0053]
[0054] 其中，ωχ,γ,^是自适应性权重因子。权重的计算由空间距离，颜色色差距离以及 闭塞状态三个因素共同确定，计算公式如下：
[0055]
[0056] 其中I(i，j)和I(i'J'）表示Lab颜色空间中的颜色向量，o(i，j)和o(i'J'）表示 闭塞变量。式中，〇1 = 7,〇2 = 7。
[0057] 通过综合考虑光流差异和像素投影差异两个因素，采用如下公式进行闭塞区域检 测，进而求解闭塞变量〇(i，j)。
[0058]
[0059]
[0060] - i^x,y
[0061] 其中N( ·)服从零均值非正态高斯先验假设，d(x，y)表示光流差异因素，e(x，y)表 示像素投影差异因素。取Gd = 0 · 3，Oe = 20。
[0062] 构建如下式所示的光流估计模型目标能量函数，并通过最小化该目标函数来获取 高精度的光流运动向量(u，v):
[0063] E(u,v) =Ed(u,v)+aEr(u,v)+PEwNL
[0064] 其中参数a和β是Ed (u，v)，Er (u，v)和Etol三项之间的权重调节因子。
[0065] 对于通过运动估计获取的光流运动向量，只对流边界区域的运动向量，在15 X 15 的非局部窗口内采用自适应加权中值滤波对其进行优化。对非运动边界区域的运动向量， 在5X5的邻域窗口内采用等值加权的中值滤波对其进行优化。对流边界区域的提取，采用 Canny边缘检测算子来获取检测到运动边界，通过采用5 X 5的掩模方法来对检测出的运动 边界进行膨胀，从而获取流边界区域。
[0066] 在本发明的一些可选的实施例中，为保证获取更好的补偿效果的同时，进一步提 升方法的时间效率，引入一种双向加权融合策略来进行时空运动补偿。具体的，步骤Sl 1，根 据所述运动向量，对所述视频序列进行双向时空运动补偿，得到补偿后的视频序列中，计算 第η帧中，坐标为(x，y)的像素能量值的计算式为：
[0067] Ιη(χ,γ)=λι XIn-I (x+0.5 X u, y+0.5 X v) +λ2 X Ιη+ι (χ-〇 .5Xu,y-〇.5Xv)
[0068] 其中，In(x，y)表示第η帧中，坐标为(x，y)的像素能量值，（u，v)为所述运动向量。
[0069] 图4为本发明提供的基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方 法的另一可选实施例的流程示意图；图5为本发明提供的基于鲁棒光流和Zernike不变矩的 视频时空超分辨率重建方法的另一可选实施例的实现流程示意图。如图所示，在本发明的 一些可选的实施例中，提出一种基于Zernike不变矩的快速非局部模糊配准机制，通过多帧 信息的跨尺度融合策略实现快速高效的时空超分辨率重建，对补偿后的视频序列进行重建 和优化，以获取高质量的补偿视频帧，进一步提升视频序列的时间分辨率。该机制实现对原 低分辨率视频序列空间分辨率的超分辨率重建，最终获取高时空分辨率的视频序列。本实 施例中，步骤S12,采用基于Zernike不变矩的快速非局部模糊配准机制的跨尺度融合策略， 对所述补偿后的视频序列进行时空超分辨率重建，得到高时空分辨率的视频序列，具体包 括：
[0070] S30,使用基于迭代曲率的插值机制对所述补偿后的视频序列进行处理，得到初始 估计序列。在本实施例中，引入一种新颖高效的基于迭代曲率的插值机制来获取运动补偿 后视频序3
〃的高分辨率初始估计，即
[0071] S31，使用基于Zernike不变矩的快速非局部模糊配准机制对所述初始估计序列进 行处理，对不同时空尺度的连续视频帧进行跨尺度融合，得到融合估计序列。在本实施例 中，在初始估计序]
S础上，采用基于Zernike不变矩的快速非局部模糊配 准机制，对不同时空尺度的连续视频帧进行跨尺度融合，实现超分辨率重建。
[0072] S32,使用模糊处理和迭代更新机制对所述融合估计序列进行处理，得到所述高时 空分辨率的视频序列。在本实施例中，采用模糊处理和迭代更新机制，对融合重建后的结果 进行进一步优化处理，提升重建质量，获取重建后的高时空分辨率的视频序列
[0073] 在本实施例的可选实施方式中，实现所述步骤S30的过程中，引入一种快速而高效 的基于迭代曲率的插值(ICBI)机制，为后续步骤的融合重建过程提供效果较好的高分辨率 初始估计。每个插值像素K2u+l，2v+l)的初始能量估计值通过如下计算方法来确定：
[0074]
[0075]
[0076]
[0077]
[0078]
[0079] 其中^(211+1，2計1)和^(211+1，2計1)分别表示八个邻域像素能量值沿两个对角线 方向的二阶导数。以上获取的粗糙估计，需要不断地进行迭代更新，以获取更高质量的插值 效果。所获取的粗糙估计值I(2u+l，2v+l)需要经过如下公式进行修正。
[0080] E(2x+1,2y+l) =aEc(2u+l, 2v+l )+0Ee(2u+l, 2v+l)+ γ Ei(2u+1,2v+l)
[0081] 其中EhEe3和Ei分别表示曲率连续能量，曲率增强能量和曲率平滑能量，参数a，β和 γ分别表示控制三个能量比例的权重调节因子。
[0082] 在本实施例的可选实施方式中，在获取初始估计序列后，继续执行步骤S31，使用 基于Zernike不变矩的快速非局部模糊配准机制对所述初始估计序列进行处理，对不同时 空尺度的连续视频帧进行跨尺度融合，得到融合估计序列。
[0083] 可选的，在提出的所述快速非局部模糊配准机制中，引入了基于区域平均能量的 自适应性区域相关性判断策略。对待重建像素(k，l)的非局部搜索区域内的所有像素（i，j) 对应的邻域区域进行相关性判断，分为相关区域和不相关区域，只选择相关的区域参与权 值计算，进一步提升方法的时间效率。在相关性判断过程中，引入自适应阈值S adap策略，若 两区域相关，则计算公式如下：
[0084]
[0085] 阈值的大
小是通过待重建像素（k，l)对应的邻域区域的平均能量来自适应 地确定的，可对区域间的相关性进行判定，自适应性阈值计算如下：
[0086]
[0087]其中，λ为控制Sadap的调节因子，λ取〇 . 08时，重建的效果最好。
[0088]构建基于Zernike不变矩特征相似性计算的权重计算公式如下：
[0089]
[0090]
[0091] 其中（k，l)表示待重建的像素点，（i，j)表示待重建像素非局部区域Nncinlcic；(k，l)R 的像素点，参数ε控制指数函数的衰减率和权值的衰减率，C(k, 1)表示归一化常数。
[0092] 当权重ω ezer[k，I，i，j，t]确定之后，待重建视频帧各像素的高分辨率估计可以通 过对其相邻连续多帧间的非局部区域内像素加权平均进行跨尺度融合而获得，假设Z = HX， H为模糊因子，则Z的高分辨率估计可以通过最小化如下能量函数来获取：
[0093]
[0094] 从而得到融合估计序歹！
〇
[0095] 在本实施例的可选实施方式中，在获取初始估计序列后，继续执行步骤S32,使用 模糊处理和迭代更新机制对所述融合估计序列进行处理，得到所述高时空分辨率的视频序 列。在本可选实施方式中，引入一种高效的自适应性正则化机制来对融合获取的重建结果 进行去模糊处理，高时空分辨率的视频序列X可以通过最小化如下目标能量函数来获取。
[0096]
[0097]其中λ是自适应正则化去模糊过程AREG(X)的权重参数。
[0098] 在另一可选的实施方式中，为了进一步提升重建质量，对重建的结果进行不断地 迭代更新和优化。每次迭代过程的结果将为下一次迭代过程提供更精确的相似度权重计 算，从而提升最终得到的视频序列的分辨率。
[0099] 所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非 旨在暗示本公开的范围（包括权利要求)被限于这些例子;在本发明的思路下，以上实施例 或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如 上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在 本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的 保护范围之内。
【主权项】
1. 一种基于鲁棒光流和Zernike不变矩的视频时空超分辨率重建方法，其特征在于，包 括： 对视频序列在时空域进行运动分析，构建所述视频序列鲁棒性的光流运动估计模型， 得到运动向量； 根据所述运动向量，对所述视频序列进行双向时空运动补偿，得到补偿后的视频序列； 采用基于Zernike不变矩的快速非局部模糊配准机制的跨尺度融合策略，对所述补偿 后的视频序列进行时空超分辨率重建，得到高时空分辨率的视频序列。2. 根据权利要求1所述的方法，其特征在于，所述对视频序列在时空域进行运动分析， 构建所述视频序列鲁棒性的光流运动估计模型，得到运动向量，包括： 计算得到亮度守恒约束和梯度守恒约束联合驱动的数据项； 在光流目标能量函数的运动平滑约束中，引入运动结构自适应策略，计算得到正则项； 根据自适应加权中值滤波，计算得到非局部项； 建立包含所述数据项、正则项、非局部项的光流估计模型目标能量函数，通过最小化所 述光流估计模型目标能量函数计算得到所述运动向量。3. 根据权利要求1所述的方法，其特征在于，所述根据所述运动向量，对所述视频序列 进行双向时空运动补偿，包括： 第η帧中，坐标为(X，y)的像素能量值的计算式为： In(x，y) = λι X In-i(x+0· 5 Xu，y+0· 5 X ν)+λ2 X Ιη+ι(χ-〇 ·5 Xu，y-〇 ·5 X v)， 其中，In(x，y)表示第η帧中，坐标为(x，y)的像素能量值，（u，v)为所述运动向量。4. 根据权利要求1所述的方法，其特征在于，所述采用基于Zernike不变矩的快速非局 部模糊配准机制的跨尺度融合策略，对所述补偿后的视频序列进行时空超分辨率重建，得 到高时空分辨率的视频序列，包括： 使用基于迭代曲率的插值机制对所述补偿后的视频序列进行处理，得到初始估计序 列； 使用基于Zernike不变矩的快速非局部模糊配准机制对所述初始估计序列进行处理， 对不同时空尺度的连续视频帧进行跨尺度融合，得到融合估计序列； 使用模糊处理和迭代更新机制对所述融合估计序列进行处理，得到所述高时空分辨率 的视频序列。
【文档编号】G06T5/00GK106056540SQ201610538641
【公开日】2016年10月26日
【申请日】2016年7月8日
【发明人】杜军平, 梁美玉, 刘红刚, 曹守鑫, 李玲慧
【申请人】北京邮电大学