专利名称：一种利用时空马尔科夫随机场模型的视频超分辨方法
技术领域：
本发明涉及计算机视觉处理领域，特别涉及一种利用时空马尔科夫随机场模型的 视频超分辨方法。
背景技术：
马尔可夫随机场包含两个要素位置(site)，相空间(phase space)。当给每一个 位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。对随机场的每 个位置赋予相空间里不同的值。针对视频的超分辨率问题，现有技术中提出了一系列的算法包括采用数据库中 与输入图像具有类似低频信息的参考图像的高频信息进行超分辨率；采用高频的关键帧来 对其他帧进行超分辨率；对人脸进行分区，采用不同的运动估计算法；利用面部运动的时 域相关性来进行超分辨率；通过引入摄像机的运动来增强分辨率。但是上述现有技术中的算法存在如下问题没有同时利用时空域的相关性，只能 处理特定视频，从而不具有普遍性；设备昂贵，采集时间长，而且只能采集全新的高分辨率 视频，而无法处理已有的低分辨率的视频信息。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别提出一种简单、快速的利用 时空马尔科夫随机场模型的视频超分辨方法。为达到上述目的，本发明的实施例提出了一种利用时空马尔科夫随机场模型的视 频超分辨方法，包括如下步骤收集训练数据，根据所述训练数据构建第一马尔科夫随机场模型，学习所述第一 马尔科夫随机场模型以获取先验约束，其中，所述训练数据为高分辨率视频图像；输入测试视频，对所述测试视频进行上采样以获得测试数据，根据所述测试数据 构建第二马尔科夫随机场模型，其中，所述测试视频为低分辨率视频；以及利用学习所述第一马尔科夫随机场模型获得的先验约束对所述第二马尔科夫随 机场模型的参数进行优化，以对所述输入视频进行超分辨率运算。根据本发明实施例的利用时空马尔科夫随机场模型的视频超分辨方法，同时利用 自然场景图像的空域相关性和视频序列之间的时域相关性进行马尔科夫建模，发掘了视频 的内在属性，实现简单、数据采集容易、自动化程度高。并且，本发明实施例的视频超分辨方 法一方面可以提高普通拍摄设备拍摄视频的分辨率，提高可视觉效果；另一方面可以作为 数据预处理阶段，有效地帮助计算机视觉中的视频分析等任务。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为根据本发明实施例的利用时空马尔科夫随机场模型的视频超分辨方法的 流程图；图2为根据本发明实施例的利用时空马尔科夫随机场模型的视频超分辨方法的 实施框架图；图3为根据本发明实施例的训练数据的采集示意图；图4为根据本发明实施例的构建第一空域马尔科夫随机场模型的示意图；图fe为根据本发明实施例的构建运动区域的第一时域马尔科夫随机场模型的示 意图；图恥为根据本发明实施例的构建相对静止区域的第一时域马尔科夫随机场模型 的示意图；图6为根据本发明实施例的构建第一马尔科夫随机场模型的示意图；图7为根据本发明实施例的第一马尔科夫随机场模型的训练示意图；图8为根据本发明实施例的时空域高频分量先验统计图；图9为根据本发明实施例的学习得到的高通滤波器及其响应统计图；图10为根据本发明实施例的对输入视频进行超分辨率运算的流程图；以及图11为根据本发明实施例的对第二马尔科夫随机场模型的参数进行优化的示意 图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下面参考图1和图2描述根据本发明实施例的利用时空马尔科夫随机场模型的视 频超分辨方法。如图1所示，根据本发明实施例的利用时空马尔科夫随机场模型的视频超分辨方 法，包括如下步骤SlOl 收集训练数据，根据训练数据构建第一马尔科夫随机场模型，学习第一马尔 科夫随机场模型以获取先验约束；如图2所示，首先需要收集训练数据。其中，训练数据需要满足以下两个要求其一，控制训练数据的数据量，降低学习第一马尔科夫随机场模型的难度和代 价；其二，训练样本具有代表性，可以涵盖典型的运动场景，使得学习的第一马尔科夫 随机场模型能够具有较大的适应性。在本发明的一个实施例中，训练数据可以为高分辨率视频。如图3所示，作为训练 数据的高分辨率视频图像集可以从高清电影中截取，如DVD格式的电影，并且训练数据选 取具有典型场景配置，涵盖尽可能多的场景种类以具有普遍适用性，如兼顾室内、城市、自然风光等场景，包含近景和远景。此外，高分辨率视频图像集应减少相似场景的数据，从而 保证视频数据的差异性，减少训练过程的代价。由于高分辨率视频图像具有较大的数据量， 从而需要较大的存储空间，因此从高分辨率视频图像集中进行关键帧抽取，并对抽取后的 高分辨率图像及进行分段。从分段后的高分辨率视频图像集中选取一个图像序列的子集， 在该图像序列的子集中进行随机采样，从而获得训练数据。根据以收集的训练数据可以构建第一马尔科夫随机场模型，其中第一马尔科夫随 机场模型包括第一空域马尔科夫随机场模型和第一时域马尔科夫随机场模型。如图4所示，根据自然图像在邻域固有的相关性构建第一空域马尔科夫随机场模 型场。首先，利用图像分割算法对训练数据中的各帧图像进行过分割，得到多个不规则的邻 域以作为多个第一空域簇，从而使得每个超像素内部具有较强的相关性，而相邻超像素之 间具有较大的差异性，即利用空间邻域内像素之间的相关性来描述空域的统计属性。从而 缓解了传统马尔科夫随机场中均一分割方式邻域内部相关性的不足以及对大区域内部像 素之间相关性的破坏。在本发明的一个实施例中，将多个不规则的邻域中的每个超像素作为一个第一空 域簇。由于上述第一空域簇可以反映输入图像固有的结构信息，根据多个第一空域簇可 以构建一个具有不规则分割的第一空域马尔科夫随机场模型。根据连续运动带来的时域相关性并结合光流计算结果可以建立第一时域马尔科 夫随机场模型。由于图像帧之间的时域相关性可以归结为运动的连续性与背景的静止性两 个方面，因此分别对运动和静止分别采用不同的方式进行建模。具体而言，第一时域马尔科 夫随机场模型包括运动区域的第一时域马尔科夫随机场模型和相对静止区域的第一时域 马尔科夫随机场模型。其中，相对静止区域可以为背景区域。如图fe所示，对于构建运动区域的第一时域马尔科夫随机场模型，首先利用物体 运动固有的连续性，采用跟踪算法中的光流计算检测训练数据的视频的运动前景区域和运 动轨迹，从而获取前景区域的时域的相关性，即搜索相邻帧之间的对应关系。然后将时间域 内沿着光流方向的图像片序列作为第一运动区域簇来构建运动区域的第一时域马尔科夫 随机场模型。其中，时间域内沿着光流方向的图像片序列可以为预定时间间隔内的图像序 列的对应图像片作为一个第一运动区域簇。如图恥所示，对于构建相对静止区域的第一时域马尔科夫随机场模型，利用相邻 帧的背景区域基本不变的规律，在相对静止区域中的相邻帧之间通过图像匹配来搜索对应 区域，以该对应区域作为候选。然后根据对应区域中的图像序列的相邻帧之间的匹配结果 作为第一相对静止区域簇，以获得相邻帧之间的时域相关性，从而构建相对静止区域的第 一时域马尔科夫随机场模型。在本发明的一个实施例中，在光流计算和图像匹配中，可以按照视频本身的内容 自动进行视频分析，选取相关性强的像素生成簇，而不必显式地提取关键帧。如图6所示，利用上述得到的第一空域马尔科夫随机场模型和第一时域马尔科夫 随机场模型，利用空域和空域的相关性构建第一马尔科夫随机场模型。其中，第一马尔科夫 随机场模型为三维马尔科夫随机场模型。第一马尔科夫随机场模型同时结合空域内相邻像 素之间的相关性以及时域内运动前景的连续性和静止背景的稳定性，从而同时表征视频的
6帧内像素之间的相关性和帧间像素之间的相关性。采用高分辨率视频的训练数据通过自动学习上述得到的第一马尔科夫随机场模 型以获取先验知识作为先验约束。如图7所示，首先采用矩阵获取初始滤波器集合，其中初 始滤波器集合中包括有多个滤波器。然后对训练数据进行滤波器响应，即利用各个滤波器 对训练数据进行卷积，并将卷积后的直方图作为统计量。判断该统计量(即统计直方图) 是否符合超高斯分布。当统计量不符合超高斯分布时，改变滤波器，并对改变后的滤波器进 行初始化，然后对训练数据再次进行滤波器响应，获取新的统计量，并判断该新的统计量是 否符合超高斯分布。如此迭代直至统计量符合超高斯分布，将该统计量作为先验约束。图 8为时空域的高频分量先验统计图。在时间域和空间域进行高频滤波，然后统计其直方图。 通过对大量高分辨率视频的统计结果表明，滤波响应符合超高斯分布，从而在该分布约束 下进行超分辨率运算。如图9所示，从高分辨率视频中学习中可以得到一个3*3*3的三维滤波器。在本 发明的一个实施例中，共学习得到26个上述三维滤波器，将其响应分布作为视频超分辨率 的先验约束。S102:输入测试视频，对测试视频进行上采样以获得测试数据，根据测试数据构建 第二马尔科夫随机场模型；输入测试视频，其中测试视频可以为低分辨率视频。对上述测试视频进行上采样 操作以得到测试数据，利用测试数据构建第二马尔科夫随机场模型。其中，训练过程中的第 一马尔科夫随机场模型和测试过程中的第二马尔科夫随机场模型的构建方法相似。但是由 于训练数据和测试数据分辨率不同，所以第一马尔科夫随机场模型和第二马尔科夫随机场 模型的参数不同。具体而言，第二马尔科夫随机场模型包括第二空域马尔科夫随机场模型和第二时 域马尔科夫随机场模型。根据自然图像在邻域固有的相关性构建第二空域马尔科夫随机场模型场。首先， 利用图像分割算法对测试数据中的各帧图像进行过分割，得到多个不规则的邻域以作为多 个第二空域簇，从而使得每个超像素内部具有较强的相关性，而相邻超像素之间具有较大 的差异性，即利用空间邻域内像素之间的相关性来描述空域的统计属性。从而缓解了传统 马尔科夫随机场中均一分割方式邻域内部相关性的不足以及对大区域内部像素之间相关 性的破坏。在本发明的一个实施例中，将多个不规则的邻域中的每个超像素作为一个第二空 域簇。由于上述第二空域簇可以反映输入图像固有的结构信息，根据多个第二空域簇可 以构建一个具有不规则分割的第二空域马尔科夫随机场模型。根据连续运动带来的时域相关性并结合光流计算结果可以建立第二时域马尔科 夫随机场模型。由于图像帧之间的时域相关性可以归结为运动的连续性与背景的静止性两 个方面，因此分别对运动和静止分别采用不同的方式进行建模。具体而言，第二时域马尔科 夫随机场模型包括运动区域的第二时域马尔科夫随机场模型和相对静止区域的第二时域 马尔科夫随机场模型。其中，相对静止区域可以为背景区域。对于构建运动区域的第二时域马尔科夫随机场模型，首先利用物体运动固有的连续性，采用跟踪算法中的光流计算检测测试数据的视频的运动前景区域和运动轨迹，从而 获取前景区域的时域的相关性，即搜索相邻帧之间的对应关系。然后将时间域内沿着光流 方向的图像片序列作为第二运动区域簇来构建运动区域的第二时域马尔科夫随机场模型。 其中，时间域内沿着光流方向的图像片序列可以为预定时间间隔内的图像序列的对应图像 片作为一个第二运动区域簇。对于构建相对静止区域的第二时域马尔科夫随机场模型，利用相邻帧的背景区域 基本不变的规律，在相对静止区域中的相邻帧之间通过图像匹配来搜索对应区域，以该对 应区域作为候选。然后根据对应区域中的图像序列的相邻帧之间的匹配结果作为第二相对 静止区域簇，以获得相邻帧之间的时域相关性，从而构建相对静止区域的第二时域马尔科 夫随机场模型。在本发明的一个实施例中，在光流计算和图像匹配中，可以按照视频本身的内容 自动进行视频分析，选取相关性强的像素生成簇，而不必显式地提取关键帧。利用上述得到的第二空域马尔科夫随机场模型和第二时域马尔科夫随机场模型， 利用空域和空域的相关性构建第二马尔科夫随机场模型。其中，第二马尔科夫随机场模型 可以为三维马尔科夫随机场模型。第二马尔科夫随机场模型同时结合空域内相邻像素之间 的相关性以及时域内运动前景的连续性和静止背景的稳定性，从而同时表征视频的帧内像 素之间的相关性和帧间像素之间的相关性。S103:利用学习第一马尔科夫随机场模型获得的先验约束对第二马尔科夫随机场 模型的参数进行优化，以对输入视频进行超分辨率运算。利用步骤101中学习第一马尔科夫随机场获得的先验约束中的滤波器对第二马 尔科夫随机场模型的参数进行优化。如图10所示，输入低分辨率的视频序列，对视频训练进行上采样以获取测试数 据。利用学习第一马尔科夫随机场模型得到的滤波器对测试数据滤波器响应。如图11所 示，的滤波器包括滤波器1、滤波器2...滤波器η。通过在训练过程中，统计各个滤波器的 响应的直方图得到与各个滤波器对应的先验概率分布、先验概率分布f2...先验概率分 布fn。利用学习得到的滤波器对测试数据进行滤波器响应，即对测试数据进行卷积操作，并 统计直方图，从而获得与各个滤波器对应的响应概率分布&、响应概率分布g2...响应概率 分布&。将响应概率分布于先验概率分布进行比较，判断响应概率分布是否在预定范围内 符合先验概率分布。如果响应概率分布不符合先验概率分布，则对图像进行修正。具体而 言，沿梯度上升方向进行图像处理。对修正后的图像再次进行滤波器响应，获得新的响应概 率分布，将新的响应概率分布与先验概率分布再次比较。如此迭代直至响应概率分布在预 定范围内符合先验概率分布，则停止迭代。从而利用由训练数据得到的参数引导由测试数 据得到的参数，使得测试数据的参数更加接近训练数据上参数，即对测试数据进行超分辨 率运算，从而增强输入视频的分辨率。根据本发明实施例的利用时空马尔科夫随机场模型的视频超分辨方法，同时利用 自然场景图像的空域相关性和视频序列之间的时域相关性进行马尔科夫建模，发掘了视频 的内在属性，实现简单、数据采集容易、自动化程度高。并且，本发明实施例的视频超分辨方 法一方面可以提高普通拍摄设备拍摄视频的分辨率，提高可视觉效果；另一方面可以作为 数据预处理阶段，有效地帮助计算机视觉中的视频分析等任务。利用由训练数据得到的参数引导由测试数据得到的参数，使得测试数据的参数更加接近训练数据上参数，即对测试 数据进行超分辨率运算，从而增强输入视频的分辨率。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示 例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何 的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以 理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同限定。
权利要求
1.一种利用时空马尔科夫随机场模型的视频超分辨方法，包括如下步骤收集训练数据，根据所述训练数据构建第一马尔科夫随机场模型，学习所述第一马尔 科夫随机场模型以获取先验约束，其中，所述训练数据为高分辨率视频图像；输入测试视频，对所述测试视频进行上采样以获得测试数据，根据所述测试数据构建 第二马尔科夫随机场模型，其中，所述测试视频为低分辨率视频；以及利用学习所述第一马尔科夫随机场模型获得的先验约束对所述第二马尔科夫随机场 模型的参数进行优化，以对所述输入视频进行超分辨率运算。
2.如权利要求1所述的视频超分辨方法，其特征在于，所述收集训练数据包括如下步骤从高分辨率视频图像集中进行关键帧抽取，并对抽取后的高分辨率视频图像集进行分段；从分段后的所述高分辨率视频图像集中选取一个图像序列的子集；以及 在所述图像序列的子集中进行随机采样以获取训练数据。
3.如权利要求1所述的视频超分辨方法，其特征在于，所述根据训练数据构建第一马 尔科夫随机场模型包括如下步骤根据所述训练数据构建第一空域马尔科夫随机场模型和第一时域马尔科夫随机场模型。
4.如权利要求3所述的视频超分辨方法，其特征在于，所述根据训练数据构建第一空 域马尔科夫随机场模型包括如下步骤利用图像分割算法对所述训练数据中的每帧图像进行过分割以得到多个不规则的邻 域，其中，将所述多个不规则的邻域作为多个第一空域簇，根据所述多个第一空域簇构建所 述第一空域马尔科夫随机场模型。
5.如权利要求4所述的视频超分辨方法，其特征在于，将所述多个不规则的邻域中的 每个超像素作为一个第一空域簇。
6.如权利要求3所述的视频超分辨方法，其特征在于，所述第一时域马尔科夫随机场 模型包括运动区域的第一时域马尔科夫随机场模型和相对静止区域的第一时域马尔科夫 随机场模型，其中，所述相对静止区域为背景区域。
7.如权利要求6所述的视频超分辨方法，其特征在于，所述根据训练数据构建运动区 域的第一时域马尔科夫随机场模型包括如下步骤通过光流计算检测所述训练数据的运动前景区域和运动轨迹，将时间域沿光流方向的 图像片序列作为第一运动区域簇以构建所述运动区域的第一时域马尔科夫随机场模型。
8.如权利要求6所述的视频超分辨方法，其特征在于，所述根据训练数据构建相对静 止区域的第一时域马尔科夫随机场模型包括如下步骤将所述相对静止区域中的相邻帧之间通过图像匹配以搜索对应区域，将所述对应区域 中的图像序列的相邻帧的匹配结果作为第一相对静止区域簇以构建所述相对静止区域的 第一时域马尔科夫随机场模型。
9.如权利要求1所述的视频超分辨方法，其特征在于，所述学习第一马尔科夫随机场 模型，包括如下步骤采用随机矩阵获取初始滤波器集合；所述训练数据学习所述第一马尔科夫随机场模型，包括学习所述训练数据在所述初始 滤波器集合中的各个滤波器的统计量，当所述统计量符合超高斯分布时，将所述统计量作 为所述先验约束。
10.如权利要求1所述的视频超分辨方法，其特征在于，根据所述测试数据构建第二马 尔科夫随机场模型包括如下步骤根据所述测试数据建立第二空域马尔科夫随机场模型和第二时域马尔科夫随机场模型。
11.如权利要求10所述的视频超分辨方法，其特征在于，所述根据测试数据建立第二 空域马尔科夫随机场模型包括如下步骤利用图像分割算法对所述测试数据中的每帧图像进行过分割以得到多个不规则的邻 域，其中，将所述多个不规则的邻域作为多个第二空域簇，根据所述多个第二空域簇构建所 述第二空域马尔科夫随机场模型，其中，将所述多个不规则的邻域中的每个超像素作为一 个第二空域簇。
12.如权利要求10所述的视频超分辨方法，其特征在于，所述第二时域马尔科夫随机 场模型包括运动区域的第二时域马尔科夫随机场模型和相对静止区域的第二时域马尔科 夫随机场模型，其中，所述相对静止区域为背景区域。
13.如权利要求12所述的视频超分辨方法，其特征在于，所述根据测试数据构建运动 区域的第二时域马尔科夫随机场模型包括如下步骤通过光流计算检测所述测试数据的运动前景区域和运动轨迹，将时间域沿光流方向的 图像片序列作为第二运动区域簇以构建所述运动区域的第二时域马尔科夫随机场模型。
14.如权利要求12所述的视频超分辨方法，其特征在于，所述根据测试数据构建相对 静止区域的第二时域马尔科夫随机场模型包括如下步骤将所述相对静止区域中的相邻帧之间通过图像匹配以搜索对应区域，将所述对应区域 中的图像序列的相邻帧的匹配结果作为第二相对静止区域簇以构建所述相对静止区域的 第二时域马尔科夫随机场模型。
15.如权利要求1所述的视频超分辨方法，其特征在于，根据学习所述第一马尔科夫随 机场模型获得的先验约束中的滤波器对所述测试数据进行卷积以获得响应概率分布，调整 所述响应概率分布以符合所述先验概率分布。
全文摘要
本发明公开了一种利用时空马尔科夫随机场模型的视频超分辨方法，包括收集训练数据，根据训练数据构建第一马尔科夫随机场模型，学习第一马尔科夫随机场模型以获取先验约束；输入测试视频，对所述测试视频进行上采样以获得测试数据，根据所述测试数据构建第二马尔科夫随机场模型；以及利用学习所述第一马尔科夫随机场模型获得的先验约束对所述第二马尔科夫随机场模型的参数进行优化，以对所述输入视频进行超分辨率运算。本发明同时利用自然场景图像的空域相关性和视频序列之间的时域相关性进行马尔科夫建模，发掘了视频的内在属性，实现简单、数据采集容易、自动化程度高。
文档编号G06K9/62GK102073866SQ20101060780
公开日2011年5月25日 申请日期2010年12月27日 优先权日2010年12月27日
发明者戴琼海, 索津莉 申请人:清华大学