人脸图像超分辨率重建的方法和装置制造方法
【专利摘要】本发明公开了一种人脸图像超分辨率重建的方法和装置，属于图像处理领域。所述方法包括：将测试人脸图像与训练人脸图像都划分成图像块；将测试人脸图像中的图像块分为平滑块和非平滑块；对每个非平滑块再继续划分至不存在非平滑块或划分后的非平滑块满足预设条件；对训练人脸图像按照相同方式划分成子块；计算测试人脸图像中每个非平滑块对应的重建图像块；对测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将测试人脸图像中各非平滑块及各平滑块的重建图像块按照位置合成为一个人脸图像，得到测试人脸图像的超分辨率重建人脸图像。所述装置包括：划分模块、自适应模块、重建模块和合成模块。本发明提高了重建人脸图像的清晰度。
【专利说明】人脸图像超分辨率重建的方法和装置
【技术领域】
[0001]本发明涉及图像处理领域，特别涉及一种人脸图像超分辨率重建的方法和装置。【背景技术】
[0002]图像超分辨率重建(Super Resolution Reconstruction, SRR)就是利用软件的方法，将一幅或多幅低分辨率图像重建成一幅高分辨率图像的过程。图像超分辨率重建有很广泛的应用，如在视频监控、医学图像、遥感图像等领域。现实生活中通过硬件技术来提高分辨率成本较大且技术难度大，故从软件方向着手，对采集到的图像进行后处理，来提高图像分辨率有重大的意义。人脸是图像的一种特殊类型，具有高度的相似性。近年来在公共安全等领域，视频监控技术越来越普及，但是由于摄像头离人通常较远，加上监控设备本身分辨率低，拍摄到的人脸图像分辨率很低，以至于无法很好的进行人脸检测和识别，因此人脸图像超分辨率重建技术具有广泛的应用价值。
[0003]常用的图像超分辨率重建方法包括:插值的方法、基于重建的方法和基于学习的方法。人脸图像超分辨率重建主要是基于学习的方法，首先构建样本图像，然后利用该样本图像来指导重建高分辨率的图像，因此，这类方法对样本图像的质量和数量有较高的要求。
[0004]目前，有一种人脸图像超分辨率重建技术是，基于全局参数模型与局部马尔科夫随机场的非参数模型相结合的方法来学习出高分辨率人脸图像，但是，重建的人脸图像清晰度较低，效果较差。
【发明内容】
[0005]有鉴于此，本发明实施例提供了一种人脸图像超分辨率重建的方法和装置，以提高重建的人脸图像的清晰度。所述技术方案如下:
[0006]第一方面，提供了一种人脸图像超分辨率重建的方法，包括:
[0007]将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；
[0008]根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；
[0009]对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；
[0010]根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；
[0011]对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；[0012]将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。
[0013]其中，所述将测试人脸图像与训练人脸图像都划分成图像块，包括:
[0014]采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。
[0015]其中，所述根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，包括:
[0016]计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。
[0017]其中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。
[0018]其中，所述根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，包括:
[0019]利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。
[0020]第二方面，提供了一种人脸图像超分辨率重建的装置，包括:
[0021]划分模块，用于将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率；
[0022]自适应模块，用于根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；
[0023]重建模块，用于根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；
[0024]合成模块，用于将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。
[0025]其中，所述划分模块包括:
[0026]划分单元，用于采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同；所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。
[0027]其中，所述自适应模块包括:
[0028]分类单元，用于计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。
[0029]其中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。
[0030]其中，所述重建模块包括:
[0031]计算单元，用于利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。
[0032]本发明实施例提供的技术方案带来的有益效果是:通过将测试人脸图像与训练人脸图像都划分成图像块；根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像，实现了人脸图像的重建，由于基于自适应分块，既很好的保持了超分辨率重建人脸图像的全局结构，又能够很好的恢复人脸图像的细节信息，提高了重建人脸图像的清晰度，增强了重建效果。
【专利附图】
【附图说明】
[0033]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本发明实施例1提供的人脸图像超分辨率重建的方法流程图；
[0035]图2是本发明实施例2提供的人脸图像超分辨率重建的方法流程图；
[0036]图3是本发明实施例2提供的高分辨率和低分辨率的人脸图像的示意图；
[0037]图4是本发明实施例2提供的FERET人脸数据库中部分样本的示意图；
[0038]图5是本发明实施例2提供的高分辨率的训练人脸图像和低分辨率的训练人脸图像划分为图像块的示意图；
[0039]图6是本发明实施例2提供的对平滑块和非平滑块进行自适应处理的示意图；
[0040]图7是本发明实施例2提供的步骤204的流程图；
[0041]图8是本发明实施例2提供的人脸图像超分辨率重建的效果示意图；
[0042]图9是本发明实施例3提供的人脸图像超分辨率重建的装置结构图。
【具体实施方式】
[0043]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0044]实施例1
[0045]参见图1，本实施例提供了一种人脸图像超分辨率重建的方法，包括:
[0046]101:将测试人脸图像与训练人脸图像都划分成图像块，其中，该测试人脸图像的分辨率低于指定分辨率，该训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，该高分辨率的训练人脸图像的分辨率不低于该指定分辨率，该低分辨率的训练人脸图像的分辨率低于该指定分辨率；
[0047]102:根据平滑度将测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；
[0048]103:对训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；
[0049]104:根据该低分辨率的训练人脸图像中的各子块计算该测试人脸图像中对应位置的各非平滑块的权重系数，根据该权重系数和该高分辨率的训练人脸图像中对应位置的各子块得到该测试人脸图像中各非平滑块对应的重建图像块；
[0050]105:对该测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；
[0051]106:将该测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到该测试人脸图像的超分辨率重建人脸图像。
[0052]本实施例中，将测试人脸图像与训练人脸图像都划分成图像块，可以包括:
[0053]采用重叠方式分别将测试人脸图像和训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与测试人脸图像中的图像块的个数相同；
[0054]其中，该重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。
[0055]本实施例中，根据平滑度将测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，可以包括:
[0056]计算测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于该第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于该第一阈值，则确认该图像块为非平滑块。
[0057]本实施例中，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。
[0058]本实施例中，根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，包括:
[0059]利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。
[0060]本实施例中，将训练人脸图像与测试人脸图像都划分成图像块之前，还可以包括:
[0061]获取M个高分辨率的训练人脸图像，其中任一个训练人脸图像的分辨率不低于该指定分辨率，该M为正整数；[0062]将该M个高分辨率的训练人脸图像按照退化模型处理得到对应的M个低分辨率的训练人脸图像。
[0063]本实施例提供的上述方法，通过将测试人脸图像与训练人脸图像都划分成图像块；根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块；根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块；将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像，实现了人脸图像的重建，由于基于自适应分块，既很好的保持了超分辨率重建人脸图像的全局结构，又能够很好的恢复人脸图像的细节信息，提高了重建人脸图像的清晰度，增强了重建效果。
[0064]实施例2
[0065]参见图2，本实施例提供了一种人脸图像超分辨率重建的方法，包括:
[0066]201:采用重叠方式分别将测试人脸图像和训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与该测试人脸图像中的图像块的个数相同。
[0067]其中，该测试人脸图像的分辨率低于指定分辨率；上述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，该高分辨率的训练人脸图像的分辨率不低于上述指定分辨率，该低分辨率的训练人脸图像的分辨率低于上述指定分辨率。所述指定分辨率可以根据需要设置，本实施例对此不做具体限定。
[0068]例如，参见图3，其中图a为高分辨率的人脸图像，其分辨率高于指定分辨率，其中图b为低分辨率的人脸图像，其分辨率低于指定分辨率。
[0069]本实施例中，测试人脸图像为一个，可以是任一个分辨率低于指定分辨率的人脸图像。高分辨率的训练人脸图像和低分辨率的训练人脸图像通常为多个，且优选地二者的
个数相同。其中，高分辨率的训练人脸图像可以表示为h =，低分辨率的训练人脸
图像可以表示为I = (Uji1。其中，μ是高分辨率的训练人脸图像的个数，也是低分辨率的训练人脸图像的个数。
[0070]本实施例中，上述将测试人脸图像与训练人脸图像都划分成图像块之前，还可以包括:
[0071]获取M个高分辨率的训练人脸图像，其中任一个训练人脸图像的分辨率不低于该指定分辨率，该M为正整数；将该M个高分辨率的训练人脸图像按照退化模型处理得到对应的M个低分辨率的训练人脸图像。
[0072]其中，可以采用FERET (Face Recognition Technology,美国科研人脸数据库)人脸数据库来获取高分辨率的训练人脸图像。FERET人脸图像库包括了一个通用人脸库以及通用测试标准库。包含14051张具有不同表情、光照、姿态和年龄的照片，是人脸图像处理领域应用最广泛的人脸数据库之一。例如，参见图4，为FERET人脸数据库中部分样本的示意图。具体地，可以从该FERET人脸数据库中选取指定个数的人脸图像作为训练人脸图像。
[0073]本实施例中，可以根据需要来设置训练人脸图像的个数，本实施例对M的具体取值不限定，如可以在FERET人脸数据库中随机选用150张不同的80x80像素的人脸图像作为高分辨率的训练人脸图像。
[0074]所述退化模型可以采用如下公式来实现:
[0075]Y=D*H*X+n ；
[0076]其中，X表示高分辨率的训练人脸图像，Y表示低分辨率的训练人脸图像，D表示下米样，H表不模糊，η表不噪声。
[0077]例如:一个高分辨率的训练人脸图像的像素为80x80，经过倍数是2的下采样，以及大小为5X5，方差=2的高斯模糊模板进行高斯模糊，再加上零均值的高斯白噪声，得到40x40的低分辨率的训练人脸图像。
[0078]本实施例中，可以将上述M个低分辨率的训练人脸图像与M个高分辨率的训练人脸图像组成为训练人脸图像库，进行人脸图像的重建。
[0079]本实施例中，从FERET人脸数据库中选出与训练人脸图像不同的人脸图像，并把上述的退化模型作用于这些人脸图像后，得到测试人脸图像。
[0080]本实施例中，已经按照数字图像处理规范对训练人脸图像和测试人脸图像进行统一的图像配准操作，从而保证人脸图像五官比例的一致性。
[0081]本实施例中，上述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分，包括但不限于:上下相邻的两个图像块重叠，左右相邻的两个图像块重叠等等。
[0082]在划分成图像块之后，上述M个高分辨率的训练人脸图像中的第i个训练人脸图
像对应的图像块可以表示为
【权利要求】
1.一种人脸图像超分辨率重建的方法，其特征在于，所述方法包括: 将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率； 根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分； 对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块； 根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块； 对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块； 将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。
2.根据权利要求1 所述的方法，其特征在于，所述将测试人脸图像与训练人脸图像都划分成图像块，包括: 采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同； 其中，所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。
3.根据权利要求1所述的方法，其特征在于，所述根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，包括: 计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。
4.根据权利要求1所述的方法，其特征在于，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，包括: 利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。
6.一种人脸图像超分辨率重建的装置，其特征在于，所述装置包括: 划分模块，用于将测试人脸图像与训练人脸图像都划分成图像块，其中，所述测试人脸图像的分辨率低于指定分辨率，所述训练人脸图像包括高分辨率的训练人脸图像和低分辨率的训练人脸图像，所述高分辨率的训练人脸图像的分辨率不低于所述指定分辨率，所述低分辨率的训练人脸图像的分辨率低于所述指定分辨率； 自适应模块，用于根据平滑度将所述测试人脸图像中的所有图像块分为两类，平滑块和非平滑块，对每个非平滑块再继续划分，直至划分后不存在非平滑块或划分后的非平滑块满足预设条件时停止划分；对所述训练人脸图像按照与所述测试人脸图像中各块的位置进行相同的划分得到子块； 重建模块，用于根据所述低分辨率的训练人脸图像中的各子块计算所述测试人脸图像中对应位置的各非平滑块的权重系数，根据所述权重系数和所述高分辨率的训练人脸图像中对应位置的各子块得到所述测试人脸图像中各非平滑块对应的重建图像块；对所述测试人脸图像中的每个平滑块进行双三次插值得到对应的重建图像块； 合成模块，用于将所述测试人脸图像中各非平滑块的重建图像块与各平滑块的重建图像块按照位置合成为一个人脸图像，得到所述测试人脸图像的超分辨率重建人脸图像。
7.根据权利要求6所述的装置，其特征在于，所述划分模块包括: 划分单元，用于采用重叠方式分别将所述测试人脸图像和所述训练人脸图像划分成图像块，且任一个训练人脸图像中的图像块的个数与所述测试人脸图像中的图像块的个数相同； 其中，所述重叠方式是指一个人脸图像中任意两个相邻的图像块之间有重叠的部分。
8.根据权利要求6所述的装置，其特征在于，所述自适应模块包括: 分类单元，用于计算所述测试人脸图像中每个图像块的平滑度，并与预设的第一阈值进行比较，若所述平滑度小于所述第一阈值，则确定该图像块为平滑块；若所述平滑度大于等于所述第一阈值，则确认该图像块为非平滑块。
9.根据权利要 求6所述的装置，其特征在于，所述预设条件为划分后的非平滑块的尺寸小于等于预设尺寸或划分后的非平滑块的平滑度小于等于预设的第二阈值。
10.根据权利要求6所述的装置，其特征在于，所述重建模块包括: 计算单元，用于利用主元分析法将所述测试人脸图像中的非平滑块映射到所述低分辨率的训练人脸图像中对应位置的子块上，得到所述测试人脸图像中各非平滑块的权重系数。
【文档编号】G06K9/62GK103903236SQ201410084681
【公开日】2014年7月2日 申请日期:2014年3月10日 优先权日:2014年3月10日
【发明者】曹林, 刘丹, 周汐 申请人:北京信息科技大学