一种基于人脸图像聚类和识别技术的图像快速查找和自助打印方法
【专利摘要】本发明公开了一种基于人脸图像聚类和识别技术的图像快速查找与自助打印方法。该方法利用人脸图像聚类分析和人脸识别技术，自动查找、播放与现场注视者相关的图像，并能提供自助打印图像的功能，主要包括：离线人脸图像聚类；在线人脸检索；图像显示和自助打印。其中，离线图像聚类主要为对拍摄的图像按时间与人脸相似度进行二次聚类；在线人脸检索采用金字塔多层人脸检索方案；图像显示与自助打印包括现场人员相关图像显示与智能播放，自助付款和打印功能。本发明解决了人工查找和打印客户心仪图像速度慢、成本高、效率低的难题，可以广泛应用于漂流、过山车，划雪、帆船等游乐场客户无法拍照场合的人脸图像检索与自助打印。
【专利说明】
一种基于人脸图像聚类和识别技术的图像快速查找和自助打 印方法
技术领域
[0001] 本发明涉及图像处理、模式识别以及计算机视觉技术领域，特别涉及一种基于人 脸图像聚类和识别技术的图像快速查找和自助打印方法。
【背景技术】
[0002] 随着人们物质生活条件的提高，交通的日益便利，户外游玩活动越来越多。在享受 了户外游玩的乐趣之后，人们往往希望把途中的精彩瞬间记录下来，以作纪念、发朋友圈和 回忆。但是在漂流、激流勇进、矿山车、海盗船、太空飞梭漂流、过山车、缆车索道等项目途 中，游玩者自身无法使用照相设备进行拍摄，所以现在的娱乐场所需要提供一项服务，即在 不同景点都会有摄像师对游玩的游客进行抓拍，把他们在游玩过程中的各种状态记录下 来，然后汇总到电脑，游客到达目的地后，可以在电脑上去选取自己所需的照片。这是一个 很好的提议和商机，但是实现起来比较困难。因为被摄对象的不固定以及照片数量的巨大， 导致人工选取照片的难度很大，效率也很低。所以需要一个对海量照片进行智能分选、显示 和打印的软件系统去取代人工选取、显示和打印以提高效率和节省人力。
[0003] 为了实现海量游玩图像的智能检索与自助打印，本发明以人脸为关注对象，提出 一种基于人脸图像聚类和人脸识别的海量图像快速查找和自助打印方法。本发明不但可以 应用于景区的游乐项目中，还可以应用于其它（如网络相册)人脸图像的自动组织、管理和 检索。
【发明内容】
[0004] 本发明的目的在于解决娱乐场所拍摄的海量游玩图像检索、智能显示和自助打印 问题，以便释放人工劳动力，体现智能化、人性化和高效化理念。
[0005] 本发明的目的通过下述技术方案实现：
[0006] -种基于聚类分析与人脸识别技术的图像快速查找与自助打印方法，包括下列步 骤：
[0007] S1、离线人脸图像聚类步骤。首先，对摄影师或电子拍摄仪拍摄的大量图像进行尺 度与光照归一化处理;其次，采用人脸检测技术检测图像中人脸;然后，根据拍摄时间与人 脸相似度进行图像的二次聚类分析建立人脸聚类库;最后，建立人脸图像、类聚图像和原始 图像之间的索引关系表。
[0008] 优选的，在进行聚类分析之前，对检测到的人脸进行人脸图像质量评判，挑选出姿 态正面、光照均匀、分辨率较高的无遮挡人脸。在聚类之后，采用类内相似度最小原则选出 最能代表本类的X幅人脸图像存入聚类人脸库。
[0009] S2、在线人脸检索步骤。首先，对现场注视者进行人脸检测和特征提取操作提取现 场人脸描述特征;然后，采用金字塔多层人脸检索方案对现场人脸进行检索，从聚类人脸库 中找出最相似的前几名聚类类别。
[0010]优选的，人脸特征提取算法采用目前主流的深度学习方法或是Gabor特征或是局 部二元模式特征(LBP)，每种特征都有其各自的特点，具体采用哪种根据实际的速度与精度 要求而定。
[0011]优选的，人脸检索过程中，根据游乐场所图像检索的特点设计金字塔多层人脸检 索方案。由于K近邻聚类方法具有操作简单、速度快等优点和精度不高的缺点。因此，第一层 检索采用经典的距离相似度+K近邻的聚类方法快速找出最相似的一半聚类类别。由于基于 稀疏表示的分类方法(SRC)具有很强的分类鉴别能力，同时对人脸部分遮挡和噪声具有很 好的鲁棒性。因此，第二层检索在第一层检索的基础上采用SRC进一步检索找出最相似的前 4个聚类类别。由于在游乐场所现场观赏其游玩图像时，一般是一家人或是多人一起同时观 看。因此，第三层检索采用融合多现场人脸检索的方式进一步提高检索准度。
[0012] S3、图像显示与自助打印步骤。首先，将根据注视者人脸查找出的前4类游玩图像 在电子看板上分组分屏循环播放。如果看到其感兴趣的分组图像，则点击便可自助切换成 全屏放大播放;如果4个分组里都没有其感兴趣的游玩图像，则点击"都不是"按钮，屏幕自 动循环播放下4组最相似的图像，重复以上过程直至找到游客所需的图像组为止。然后，在 全屏观赏时，用户可以选取自己满意的游玩图像进行自助付费和打印。如果需要对选取的 图像进行PS美化，还可以转入后台进行人工编辑。最后，在用户选取完自己满意的漂流图像 后，系统自动删除服务器中相应的原始图像，以减少存储空间与后来用户的检索量。
[0013] 优选的，其中自助付费有多种方式可选择，包括在线支付、微信支付、提前支付和 预约支付等。自助打印同样也有多种方式可选择，包括现场打印、U盘拷贝、电子邮寄和存入 云端等。
[0014] 本发明具有如下的优点及效果：
[0015] 1)本发明利用人脸图像聚类和人脸识别等先进技术成功地解决了人工查找海量 游玩图像速度慢、成本高和效率低下等缺点，充分体现了现代科技所带来的智能化、人性化 和高效化的特点。
[0016] 2)本发明提出的分组和全屏显示方案不但方便游客观赏游玩图像还具有友好交 互能力。通过交互，即使人脸检索失败(最相似的前几类不是游客自己的）游客也能在最短 时间里找到自己所需的游玩图像，保障了系统可行性和可靠性。
[0017] 3)本发明提出的游玩图像展示方案可以作为景区的一道具有特色的亮丽风景线。 经历惊心动魄的户外游玩体验后，在大厅慢慢地通过电子板欣赏自己和朋友、家人刺激冒 险的体验过程，其乐融融。欢乐之余打印几张满意游玩图像作为纪念，方便了游客也增加了 景区的收入，所谓一举两得。
【附图说明】
[0018] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或者现有技术描 述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些 附图获得其他的附图。
[0019] 图1是本发明中公开的一种基于人脸聚类与人脸识别技术的海量图像快速查找与 自助打印应用举例图；
[0020] 图2是本发明中公开的户外体验图像智能显示与自助打印服务流程图。
【具体实施方式】
[0021] 为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对 本发明进一步详细说明。示例性的，【具体实施方式】以漂流图像查找为例进行说明。应当理 解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0022] 本发明的说明书和权利要求书及上述附图中的术语"第一"、"第二"、"第三"和"第 四"等是用于区别不同对象，而不是用于描述特定顺序。此外，术语"包括"和"具有"以及它 们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系 统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单 元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023] 以下根据实施例分别进行详细说明。
[0024] 实施例
[0025]本发明实施例公开的基于聚类分析和人脸识别技术的图像快速查找与自助打印 方法，主要包括以下几个步骤：
[0026] S1、离线的图像预处理;S2、在线的人脸图像检索；S3、人脸图像显示和自助打印， 如图1所示。其中，离线的图像预处理阶段，包括人脸编码和人脸图像聚类。在线的人脸图像 检索阶段，利用人脸识别技术度量现场人脸与人脸聚类库中每类的相似度，找出最相似的 前几个聚类。人脸图像显示和自助打印阶段，首先，对检索结果进行分组显示;如果游客点 击了感兴趣的组就全屏显示用户点击的组图像;在全屏显示中，如果用户勾选了自己心仪 的图像，则提示出现付费打印按钮。下面逐一对各步骤进行详细说明：
[0027]步骤S1、离线的图像预处理 [0028] S11、人脸编码
[0029] 首先，采用人脸检测算法检测出原始图像中所有人脸图像。对检测出的人脸图像 进行光照均匀化和尺度归一化处理。为了提高人脸图像聚类的准确度和提高人脸检索率， 利用人脸图像质量评判技术过滤掉一些具有大尺度姿态变化和模糊不清的人脸图像。
[0030] 然后，采用Gabor滤波或LBP方法对人脸图像进行编码处理提取人脸特征。由于 Gabor变换具有多尺度多方向性符合人类视觉机制，具有很强的鲁棒性，因此是一种较好的 人脸图像编码方法。或者，采用目前热门的深度学习方法提取人脸特征。
[0031] 最后，建立原始图像、人脸图像和人脸编码之间的索引关系表。
[0032] S12、人脸图像聚类
[0033] 人脸图像聚类采用两次聚类的方法。
[0034] 第一次聚类:在同一拍摄点，摄影师或电子拍摄仪会对同一对象进行连续多次拍 摄。导致所拍摄的人脸具有时间连续性。因此，第一次聚类利用人脸特征和时间相似度对不 同拍摄点分别进行聚类，具体过程如下：
[0035] (1)初始化：随机指定k个聚类中心clusteri，cluster〗，…，clusterk〇
[0036] (2)分配:首先，距离计算:计算每一人脸图像样本到聚类中心的距离，并从小到大 进行排序。然后，时间判断：如果此人脸图像样本与最近聚类中心的拍摄时间差At在规定 的连续时间段内，则将该样本分配到最近聚类中。否则，计算该样本与次最近聚类中心的时 间差At，如果在规定的连续时间段内，则将该样本分配到次最近聚类中。否则，继续看第三 最近聚类是否符合时间。重复以上过程只至其找到其所属聚类为止，如果直到最后还没有 找到符合要求的，则将该样本作为新的k+Ι聚类。
[0039] (5)收敛性判断:若J值收敛则返回clusteri，cluster2,…，clusterk，算法结束，否 则继续迭代过程返回步骤(2)。
[0040] 二次聚类：由于同一个人可能会在不同的拍摄地点都有出现。因此，需要对第一次 各拍摄地点的聚类结果整合二次聚类。二次聚类时本发明采用约束条件下的归一化分割聚 类算法（Constrained NCuts algorithm for clustering) 〇
[0041] 步骤S2、在线人脸图像检索
[0042] 首先，利用现场摄像头采集注视者人脸图像;利用人脸检测技术提取背景干净的 人脸图像;利用人脸图像质量评判技术从大量人脸图像中挑选出一张合格的人脸图像作为 待检索人脸。然后，利用人脸识别技术进行人脸检索，查找出最相似的前几个聚类。
[0043]优选的，本发明提出金字塔层次人脸图像检索方案。
[0044] S21、第一层检索
[0045] 首先，计算待检索人脸与各聚类中心的距离;然后，利用K-最近邻法找到K个最近 的聚类作为候选聚类，k取聚类总数的一半。
[0046] S22、第二层检索
[0047]第二层检索采用字典学习与稀疏表示的方法。
[0048] (1)字典学习
[0049] 将第一层检索出的k聚类人脸样本组建成训练样本，对每类训练样本采用K-SVD方 法进行优化得出子字典Di，将各类字典Di组成完备字典D = [Di，D2，…，Dk]。
[0050] (2)稀疏表示与检索
[0051 ]将待检索人脸y看成由完备字典D线性组合表示>> =βχ elT，其中m为人脸编码后 的特征维数。由此可以建立如下的稀疏表示模型：
[0053] 其中，X为需要求解稀疏表示系数，λ为平衡因子，起到平衡重建误差与稀疏性的作 用。上述稀疏表示模型可以通过Lasso算法进行快速求解出稀疏表示系数X。重写稀疏表示 系数X = [X1; X2;…;xk]，其中，系数向量对应于子字典D1。
[0054] 然后，根据X1定义每类的残差:e,. =|.v-
[0055] 对&进行排序，选最小的取ei所对应的聚类类别作为最终检索的结果。本发明选取 前4个最小的&所对的聚类作为最终检索结果。
[0056] (3)第三层检索
[0057]在实际应用中，大厅电子看板前有可能站有多人，比如一家人，亲戚和朋友等。因 此，在第三层检索中，本发明采用多个不同的人脸图像作为待检索人脸输入。然后，对每个 待检索人脸按照第一层和第二层检索方式检索出最相似的前4类别。又由于一家人或亲戚 朋友一般都是一起游玩的。因此，通过不同的检索人脸查找出的原始游玩图像一定存在重 叠，重叠部分即为需要查找的图像。因此，融合多人检索的结果可以进一步缩小范围减小不 相关图像。
[0058]步骤S3、人脸图像显示与自助打印
[0059] 人脸图像显示与自助打印主要包括分组显示、全屏显示和自助打印，如图2所示。 [0060] S31、分组显示
[0061] 对通过步骤S2检索出的前几类图像在电子看板上分组循环播放。以4类为例，将电 子看板划分为4个窗口，每个窗口播放一类，供用户观看与选择。
[0062] S32、全屏显示
[0063] 用户在分组观看时，如果用户看到与其相关的类图像，则点击相应的窗口，电子看 板自助转换成全屏播放用户点击的类图像。如果用户觉得所有分组窗口里没有其感兴趣 的，则可以点击"都不是"按钮，电子看板自动播放下一组最相似的类图像，直到用户找到满 意的为止。通过这种方式可以弥补由于人脸识别技术不稳定导致人脸检索不准确，用户找 不到其感兴趣的图像的问题。
[0064] S33、自助打印
[0065] 用户在全屏观赏时，可以点击"选取"和"付费打印"按钮。如果用户看到自己心仪 的图像，想打印留念，只需点击"选取"按钮，则屏幕自助切换成用户滚动浏览方式，方便用 户勾选自己心仪的图像。用户选完后，只需按"付费打印"，则屏幕切换到支付方式和打印方 式选择页面。其中，支付方式有网上在线支付、微信支付、提前支付和预约支付可供选择;打 印方式有现场打印、U盘拷贝、电子邮寄和存入云端可供选择。在付费打印完后，系统会自动 删除用户所选的类图像以释放存储空间。
[0066] 综上所述，本发明提出的一种基于人脸图像聚类和识别技术的图像快速查找和自 助打印方法，具有以下几方面突出的实质性特点和显著的技术效果：
[0067] 1)在人脸图像聚类方面，本发明根据游乐场所游玩图像的特点，创新性地提出两 次的聚类的方法提高聚类的精度与效率。
[0068] 2)在人脸检索方面，创新性地提出三层金字塔人脸检索方案提高人脸检索的精度 与效率。利用此检索方案，即使第一次检索失败此方案也能在最短时间内找到正确的检索 图像。
[0069] 3)独创性地提出户外游玩图像分组、全屏播放和自助打印系统，通过交互的方式 此系统不但能弥补人脸识别和检索技术不稳定的缺陷，同时还体现出了人性化与智能化。 [0070]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1. 一种基于人脸图像聚类和识别技术的图像快速查找与自助打印方法，其特征在于， 包括下列步骤： 离线人脸图像聚类步骤，该步骤用于对原始图像进行采集编码以及通过人脸聚类算法 建立聚类人脸库； 在线人脸检索步骤，该步骤用于对现场注视者进行人脸检测和特征提取操作提取现场 人脸描述特征;然后，采用金字塔多层人脸检索方案对现场注视者的人脸图像进行检索，从 所述聚类人脸库中找出最相似的前若干名聚类类别； 图像显示与自助打印步骤，该步骤用于对检索到的与现场注视者相关的聚类图像进行 分组播放、全屏播放和/或自助打印。2. 根据权利要求1所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于，所述离线人脸图像聚类步骤包括： 对摄影师或电子拍摄仪拍摄的原始图像进行尺度与光照归一化处理； 采用人脸检测算法从尺度与光照归一化后的原始图像中剪切出干净人脸，并进行人脸 图像编码。 根据拍摄时间与人脸相似度，通过人脸聚类算法进行图像聚类分析，建立所述人脸聚 类库； 建立所述人脸图像、类聚图像和原始图像之间的索引关系表。3. 根据权利要求1所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于，所述在线人脸检索步骤包括： 采用人脸检测和编码算法对现场注视者进行人脸检测和特征提取操作提取现场人脸 描述特征，其中，所述人脸特征提取算法为深度学习方法、Gabor特征提取法或是局部二元 模式特征提取法； 采用金字塔多层人脸检索方案对现场注视者的人脸图像进行检索，从所述聚类人脸库 中找出最相似的前若干名聚类类别。4. 根据权利要求1所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于， 所述金字塔多层人脸检索方案包括三层检索方案，其中三层检索方案分别为基于距离 相似度+K近邻的聚类方法、基于稀疏表示的分类方法和融合多现场人脸检索方法。5. 根据权利要求4所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于，所述基于距离相似度+K近邻的聚类方法为第一层检索方案，用于快速 找出最相似的聚类类别，具体为:首先计算待检索人脸与各聚类中心的距离;然后，利用K-最近邻法找到K个最近的聚类作为候选聚类。6. 根据权利要求4所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于，所述基于稀疏表示的分类方法为第二层检索方案，用于找出最相似的 前若干个聚类类别，包括字典学习子步骤以及稀疏表示与检索子步骤，其中， 所述字典学习子步骤具体为： 将第一层检索出的k聚类人脸样本组建成训练样本，对每类训练样本采用K-SVD方法进 行优化得出子字典Di，将各类字典Di组成完备字典D = [Di，D2，…，Dk]; 所述稀疏表示与检索子步骤具体为： 将待检索人脸y看成由完备字典D线性组合表示_y = &e9T，其中m为人脸编码后的特 征维数，由此建立如下的稀疏表示模型：其中，X为需要求解稀疏表示系数，λ为平衡因子.上述稀疏表示模型可通过Lasso算法 进行快速求解出稀疏表示系数X，重写稀疏表示系数χ= [X1; X2 ;…；Xk]，其中，系数向量X1对 应于子字典dS 然后，根据X1定义每类的残差， 对&进行排序，选最小的取el所对应的聚类类别作为最终检索的结果。7. 根据权利要求4所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于，所述融合多现场人脸检索方法为第三层检索方案，该方案采用多个不 同的人脸图像作为待检索人脸输入。8. 根据权利要求6所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于， 所述k取聚类总数的一半，同时，选取前4个最小的&所对的聚类作为最终检索结果。9. 根据权利要求2所述的一种基于人脸图像聚类和识别技术的图像快速查找与自助打 印方法，其特征在于， 所述人脸聚类算法为二次聚类的方法， 其中，第一次聚类利用人脸特征和时间相似度对不同拍摄点分别进行聚类，具体过程 如下： 初始化子步骤，随机指定k个聚类中心clusteri，cluster，…，clusterk; 分配子步骤，首先计算每一人脸图像样本到聚类中心的距离，并从小到大进行排序，然 后时间判断，如果此人脸图像样本与最近聚类中心的拍摄时间差At在规定的连续时间段 内，则将该样本分配到最近聚类中，否则，计算该样本与次最近聚类中心的时间差At，如果 在规定的连续时间段内，则将该样本分配到次最近聚类中，否则，继续看第三最近聚类是否 符合时间，重复以上过程只至其找到其所属聚类为止，如果直到最后还没有找到符合要求 的，则将该样本作为新的k+Ι聚类； 修正聚类中心值子步骤计算偏差值子步骤收敛性判断子步骤:若1值收敛则返回clusteri，cluster，…，clusterk，算法结束，否 则继续迭代过程返回所述分配子步骤； 其中，第二次聚类是对第一次各拍摄地点的聚类结果整合聚类，采用约束条件下的归 一化分割聚类算法。
【文档编号】G06F3/12GK105868309SQ201610179302
【公开日】2016年8月17日
【申请日】2016年3月24日
【发明人】陈友斌, 廖海斌
【申请人】广东微模式软件股份有限公司