一种人手检测与识别的方法与装置制造方法
【专利摘要】本发明公开了人手检测与识别的方法，包括：搜集检测正负例样本；得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记；根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；通过摄像头获取用户原始图像，提取所述用户原始图像的多通道特征信息；将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；根据所述人手检测区域信息识别得到最终识别结果。还公开了人手检测与识别的装置。本发明实时性高、鲁棒性强。
【专利说明】—种人手检测与识别的方法与装置
【技术领域】
[0001]本发明涉及人机交互【技术领域】，尤其涉及一种人手检测与识别的方法与装置。
【背景技术】
[0002]目前在对移动机器人特别是替身机器人的控制中，对人手的检测定位和对人手的 识别在人机交互过程中起着至关重要的作用。
[0003]现有技术公开了一种基于视频流的人手定位方法，该方法包括如下步骤:(I)摄 像头采集一段图像序列，并在采集的图像中获取人脸的位置与大小信息；(2)根据人脸的 位置与大小信息，确定挥手检测区域，并计算出人手大小；(3)计算所述挥手检测区域内是 否产生挥手，若检测到挥手，并获得变化像素区域的位置中心点；(4)以变化像素区域的位 置中心点作为参考点，并根据步骤(2)计算出人手的大小，确定人手搜索区域，再定位人手 的精确位置。这种方法对环境要求高、鲁棒性不高，此外并没有能够在单帧图像中实现对人 手的识别功能。
【发明内容】
[0004]本发明提供了 一种人手检测与识别的方法与装置，提高了鲁棒性。
[0005]本发明提供了一种人手检测与识别的方法，包括:
[0006]搜集检测正负例样本；
[0007]得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应 的标记；
[0008]根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们 对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级 联后得到检测级联分类器；
[0009]通过摄像头获取用户原始图像，提取所述用户原始图像的多通道特征信息；
[0010]将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测 区域信息；
[0011]根据所述人手检测区域信息识别得到最终识别结果。
[0012]较优的，所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器， 得到人手检测区域信息，具体为:
[0013]将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测 区域信息，将所述输出检测区域信息进行NMS处理，得到人手检测区域信息。
[0014]较优的，所述根据所述人手检测区域信息识别得到最终识别结果，具体为:
[0015]搜集识别正负例样本；
[0016]提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正 负例标签；
[0017]利用线性降维算法对所述每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征
信息；
[0018]根据所述降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对 应的正负例标签，经过RBFSVM算法得到RBFSVM分类器；
[0019]提取人手检测区域信息中的LBPH特征信息和HOG特征信息；
[0020]将所述人手检测区域信息中的LBPH特征信息和HOG特征信息经过所述降维变换 矩阵得到降维后的准确特征信息；
[0021]将所述降维后的准确特征信息通过所述RBFSVM分类器得到最终识别结果。
[0022]较优的，在所述将所述用户原始图像的多通道特征信息通过所述检测级联分类 器，得到人手检测区域信息之后，还包括:
[0023]对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域 信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面 积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
[0024]较优的，还包括:
[0025]将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误 检区域剔除，得到准确的人手检测区域信息。
[0026]本发明还提供了一种人手检测与识别的装置，包括:
[0027]检测训练模块，与检测模块相连，用于搜集检测正负例样本，得到每个检测正例样 本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，根据所述每个检测正 例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训 练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；
[0028]获取图像模块，与第一特征提取模块相连，用于通过摄像头获取用户原始图像；
[0029]第一特征提取模块，还与所述检测模块相连，用于提取所述用户原始图像的多通 道特征信息，并将所述用户原始图像的多通道特征信息发送给所述检测模块；
[0030]检测模块，用于将所述用户原始图像的多通道特征信息通过所述检测级联分类 器，得到人手检测区域信息；
[0031]识别模块，与所述检测模块相连，用于根据所述人手检测区域信息识别得到最终 识别结果。
[0032]较优的，还包括:
[0033]检测模块，还用于将所述用户原始图像的多通道特征信息通过所述检测级联分类 器，得到输出检测区域信息，将所述输出检测区域信息进行匪S处理，得到人手检测区域信
肩、O
[0034]较优的，所述识别模块具体包括:
[0035]识别训练模块，与在线识别模块相连，用于搜集识别正负例样本，提取每个识别正 负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签，利用线性降维 算法对所述每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维 变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息，根据所述降维后的 识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM 算法得到RBFSVM分类器；[0036]第二特征提取模块，与所述检测模块相连，用于提取人手检测区域信息中的LBPH特征信息和HOG特征信息；
[0037]在线识别模块，还与所述第二特征提取模块相连接，用于将所述人手检测区域信息中的LBPH特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息，将所述降维后的准确特征信息通过所述RBFSVM分类器得到最终识别结果。
[0038]较优的，还包括:
[0039]检测模块，还用于对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
[0040]较优的，还包括:
[0041]检测模块，还用于将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
[0042]本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，得到精确的人手检测区域信息，再根据该人手检测区域信息得到最终的识别结果，因为通过多通道特征信息可以全面的描述用户的原始图像，再加上检测级联分类器一层层的筛选，所以鲁棒性强。
【专利附图】
【附图说明】
[0043]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0044]图1是本发明实施例的一种人手检测与识别的方法流程示意图；
[0045]图2是本发明利用一种人手检测与识别的方法的另一实施例的流程示意图；
[0046]图3是本发明实施例的一种人手检测与识别的装置的结构示意图。
【具体实施方式】
[0047]为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
[0048]请参阅图1示出的本发明实施例的一种人手检测与识别的方法流程示意图，包括:
[0049]步骤SlOl:搜集检测正负例样本。
[0050]具体的，检测正例样本为人手图像，检测负例样本为非人手图像，其中检测正例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；检测负例样本则尺寸不限；检测负例样本的数量大于检测正例样本数量。
[0051]步骤S102:得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记。
[0052]具体的，多通道特征信息包括HOG (Histogram of Oriented Gradients,方向梯度直方图)特征信息，幅值特征信息和LUV( —种颜色空间)特征信息；检测正例样本标记为+1，检测负例样本标记为-1。将检测正例样本的多通道特征信息加入检测正例样本特征池，将检测负例样本的多通道特征信息加入检测负例样本特征池。其中，因为检测负例样本的尺寸不限，则对每个检测负例样本通过正态分布的随机算法产生一个固定矩形区域，提取该固定矩形区域的多通道特征信息即为检测负例样本的多通道特征信息。
[0053]步骤S103:根据每个检测正例样本和每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，该至少两个强分类器级联后得到检测级联分类器。
[0054]具体的,级联分类器训练算法包括Adaboost算法以及Adaboost算法的其他变形算法。
[0055]步骤S104:通过摄像头获取用户原始图像，提取用户原始图像的多通道特征信
肩、O
[0056]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。其中，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息。
[0057]步骤S105:将用户原始图像的多通道特征信息通过检测级联分类器，得到人手检测区域信息。
[0058]具体的，将用户原始图像的多通道特征信息通过检测级联分类器，得到输出检测区域信息，将该输出检测区域信息进行NMS (Non-maximal Suppression,非最大抑制)处理，得到人手检测区域信息。由于检测级联分类器由至少两个强分类器级联而成，用户原始图像的多通道特征信息需要通过所有的强分类器，才会被接受为真实区域，只要有一个强分类器拒绝，则对该用户原始图像的多通道特征信息进行否决。因此这种检测级联分类器方式，对检测的鲁棒性、实时性提供了充分保障，除此之外，该方式也为算法的并行化提供了支撑，利用现有计算机的多核处理能力，将会提升整个算法的实时性能。
[0059]步骤S106:根据该人手检测区域信息识别得到最终识别结果。
[0060]本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，得到精确的人手检测区域信息，再根据该人手检测区域信息得到最终的识别结果，因为通过多通道特征信息可以全面的描述用户的原始图像，再加上检测级联分类器一层层的筛选，所以鲁棒性强。
[0061]下面结合图2示出的本发明一种人手检测与识别的方法的另一实施例的流程示意图，进一步详细说明本发明实施例的一种人手检测与识别的方法。
[0062]步骤S201:搜集检测正负例样本。
[0063]具体的，检测正例样本为人手图像，检测负例样本为非人手图像，其中检测正例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；检测负例样本则尺寸不限；检测负例样本的数量大于检测正例样本数量。
[0064]步骤S202:得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记。
[0065]具体的，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息；检测正例样本标记为+1，检测负例样本标记为-1。将检测正例样本的多通道特征信息加入检测正例样本特征池，将检测负例样本的多通道特征信息加入检测负例样本特征池。其中，因为 检测负例样本的尺寸不限，则对每个检测负例样本通过正态分布的随机算法产生一个固定 矩形区域，提取该固定矩形区域的多通道特征信息即为检测负例样本的多通道特征信息。
[0066]步骤S203:根据每个检测正例样本和每个检测负例样本的多通道特征信息及它 们对应的标记，通过级联分类器训练算法得到至少两个强分类器，该至少两个强分类器级 联后得到检测级联分类器。
[0067]步骤S204:通过摄像头获取用户原始图像，提取用户原始图像的多通道特征信
肩、O
[0068]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去 除，光照均衡等预处理。其中，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特 征信息。
[0069]步骤S205:将用户原始图像的多通道特征信息通过检测级联分类器，得到输出检 测区域信息，将该输出检测区域信息进行匪S处理，得到人手检测区域信息。
[0070]具体的，由于检测级联分类器由至少两个强分类器级联而成，用户原始图像的多 通道特征信息需要通过所有的强分类器，才会被接受为真实区域，只要有一个强分类器拒 绝，则对该用户原始图像的多通道特征信息进行否决。因此这种检测级联分类器方式，对检 测的鲁棒性、实时性提供了充分保障，除此之外，该方式也为算法的并行化提供了支撑，利 用现有计算机的多核处理能力，将会提升整个算法的实时性能。
[0071]步骤S206:对用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检 测区域信息进行交叠区域面积计算，当交叠区域的面积大于预设的阈值时，将该交叠区域 的面积从人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
[0072]步骤S207:将人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区 域，将误检区域剔除，得到准确的人手检测区域信息。
[0073]具体的，步骤S206与步骤S207并无前后顺序差异，先进行人脸检测或者先进行提 取肤色区域均可。
[0074]步骤S208:搜集识别正负例样本。
[0075]具体的，识别正例样本为左手图像，识别负例样本为右手图像，其中识别正负例样 本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；识别 负例样本的数量与识别正例样本数量相当。
[0076]步骤S209:提取识别正负例样本的LBPH(Histogram ofLocal Binary Pattern,局 部二进制模式直方图)特征信息与HOG特征信息，并得到它们对应的正负例标签。
[0077]具体的，由于HOG特征信息主要侧重于描述手的整体轮廓特征，而LBPH特征信息 则强于表达目标的局部特征，因此组合LBPH特征信息与HOG特征信息增强对整个手体的描 述能力，达到整体到局部的表达。正例标签为+1，负例标签为-1。
[0078]步骤S210:利用线性降维算法对识别正负例样本的LBPH特征信息与HOG特征信 息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特 征信息。
[0079]具体的，线性降维算法包括PCA (Principal Component Analysis,主成分分析) 算法，LDA(Linear DiscriminantAnalysis,线性判别分析)算法以及 INNLP(IterativeNearest Neighbor Linear Pro jection,迭代最近邻线性投射)算法等,下面对INNLP算法进行详细描述:
[0080]步骤1:将识别正负例样本的LBPH特征信息与HOG特征信息按行或者列进行排列，得到原始的样本特征矩阵X ；
[0081]步骤2:对原始样本特征矩阵X的每列进行如下操作:
[0082]步骤a:其中，初始化特征F0，即全置为0，需要匹配的特征F1，算法内部临时特征F2，矩阵X初始置为Fl，特征权重W ；
[0083]步骤b:在原始样本特征矩阵X中找到特征Fl的最近邻匹配特征F3，对特征F3进行特征权重W的更新；
[0084]步骤c:根据特征权重W，进行初始特征R)的更新，判定特征和特征Fl的范数误差，小于预设的阈值或者迭代总步数大于预设的设定值就退出该算法，否则，进行下一步；
[0085]步骤d:根据特征权重W，更新特征F2，并将该特征作为新的需要匹配的特征，跳入步骤b继续执行。
[0086]步骤3:通过步骤2原始样本特征矩阵X的每个特征都会得到一个特征权重W，设整个训练样本个数为N，特征维数为K，则得到所有特征向量的权重特征矩阵维数为N*K。将该矩阵乘以其转置矩阵得到N*N的矩阵M。
[0087]步骤4:结合矩阵M和原始样本特征矩阵X，根据公式(I)和需要的目标维数n进行主要特征值的提取；
[0088]XLXTa=入 X1DXa (I)；
[0089]其中D为矩阵M中对角矩阵，L=D-M, a为特征向量，X为a的特征值；
[0090]提取出的前n个特征向量al，a2...an组成线性降维投射矩阵。
[0091]步骤5:将原始样本特征矩阵X通过线性投射矩阵进行空间变换，得到降维的特征空间矩阵。
[0092]利用INNLP算法对提高了由于光照，旋转等干扰因素的稳定性，使其能够进行实时应用，应用该降维方法能有效的减小或消除由于环境造成的识别性能下降的问题。
[0093]步骤S211:根据降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM(Radial Basis Foundation Supprot VectorMachine，径向基支持向量机)算法得到RBFSVM分类器。
[0094]具体的，进行RBFSVM算法之前，基于数值计算上的考虑，需要对降维后的识别正负例样本的LBPH特征信息与HOG特征信息进行归一化的处理；除此之外，RBFSVM分类器的参数选定也需要进行网格化的参数寻优和交叉验证，以避免分类器的过拟合、泛化能力的不足。
[0095]步骤S212:提取步骤S207得到的准确的人手检测区域信息中的LBPH特征信息和HOG特征信息。
[0096]步骤S213:将准确的人手检测区域信息中的LBPH特征信息和HOG特征信息经过降维变换矩阵得到降维后的准确特征信息。
[0097]步骤S214:将降维后的准确特征信息通过RBFSVM分类器得到最终识别结果。
[0098]具体的，最终识别结果包括左右手信息，姿势信息等。
[0099]本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，通过降维变换矩阵和RBFSVM分类器组成的人手识别算法，能够快速感应到用户的手势运动，本发明实时性高、鲁棒性强、且硬件配置要求低、成本低廉、易于操作。
[0100]下面结合图3示出的本发明实施例的一种人手检测与识别的装置的结构示意图，进一步详细说明本发明实施例该装置的结构。
[0101]检测训练模块301，与检测模块302相连，用于搜集检测正负例样本，得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，根据每个检测正例样本和每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，至少两个强分类器级联后得到检测级联分类器。
[0102]具体的，检测正例样本为人手图像，检测负例样本为非人手图像，其中检测正例样本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；检测负例样本则尺寸不限；检测负例样本的数量大于检测正例样本数量。多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息；检测正例样本标记为+1，检测负例样本标记为-1。将检测正例样本的多通道特征信息加入检测正例样本特征池，将检测负例样本的多通道特征信息加入检测负例样本特征池。其中，因为检测负例样本的尺寸不限，则对每个检测负例样本通过正态分布的随机算法产生一个固定矩形区域，提取该固定矩形区域的多通道特征信息即为检测负例样本的多通道特征信息。级联分类器训练算法包括Adaboost算法以及Adaboost算法的其他变形算法。
[0103]获取图像模块303，与第一特征提取模块304相连，用于通过摄像头获取用户原始图像。
[0104]第一特征提取模块304，还与检测模块302相连，用于提取用户原始图像的多通道特征信息，并将用户原始图像的多通道特征信息发送给检测模块302。
[0105]具体的，获取用户原始图像后，对用户原始图像进行预处理，预处理包括噪声去除，光照均衡等预处理。其中，多通道特征信息包括HOG特征信息，幅值特征信息和LUV特征信息。
[0106]检测模块302，用于将用户原始图像的多通道特征信息通过检测级联分类器，得到人手检测区域信息。
[0107]具体的，将用户原始图像的多通道特征信息通过检测级联分类器，得到输出检测区域信息，将该输出检测区域信息进行匪S处理，得到人手检测区域信息。由于检测级联分类器由至少两个强分类器级联而成，用户原始图像的多通道特征信息需要通过所有的强分类器，才会被接受为真实区域，只要有一个强分类器拒绝，则对该用户原始图像的多通道特征信息进行否决。因此这种检测级联分类器方式，对检测的鲁棒性、实时性提供了充分保障，除此之外，该方式也为算法的并行化提供了支撑，利用现有计算机的多核处理能力，将会提升整个算法的实时性能。
[0108]识别模块305，与检测模块302相连，用于根据人手检测区域信息识别得到最终识
别结果。
[0109]该识别模块305具体包括，
[0110]识别训练模块3051，与在线识别模块3053相连，用于搜集识别正负例样本，提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签，利用线性降维算法对每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维， 得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息，根据降 维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过 RBFSVM算法得到RBFSVM分类器。
[0111]第二特征提取模块3052，与检测模块302相连，用于提取人手检测区域信息中的 LBPH特征信息和HOG特征信息。
[0112]在线识别模块3053，还与第二特征提取模块3052相连，用于将人手检测区域信息 中的LBPH特征信息和HOG特征信息经过降维变换矩阵得到降维后的准确特征信息，将降维 后的准确特征信息通过RBFSVM分类器得到最终识别结果。
[0113]具体的，识别正例样本为左手图像，识别负例样本为右手图像，其中识别正负例样 本归一化为同一尺寸，且进行预处理，其中预处理包括噪声去除，光照均衡等预处理；识别 负例样本的数量与识别正例样本数量相当。由于HOG特征信息主要侧重于描述手的整体轮 廓特征，而LBPH特征信息则强于表达目标的局部特征，因此组合LBPH特征信息与HOG特征 信息增强对整个手体的描述能力，达到整体到局部的表达。正例标签为+1，负例标签为-1。 线性降维算法包括PCA算法，LDA算法以及INNLP算法等，下面对INNLP算法进行详细描述:
[0114]步骤1:将识别正负例样本的LBPH特征信息与HOG特征信息按行或者列进行排 列，得到原始的样本特征矩阵X ；
[0115]步骤2:对原始样本特征矩阵X的每列进行如下操作:
[0116]步骤a:其中，初始化特征F0，即全置为0，需要匹配的特征F1，算法内部临时特征 F2，矩阵X初始置为Fl，特征权重W ；
[0117]步骤b:在原始样本特征矩阵X中找到特征Fl的最近邻匹配特征F3，对特征F3进 行特征权重W的更新；
[0118]步骤C:根据特征权重W，进行初始特征R)的更新，判定特征和特征Fl的范数误 差，小于预设的阈值或者迭代总步数大于预设的设定值就退出该算法，否则，进行下一步；
[0119]步骤d:根据特征权重W，更新特征F2，并将该特征作为新的需要匹配的特征，跳入 步骤b继续执行。
[0120]步骤3:通过步骤2原始样本特征矩阵X的每个特征都会得到一个特征权重W，设 整个训练样本个数为N，特征维数为K，则得到所有特征向量的权重特征矩阵维数为N*K。将 该矩阵乘以其转置矩阵得到N*N的矩阵M。
[0121]步骤4:结合矩阵M和原始样本特征矩阵X，根据公式(I)和需要的目标维数n进 行主要特征值的提取；
[0122]XLXTa=入 X1DXa (I)；
[0123]其中D为矩阵M中对角矩阵，L=D-M, a为特征向量，X为a的特征值；
[0124]提取出的前n个特征向量al，a2...an组成线性降维投射矩阵。
[0125]步骤5:将原始样本特征矩阵X通过线性投射矩阵进行空间变换，得到降维的特征 空间矩阵。
[0126]利用INNLP算法对提高了由于光照，旋转等干扰因素的稳定性，使其能够进行实 时应用，应用该降维方法能有效的减小或消除由于环境造成的识别性能下降的问题。
[0127]进行RBFSVM算法之前，基于数值计算上的考虑，需要对降维后的识别正负例样本的LBPH特征信息与HOG特征信息进行归一化的处理；除此之外，RBFSVM分类器的参数选定也需要进行网格化的参数寻优和交叉验证，以避免分类器的过拟合、泛化能力的不足。最终识别结果包括左右手信息，姿势信息等。
[0128]其中，该检测模块302，还用于对用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当交叠区域的面积大于预设的阈值时，将交叠区域的面积从人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信
肩、O
[0129]该检测模块302，还用于将人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
[0130]本发明实施上述实施例，通过摄像头采集用户图像、根据多通道特征信息和检测级联分类器所组成的人手检测技术，通过降维变换矩阵和RBFSVM分类器组成的人手识别算法，能够快速感应到用户的手势运动，本发明实时性高、鲁棒性强、且硬件配置要求低、成本低廉、易于操作。
[0131]需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对【背景技术】做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM / RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0132]以上所揭露的仅为本发明实施例中的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【权利要求】
1.一种人手检测与识别的方法，其特征在于，包括:搜集检测正负例样本；得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记；根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器；通过摄像头获取用户原始图像，提取所述用户原始图像的多通道特征信息；将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息；根据所述人手检测区域信息识别得到最终识别结果。
2.如权利要求1所述的方法，其特征在于，所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息，具体为:将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测区域信息，将所述输出检测区域信息进行NMS处理，得到人手检测区域信息。
3.如权利要求2所述的方法，其特征在于，所述根据所述人手检测区域信息识别得到最终识别结果，具体为:搜集识别正负例样本；提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签； 利用线性降维算法对所述每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信根据所述降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM算法得到RBFSVM分类器；提取人手检测区域信息中的LBPH特征信息和HOG特征信息；将所述人手检测区域信息中的LBPH特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息；将所述降维后的准确特征信息通过所述RBFSVM分类器得到最终识别结果。
4.如权利要求1或3所述的方法，其特征在于，在所述将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息之后，还包括:对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信息。
5.如权利要求4所述的方法，其特征在于，还包括:将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
6.一种人手检测与识别的装置，其特征在于，包括:检测训练模块，与检测模块相连，用于搜集检测正负例样本，得到每个检测正例样本和每个检测负例样本的多通道特征信息，并得到它们对应的标记，根据所述每个检测正例样本和所述每个检测负例样本的多通道特征信息及它们对应的标记，通过级联分类器训练算法得到至少两个强分类器，所述至少两个强分类器级联后得到检测级联分类器； 获取图像模块，与第一特征提取模块相连，用于通过摄像头获取用户原始图像； 第一特征提取模块，还与所述检测模块相连，用于提取所述用户原始图像的多通道特征信息，并将所述用户原始图像的多通道特征信息发送给所述检测模块； 检测模块，用于将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到人手检测区域信息； 识别模块，与所述检测模块相连，用于根据所述人手检测区域信息识别得到最终识别结果。
7.如权利要求6所述的装置，其特征在于，还包括: 检测模块，还用于将所述用户原始图像的多通道特征信息通过所述检测级联分类器，得到输出检测区域信息，将所述输出检测区域信息进行NMS处理，得到人手检测区域信息。
8.如权利要求7所述的装置，其特征在于，所述识别模块具体包括: 识别训练模块，与在线识别模块相连，用于搜集识别正负例样本，提取每个识别正负例样本的LBPH特征信息与HOG特征信息，并得到它们对应的正负例标签，利用线性降维算法对所述每个识别正负例样本的LBPH特征信息与HOG特征信息进行线性降维，得到降维变换矩阵和降维后的识别正负例样本的LBPH特征信息与HOG特征信息，根据所述降维后的识别正负例样本的LBPH特征信息与HOG特征信息以及它们对应的正负例标签，经过RBFSVM算法得到RBFSVM分类器； 第二特征提取模块，与所述检测模块相连，用于提取人手检测区域信息中的LBPH特征信息和HOG特征信息； 在线识别模块，还与所述第二特征提取模块相连接，用于将所述人手检测区域信息中的LBPH特征信息和HOG特征信息经过所述降维变换矩阵得到降维后的准确特征信息，将所述降维后的准确特征信息通过所述RBFSVM分类器得到最终识别结果。
9.如权利要求6或8所述的装置，其特征在于，还包括: 检测模块，还用于对所述用户原始图像进行人脸检测，将得到的人脸检测区域信息与人手检测区域信息进行交叠区域面积计算，当所述交叠区域面积大于预设的阈值时，将所述交叠区域面积从所述人手检测区域信息中剔除，则得到人脸检测后的人手检测区域信肩、O
10.如权利要求9所述的装置，其特征在于，还包括: 检测模块，还用于将所述人脸检测后的人手检测区域信息进行颜色空间变化，提取肤色区域，将误检区域剔除，得到准确的人手检测区域信息。
【文档编号】G06K9/00GK103530607SQ201310469723
【公开日】2014年1月22日 申请日期:2013年9月30日 优先权日:2013年9月30日
【发明者】邓川云, 林天麟 申请人:智慧城市系统服务（中国）有限公司