一种基于图像特征融合识别的签名鉴伪系统及方法
【专利摘要】本发明公开了一种基于图像特征融合与图像识别的签名鉴伪系统及方法。签名鉴伪系统主要由签名图像特征值数据库模块、签名图像预处理模块、特征提取分析模块、特征融合模块、特征相似性度量模块组成。通过扫描仪对需鉴伪的签名样本进行录入，特征处理模块提取样本特征参数录入数据库。签名图像预处理将需完成鉴定的签名图像转为归一化的二值图像，特征处理模块处理提取相应的特征参数，进行特征向量融合后，将特征值发送特征相似性度量模块完成与数据库相应特征值的匹配与比对输出鉴定结果。本发明的签名鉴伪系统及方法，可以进行脱机签名鉴伪，鉴伪结果稳定、客观。
【专利说明】一种基于图像特征融合识别的签名鉴伪系统及方法
【技术领域】
[0001]本发明涉及一种基于图像特征融合与图像识别的签名鉴伪系统及方法，属于数字图像处理与笔迹鉴定【技术领域】。
【背景技术】
[0002]信息技术的飞速发展给人们的日常生活带来了极大的便利，与此同时对个人身份进行准确的认证、保护信息安全则成了当今信息化时代亟需解决的一个关键问题。手写签名是人的一种比较稳定的行为特征，利用手写签名进行个人身份的认证具有非侵犯性(或非触性)、易于获取、容易使人接受等特点，是一种重要的个人身份的表示手段。
[0003]手写签名鉴伪隶属于笔迹鉴定这一【技术领域】，传统的基于人工的笔迹鉴定在实际操作中暴露出了种种弊端和缺陷:如鉴定机构缺乏相互配合机制，鉴定人员资格认定标准不规范、鉴定水平参差不齐难以保障鉴定的正确性等等都会对鉴定结果造成负面影响。因此利用计算机自动化、规范化的方式来处理笔迹鉴定这一原本非工程的领域，对该领域的发展具有很大的推动作用。
[0004]目前签名鉴伪按实际操作方式的不同可分为联机和脱机两种，两者都有很广的应用背景，可在诸如金融、保险、公安司法部门的刑事调查和法庭审判等领域发挥重要作用。这些技术具有鉴定快、效率高、不受文检人员主观因素的影响等特点。从实际来讲联机手写签名的鉴伪技术已经十分成熟并已进入实用化阶段，然而脱机签名因无法像联机签名获取到签名者书写时的笔画顺序、书写速度、运笔压力等动态信息，无疑在鉴定真伪的难度上会更大，所以脱机签名的鉴定技术目前还不太成熟，但也成为了当下的研究热点。
【发明内容】
[0005]本发明针对当前社会热门的手写签名鉴定中的技术空缺，提出了一种基于图像特征融合与图像识别的签名鉴伪系统及方法，试图改善脱机签名鉴伪的现状。
[0006]一种基于图像特征融合识别的签名鉴伪系统，其特征是，主要包括签名图像数据库模块、图像预处理模块、特征向量提取模块、特征向量融合模块以及特征相似性度量模块；
[0007]还包括图像录入模块和结果输出反馈模块；
[0008]签名图像数据库模块预先存储注册用户的个人手写签名图像、个人信息，后续的鉴伪过程中调用这些信息来核实待鉴定的签名图像的真伪；
[0009]图像预处理模块对录入进系统的待鉴定签名图像进行预处理；
[0010]特征向量提取模块对经预处理模块处理之后的待鉴定签名图像进行特征提取；
[0011]特征向量融合模块采用特征层融合模型对特征向量提取模块提取的特征进行融合；
[0012]特征相似性度量模块:采用夹角余弦法计算待鉴伪签名图像与数据库中预存的签名图像的相似度，通过计算待鉴定签名图像所提取的特征向量与数据库中对应图像的特征向量之间的夹角余弦，判断两者之间的相似度，作为鉴定真伪的评判依据。
[0013]所述图像预处理模块的预处理过程包括灰度化处理、二值化处理以及大小归一化处理的步骤。
[0014]特征向量提取模块中包括比例特征提取子模块、纹理特征提取子模块、弹性网格特征提取子模块，分别分析并提取签名图像的比例特征、纹理特征和弹性网格特征；
[0015]比例特征提取子模块:提取签字人每个签名字符的细化后的笔画长度与所占面积的比例作为特征值数据；
[0016]纹理特征提取子模块:提取反映字符的字型、字位倾斜、笔划方向、笔划和部首搭配的纹理特征；
[0017]弹性网格特征提取子模块:利用一组设想的网线对签名图像进行区域划分，使任意两条相邻网线之间的目标像素个数相等；将字体按横、竖、撇、捺四方向分解后，提取横、竖、撇、捺四个方向特征向量值结合在一起，构成一个完整的字体特征矢量。
[0018]一种基于图像特征融合识别的签名鉴伪方法，其特征是:包括以下步骤:
[0019]扫描仪完成对需鉴伪签名图像的信息采集；
[0020]特征向量提取模块提取需鉴伪签名图像的比例特征、纹理特征和弹性网格三大特征；
[0021]特征向量融合模块将提取的三大特征融合；
[0022]采用夹角余弦法计算待鉴伪签名图像与样本签名图像的相似度，通过计算待鉴定签名图像所提取的特征向量与样本对应图像的特征向量之间的夹角余弦，以余弦值衡量相似程度，输出鉴伪结果。
[0023]包括如下详细步骤:将需鉴伪签名图像运用扫描仪录入至特征融合识别的签名鉴伪系统，根据人物信息从数据库中调出其原始签名图像的特征数据；
[0024]对扫描的图片预处理得到归一化的二值图像，进行二值图像的特征检测和分析；
[0025]提取比例、纹理和弹性网格三大特征，同时进行特征值向量化，再将三大特征进行融合后和原始签名图像的特征数据通过向量夹角余弦法相比较，得出鉴伪结果。
[0026]比例特征的提取方法是通过计算签名二值图像中比例特性作为特征值，分别对签名的字符逐个进行边缘检测，得到相应的矩形框(字符数量和矩形框数量相等，矩形框数目至少大于I，否则重新录入)，计算每个字符的面积大小S，再将需鉴别签名图像进行字体细化处理，将每个字符的像素点进行计数，作为字长L ;将每个字符L/S的数据作为二位向量组的数据，建立一个向量组，得到比例特性。
[0027]纹理特征的提取方法，通过对签名图像纹理特性的提取，运用Gabor滤波器提取纹理特性；Gabor函数在空间域和频率域中同时进行测量，主要目标为签名笔画具有一定的线条宽度和方向，每幅笔迹样本图像经每一通道滤波即提取笔迹纹理的特征，在样本图像I(x，y)中抽取样点(X，Y)，该点处提取的特征通过计算各个通道滤波器后图像的均值和标准差作为特征组成特征向量，按照特征值位置，经行特征值向量组化，得到η维特征值数据向量组。
[0028]弹性网格的提取方法，通过对签名图像弹性网格特征值提取比对，采用弹性网格，利用二值图像，当所取标志量为I时表示为黑像素点，当所取标志量为O时表示为白像素点；然后将字体横、竖、撇、捺四方向分解后，提取横方向汉字子图像fH(x，y)，横方向第i个网格内特性运用特征值计算公式计算得到，其他几个方向的特征同理，横、竖、撇、捺四个方向特征值结合在一起，构成一个完整的字体特征向量。
[0029]签名鉴伪数据对比工作主要依据原始的数据库，数据库的构建方法是提前录入需检测签名的人员信息，主要包括以上三大特征性数据相关特征值向量组的存储。
[0030]签名鉴伪系统通过特征提取分析模块得到三大模块的特征向量，运用特征融合技术将三大模块的特征值进行融合后，存储至数据库或是备份进行相似性度量工作。
[0031]本发明所达到的有益效果:
[0032]本发明公开了一种基于图像特征融合与图像识别的签名鉴伪系统及方法，可以进行脱机签名鉴伪。通过提取比例特征、纹理特征、弹性网格特征作为三大主要特征参数，采用特征融合模型将提取的特征进行融合，以特征向量夹角余弦作为相似性度量的主要参量，完成签名鉴伪工作，鉴伪结果稳定、客观。
【专利附图】
【附图说明】
[0033]图1为系统模块结构图。
[0034]图2为特征层融合模型图。
[0035]图3为系统处理过程图。
[0036]图4为系统鉴定为真实签名的界面图。
[0037]图5为系统鉴定为伪造签名的界面图。
[0038]图6为数据库的建立示例(可根据编号、姓名、年龄、身份证号等信息搜寻原始数据)。
[0039]图7为系统测试结果统计表。
【具体实施方式】
[0040]本系统采用了模块化的设计方法，整个系统主要由签名图像数据库模块、图像预处理模块、特征向量提取模块、特征向量融合模块以及相似性度量模块这五大模块组成，辅助模块则包括了图像录入模块和结果输出反馈模块(如图1所示)，具体方案如下:
[0041](I)签名图像数据库模块预先存储了注册用户的个人手写签名图像、个人信息(如姓名、性别、身份证号码等)等数据化信息，如图6，后续的鉴伪过程中可以调用这些信息来核实待鉴定的签名图像的真伪；
[0042](2)图像预处理模块主要完成对录入进系统的待鉴定签名图像进行预处理的工作，预处理的过程具体包括了灰度化处理、二值化处理以及大小归一化处理这几个具体步骤，将预处理之后的签名图像再用于后续模块的处理；
[0043](3)特征向量提取模块是对经预处理模块处理之后的待鉴伪签名图像进行特征提取的模块，又可细分为三个子模块，各个模块分别分析并提取了签名图像的三大特征:比例特征、纹理特征和弹性网格特征。
[0044]①比例特征提取子模块:提取签字人每个签名字符的细化后的笔画长度与所占面积的比例作为特征值数据。
[0045]②纹理特征提取子模块:纹理特征能够反映字符的字型、字位倾斜、笔划方向、笔划和部首搭配这些常用的、比较稳定的、鉴别能力强的特征，本子模块使用Gabor滤波器提取签名图像的纹理特征。
[0046]③弹性网格特征提取子模块:该模块利用一组假想的网线对签名图像进行区域划分，使任意两条相邻网线之间的目标像素个数相等。通常是由纵横的直线组成网格。该子模块提取的特征能很好地解决手写体汉字中因书写风格不同引起的笔划位置不稳定、字体局部变形等问题，并且能够有效地反映手写签名的结构细节。
[0047](4)特征向量融合模块:该模块采用特征层融合模型(如图2所示)对上述提取的三大特征进行融合。特征层融合是从原始信息中提取特征信息进行综合分析和处理的中间层次过程。所提取的特征信息是原数据层融合原始信息的充分表示量或统计量，并据此对多源信息进行分类、汇集和综合，同时多特征提取可以提供比单特征提取更多的待检测目标的特征信息，从而增大特征空间维数。简言之，特征层融合就是特征层的联合识别，可以有效的改善鉴伪的性能。
[0048](5)特征相似性度量模块:该模块采用夹角余弦法计算待鉴伪签名图像与数据库中预存的签名图像的相似度。夹角余弦相似性，也称为余弦相似度或者余弦距离，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异大小的度量。向量是多维空间中的有向线段，如果两个向量的方向一致，即夹角接近于零，那么这两个向量就相近，而要确定两个向量的方向是否一致，这就要用到余弦定理计算向量的夹角。在二维空间中向量A (x1； Y1)和向量B (x2, y2)的夹角余弦公式:
X1X7 + V1J,
[0049]^) = ?==^~==.VA'|"+.1T V-^+-''2
[0050]通过计算待鉴定签名图像所提取的特征向量与数据库中对应图像的特征向量之间的夹角余弦，即可计算出两者之间的相似度，进而可作为鉴定真伪的评判依据。
[0051]系统实际操作时签名实体(连同签名纸张)垂直摆放于扫描仪下方，要求尽量采取光照适中，录入器材像素相对稳定较高，所用的笔、纸质量较高且统一，纸张尽量选择纯白色无花纹，笔选用0.5mm黑色签字笔(签名字符的细化环节可保证系统对不同签字笔的适应性)。拍摄室中至少使用200W的LED灯为拍摄提供光源，扫描过程中不会出现反光和阴影等干扰因素，从而提高了系统判断分析的准确性。扫描完成后，将图像传至系统进行识别分析，判断后得出反馈。主要的核心流程为脱机签名图像特征值的提取融合与比对分析，在特征值提取比对方面，主要提取了比例特征、纹理特征、弹性网格特征作为三大主要特征参数，将三大特征融合得出特征向量组，运用特征向量夹角余弦作为相似性度量的主要参量，完成签名特征值比对工作，鉴别签名字符的真伪性。签名验证的书写人的签字相关信息是经过注册的，而且登记的每一个人都附有一个身份号码，验证时只需根据待验证者申明的身份调出相应的参考签名特征值数据进行鉴别即可。
[0052]本发明的系统算法的具体流程如图3所示:
[0053](I)当签名的真伪需判别时，利用扫描仪对目标图像进行采样，在经过模数转换后，存放于该模块内的图像采集数据存储区中。
[0054](2)设存放在图像采集数据存储区中的彩色图像为I1,复制一份存放于数据存储区并对其进行图像灰度化以得到灰度图像I2，并对I2使用中值滤波以去除噪声，然后使用最大类间方差法(Otsu算法)对I2进行阈值分割，得到目标签字二值化图像I3，最终对I3进行大小归一化处理以获得其归一化图像I4，将签字彩色图像I1，原始签字灰度图像I2、二值化处理后的目标签字图像I3、归一化图像I4均暂时保存于数据存储区用于后续处理。
[0055](3)将大小归一化的二值图像I4中汉字的大小提取出来作为特征比例特性，首先确定每行中各个文字的左右边框计算投影图hist(i)与横坐标的交点，记录这些交点所在的列坐标分别为dl、d2和d3，用数组依次存储起来，分别对dl和d2、d2和d3之间的黑色像素进行统计，若和大于零，即可认为dl和d2、d2和d3分别为签名第一个字和第二个字、等二个字与第三个字的左右边框。再预设两个标志变量jugl = O和jug2 = 0，对每行中每个字符通过由上而下的顺序查询。第一次搜索到黑色像素置jugl = 1，此时可根据该黑色像素点确定上边框所在的行即纵坐标。然后通过由下而上的顺序查询，第一次搜索黑色像素点并置jug2= 1，得到下边框所在的行即纵坐标。从而确定了每个字的上下边框。确定边框之后，计算每个字符的面积大小S。再将需鉴别签名图片进行字体细化处理，将每个字符的像素点进行计数，作为字长L。将每个字符L/S的数据作为二位向量组的数据，建立一个向量组，从而得到比例特性。
[0056](4)纹理特性的提取，运用Gabor滤波器提取纹理特性，Gabor变换在分析数字图像中局部区域的频率和方向信息方面具有优异的性能，即它能做到时域信号和频域信号的局部化。Gabor函数可在空间域和频率域中同时进行测量，并且在这两种域中都是局部的变换，具有明显的方向选择性和频率特性。由于签名笔画具有一定的线条宽度和方向，首先从签名图像的统计信息入手，每幅笔迹样本图像经每一通道滤波即提取笔迹纹理的特征，在样本图像I (X，y)中抽取样点(X，Y)，则在该点处提取的特征Z为:
[0057]
【权利要求】
1.一种基于图像特征融合识别的签名鉴伪系统，其特征是，主要包括签名图像数据库模块、图像预处理模块、特征向量提取模块、特征向量融合模块以及特征相似性度量模块； 还包括图像录入模块和结果输出反馈模块； 签名图像数据库模块预先存储注册用户的个人手写签名图像、个人信息，后续的鉴伪过程中调用这些信息来核实待鉴定的签名图像的真伪； 图像预处理模块对录入进系统的待鉴定签名图像进行预处理； 特征向量提取模块对经预处理模块处理之后的待鉴定签名图像进行特征提取； 特征向量融合模块:采用特征层融合模型对特征向量提取模块提取的特征进行融合；特征层融合从原始信息中提取特征信息进行综合分析和处理的联合识别； 特征相似性度量模块:采用夹角余弦法计算待鉴伪签名图像与数据库中预存的签名图像的相似度，通过计算待鉴定签名图像所提取的特征向量与数据库中对应图像的特征向量之间的夹角余弦，判断两者之间的相似度，作为鉴定真伪的评判依据。
2.根据权利要求1所述的基于图像特征融合识别的签名鉴伪系统，其特征是:所述图像预处理模块的预处理过程包括灰度化处理、二值化处理以及大小归一化处理的步骤。
3.根据权利要求1所述的基于图像特征融合识别的签名鉴伪系统，其特征是:特征向量提取模块中包括比例特征提取子模块、纹理特征提取子模块、弹性网格特征提取子模块，分别分析并提取签名图像的比例特征、纹理特征和弹性网格特征； 比例特征提取子模块:提取签字人每个签名字符的细化后的笔画长度与所占面积的比例作为特征值数据； 纹理特征提取子模块:提取反映字符的字型、字位倾斜、笔划方向、笔划和部首搭配的纹理特征； 弹性网格特征提取子模块:利用一组设想的网线对签名图像进行区域划分，使任意两条相邻网线之间的目标像素个数相等；将字体按横、竖、撇、捺四方向分解后，提取横、竖、撇、捺四个方向特征向量值结合在一起，构成一个完整的字体特征矢量。
4.一种基于图像特征融合识别的签名鉴伪方法，其特征是:包括以下步骤: 扫描仪完成对需鉴伪签名图像的信息采集； 特征向量提取模块提取需鉴伪签名图像的比例、纹理和弹性网格三大特征； 特征向量融合模块将提取的三大特征融合； 采用夹角余弦法计算待鉴伪签名图像与样本签名图像的相似度，通过计算待鉴定签名图像所提取的特征向量与样本对应图像的特征向量之间的夹角余弦，以余弦值衡量相似程度，输出鉴伪结果。
5.根据权利要求4所述的基于图像特征融合识别的签名鉴伪方法，其特征是:包括如下详细步骤:将需鉴伪签名图像运用扫描仪录入至特征融合识别的签名鉴伪系统，根据人物信息从数据库中调出其原始签名图像的特征数据； 对扫描的图片预处理得到归一化的二值图像，进行二值图像的特征检测和分析； 提取比例、纹理和弹性网格三大特征，同时进行特征值向量化，再将三大特征进行融合后和原始签名图像的特征数据通过向量夹角余弦法相比较，得出鉴伪结果。
6.根据权利要求4或5所述的基于图像特征融合识别的签名鉴伪方法，其特征是:t匕例特征的提取方法是通过计算签名二值图像中比例特性作为特征值，分别对签名的字符逐个进行边缘检测，得到相应的矩形框，计算每个字符的面积大小S，再将需鉴别签名图像进行字体细化处理，将每个字符的像素点进行计数，作为字长L ;将每个字符L/S的数据作为二位向量组的数据，建立一个向量组，得到比例特性。
7.根据权利要求4或5所述的基于图像特征融合识别的签名鉴伪方法，其特征是:纹理特征的提取方法，通过对签名图像纹理特性的提取，运用Gabor滤波器提取纹理特性；Gabor函数在空间域和频率域中同时进行测量，主要目标为签名笔画具有一定的线条宽度和方向，每幅笔迹样本图像经每一通道滤波即提取笔迹纹理的特征，在样本图像I (x，y)中抽取样点(X，Y)，该点处提取的特征通过计算各个通道滤波器后图像的均值和标准差作为特征组成特征向量，按照特征值位置，经行特征值向量组化，得到η维特征值数据向量组。
8.根据权利要求4或5所述的基于图像特征融合识别的签名鉴伪方法，其特征是:弹性网格的提取方法，通过对签名图像弹性网格特征值提取比对，采用弹性网格，利用二值图像，当所取标志量为I时表示为黑像素点，当所取标志量为O时表示为白像素点；然后将字体横、竖、撇、捺四方向分解后，提取横方向汉字子图像fH(x，y)，横方向第i个网格内特性运用特征值计算公式计算得到，其他几个方向的特征同理，横、竖、撇、捺四个方向特征值结合在一起，构成一个完整的字体特征向量。
【文档编号】G06K9/68GK104200239SQ201410455357
【公开日】2014年12月10日 申请日期:2014年9月9日 优先权日:2014年9月9日
【发明者】马云鹏, 李庆武, 周亮基, 霍冠英, 周妍 申请人:河海大学常州校区