一种基于改进型surf算法的图像快速拼接方法
【专利摘要】本发明公开了一种基于改进型SURF算法的图像快速拼接方法，改进了现有的角点提取方法以及角点的特征描述方法，再去除提取出角点的误匹配，实现多幅图像的快速拼接。首先，采用改进的FAST算法提高提取角点，FAST算法提取角点运算速度较快，改进后，稳定性也更好；其次，对角点特征的描述采用SURF描述与LBP描述相结合，这样也能够提高角点匹配的速度；然后，采用RANSAC方法去除误匹配，提高准确度，得到较为准确的变换矩阵从而进行快速拼接；最后，根据得到的匹配点对，计算出待拼接图像到参考图像的变换参数，采用渐入渐出法，完成图像拼接。
【专利说明】-种基于改进型SURF算法的图像快速拼接方法
【技术领域】
[0001] 本发明涉及一种基于改进型SURF(SpeedUpRobustFeature,加速鲁棒特征）算 法的图像快速拼接方法，适用于遥感图像处理、医学图像分析、绘图学、大场景视频监控和 超分辨率重构等领域。
【背景技术】
[0002] 图像拼接技术是数字图像处理研究的热门方向之一，在军事和民用方面都有广泛 的应用。在人们的实际生活应用中，所需要的场景往往超过数码相机、监控摄像机等的视角 范围。为了得到高分辨率，同时大视角的图像，人们不得不采用各种昂贵的镜头和相机，这 样会导致成本的大大提高。所谓图像拼接技术，就是将数张有重叠部分的图像（可能是不 同时间、不同视角或者不同传感器获得的）拼接成一幅大型的无缝高分辨率图像的技术。
[0003] 图像拼接的过程主要包括图像获取、图像预处理、图像配准和图像融合。其中，图 像配准是图像拼接的关键技术。近年来，随着人们对于图像的分析和理解更加深入，图像配 准所利用的图像特征也从图像的低级特征发展到利用高级特征。
[0004]目前，图像拼接的主要问题在于，无法找到一种能够很好兼顾速度和拼接质量 的算法。RichardSzeliksi提出了基于运动的全景图像拼接模型，模型利用L-M算法 (Levenberg-Marquardt算法，非线性最小二乘算法）求出图像之间的几何变换关系进行配 准，成为图像拼接的经典算法。此后，有各种特征描述符被不断提出，如LBP(LocalBinary Patterns，局部二值模式）算法、SIFT(Scale-invariantfeaturetransform，尺度不变特 征转换）算法、SURF(SpeedUpRobustFeature，加速鲁棒特征）算法、HOG(Histogramof OrientedGradient,方向梯度直方图）算法等，这些特征描述符在用于图像配准时，各有优 势和不足。
【发明内容】
[0005] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于改 进型SURF算法的图像快速拼接方法。
[0006] 本发明公开了一种基于改进型SURF算法的图像快速拼接方法，包括以下步骤：
[0007] 步骤1，检测参考图像和待拼接图像两幅图像中的角点；
[0008] 步骤2,对两幅图像检测的角点进行特征描述，然后进行特征点匹配；
[0009] 步骤3,对匹配得出的特征点对，去除误匹配，得到优化后的特征点对；
[0010] 步骤4,计算变换矩阵；
[0011] 步骤5,对两幅图像进行融合。
[0012] 采用改进的FAST算法进行角点检测，包括：在图像中选取一个像素点P，判断像素 点P是否是兴趣点的像素；判断像素点P是否为兴趣点的方法为：令选取的像素点灰度值 为Ip，图像灰度阈值T，在像素点P周围，以4个像素为半径画圆，在该圆圆周上得到16个像 素点；如果在16个像素点中存在N个连续的点，它们的灰度值大于Ip+T或者小于Ip-T时， 则判定该像素点P为兴趣点，N为大于等于12的自然数；
[0013] 先将选中像素的上下左右四个点的像素值与Ip进行比较，如果至少存在三个像素 值不大于Ip+T或者不小于Ip-T时，得判断该点不是兴趣点，否则检查所有16个像素并判断 N个连续像素是否符合标准；
[0014] 采用史托马斯算法得到每个角点的分数，令λ，Ρλ2为角点结构张量矩阵A的 两个最大特征值，计算最小值min(λλ2)，以此作为分数，令（X，y)为偏移量，I为图像灰 度，Ix和Iy为图像灰度I的偏导数，角点位置的协方差矩阵为A'在得到每个角点的评分 后按照的得分高低顺序对角点序列进行排序，排序完成后按顺序循环比较两个角点之间的 距离，如果两个角点的距离小于期望的角点间距离，则保留Shi-Tomasi得分高的角点，期 望的距离不小于10像素；
[0015] 获取最终的改进FAST角点。
[0016] 步骤2中，采用改进的SURF算法对两幅图像进行特征描述，包括以下步骤：
[0017] 创建一个以兴趣点为中心的矩形区域，矩形的方向为兴趣点的方向，将每个区域 划分为两个以上的3X3的子区域，对于每个子区域，用5X5间隔采样计算Haar小波响应， 令dx为Haar小波在X方向上响应，dy为该响应在y方向上的响应，对响应的dx和dy采用 高斯加权，得出每个子区域中小波响应dx和dy的和组成第一组特征向量，同时把强度响应 绝对值的总和添加进特征描述；
[0018] 得到每个子分解区域的四个描述，用矢量V表示为V= (Σ4,Edy，Σ|dx|，Σ|dy|)，所有3X3的区域描述子的个数为36,即36维的描述。
[0019] 步骤2中，采用改进的LBP算法对两幅图像进行特征描述，包括以下步骤：
[0020] 采用检测窗口检测，对于图像单元中的每一个像素点，取其相邻的连续16个点作 为采样点，对于单个像素点而言，当中心点的像素大于一个邻近点的像素值，则将该临近点 值设为〇,反之可以设为1，从而得到了一个16位的二进制数；对所有像素位置加权求和获 取该检测窗口的LBP编码值；将这16位数据依次进行循环左移操作，每次左移对应产生16 个新的数据，在其中找到最大一个，作为最终的编码数据。
[0021] 步骤2中，先判断LBP纹理特征是否符合要求，然后通过计算欧式距离和比较最佳 匹配次最佳匹配来查找匹配点，通过两级匹配，保留180?220个角点，包括以下步骤：
[0022] 设定一个欧式距离最大值MAX，分别从参考图像和待拼接图像中选择一个角点，采 用LBP纹理特征分别对两个角点计算每个位的差异，选取一个阈值为2,若位差异大于阈值 2,则重新再从参考图像中选取角点计算每个位差异，当在参考图像中选取的角点与待匹配 图像每个位差异不大于阈值2时，计算这两个角点描述的欧式距离平方和，若欧式距离平 方和小于当前已得出的最佳匹配，则令小于当前最佳欧式距离平方和的点作为当前最佳匹 配，当前最佳匹配初始值MX;不然，则令大于当前最佳欧式距离平方和但小于第二最小欧 式距离平方和的点设为第二最佳匹配点，第二最佳匹配点初始值为MAX;如此将参考图像 中的每一个特征点与待拼接图像中的特征点进行比较，分别得出最佳和第二佳匹配点；若 得到的最佳和第二佳欧式距离平方和之比小于阈值，则该点对为匹配点对，否则判定该点 对不是匹配点对。
[0023] 步骤3中，设定采样次数N，每次采样随机抽取两个匹配点对共4个点，其中在参考 图像上选取两个特征点，在待匹配图像上选取对应的两个特征点；如果同一图像中选取的 两个点不相关，则重新选取，如果相关，则根据选取的两个匹配点对计算单应性矩阵；然后 计算满足单应性矩阵匹配点的个数，若满足单应性矩阵的匹配点数量不为最大，则重新选 取匹配点对；若为最大，则通过计算匹配点超距离，判断内点和外点，设定外点是误匹配，并 去除；设定内点被认为是正确匹配，予以保留，剩下的角点，用来融合参考图像和待拼接图 像。
[0024] 步骤4中，根据由步骤3得到的4对匹配点对，利用已有的OpenCV函数库，求得透 视变换所需的单应性矩阵。
[0025] 有Γi=HXi,其中Γi= (X，iy，i1)T，Xi =(Xiyi 1)τ 是两对齐次坐标， 通过4对匹配点对，求得变换矩阵H。
[0026] 在角点提取时米用改进的FAST算法（FeaturesfromAcceleratedSegment Test，加速分割检测特征）提高提取速度，实验证明该算法的速度比传统角点提取更快，通 过对该算法的改良提高了其提取的角点的稳定性。对角点特征的描述采用了 3X3的SURF 描述与LBP结合，与LBP结合描述是为了提高角点匹配的速度。特征点对去除误匹采用 RANSAC(RandomSampleConsensus,随意抽样一致性）去除误匹配提高匹配的准确率。根 据得到的匹配点对，计算出待拼接图像到参考图像的变换参数，采用渐入渐出法拼接图像， 也就是在拼接图像中的重叠区域，又参考图像渐渐过渡到待拼接图像，保持视觉上的平滑 和一致性。
【专利附图】
【附图说明】
[0027] 下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述和 /或其他方面的优点将会变得更加清楚。
[0028] 图1基于改进型SURF算法的图像快速拼接方法总流程图。
[0029] 图2改进的FAST算法提取角点流程图。
[0030] 图3改进的SURF算法匹配流程图。
[0031] 图4去除误匹配角点流程图。
[0032] 图5参考图像与待拼接图像融合流程图。
[0033] 图6改进的SURF算法匹配结果图。
[0034] 图7拼接结果图。
【具体实施方式】
[0035] 本发明公开了一种基于SURF算法的图像快速拼接方法，采用改进的FAST算法，对 参考图像和待拼接图像提取角点。FAST算法提取角点运算速度较快，经过本方法改进后，其 稳定性也得以提高。本方法采用SURF描述与LBP描述相结合的方法，来描述角点特征，这 样也能够提高角点匹配的速度。本方法采用RANSAC方法去除误匹配，提高准确度，得到较 为准确的变换矩阵。最后，采用渐入渐出法，完成参考图像与待拼接图像的快速拼接。
[0036] 将角点定义为在某一个像素点周围邻域内有足够数量的像素点与该像素点处于 不同的区域。在实际灰度图中，存在足够多的像素点灰度值大于或者小于角点的灰度值。选 择圆形区域作为模板并考察圆的中心点是否为角点。
[0037] 参照图1，基于改进型SURF算法的图像快速拼接方法。分别对参考图像和待拼接 图像，采用改进的FAST方法检测角点。然后，采用改进的SURF方法对两幅图像检测的角点 进行特征点匹配。对匹配得出的特征点对，采用RANSAC方法去除误匹配，得到更加精确的 特征点对。根据得到的精确特征点对，计算出变换矩阵。最后采用渐入渐出法，融合出完整 的图像。
[0038] 参照图2,对参考图像和待拼接图像分别提取角点。首先按照基本FAST方法进行 角点检测。然后，计算上一步骤得到的每一个角点的Shi-Tomasi得分。根据每一个角点的 得分，按高低顺序排序，循环比较两个角点之间的距离。如果角点之间的距离不符合期望， 则认为是不显著角点，在此去除。去除邻域内不显著的角点后，得到较为精确的角点。
[0039] 参照图3,对参考图像和待拼接图像中由上一步骤检测出的角点进行匹配。首先， 设定一个欧式距离最大值MAX。分别从参考图像和待匹配图像中选择一个角点。采用LBP 纹理特征分别对两个角点计算每个位的差异。选取一个阈值为2。若位差异大于阈值，则重 新再参考图像中选取角点计算每个位差异。当在参考图像中选取的角点与待匹配图像每个 位差异不大于阈值2时，计算这两个角点描述的欧式距离平方和。若欧式距离平方和小于 当前已得出的最佳匹配，则令小于当前最佳欧式距离平方和的点作为当前最佳匹配，默认 值为MX;不然，则令大于当前最佳欧式距离平方和但小于第二最小欧式距离平方和的点 设为第二最佳匹配点，默认值为MAX。如此将参考图像中的每一个特征点与待拼接图像中的 特征点进行比较，分别得出最佳和第二佳匹配点。若得到的最佳和第二佳欧式距离平方和 之比小于阈值，则该点对为匹配点对；不然认为未找到匹配点对。
[0040] 参照图4,去除误匹配的角点。当待匹配点对多于4对时，能够进行有效的去除误 匹配操作。设定一个采样次数N，每次采样随机抽取两个匹配点对（在参考图像上选取两 个特征点，在待匹配图像上选取对应的两个特征点），共4个点。如果同一图像中选取的两 个点不相关，则重新选取。如果相关，则根据选取的两个匹配点对计算单应性矩阵。然后计 算满足单应性矩阵匹配点的个数。若满足单应性矩阵的匹配点数量不为最大，则重新选取 匹配点对；若为最大，则通过计算匹配点超距离，判断"内点"和"外点"。外点被认为是误匹 配，予以去除；而内点被认为是精确匹配，予以保留。剩下的角点，才被用来融合参考图像和 待拼接图像。
[0041] 参照图5,计算变换矩阵并采用渐入渐出法进行图像融合。首先根据精确的特征点 对求解变换矩阵。通过4对配对点，可求得变换矩阵。待匹配图像与变换矩阵相乘，然后与 参考图像进行拼接。拼接采用渐入渐出法，对参考图像和变换后的待拼接图像重叠区域的 每一个像素值依照其距离重叠区域边缘的远近分别加权，计算每个拼接图像重叠区域每个 位置的像素值加权和，作为融合图像该点像素值。这样能够使两幅图像的融合更加平滑。 [0042]本发明中首先，通过检测出图像中的角点，为后续的特征描述和特征匹配创造条 件。角点的检测包括以下步骤：
[0043]LFAST角点检测
[0044] (1)在图像中选取一个像素点"P"，设该像素点灰度值为IP，该像素为要判断是否 是兴趣点的像素。
[0045] (2)根据具体情况设定图像灰度阈值T。
[0046] (3)在像素点P周围选取16个像素点，使这16个点形成半径为3的圆。
[0047] (4)在16个像素点中存在N个连续的点，它们的灰度值大于Ip+T或者小于Ip-T 时，该像素点P为兴趣点。
[0048] (5)为提高算法执行速度，先将选中像素的上下左右四个点的像素值像素（设为 II，15, 19, 113)的值与Ip进行比较。显然，一般至少有四个像素应该满足使兴趣点存在的 阈值标准。
[0049] (6)如果至少存在四个像素值II，15, 19, 113不大于Ip+T或者不小于Ip-T时，得 出该点不是兴趣点。在这种情况下，像素点P不可能为兴趣点。否则，如果至少有3个像素 大于Ip+T或者小于Ip-T,然后检查所有16个像素并判断12个连续像素是否符合标准。
[0050] (7)依照以上做法遍历每个像素点。
[0051] 按照以上方法会得到大量角点，这些角点会在局部图像中分布过于密集。选取其 中特征描述特点更强的角点，有利于快速精确的实现后续的特征点配对过程。
[0052] 2.解决局部角点密集问题
[0053]Harris角点（哈里斯角点）计算中的二阶矩阵，又称为结构张量矩阵。Shi-Tomasi 算法（史托马斯算法）是基于Harris角点计算方法的优化。采用Shi-Tomasi算法得 到每个角点的分数，令\1和λ2为角点结构张量矩阵A的两个最大特征值，计算最小值 min(λi，λ2)，以此作为分数，令（x，y)为偏移量，I为图像灰度，Ix和Iy为图像灰度I的偏 导数，角点位置的协方差矩阵为A'贝U，公式为：
【权利要求】
1. 一种基于改进型SURF算法的图像快速拼接方法，其特征在于，包括以下步骤： 步骤1，检测参考图像和待拼接图像两幅图像中的角点； 步骤2,对两幅图像检测的角点进行特征描述，然后进行特征点匹配； 步骤3,对匹配得出的特征点对，去除误匹配，得到优化后的特征点对； 步骤4,计算变换矩阵； 步骤5,对两幅图像进行融合。
2. 根据权利要求1所述的方法，其特征在于：采用改进的FAST算法进行角点检测，包 括：在图像中选取一个像素点P，判断像素点P是否是兴趣点的像素；判断像素点P是否为 兴趣点的方法为：令选取的像素点灰度值为IP，图像灰度阈值T,在像素点P周围，以4个像 素为半径画圆，在该圆圆周上得到16个像素点；如果在16个像素点中存在N个连续的点， 它们的灰度值大于IP+T或者小于IP-T时，则判定该像素点P为兴趣点，N为大于等于12的 自然数； 先将选中像素的上下左右四个点的像素值与IP进行比较，如果至少存在三个像素值不 大于IP+T或者不小于IP-T时，得判断该点不是兴趣点，否则检查所有16个像素并判断N个 连续像素是否符合标准； 采用史托马斯算法得到每个角点的分数，令^和^为角点结构张量矩阵A的两个最 大特征值，计算最小值min(入i，A2)，以此作为分数，令（x，y)为偏移量，I为图像灰度，Ix 和Iy为图像灰度I的偏导数，角点位置的协方差矩阵为A'在得到每个角点的评分后按照 的得分高低顺序对角点序列进行排序，排序完成后按顺序循环比较两个角点之间的距离， 如果两个角点的距离小于期望的角点间距离，则保留Shi-Tomasi得分高的角点，期望的距 离不小于10像素； 获取最终的改进FAST角点。
3. 根据权利要求2所述的方法，其特征在于，步骤2中，采用改进的SURF算法对两幅图 像进行特征描述，包括以下步骤： 创建一个以兴趣点为中心的矩形区域，矩形的方向为兴趣点的方向，将每个区域划分 为两个以上的3X3的子区域，对于每个子区域，用5X5间隔采样计算Haar小波响应，令dx 为Haar小波在x方向上响应，dy为该响应在y方向上的响应，对响应的dx和dy采用高斯加 权，得出每个子区域中小波响应dx和dy的和组成第一组特征向量，同时把强度响应绝对值 的总和添加进特征描述； 得到每个子分解区域的四个描述，用矢量v表示为v=(Edx，Edy，E|dx|，E|dy|)， 所有3X3的区域描述子的个数为36,即36维的描述。
4. 根据权利要求3所述的方法，其特征在于：步骤2中，采用改进的LBP算法对两幅图 像进行特征描述，包括以下步骤： 采用检测窗口检测，对于图像单元中的每一个像素点，取其相邻的连续16个点作为采 样点，对于单个像素点而言，当中心点的像素大于一个邻近点的像素值，则将该临近点值设 为0,反之可以设为1，从而得到了一个16位的二进制数；对所有像素位置加权求和获取该 检测窗口的LBP编码值；将这16位数据依次进行循环左移操作，每次左移对应产生16个新 的数据，在其中找到最大一个，作为最终的编码数据。
5. 根据权利要求4所述的方法，其特征在于：步骤2中，先判断LBP纹理特征是否符合 要求，然后通过计算欧式距离和比较最佳匹配次最佳匹配来查找匹配点，通过两级匹配，保 留180?220个角点，包括以下步骤： 设定一个欧式距离最大值MAX，分别从参考图像和待拼接图像中选择一个角点，采用LBP纹理特征分别对两个角点计算每个位的差异，选取一个阈值为2,若位差异大于阈值2， 则重新再从参考图像中选取角点计算每个位差异，当在参考图像中选取的角点与待匹配图 像每个位差异不大于阈值2时，计算这两个角点描述的欧式距离平方和，若欧式距离平方 和小于当前已得出的最佳匹配，则令小于当前最佳欧式距离平方和的点作为当前最佳匹 配，当前最佳匹配初始值MAX;不然，则令大于当前最佳欧式距离平方和但小于第二最小欧 式距离平方和的点设为第二最佳匹配点，第二最佳匹配点初始值为MAX;如此将参考图像 中的每一个特征点与待拼接图像中的特征点进行比较，分别得出最佳和第二佳匹配点；若 得到的最佳和第二佳欧式距离平方和之比小于阈值，则该点对为匹配点对，否则判定该点 对不是匹配点对。
6.根据权利要求5所述的方法，其特征在于：步骤3中，设定采样次数N，每次采样随 机抽取两个匹配点对共4个点，其中在参考图像上选取两个特征点，在待匹配图像上选取 对应的两个特征点；如果同一图像中选取的两个点不相关，则重新选取，如果相关，则根据 选取的两个匹配点对计算单应性矩阵；然后计算满足单应性矩阵匹配点的个数，若满足单 应性矩阵的匹配点数量不为最大，则重新选取匹配点对；若为最大，则通过计算匹配点超距 离，判断内点和外点，设定外点是误匹配，并去除；设定内点被认为是正确匹配，予以保留， 剩下的角点，用来融合参考图像和待拼接图像。
【文档编号】G06T5/50GK104376548SQ201410626230
【公开日】2015年2月25日 申请日期:2014年11月7日 优先权日:2014年11月7日
【发明者】董小舒, 秦晅, 卞志国, 卢旻昊, 刘超, 李岚俊 申请人:中国电子科技集团公司第二十八研究所