本发明涉及图像处理技术领域,更具体地,涉及一种基于图像拼接质量评价的无人机遥感图像拼接方法。
背景技术:
图像拼接就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的过程,而这些图像可能是不同时间、不同视角或者不同传感器获得的。图像拼接技术主要用于军事、遥感、测绘、医学及计算机视觉等领域。随着无人机技术的快速发展,无人机以高分辨率、高灵活性、高效率和低成本的优势被广泛应用于自然灾害区域评估、资源勘查、遥感测绘及环境保护等方面,因此无人机遥感图像的配准与拼接受到了广泛的重视,许多国家和单位都开展了对无人机图像拼接相关技术的研究。
现在的无人机遥感图像拼接过程是先进行飞行轨迹规划,让无人机沿着规划的飞行轨迹采集图像,然后再对采集的图像序列进行拼接。当采集到的图像序列中有不符合拼接要求或图像序列并没有完全覆盖规划区域时,则利用无人机沿着以前规划的飞行轨迹再次采集图像,然后将两次采集的图像合并进行拼接,这导致工作量大,图像大量重复,拼接效率低。
技术实现要素:
本发明的目的在于克服现有技术的不足,提供一种基于图像拼接质量评价的无人机遥感图像拼接方法,能避免对有效图像的重复采集和拼接,减少工作量的同时提高图像的拼接效率。
有效图像为能有效地应用在拼接中的图像。
为达到上述目的,本发明采用的技术方案是:
提供一种基于图像拼接质量评价的无人机遥感图像拼接方法,其特征在于,包括如下步骤:
s1.将无人机的系统时间与无人机上摄像机的系统时间设置为一致,在整个遥感图像采集的过程中,将每一次拍照时无人机的经纬度和高度记录在无人机的飞行日志中;
s2.对采集到的原始遥感图像序列进行配准与拼接;
s3.对每两幅原始遥感图像的拼接结果进行质量评价,如果质量评价小于阈值h,则对两幅原始遥感图像进行去抖动模糊处理,然后再进行拼接,对拼接后的结果再次进行质量评价,如果质量评价还是小于阈值h,则将两幅原始遥感图像的时间信息记录下来,继续进行原始遥感图像序列的配准与拼接;
s4.原始遥感图像序列拼接完成后,检查拼接后的遥感图像是否覆盖所有的规划区域,若存在未覆盖的空白区域,则在拼接后的遥感图像中将空白区域及其附近的部分遥感图像截取出来,用截取出来的遥感图像与原始遥感图像序列做匹配运算,找出匹配率最高的几幅原始遥感图像并记录这些遥感图像的时间信息;
s5.根据s3和s4中记录的原始遥感图像的时间信息,在无人机的飞行日志中找到拍摄这些遥感图像时的经纬度及高度信息,根据经纬度及高度信息重新规划无人机的飞行轨迹,对这些遥感图像进行再次采集;
s6.将再次采集到的新的遥感图像放入原始遥感图像序列中替换和补充对应的原始遥感图像,再次进行图像配准与拼接;
s7.重复s2至s6,直到得到符合需求的拼接遥感图像。
本发明一种基于图像拼接质量评价的无人机遥感图像拼接方法,在采集每一副遥感图像时将无人机的经纬度信息和高度信息记录下来,使用去抖动模糊算法去除遥感图像的抖动模糊,并采用图像拼接质量评价来找出遥感图像序列中不满足拼接要求的遥感图像,无人机根据记录的经纬度信息和高度信息对不满足要求的遥感图像进行再次采集,并将再次采集到的新的遥感图像放入原始遥感图像序列中替换和补充对应的原始遥感图像,再次进行图像配准与拼接,避免了对有效图像的重复采集和拼接,减少工作量的同时提高图像的拼接效率。
优选地,s3中使用边缘差分谱评价法对每两幅原始遥感图像的拼接结果进行质量评价。边缘差分谱评价法的英文全称为differenceofedgemap,缩写为doem,。
优选地,s3中采用带最优窗口的维纳滤波方法对两幅原始遥感图像进行去抖动模糊处理。
与现有技术相比,本发明的有益效果是:
本发明一种基于图像拼接质量评价的无人机遥感图像拼接方法,在采集每一副遥感图像时将无人机的经纬度信息和高度信息记录下来,使用去抖动模糊算法去除遥感图像的抖动模糊,并采用图像拼接质量评价来找出遥感图像序列中不满足拼接要求的遥感图像,无人机根据记录的经纬度信息和高度信息对不满足要求的遥感图像进行再次采集,并将再次采集到的新的遥感图像放入原始遥感图像序列中替换和补充对应的原始遥感图像,再次进行图像配准与拼接,避免了对有效图像的重复采集和拼接,减少工作量的同时提高图像的拼接效率。
附图说明
图1为本实施例一种基于图像拼接质量评价的无人机遥感图像拼接方法的流程图。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本专利的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
实施例
本实施例一种基于图像拼接质量评价的无人机遥感图像拼接方法的流程图如图1所示,包括如下步骤:
s1.将无人机的系统时间与无人机上摄像机的系统时间设置为一致,在整个遥感图像采集的过程中,将每一次拍照时无人机的经纬度和高度记录在无人机的飞行日志中;
具体地,根据机载相机的参数、镜头的角度、无人机的飞行速度和飞行高度,对待拼接区域进行飞行轨迹规划,采集遥感图像序列的过程中全程记录无人机的飞行日志,包括飞行时的经纬度和高度;
s2.对采集到的原始遥感图像序列进行配准与拼接;
具体地,图像配准过程使用sift算法检测特征点,使用ransac算法剔除误匹配点,图像拼接中使用基于图割的最佳缝合线搜索算法以消除视差的影响;
s3.对每两幅原始遥感图像的拼接结果进行质量评价,如果质量评价小于阈值h,则对两幅原始遥感图像进行去抖动模糊处理,然后再进行拼接,对拼接后的结果再次进行质量评价,如果质量评价还是小于阈值h,则将两幅原始遥感图像的时间信息记录下来,继续进行原始遥感图像序列的配准与拼接;
本实施例中,使用边缘差分谱评价法(doem,differenceofedgemap)对s2中的每两幅原始遥感图像的拼接结果进行质量评价,将每两幅原始遥感图像的拼接结果作为待评价遥感图像,其算法如下:
步骤一、图像边缘检测,首先将待评价遥感图像和未经拼接的原始遥感图像转换为灰度图像,然后使用sobel边缘检测算子分别进行边缘提取,得到边缘图像;
步骤二、构建图像的边缘差分谱,分别对边缘图像进行差分运算,得到边缘图像对应的边缘差分谱;
步骤三、统计边缘差分谱信息并计算评分,评分公式如下
其中,μe为边缘差分谱过渡区域边界区均值,μa为过渡区域整体均值,σ2为过渡区域整体方差。c1、c2、c3、c4分别为4个常量,其中,c1、c2根据评分随边缘差分谱均值变化的相关程度确定;c3、c4所在项为类正态分布曲线,根据3σ准则选取并修正确定;本实施例中,经过多次实验后采用c1=80、c2=50、c3=600、c4=256;
本实施例中,doem质量评价的结果在0~1之间,阈值h采用0.7;
如果质量评价的结果小于阈值h,则采用带最优窗口的维纳滤波方法对原始遥感图像进行去抖动模糊处理;
对经过去模糊处理后的原始遥感图像再次进行拼接,对拼接后的结果再次进行质量评价,如果质量评价还是小于阈值h,则将两幅原始遥感图像的时间信息记录下来,继续进行原始遥感图像序列的配准与拼接;
s4.原始遥感图像序列拼接完成后,检查拼接后的遥感图像是否覆盖所有的规划区域,若存在未覆盖的空白区域,则在拼接后的遥感图像中将空白区域及其附近的部分遥感图像截取出来,用截取出来的遥感图像与原始遥感图像序列做匹配运算,找出匹配率最高的几幅原始遥感图像并记录这些遥感图像的时间信息;
s5.根据s3和s4中记录的原始遥感图像的时间信息,在无人机的飞行日志中找到拍摄这些遥感图像时的经纬度及高度信息,根据经纬度及高度信息重新规划无人机的飞行轨迹,对这些遥感图像进行再次采集;
s6.将再次采集到的新的遥感图像放入原始遥感图像序列中替换和补充对应的原始遥感图像,再次进行图像配准与拼接;
s7.重复s2至s6,直到得到符合需求的拼接遥感图像。
本发明一种基于图像拼接质量评价的无人机遥感图像拼接方法,在采集每一副遥感图像时将无人机的经纬度信息和高度信息记录下来,使用去抖动模糊算法去除遥感图像的抖动模糊,并采用图像拼接质量评价来找出遥感图像序列中不满足拼接要求的遥感图像,无人机根据记录的经纬度信息和高度信息对不满足要求的遥感图像进行再次采集,并将再次采集到的新的遥感图像放入原始遥感图像序列中替换和补充对应的原始遥感图像,再次进行图像配准与拼接,避免了对有效图像的重复采集和拼接,减少工作量的同时提高图像的拼接效率。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。