影像对正射影像进行精纠正。
[0054] 步骤2所得正射影像已获得了几何校正坐标。但是由于几何校正受P0S数据精度 影响，正射影像的坐标精度较低。本步骤则通过将正射影像与基准影像进行匹配，使得正射 影像获得地理坐标，地理坐标精度高于几何校正坐标。
[0055] 由正射影像几何校正坐标得到影像覆盖范围，在基础地理信息库中查询相匹配的 基准影像。对正射影像和其匹配的基准影像分别提取sift特征点，基于sift特征点进行 配准，得到几何校正坐标与地理坐标的相互映射关系。基础地理信息库存有基准影像及数 字矢量地图。
[0056] 步骤4 :目标初始化。
[0057] 通过人机交互方式在正射影像上框选待跟踪的目标，即初始目标，并获得初始目 标的中心几何校正坐标、宽和高。
[0058] 步骤5 :先验地理信息约束下的目标跟踪。
[0059] 米用 Kalal, Z.等人于 2〇12 年发表的 "Tracking-Learning-Detection"（跟踪一 学习一检测）算法进行目标跟踪。TLD(tracking-learning-detection)算法由跟踪、检测、 融合和更新4个模块组成，该算法将跟踪、检测以及更新机制融合在一个统一的框架下来 解决跟踪过程中目标形变、部分遮挡等问题。由于TLD具有检测模块，当目标离开后再次出 现，依然能够捕获目标，继续跟踪，这一优点是很多跟踪算法不具备的。
[0060] 由于道路是目标运动区域的先验约束，以目标所在道路构建道路缓冲区，只在缓 冲区内进行目标检测跟踪。与对整张图像进行全局检测相比，只在缓冲区内进行目标检测 跟踪既能有效排除干扰，减少误检测，提高检测跟踪可靠性，又能减小处理范围，提高检测 跟踪效率。
[0061] 依据目标的地理坐标以及基础地理信息库中道路矢量数据，对目标与道路缓冲区 作空间分析，确定目标所在的道路缓冲区。根据步骤3中获得的正射影像的几何校正坐标 和地理坐标的映射关系，可将目标的几何校正坐标转换为地理坐标。
[0062] 由于是在正射影像上进行目标跟踪，所以需将道路缓冲区的地理坐标转换为几何 校正坐标。以道路缓冲区作为前景掩膜，以正射影像、目标的中心点几何校正坐标和尺寸为 输入，采用TLD法即可进行目标跟踪。TLD法具体步骤可见参考文献：Kalal Z，Mikolajczyk K, Matas J. Tracking-learning-detection[J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2012, 34(7):1409-1422。
[0063] TLD法的输出结果是当前帧正射影像中目标的中心点几何校正坐标、宽和高。若 TLD法输出结果为空，则表明前帧正射影像中未跟踪到目标。
[0064] 步骤6:在先验地理信息辅助下，判断目标是否被立交桥或地下通道遮挡，利用 Kalman滤波器对步骤5中获得的跟踪结果进行修正，得到目标的中心地理坐标。
[0065] 目标跟踪算法通常都存在误差，这里引入Kalman滤波器对跟踪结果进行校正，以 提高跟踪精度。此外，当运动目标被完全遮挡时（如跟踪过程中，目标进入立交桥下或地下 通道中），此时正射影像中不存在待跟踪的目标，跟踪算法输出结果为空，这里引入Kalman 滤波器对目标位置进行预测。
[0066] Kalman滤波器的数学模型由状态方程和观测方程组成。
[0067] 状态方程：
[0068] Xk=AkXkl+Wki (3)
[0069] 观测方程：
[0070] Zk=HkXk+Vk (4)
[0071] 式⑶~⑷中，Xk、Xk身别表示k、（k-1)时刻的系统状态向量，Z A k时刻的 系统观测向量，Ak表示系统状态转移矩阵，！^表示观测矩阵，WkJPVk是两个相互独立的 零均值高斯白噪声，分别表示状态转移噪声和观测噪声，其概率分布分别表示为P (Wk》~ N(0, Q)、p (Vk)~N(0, R)。矩阵Q和R分别为状态转移噪声和观测噪声的协方差矩阵。
[0072] 对于目标跟踪而言，选取每帧图像中目标中心的地理坐标（xk，yk)及目标速度 (vxk，Vyk)构建k时刻的系统状态向量xk= [xk yk vxk vyk]T〇
[0073] 对于目标跟踪而言，用每帧图像中目标中心的地理坐标观测值（xzk，yzk)构建k时 刻的系统观测向量Zk= [xzk yzk]T，这里将步骤5中跟踪结果中目标的中心几何校正坐标转 换为地理坐标，取该值为目标中心的地理坐标观测值。
[0074] 由于正射影像序列中相邻2帧正射影像间隔时间很短，可认为相邻2帧正射影 像间目标做匀速运动，则系统状态转移矩阵
，Ts表示采样间隔，测观矩阵
[0075] 设定协方差矩阵R、Q分别为：
，其中，AesD表示正射影像的空间 分辨率。
[0077] 将上一帧正射影像经Kalman滤波器处理得到的目标中心点地理坐标以及当前帧 正射影像目标中心地理坐标观测值输入Kalman滤波器，经过Kalman迭代完成目标位置的 预测和校正。下面将详述该过程。
[0078] 若步骤5在当前帧正射影像中捕获到了目标。结合基础地理信息库中矢量数据进 行空间分析，查询目标所在位置图层的属性信息，判断目标是否在立交桥下或地下通道中。 如果不在，则说明目标未被立交桥或地下通道遮挡，则结合Kalman预测及跟踪算法输出的 目标中心点地理坐标进行Kalman校正并输出最终结果。如果在遮挡区域，则有可能是跟踪 结果出错，此时，以Kalman预测结果作为最终结果。
[0079] 如果跟踪算法输出目标中心点坐标为空，即跟踪算法未在当前帧中检测或跟踪到 目标。Kalmal预测获得目标中心点地理坐标，结合基础地理信息库中的矢量数据进行空间 分析，查询目标所在位置图层的属性信息，判断目标是否在立交桥下或地下通道中。如果在 遮挡区域，则可能目标被遮挡了，以Kalman预测结果作为最终结果。如果不在遮挡区域，则 有可能是跟踪结果出错，以Kalman预测结果作为最终结果。
[0080] 以上最终处理结果即为目标中心的地理坐标。
[0081] 步骤7 :正射影像序列拼接及运动目标轨迹显示。
[0082] 经过几何校正后的航摄像片序列，其坐标基准相同，可直接按坐标进行图像拼接。
[0083] 由于目标跟踪是在正射影像上进行的，而步骤6中最终输出结果为目标中心的地 理坐标，将地理坐标转为几何校正坐标，用于下一帧正射影像目标跟踪的初始化，并将一连 串目标中心几何校正坐标在拼接后图像上显示出来得到运动目标轨迹。
【主权项】
1. 地理信息时空约束下的无人机运动目标跟踪与定位方法，其特征是，包括步骤： S1根据无人机POS数据获得航摄像片的外方位角元素和外方位线元素； S2结合高程数据对航摄像片进行几何校正得正射影像； S3采用基础地理信息库中基准影像对正射影像进行精纠正，获得正射影像的几何校 正坐标和地理坐标的映射关系； S4第一帧正射影像上框选待跟踪的目标，即初始目标； S5对正射影像序列逐帧进行目标跟踪，具体为： 5. 1根据基础地理信息库中道路矢量数据构建当前帧正射影像的道路缓冲区，对目标 和道路缓冲区做空间分析，确定目标所在的道路缓冲区； 5. 2以目标所在的道路缓冲区为前景掩膜，输入初始目标，采用目标跟踪法在当前帧正 射影像的道路缓冲区内进行目标跟踪； 5.3以目标中心地理坐标及目标移动速度构建当前时刻的系统状态向量，以子步骤 5. 2所跟踪的目标中心地理坐标构建当前时刻的系统观测向量，采用卡尔曼滤波器修正当 前帧正射影像的目标跟踪结果； 5.4将当前帧正射影像所跟踪的目标作为下一帧正射影像的初始目标，重复执行子步 骤 5. 1~5. 3 ; S6拼接正射影像序列并显示目标运动轨迹。2. 如权利要求1所述的地理信息时空约束下的无人机运动目标跟踪与定位方法，其特 征是：S2中采用反解法数字微分纠正或间接法数字微分纠正进行几何校正。3. 如权利要求1所述的地理信息时空约束下的无人机运动目标跟踪与定位方法，其特 征是： S3进一步包括： 由正射影像的几何校正坐标获得影像覆盖范围； 根据影像覆盖范围从基础地理信息库中查询正射影像匹配的基准影像； 对正射影像和其匹配的基准影像分别提取特征点； 基于特征点对正射影像和其匹配的基准影像进行配准，获得正射影像的几何校正坐标 和地理坐标的映射关系。4. 如权利要求1所述的地理信息时空约束下的无人机运动目标跟踪与定位方法，其特 征是： 子步骤5.2中采用TLD法在正射影像的道路缓冲区内进行目标跟踪。
【专利摘要】本发明公开了一种地理信息时空约束下的无人机运动目标跟踪与定位方法，包括步骤：根据无人机POS数据获得航摄像片的外方位角元素和外方位线元素；结合高程数据对航摄像片进行几何校正得正射影像；采用基础地理信息库中基准影像对正射影像进行精纠正，获得正射影像的几何校正坐标和地理坐标的映射关系；第一帧正射影像上框选待跟踪的目标，即初始目标；对正射影像序列逐帧进行目标跟踪；拼接正射影像序列并显示目标运动轨迹。本发明提高了跟踪精度与可靠性，可确保目标跟踪的稳定性。
【IPC分类】G01C21/20
【公开号】CN105352509
【申请号】CN201510706222
【发明人】眭海刚, 吕枘蓬, 涂继辉, 蔡肖芋
【申请人】武汉大学
【公开日】2016年2月24日
【申请日】2015年10月27日