其作比较分析，进而判断飞 行器位置变化。
[0110] 本发明通过各个控制处理设备的多次运行工作进行飞行器位置的不断调整。即通 过反复调整后实现飞行器的增稳。 阳111]需要说明的是，本方法是基于多相机，对相机的基本要求为：可W在两轴平台的辅 助下完成对图像的准确采集，其各个指标根据不同用途会有所不同。
[0112] W上描述了本发明的基本原理、基本特征和基本的实施方案，并且运里通过了说 明而不是限制的方式进行了阐述。对于本领域内的技术人员来说，很显然的是，在本质上不 脱离所附权利要求书限定的发明精神和范围的前提下，可W做出许多其他实施案例。
【主权项】
1. 一种基于多图像的四旋翼飞行器增稳系统，其特征在于，包括： 分别布置在飞行器前侧、左侧和右侧的带有红外接收器的三个可控相机，在飞行器到 达需求高度时，各个相机利用红外接收器接收遥控器的命令按照设定周期进行图像采集； 设置在飞行器上的与所述三个可控相机连接的图像处理器，图像处理器对各个相机采 集的图像进行提取，每幅图像中在固定坐标位置选定目标物，图像处理器基于Mean Shift 算法分别跟踪每个相机中所规定的目标物； 设置在飞行器上的与所述图像处理器连接的单片机，单片机接收所述图像处理器的计 算结果，以各个相机第一次拍摄的图像为基准，其后各个相机每个周期内拍摄的图像的目 标物均与相应的原始目标物的坐标位置进行比较，通过每一侧不同拍摄周期的图像对比， 进行飞行器的姿态和位置判断，并根据判断结果输出信号控制飞行器的调整，达到姿态、位 置反馈，反复此过程进而实现飞行器的增稳。2. -种基于多图像的四旋翼飞行器增稳方法，其特征在于，包括如下步骤： 步骤1 :在飞行器前侧、左侧和右侧分别布置一个带有红外接收器的可控相机，在飞行 器到达需求高度时，各个相机利用红外接收器接收遥控器的命令按照设定周期进行图像采 集； 步骤2 :每次采集的图像传输至设置在飞行器上的图像处理器，在每幅图像中建立二 维直角坐标系，并在固定坐标位置选定三个目标物，基于Mean Shift算法跟踪每幅图像每 个选区的目标物； 步骤3 :以各个相机第一次拍摄的图像为基准，其后各个相机每个周期内拍摄的图像 的目标物均与相应的原始目标物的坐标位置进行比较，如果各幅图像中三个目标物的坐标 变化不超过预设的误差值，则认为飞行器稳定悬停，即姿态未变化，如果某一幅图像或多幅 图像中的三个目标物的坐标同时变化，则认为飞行器姿态发生变化，通过前后图片的目标 物的位置差值，从而计算出飞行器姿态调整所需的控制量，以控制飞行器的姿态，保证飞行 器稳定； 步骤4 :根据步骤3的判断结果，对飞行器进行姿态控制，多相机与图像处理反复工作 使飞行器不断进行姿态调整，直到与基准各个目标物满足偏离误差。3. 根据权利要求2所述基于多图像的四旋翼飞行器增稳方法，其特征在于，所述步骤2 中，应用基于Mean Shift的目标跟踪算法，在每幅图像中建立二维直角坐标系，并在固定坐 标位置选定三个目标物，提取帧图像的多种特征，得到显著图，即一幅和原始图像大小相同 的二维图像，其中的每个像素值表示原图像对应点的显著性大小，在此基础上建立目标模 型的直方图，然后运用Mean Shift算法进行跟踪。4. 根据权利要求2所述基于多图像的四旋翼飞行器增稳方法，其特征在于，所述步骤2 中，分别在每个相机所捕获的初始帧图像中选取三个坐标固定的目标物，坐标分别为（xl， yl)、（X2，y2)和（x3，y3)，假设目标物初始位置在坐标中心，通过分别比较三组视频序列中 目标物坐标位置的偏移量，从而判别飞行器的状态。5. 根据权利要求2所述基于多图像的四旋翼飞行器增稳方法，其特征在于，对某一个 相机，在帧图像中规定目标物及通过Mean Shift算法实现对目标物的跟踪的具体实现如 下： (1)视觉模型构建： 选取Itti视觉模型； (2) 显著图的获取： a) 提取颜色、强度和边缘等形式的局部空间信息； b) 用高斯滤波器对颜色、强度和边缘特征图像进行滤波； c) 中心一一周围差分和归一化，获取颜色、强度和边缘特征图； d) 对特征图进行融合及归一化后，合成视觉显著图； (3) 视觉特征提取： a. 获取颜色特征图 颜色特征由色调H中提取由，公式如下： H(c, s) = |H(c) 0H(s) (I) 其中：c e [2, 3], s = c+ δ , δ e [3, 4] c是中心标度 δ是中心一周围差标度 s是周围标度 Θ为操作算子 H(C)表示第c级高斯颜色特征图 H(S)表示第s级高斯颜色特征图 H代表图像中的色调，即色彩信息 H (c, s)表示颜色特征图 b. 获取强度特征图 强度特征由如下公式求出： I (c, s) = 11 (c) Θ I (s) I (2) 其中：c e [2, 3], s = c+ δ , δ e [3, 4] c是中心标度 δ是中心一周围差标度 s是周围标度 Θ为操作算子 I (c)表示第c级高斯强度特征图 I (s)表示第s级高斯强度特征图 I代表图像中的亮度，即强度信息 I (c, s)表示强度特征图 c. 获取边缘特征图 边缘特征由如下公式求出： E(c, s) = |E(c) ΘE(S) I (3) 其中：c e [2, 3], s = c+ δ , δ e [3, 4] c是中心标度 δ是中心一周围差标度 s是周围标度 Θ为操作算子 E(c)表示第c级高斯边缘特征图 E(S)表示第s级高斯边缘特征图 E代表图像中的边缘信息 E (c, s)表示边缘特征图 (4) 生成视觉显著图： 令显著图的标度为4,由式（1)、式（2)和式（3)分别获得的颜色、强度和边缘三个方面 12张特征图，将每个方面的4个特征图组合成特征显著图，分别为颜色特征显著图77，强度 特征显著图?，边缘特征显著图￥，分别由如下公式求得：式中：?表示多个尺度下相应的特征显著图经线性插值调整到同一大小后相加，NO 为Itti模型中定义的归一化算子，分别将各个显著图的显著值标准归一化到（0, 1)区间； 然后将77、7、Z线性组合成视觉显著图； (5) 目标直方图的建立及跟踪： 直方图的建立公式如下：其中：k为核函数，m为特征空间中特征值的个数，δ为Kronecker函数， b (X1)为像素 xjt应的特征值，η为采样点的个数，C为归一化系数，h为核函数的带宽， X。为目标中心； 偏移目标y描述为：因此跟踪目标物的过程可以等效为寻找最优的y，使得^和t最相似，它们之间的相 似性用Bhattacharyya系数来度量，即为了更加逼近运动的目标物，采用迭代算法进行计算，公式如下：式中A为新的目标中心位置，其中W1为特征权值迭代过程就是不断计算V1，直至Bhattacharyya系数最大即定位为目标的最终中心位 置停止迭代； 在每个控制周期内进行迭代，当停止迭代时，即三个相机的每幅图像都追踪到了目标 物的新坐标，通过计算每幅图像的每个选定区的坐标的的偏移量，判断出飞行器的姿态状 态，从而计算给出对飞行器的姿态控制的调整量，以保证飞行器的增稳。
【专利摘要】一种基于多图像的四旋翼飞行器增稳系统，即通过在飞行器上安装三个可控相机，分布在飞行器三个坐标轴上，以实现多方位的图像采集；以某一时刻所有相机拍摄的多幅图像作为基准图像，并通过图像处理，在每幅图中固定的坐标位置上选取三个选定区以后每个拍摄周期所得帧图像均与该基准帧图像中所规定的目标物进行对比，通过比较与分析每帧图像中目标物的坐标位置，进而得出该飞行器的本身姿态变化和其位置变化，从而通过姿态反馈和位置反馈实现飞行器的增稳；本发明可实现飞行器在农田区域化作业中固定位置的保持，提高农药喷洒的精度、可靠性。
【IPC分类】G06T7/00, B64D47/08
【公开号】CN105173102
【申请号】
【发明人】范叶满, 王东, 关鑫, 张海辉, 黄琳雅, 张阳, 马明龙
【申请人】西北农林科技大学
【公开日】2015年12月23日
【申请日】2015年9月18日