一种无人机避障装置及避障方法
【专利摘要】本发明公开了一种无人机避障装置及避障方法，涉及无人机技术领域，解决了现有技术中，无人机无法有效避开障碍物的技术问题。该无人机避障装置包括依次连接的探测器模块、信息处理模块、数据融合模块和飞行控制模块；探测器模块包括超声波单元和双目视觉单元，超声波单元和双目视觉单元用于同时获得障碍物信息；信息处理模块用于处理超声波单元获得的障碍物信息，得到障碍物距离信息，以及处理双目视觉单元获得的障碍物信息，得到障碍物深度信息；数据融合模块用于融合障碍物距离信息和障碍物深度信息，获得综合障碍物信息，使飞行控制模块根据综合障碍物信息控制无人机避障。本发明应用于无人机避障。
【专利说明】
一种无人机避障装置及避障方法
技术领域
[0001 ]本发明涉及无人机技术领域，尤其涉及一种无人机避障装置及避障方法。
【背景技术】
[0002]随着无人机行业的迅速发展，无人机的应用越来越广，为了提高无人机的安全性，对无人机避障系统和方法的研究就显得尤为重要。
[0003]目前，主要的无人机避障系统是基于超声波的避障系统，即在无人机上加装定向的超声波发射器和接收器，并将其接入无人机的飞行控制系统。然而，现有的基于超声波的避障系统，对障碍物的要求比较苛刻，如果障碍物的材质不是平面光滑的固体物，则超声波的反射和接收就会出问题，从而导致无人机无法有效避开障碍物。
【发明内容】
[0004]本发明的目的在于提供一种无人机避障装置，用于使无人机能够有效地避开障碍物。
[0005]为达到上述目的，本发明提供一种无人机避障装置，采用如下技术方案:
[0006]该无人机避障装置包括:依次连接的探测器模块、信息处理模块、数据融合模块和飞行控制模块；
[0007]其中，所述探测器模块包括超声波单元和双目视觉单元，所述超声波单元和所述双目视觉单元均与所述信息处理模块相连；
[0008]所述超声波单元和所述双目视觉单元用于同时获得障碍物信息，将超声波单元获得的障碍物信息和双目视觉单元获得的障碍物信息传输至所述信息处理模块；
[0009]所述信息处理模块用于处理所述超声波单元获得的障碍物信息，得到障碍物距离信息，以及处理所述双目视觉单元获得的障碍物信息，得到障碍物深度信息，将所述障碍物距离信息和所述障碍物深度信息传输至所述数据融合模块；
[0010]所述数据融合模块用于融合所述障碍物距离信息和所述障碍物深度信息，获得综合障碍物信息，并将所述综合障碍物信息传输至所述飞行控制模块，使所述飞行控制模块根据综合障碍物信息控制无人机避障。
[0011]与现有技术相比，本发明提供的无人机避障装置具有以下有益效果:
[0012]在本发明提供的无人机避障装置中，由于该无人机避障装置中的探测器模块不仅包括超声波单元，还包括双目视觉单元，因此，当障碍物的材质不是平面光滑的固体物，使得超声波单元的反射和接收出现问题时，还可通过双目视觉单元获得障碍物信息，并通过依次连接的信息处理模块、数据融合模块得到综合障碍物信息，无人机的飞行控制模块即可根据该综合障碍物信息，对无人机进行控制，使得无人机能够有效地避开障碍物。
[0013 ]本发明还提供一种无人机避障方法，该无人机避障方法包括:
[0014]利用超声波单元和双目视觉单元同时获取障碍物信息；
[0015]处理所述超声波单元获得的障碍物信息，得到障碍物距离信息，处理所述双目视觉单元获得的障碍物信息，得到障碍物深度信息；
[0016]融合所述障碍物距离信息和所述障碍物深度信息，获得综合障碍物信息，将所述综合障碍物信息传输至飞行控制模块，使所述飞行控制模块根据综合障碍物信息控制无人机避障。
[0017]与现有技术相比，本发明提供的无人机避障方法具有以下有益效果:
[0018]在本发明提供的无人机避障方法中，利用超声波单元和双目视觉单元同时获取障碍物信息，因此，当障碍物的材质不是平面光滑的固体物，使得超声波单元的反射和接收出现问题时，还可通过双目视觉单元获得障碍物信息，并通过处理超声波单元获得的障碍物信息和双目视觉单元，获得障碍物距离信息和障碍物深度信息，并通过融合障碍物距离信息和障碍物深度信息，得到综合障碍物信息，无人机的飞行控制模块即可根据该综合障碍物信息，对无人机进行控制，使得无人机能够有效地避开障碍物。
【附图说明】
[0019]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本发明实施例中无人机避障装置结构示意图；
[0021 ]图2为本发明实施例中无人机避障方法流程图；
[0022]图3为本发明实施例中得到障碍物深度信息的具体步骤流程图。
[0023]附图标记说明:
[0024]I 一探测器模块，2—信息处理模块，
[0025]3—数据融合模块，4 一飞行控制模块，
[0026]11—超声波单元，12—双目视觉单元，
[0027]121 一第一摄像机，122—第二摄像机，
[0028]21—超声波数据处理单元，22—视觉数据处理单元，
[0029]221—视频数据接收子单元，222—图像预处理子单元，
[0030]223—图像立体匹配子单元，224—图像信息综合子单元。
【具体实施方式】
[0031]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]实施例一
[0033]本发明实施例提供一种无人机避障装置，如图1所示，该无人机避障装置包括:依次连接的探测器模块1、信息处理模块2、数据融合模块3和飞行控制模块4;其中，探测器模块I包括超声波单元11和双目视觉单元12，超声波单元11和双目视觉单元12均与信息处理模块2相连，示例性地，超声波单元11可通过串行外设接口与信息处理模块2相连。
[0034]超声波单元11和双目视觉单元12用于同时获得障碍物信息，将超声波单元11获得的障碍物信息和双目视觉单元12获得的障碍物信息传输至信息处理模块2;信息处理模块2用于处理超声波单元11获得的障碍物信息，得到障碍物距离信息，以及处理双目视觉单元12获得的障碍物信息，得到障碍物深度信息，将障碍物距离信息和障碍物深度信息传输至数据融合模块3;数据融合模块3用于融合障碍物距离信息和障碍物深度信息，获得综合障碍物信息，并将综合障碍物信息传输至飞行控制模块4，使飞行控制模块4根据综合障碍物信息控制无人机避障。
[0035]下面结合附图对本实施例提供的无人机避障装置的工作过程进行详细说明。如图2所示，无人机避障装置的工作过程如下:
[0036]步骤SI，利用超声波单元11和双目视觉单元12同时获取障碍物信息。
[0037]步骤S2，利用信息处理模块2处理超声波单元11获得的障碍物信息，得到障碍物距离信息，处理双目视觉单元12获得的障碍物信息，得到障碍物深度信息。
[0038]步骤S3，利用数据融合模块3融合障碍物距离信息和障碍物深度信息，获得综合障碍物信息，将综合障碍物信息传输至飞行控制模块，使飞行控制模块根据综合障碍物信息控制无人机避障。
[0039]通过上述无人机避障装置的工作过程可知，由于该无人机避障装置中的探测器模块I不仅包括超声波单元11，还包括双目视觉单元12，因此，当障碍物的材质不是平面光滑的固体物，使得超声波单元11的反射和接收出现问题时，还可通过双目视觉单元12获得障碍物信息，并通过依次连接的信息处理模块2、数据融合模块3得到综合障碍物信息，无人机的飞行控制模块4即可根据该综合障碍物信息，对无人机进行控制，使得无人机能够有效地避开障碍物。
[0040]下面本发明实施例将详细介绍上述无人机避障装置中探测器模块I和信息处理模块2的具体结构:
[0041]—、探测器模块I的具体结构:
[0042]如图1所示，双目视觉单元12包括第一摄像机121和第二摄像机122，第一摄像机121和第二摄像机122均与信息处理模块2相连，在无人机避障装置工作过程中，可分别利用第一摄像机121和第二摄像机122获得第一角度障碍物视频和第二角度障碍物视频。而且，为了方便对第一摄像机121以及第二摄像机122的内参数和外参数的标定，对于第一摄像机121和第二摄像机122的位置关系，可以使的第一摄像机121的摄像头主光轴以及第二摄像机122的摄像头主光轴处于同一水平线，也可以使第一摄像机121的摄像头主光轴和第二摄像机122的摄像头主光轴处于同一竖直线上，另外，还可适当加大第一摄像机121和第二摄像机122之间的距离，使得双目视觉单元12的探测精度更高，本领域技术人员可根据实际情况进行设置，本发明实施例不进行限定。
[0043]而超声波单元11可包括超声波发射器和回收器，对于超声波单元11的具体结构，本领域技术人员可根据实际情况进行设置，本发明实施例不进行限定。
[0044]由此可知，在光强充足的情况下，双目视觉单元12与超声波单元11配合，可以得到精确、完整的障碍物信息，从而使得该无人机避障装置能够控制无人机有效地避障，在光强不足的情况下，虽然双目视觉单元12得到的障碍物视觉信息会出现瑕疵，但还可通过超声波单元11得到充足的障碍物信息，从而可以控制无人机有效地避障。
[0045]二、信息处理模块2的具体结构:
[0046]如图1所示，信息处理模块2包括超声波数据处理单元21和视觉数据处理单元22，超声波数据处理单元21和视觉数据处理单元22均与数据融合模块3相连。
[0047]在无人机避障装置工作过程中，超声波数据处理单元21用于处理超声波单元11获得的障碍物信息，得到障碍物距离信息，具体地，可根据超声波单元11获得的超声波回波时间、环境温度以及无人机实时姿态，得到障碍物距离信息，即障碍物与无人机之间的距离。
[0048]视觉数据处理单元22用于处理双目视觉单元12获得的障碍物信息，得到障碍物深度信息。
[0049]具体地，视觉数据处理单元22包括依次连接的视频数据接收子单元221、图像预处理子单元222、图像立体匹配子单元223和图像信息综合子单元224，图像信息综合子单元224与数据融合模块3相连；
[0050]视频数据接收子单元221用于接收双目视觉单元12获得的障碍物信息，即分别利用第一摄像机121和第二摄像机122获得的第一角度障碍物视频和第二角度障碍物视频。
[0051]需要说明的是，在双目视觉单元12获得的第一角度障碍物视频和第二角度障碍物视频之前，已经对双目视觉单元12中的第一摄像机121以及第二摄像机122的内参数和外参数同时进行了标定。
[0052]图像预处理子单元222用于处理第一角度障碍物视频，得到第一角度障碍物视频所对应的各帧第一角度障碍物图片；以及处理第二角度障碍物视频，得到第二角度障碍物视频所对应的各帧第二角度障碍物图片。
[0053]可选的，可对第一角度障碍物视频和第二角度障碍物视频中的图像进行平滑处理、边缘提取等预处理，得到第一角度障碍物视频所对应的各帧第一角度障碍物图片和第二角度障碍物视频所对应的各帧第二角度障碍物图片，以方便后续的特征点立体匹配和深度计算。
[0054]图像立体匹配子单元223用于对同时刻的第一角度障碍物图片和第二角度障碍物图片进行特征点立体匹配。
[0055]可选的，可采用基于一体化灰度的方法对对相同时刻的第一角度障碍物图片和第二角度障碍物图片进行特征点立体匹配。
[0056]图像信息综合子单元224用于根据特征点立体匹配的结果、双目视觉单元12的标定内参数和标定外参数，获得障碍物深度信息。
[0057]可选的，可根据双目视觉单元12的标定内参数和标定外参数，以及相应公式计算出障碍物在无人机坐标系的深度信息，该深度信息可包括障碍物的空间位置，与无人机的相对距离以及障碍物的形状信息等。
[0058]实施例二
[0059]本发明实施例提供一种无人机避障方法，利用本发明实施例一中的无人机避障装置进行避障，具体地，如图2所示，该无人机避障方法包括:
[0060]步骤S1、利用超声波单元和双目视觉单元同时获取障碍物信息。
[0061 ]步骤S2、处理超声波单元获得的障碍物信息，得到障碍物距离信息，处理双目视觉单元获得的障碍物信息，得到障碍物深度信息。
[0062]步骤S3、融合障碍物距离信息和障碍物深度信息，获得综合障碍物信息，将综合障碍物信息传输至飞行控制模块，使飞行控制模块根据综合障碍物信息控制无人机避障。
[0063]在本发明实施例的技术方案中，利用超声波单元和双目视觉单元同时获取障碍物信息，当障碍物的材质不是平面光滑的固体物，使得超声波单元的反射和接收出现问题时，还可通过双目视觉单元获得障碍物信息，并通过处理超声波单元获得的障碍物信息和双目视觉单元，获得障碍物距离信息和障碍物深度信息，并通过融合障碍物距离信息和障碍物深度信息，得到综合障碍物信息，无人机的飞行控制模块即可根据该综合障碍物信息，对无人机进行控制，使得无人机能够有效地避开障碍物。
[0064]下面结合附图对上述实施例提供的无人机避障方法的各个步骤分别详细说明。
[0065]一、步骤SI中的障碍物信息包括通过超声波单元获得障碍物的超声波信息，和通过双目视觉单元获得的障碍物的视觉信息。
[0066]其中，通过双目视觉单元获得障碍物的视觉信息的具体步骤包括:
[0067]步骤S11、根据双目视觉单元中的第一摄像机的标定内参数和标定外参数，利用第一摄像机获得第一角度障碍物视频。
[0068]步骤S12、根据双目视觉单元中的第二摄像机的标定内参数和标定外参数，利用第二摄像机获得第二角度障碍物视频。
[0069]二、步骤S2中处理超声波单元获得的障碍物信息，得到障碍物距离信息的具体步骤包括:根据超声波单元获得的超声波回波时间、环境温度以及无人机实时姿态，得到障碍物距离信息，即障碍物与无人机之间的距离。
[0070]如图3所示，步骤S2中，处理双目视觉单元获得的障碍物信息，得到障碍物深度信息的具体步骤包括:
[0071]步骤S211、处理双目视觉单元获得的第一角度障碍物视频和第二角度障碍物视频，得到第一角度障碍物视频所对应的各帧第一角度障碍物图片和第二角度障碍物视频所对应的各帧第二角度障碍物图片。
[0072]步骤S212、对相同时刻的第一角度障碍物图片和第二角度障碍物图片进行特征点立体匹配。具体可采用基于一体化灰度的方法对相同时刻的第一角度障碍物图片和第二角度障碍物图片进行特征点立体匹配。
[0073]步骤S213、根据特征点立体匹配结果、双目视觉单元的标定内参数和标定外参数，获得障碍物深度信息。该深度信息可包括障碍物的空间位置，障碍物与无人机的相对距离以及障碍物的形状信息等。
[0074]可选的，步骤S211处理双目视觉单元获得的第一角度障碍物视频和第二角度障碍物视频的方法多种多样，例如:可对第一角度障碍物视频和第二角度障碍物视频中的图像进行平滑处理、边缘提取等预处理，得到第一角度障碍物视频所对应的各帧第一角度障碍物图片和第二角度障碍物视频所对应的各帧第二角度障碍物图片，以方便后续的特征点立体匹配和深度计算。另外，在双目视觉单元获得的第一角度障碍物视频和第二角度障碍物视频之前，已经对双目视觉单元中的第一摄像机以及第二摄像机的内参数和外参数同时进行了标定。
[0075]三、步骤S3中，飞行控制模块可根据综合障碍物信息自动控制无人机避障。或者，在紧急情况下，当有障碍物的清晰图像或障碍物在技术人员的视距范围内时，可人工控制无人机往远离障碍物的方位飞行，进行避障。
[0076]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
【主权项】
1.一种无人机避障装置，其特征在于，包括:依次连接的探测器模块、信息处理模块、数据融合模块和飞行控制模块； 其中，所述探测器模块包括超声波单元和双目视觉单元，所述超声波单元和所述双目视觉单元均与所述信息处理模块相连； 所述超声波单元和所述双目视觉单元用于同时获得障碍物信息，将超声波单元获得的障碍物信息和双目视觉单元获得的障碍物信息传输至所述信息处理模块； 所述信息处理模块用于处理所述超声波单元获得的障碍物信息，得到障碍物距离信息，以及处理所述双目视觉单元获得的障碍物信息，得到障碍物深度信息，将所述障碍物距离信息和所述障碍物深度信息传输至所述数据融合模块； 所述数据融合模块用于融合所述障碍物距离信息和所述障碍物深度信息，获得综合障碍物信息，并将所述综合障碍物信息传输至所述飞行控制模块，使所述飞行控制模块根据综合障碍物信息控制无人机避障。2.根据权利要求1所述的无人机避障装置，其特征在于，所述双目视觉单元包括第一摄像机和第二摄像机，所述第一摄像机和所述第二摄像机均与所述信息处理模块相连。3.根据权利要求1所述的无人机避障装置，其特征在于，所述信息处理模块包括超声波数据处理单元和视觉数据处理单元，所述超声波数据处理单元和所述视觉数据处理单元均与所述数据融合模块相连； 所述超声波数据处理单元用于处理所述超声波单元获得的障碍物信息，得到所述障碍物距离信息； 所述视觉数据处理单元用于处理所述双目视觉单元获得的障碍物信息，得到所述障碍物深度信息。4.根据权利要求3所述的无人机避障装置，其特征在于，所述视觉数据处理单元包括依次连接的视频数据接收子单元、图像预处理子单元、图像立体匹配子单元和图像信息综合子单元，所述图像信息综合子单元与所述数据融合模块相连； 所述视频数据接收子单元用于接收所述双目视觉单元获得的障碍物信息;所述双目视觉单元获得的障碍物信息包括第一角度障碍物视频和第二角度障碍物视频； 所述图像预处理子单元用于处理所述第一角度障碍物视频，得到第一角度障碍物视频所对应的各帧第一角度障碍物图片；以及处理所述第二角度障碍物视频，得到第二角度障碍物视频所对应的各帧第二角度障碍物图片； 所述图像立体匹配子单元用于对同时刻的所述第一角度障碍物图片和所述第二角度障碍物图片进行特征点立体匹配； 所述图像信息综合子单元用于根据特征点立体匹配的结果、所述双目视觉单元的标定内参数和标定外参数，获得所述障碍物深度信息。5.一种无人机避障方法，其特征在于，包括: 利用超声波单元和双目视觉单元同时获取障碍物信息； 处理所述超声波单元获得的障碍物信息，得到障碍物距离信息，处理所述双目视觉单元获得的障碍物信息，得到障碍物深度信息； 融合所述障碍物距离信息和所述障碍物深度信息，获得综合障碍物信息，将所述综合障碍物信息传输至飞行控制模块，使所述飞行控制模块根据综合障碍物信息控制无人机避障。6.根据权利要求5所述的无人机避障方法，其特征在于，所述障碍物信息包括通过超声波单元获得障碍物的超声波信息，和通过双目视觉单元获得的障碍物的视觉信息。7.根据权利要求6所述的无人机避障方法，其特征在于，通过所述双目视觉单元获得所述障碍物的视觉信息的具体步骤包括: 根据所述双目视觉单元中的第一摄像机的标定内参数和标定外参数，利用所述第一摄像机获得第一角度障碍物视频； 根据所述双目视觉单元中的第二摄像机的标定内参数和标定外参数，利用所述第二摄像机获得第二角度障碍物视频。8.根据权利要求5所述的无人机避障方法，其特征在于，处理所述超声波单元获得的障碍物信息，得到障碍物距离信息的具体步骤包括: 根据所述超声波单元获得的超声波回波时间、环境温度以及无人机实时姿态，得到障碍物距离信息。9.根据权利要求5所述的无人机避障方法，其特征在于，处理所述双目视觉单元获得的障碍物信息，得到障碍物深度信息的具体步骤包括: 处理所述双目视觉单元获得的第一角度障碍物视频和第二角度障碍物视频，得到第一角度障碍物视频所对应的各帧第一角度障碍物图片和第二角度障碍物视频所对应的各帧第二角度障碍物图片； 对相同时刻的所述第一角度障碍物图片和所述第二角度障碍物图片进行特征点立体匹配； 根据特征点立体匹配结果、所述双目视觉单元的标定内参数和标定外参数，获得所述障碍物深度信息。10.根据权利要求5所述的无人机避障方法，其特征在于，使所述飞行控制模块根据综合障碍物信息控制无人机避障的具体步骤包括:使所述飞行控制模块根据综合障碍物信息自动控制无人机避障；或，人工控制所述飞行控制模块根据综合障碍物信息控制无人机避障。
【文档编号】G05D1/10GK106020232SQ201610532173
【公开日】2016年10月12日
【申请日】2016年7月7日
【发明人】张志军, 郗小鹏, 张巍, 张贵峰, 王平, 杨鹤猛, 吴新桥, 陈晓, 周筑博, 王诗奎, 陈艳芳, 廖永力
【申请人】天津航天中为数据系统科技有限公司, 南方电网科学研究院有限责任公司, 中国南方电网有限责任公司电网技术研究中心