专利名称：一种可视导航中的无人机集群信息传输方法
技术领域：
本发明涉及无人机通信技术领域，特别涉及一种可视导航中的无人机集群信息传输方法。
背景技术：
近年来，计算机视觉方法由于其经济、无源、设备简单、获取信息量大等特点，成为无人机可视导航研究中的重要手段。无人机可视导航是一种将综合视觉、飞行、空管和通信技术有机结合的新型导航方法，通常是指无人机可以无需利用其他辅助设备(如GPS)信息，只利用机载传感器(如视觉传感器、惯性导航系统、速度传感器、雷达高度表等)获取的信息进行导航，减少无人机飞行及着陆时对外部设备和环境的依赖，使无人机具有更高的自主性。可视导航中存在需要传感设备多，视觉信息数据量大，数据融合处理实时性要求高等问题。多架无人机协作可视导航成为一个重要的发展趋势，从而多架无人机之间的视觉信息传输成为迫切需要解决的关键问题之一。传统的无人机集群通信技术基本是面向文本传输的，可视导航中的无人机集群协同通信技术还比较匮乏。视频图像传输与传统的文件传输有着明显的区别，传统文件的传输对于传输的延迟、抖动没有过多的要求，但是要求有严格的差错控制和重传机制， 且文本信息量一般较少，占用带宽也较小。视频图像传输在传输的实时性、同步性上要求很高，并且要求传输延迟小，同时数据量大，需占用带宽也较大。目前多架无人机协同 SLAM (Simultaneous Localization And Mapping)的研究，更多地关注了 SLAM 视觉技术本身，结合无人机之间通信方式的研究较少，使得信息滞后、数据关联与匹配错误和数据不确定性等问题更为突出。可视导航中飞行环境场景快速变化导致视频数据传输量大和无人机组网链路带宽有限的矛盾，使得视频传输技术在无人机集群中的应用受到很大制约。
发明内容
本发明旨在至少解决上述技术问题之一。为此，本发明的目的在于提出一种数据传输量小、数据传输实时性强且能够有效避免传输堵塞的可视导航中的无人机集群信息传输方法。为了实现上述目的，本发明的实施例提出了一种可视导航中的无人机集群信息传输方法，包括以下步骤A 创建无人机集群中每一个无人机的通讯ID以便建立无人机协作组以进行可视导航；B 根据所述无人机协作组中的传输任务将待采集场景进行划分以得到第一和第二图像区域，并计算所述第二图像区域的尺寸作为所述第二图像区域的参数； C:所述无人机协作组中的发送方无人机根据划分结果对所述第一和第二图像区域以不同尺度进行采集；D 所述发送方无人机设定采集到的第一和第二图像区域以及所述参数的传输优先级和类别，其中，所述第一图像区域、第二图像区域和所述参数的传输优先级递增；E 所述接收方无人机根据所述传输优先级依次接收所述第一图像区域、第二图像区域和所述参数，并根据所述类别对其进行解析以便重构出场景信息。
根据本发明实施例的可视导航中的无人机集群信息传输方法，在保证可视导航所需视觉信息质量的同时，通过将待采集场景进行区域划分，降低采集的信息量，进而解决数据传输量大的问题，有效避免了传输堵塞的发生，同时根据类别传输优先级，提高信息传输的实时性和匹配性，进而为无人机的安全飞行提供可靠避险避障导航信息。具体地，由于第二图像区域(近距离产生信息变化的局部区域)的信息量是整个飞行场景信息量的主要部分，而第一图像区域(背景区域)的信息量并不是无人机的安全飞行的可靠避险避障导航信息的关键信息，通过区域划分可减少对第一图像区域的采集，减小信息量，因此可以有效的减少无人机集群协作可视导航中实时视频、图像传输的信息传输量，具有实时性好，可靠性高的优点，为无人机集群协作可视导航精确、实时地提供障碍物场景(第二图像区域)， 避免事故的发生。另外，根据本发明上述实施例的可视导航中的无人机集群信息传输方法还可以具有如下附加的技术特征在本发明的一个实施例中，所述发送方无人机根据所述类别对所述第一和第二图像区域以及所述参数采用不同的压缩方法对其进行编码，并将所述第一和第二图像区域以及所述参数以传输包的方式进行传输，其中，所述传输包由接收方无人机的通讯ID、帧序号、同帧数据包个数、类别、数据区大小和数据域组成。在本发明的一个实施例中，所述步骤A还包括在为无人机集群中每一个无人机创建相应的通讯ID后，如果存在尚未创建通讯ID的无人机，则通过所述无人机集群中的任意一个具有通讯ID的无人机为其生成一个通讯ID。在本发明的一个实施例中，所述步骤B进一步包括根据所述无人机协作组中的传输任务，在进行所述待采集场景的采集和数字化时将其划分为背景区域和信息变化的前景局部区域；计算所述信息变化的前景局部区域的深度以确定每个信息变化的前景局部区域的位置和大小以作为所述相应的信息变化的前景局部区域的参数。在本发明的一个实施例中，所述步骤C进一步包括所述发送方无人机根据划分结果对所述第一图像区域以第一尺度进行采集；所述发送方无人机对所述第二图像区域以第二尺度进行采集以得到所述第二图像区域的多个连续的图像信息。在本发明的一个实施例中，所述步骤D还包括所述发送方无人机根据所述类别分别对所述采集到的第一和第二图像区域以及所述参数进行发送，且根据所述数据传输级别依次按照时间的先后顺序对所述第一和第二图像区域以及所述参数进行发送。在本发明的一个实施例中，所述步骤E进一步包括所述接收方无人机根据所述传输优先级依次接收所述第一图像区域、第二图像区域和所述参数并进行缓存；所述接收方无人机根据所述发送方无人机之间预先设定的解码方法对所述第一图像区域、第二图像区域和所述参数进行解析以重构出所述场景信息。在本发明的一个实施例中，所述的可视导航中的无人机集群信息传输方法还包括当判断所述第一图像区域为静态场景或者以低于第一预定速度移动时，采集一幅所述第一图像区域作为采集的多帧的所述待采集场景的第一图像区域。在本发明的一个实施例中，所述述第二图像区域的尺寸以长方体、球体或椭球体进行测量。在本发明的一个实施例中，所述接收方无人机采用环形方式存储所述场景信息。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中图1为本发明一个实施例的可视导航中的无人机集群信息传输方法的流程图；图2A为本发明一个实施例的可视导航中的无人机集群信息传输方法的区域划分与参数标记示意图；图2B为本发明另一个实施例的可视导航中的无人机集群信息传输方法的区域划分与参数标记示意图；以及图3为本发明一个实施例的可视导航中的无人机集群信息传输方法的输出数据包的结构示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、 “后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。以下结合附图1-3描述根据本发明实施例的可视导航中的无人机集群信息传输方法。参考图1，根据本发明实施例的可视导航中的无人机集群信息传输方法包括以下步骤步骤S101，创建无人机集群中每一个无人机的通讯ID以便建立无人机协作组以进行可视导航。具体而言，在无人机集群执行任务之前，可预先统一创建无人机集群中每架无人机的通讯ID，在该实施例中，在为无人机集群中每一个无人机创建相应的通讯ID后，如果存在尚未创建通讯ID的无人机，则通过所述无人机集群中的任意一个具有通讯ID的无人机为其生成一个通讯ID，即若有无人机仍无通讯ID，可由任一具有通讯ID的无人机为其检测产生通信ID，使该通信ID区别于无人机集群中任一已有的通信ID。再为每个无人机创建好通讯ID后，根据执行的任务(确定哪几个无人机之间需要进行通讯)，建立分布式无人机协作组进行可视导航，协作组中无人机基于通讯ID建立路由链路，通过路由链路进行数据传输，任务完成时路由链路自动取消。步骤S102，根据所述无人机协作组中的传输任务将待采集场景进行划分以得到第一和第二图像区域，并计算所述第二图像区域的尺寸作为所述第二图像区域的参数。作为一个具体的示例，第一图像区域为远距离变化的背景信息区域，第二图像区域为近距离产生信息变化的局部区域。首先根据所述无人机协作组中的传输任务，在进行所述待采集场景的采集和数字化时将其划分为背景区域和信息变化的前景局部区域。即在进行待采集场景(视频图像信息)采集和数字化时将待采集场景划分为远距离变化的背景信息区域和近距离产生信息变化的局部区域。然后计算所述信息变化的前景局部区域的深度以确定每个信息变化的前景局部区域的位置和大小以作为所述相应的信息变化的前景局部区域的参数。即通过深度计算方法确定近距离产生信息变化的每个局部区域的立体大小并作为参数，在本发明的一个实施例中，立体大小(尺寸)以长方体、球体或椭球体进行测量(表示)，更为具体地，如可用长方体的长宽高表示，也可用球体的球半径或椭圆球体的椭圆半径等表示。可以理解，无人机需要避险避障时，危险障碍物等一般在其较近的飞行环境内，因此远距离变化的背景信息对无人机的避障避险影响较小，近距离产生信息变化的局部区域是无人机有效避险避障的较重要信息。参考图2A，示出了本发明一个实施例的可视导航中的无人机集群信息传输方法的区域划分与参数标记示意图。同一幅图或一段视频流中可能有一个或多个近距离局部信息变化区域，以一个近距离局部信息变化区域为例，只需要一个参考位置点，如图2中球心 (椭圆球心)确定为局部区域210在整幅图中的参考位置点211以及半径212，便可求得圆形/椭圆形的近距离局部信息变化区域的位置和大小。如图2B所示，也可以以长方体的一个顶点为参考点221作为局部区域220的参考点，同时预定义该长方体的长222、宽223和高224，便可得长方体位置和大小。如图2A或2B所示，计算图像的深度划分为远距离变化背景信息、近距离变化局部信息区域210或近距离变化局部信息区域220，相应的参数变化信息包括区域210或区域 220与整体场景的相对位置参考点信息，如区域210的半径211或者区域220的长222、宽 223和高224的信息。另外，当待采集场景(视频信息)因为场景物体、拍摄设备或无人机的运动和照射光线的变化以及拍摄设备的参数变化而出现变化时，可通过记录运动速度、 光线角度和强度参数以及拍摄设备变化参数(如焦距等)，然后将这些参数信息传送到接收端无人机，以减少原始视频或图像信息的传输量。步骤S103，所述无人机协作组中的发送方无人机根据划分结果对所述第一和第二图像区域以不同尺度进行采集。具体地，所述发送方无人机根据划分结果对所述第一图像区域以第一尺度进行采集。换言之，发送方无人机对于第一图像区域(远距离变化的背景信息区域)在无人机可视导航系统中的采集时采取第一尺度(大尺度)地采集、存储、传送的方式。所述发送方无人机对所述第二图像区域以第二尺度进行采集以得到所述第二图像区域的多个连续的图像信息。即对于近距离产生信息变化的局部区域以小尺度进行采集，生成连续视频流。步骤S104，所述发送方无人机设定采集到的第一和第二图像区域以及所述参数的传输优先级和类别。所述发送方无人机根据所述类别分别对所述采集到的第一和第二图像区域以及所述参数进行发送，且根据所述数据传输级别依次按照时间的先后顺序对所述第一和第二图像区域以及所述参数进行发送。在本发明的一个实施例中，所述第一图像区域、第二图像区域和所述参数的传输优先级递增。例如，远距离变化的背景区域优先级最低，近距离产生信息变化的局部区域优先级较高，近距离产生信息变化的局部区域的尺寸/参数(位置和大小)更高一些。在本发明的另一实施例中，发送方无人机根据类别对第一和第二图像区域以及所述参数采用不同的压缩方法对其进行编码，并将编码后的第一和第二图像区域以及所述参数以传输包的方式进行传输，其中，所述传输包由接收方无人机的通讯ID、帧序号、同帧数据包个数、类别、数据区大小和数据域组成。如图3所示，为本发明一个实施例的可视导航中的无人机集群信息传输方法的输出数据包的结构示意图。通俗地讲，视频采集、压缩和显示是以帧数据的为一个单位进行的，但由于帧数据内容的不同而构造的每帧数据量大小不一样。在实现发送和接收时将一个帧分为多个长度相等的数据传输包进行传输，数据传输包由包头与数据区组成。其中接收方无人机的通讯ID表示该数据传输包的接收端，在发送方无人机和接收方无人机建立默认链路传输大量数据传输包时该项可以省略以节省开销。帧序号表示该数据传输包所属于的帧，接收方无人机将帧序号相同的数据传输包相匹配，同帧数据包数目表示该传输包所属于的帧包含的总数据传输包的数目，接收方无人机判断当帧序号相同的数据传输包数达到该同帧数据包数目时则表示该帧数据接收完毕，类别(数据区标识)表示该数据包所传输的数据类别，如远距离背景信息、近距离局部区域信息或参数信息等，数据区大小表示该数据包所传输的数据量的多少，数据域表示该数据包所传输的数据。发送方无人机和接收方无人机根据上述实施例中所述的优先级类别可由类别(数据区标识)判定数据传输包的优先级。该数据传输包格式灵活性好，易于匹配，适合于顺次和非顺次的传输和存储。步骤S105，所述接收方无人机根据所述传输优先级依次接收所述第一图像区域、 第二图像区域和所述参数，并根据所述类别对其进行解析以便重构出场景信息。具体而言，接收方无人机根据传输优先级依次接收所述第一图像区域、第二图像区域和所述参数并进行缓存。接收方无人机根据所述发送方无人机之间预先设定的解码方法对所述第一图像区域、第二图像区域和所述参数进行解析以重构出所述场景信息。也就是说，在无人机协作组中，接收端无人机根据接收到的数据传输包类别进入相应的匹配队列，并缓冲存储。进一步地，接收方无人机采用环形方式存储场景信息。由此，可以使用最新的数据传输包覆盖最过时的数据传输包，保持数据的实时性，同时对可视导航避险避障等起到关键作用的数据信息可永久存储到可视导航系统的图形图像模型库或综合信息数据库。在本发明的一个实施例中，当判断所述第一图像区域为静态场景或者以低于第一预定速度移动时，采集一幅所述第一图像区域作为采集的多帧的所述待采集场景的第一图像区域。即当所述拍摄的远距离背景信息没有包含快速运动变化的物体时，可只存储传输一幅所述的待采集场景的背景信息(第一图像区域)。否则待采集场景的信息可能因为场景物体、拍摄设备或无人机的运动和照射光线的变化以及拍摄设备的参数变化而出现变化时，可通过记录运动速度、光线角度和强度参数以及拍摄设备变化参数(如焦距等)，然后将这些参数传送到接收方无人机，接收方无人机根据上述参数可以预测模拟出该场景变化而自动生成有效的可视导航信息，由此，在时间紧迫、网络带宽受限或拥塞的状况下，可以不需要传输过多的原始视频信息而实现无人机的自动导航。根据本发明实施例的可视导航中的无人机集群信息传输方法，在保证可视导航所需视觉信息质量的同时，通过将待采集场景进行区域划分，降低采集的信息量，进而解决数据传输量大的问题，有效避免了传输堵塞的发生，同时根据类别传输优先级，提高信息传输的实时性和匹配性，进而为无人机的安全飞行提供可靠避险避障导航信息。具体地，由于第二图像区域(近距离产生信息变化的局部区域)的信息量是整个飞行场景信息量的主要部分，而第一图像区域(背景区域)的信息量并不是无人机的安全飞行的可靠避险避障导航信息的关键信息，通过区域划分可减少对第一图像区域的采集，减小信息量，因此可以有效的减少无人机集群协作可视导航中实时视频、图像传输的信息传输量，具有实时性好，可靠性高的优点，为无人机集群协作可视导航精确、实时地提供障碍物场景(第二图像区域)， 避免事故的发生。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。
权利要求
1.一种可视导航中的无人机集群信息传输方法，其特征在于，包括以下步骤A 创建无人机集群中每一个无人机的通讯ID以便建立无人机协作组以进行可视导航；B:根据所述无人机协作组中的传输任务将待采集场景进行划分以得到第一和第二图像区域，并计算所述第二图像区域的尺寸作为所述第二图像区域的参数；C:所述无人机协作组中的发送方无人机根据划分结果对所述第一和第二图像区域以不同尺度进行采集；D 所述发送方无人机设定采集到的第一和第二图像区域以及所述参数的传输优先级和类别，其中，所述第一图像区域、第二图像区域和所述参数的传输优先级递增；E 所述接收方无人机根据所述传输优先级依次接收所述第一图像区域、第二图像区域和所述参数，并根据所述类别对其进行解析以便重构出场景信息。
2.根据权利要求1所述的可视导航中的无人机集群信息传输方法，其特征在于，所述发送方无人机根据所述类别对所述第一和第二图像区域以及所述参数采用不同的压缩方法对其进行编码，并将所述第一和第二图像区域以及所述参数以传输包的方式进行传输， 其中，所述传输包由接收方无人机的通讯ID、帧序号、同帧数据包个数、类别、数据区大小和数据域组成。
3.根据权利要求1所述的可视导航中的无人机集群信息传输方法，其特征在于，所述步骤A还包括在为无人机集群中每一个无人机创建相应的通讯ID后，如果存在尚未创建通讯ID的无人机，则通过所述无人机集群中的任意一个具有通讯ID的无人机为其生成一个通讯ID。
4.根据权利要求1所述的可视导航中的无人机集群信息传输方法，其特征在于，所述步骤B进一步包括根据所述无人机协作组中的传输任务，在进行所述待采集场景的采集和数字化时将其划分为背景区域和信息变化的前景局部区域； 计算所述信息变化的前景局部区域的深度以确定每个信息变化的前景局部区域的位置和大小以作为所述相应的信息变化的前景局部区域的参数。
5.根据权利要求1所述的可视导航中的无人机集群信息传输方法，其特征在于，所述步骤C进一步包括所述发送方无人机根据划分结果对所述第一图像区域以第一尺度进行采集；所述发送方无人机对所述第二图像区域以第二尺度进行采集以得到所述第二图像区域的多个连续的图像信息。
6.根据权利要求1所述的可视导航中的无人机集群信息传输方法，其特征在于，所述步骤D还包括所述发送方无人机根据所述类别分别对所述采集到的第一和第二图像区域以及所述参数进行发送，且根据所述数据传输级别依次按照时间的先后顺序对所述第一和第二图像区域以及所述参数进行发送。
7.根据权利要求1所述的可视导航中的无人机集群信息传输方法，其特征在于，所述步骤E进一步包括所述接收方无人机根据所述传输优先级依次接收所述第一图像区域、第二图像区域和所述参数并进行缓存；所述接收方无人机根据所述发送方无人机之间预先设定的解码方法对所述第一图像区域、第二图像区域和所述参数进行解析以重构出所述场景信息。
8.根据权利要求1-7任一项所述的可视导航中的无人机集群信息传输方法，其特征在于，还包括当判断所述第一图像区域为静态场景或者以低于第一预定速度移动时，采集一幅所述第一图像区域作为采集的多帧的所述待采集场景的第一图像区域。
9.根据权利要求8所述的可视导航中的无人机集群信息传输方法，其特征在于，所述述第二图像区域的尺寸以长方体、球体或椭球体进行测量。
10.根据权利要求9所述的可视导航中的无人机集群信息传输方法，其特征在于，所述接收方无人机采用环形方式存储所述场景信息。
全文摘要
本发明提出一种可视导航中的无人机集群信息传输方法，包括以下步骤创建无人机集群中每一个无人机的通讯ID以便建立无人机协作组以进行可视导航；根据无人机协作组中的传输任务将待采集场景进行划分以得到第一和第二图像区域，并计算第二图像区域的尺寸作为所述第二图像区域的参数；发送方无人机根据划分结果对第一和第二图像区域以不同尺度进行采集；发送方无人机设定采集到的第一和第二图像区域以及参数的传输优先级和类别；接收方无人机根据传输优先级依次接收所述第一、第二图像区域和参数，并根据类别对其进行解析以便重构出场景信息。根据本发明的实施例具有数据传输量小、数据传输实时性强且能够有效避免传输堵塞的优点。
文档编号G05D1/10GK102520729SQ20111040021
公开日2012年6月27日 申请日期2011年12月5日 优先权日2011年12月5日
发明者刘慧 , 戴琼海 申请人:清华大学