基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统及方法
【专利摘要】本发明公开了一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统及方法，第一部分主要是传感器模块将采集到的信息传输到控制模块；控制模块先对采集到的数据进行预处理、将采集到的彩色图像数据和深度图像数据进行采样压缩，然后通过无线传输模块依次发送到云端。第二部分为图像重构部分：首先该步骤主要通过本地计算机利用压缩感知理论中的重构算法将下载的数据进行重构，得到完整的彩色图像数据和深度图像数据，然后对彩色图像和深度图像数据进行处理得到三维重构图像及必要的修复等工作。该系统利用压缩感知理论与农业的结合，实现了农业远程智能化、可视化的目的，同时实现了对植物的历史数据的存储，有利于对病虫害的分析。
【专利说明】
基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统及方法
技术领域
[0001]本发明涉及一种利用云端进行远程图像传输的方法，尤其是一种基于压缩感知的农业精密喷雾过程中的无线图像传输方法。【背景技术】
[0002]我国是一个农业大国，农作物的喷雾施药是现代农业发展过程中不可避免的一步，然而如何远程监控农作物的生长姿态，判断是否需要施药、喷灌等则是实现农业自动化、现代化的关键组成部分。目前，国内大部分喷雾施药还未实现自动化，对农作物长势的观测还大多依靠人眼观察，对于大规模的种植和植物维护而言耗费时间多、准确性低，进而导致植物发生病虫害或者需要喷灌时不能得到及时有效的处理。本发明利用使用压缩感知理论知识对采集到的数据进行大幅压缩，借助云端存储功能，是用户可以远程地对植株的生长姿态进行了解，判断是否需要使用农药，使农药使用时机更准确，替代以往的肉眼近距离观察，一定程度上实现了农业现代化。
【发明内容】
[0003]本发明目的在于克服以往肉眼近距离观测植株生长状态费时费力的缺陷，提供一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统，使其能够实时采集植株的彩色图像和深度图像，控制模块对数据进行预处理并利用压缩感知理论中的算法将采集到的大量的实时数据进行采样压缩，通过无线传输模块将数据实时发送到云端，用户端则通过重构算法将云端下载下来的数据进行重构并利用三维重构算法将图像融合成三维图像。 通过该系统，用户可以通过观察三维图像远距离得知植株的生长状态，为植株病虫害治理提供依据。
[0004]本发明通过以下技术方案实现的，一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统，包括两个部分；
[0005]第一部分为图像采集及传输部分，共三个模块:传感器模块、控制模块、无线传输模块，第二部分为图像重构部分，包括网络模块、重构模块、显示模块；
[0006]所述的传感器模块采集喷雾机在行进过程中道路两边的植株信息，通过网络端口和USB端口传输到控制室内的主机，为精密喷雾和利用压缩感知的图像云端传输提供数据； 所述的控制模块一方面控制精密喷雾机的喷雾，另一方面对传感器采集到的数据进行预处理，然后通过压缩感知理论的测量矩阵进行采样压缩，并控制无线传输模块实时地将压缩后的数据发送到云端；
[0007]所述的图像重构部分中，网络模块先从云端加载压缩后的数据，重构模块使用重构矩阵进行图像数据恢复，利用三维重构算法对其进行三维重构，最后显示模块显示出重构出来的三维图像。
[0008]进一步，所述的传感器模块由彩色摄像机和激光传感器组成，其采集数据的对象为喷雾机在行进过程中的道路两侧的植株的彩色图像信息以及深度图像信息，所述彩色摄像机持续对两侧的植株的彩色图像进行采集并通过USB端口将数据传送到控制模块;所述激光传感器对喷雾机经过的两侧植株深度信息进行持续采集并通过网络端口实时将数据传送到控制模块。
[0009]进一步，所述的激光传感器以旋转扫描的方式工作，每间隔0.5度扫描一次，每秒钟旋转50圈。
[0010]进一步，所述的控制模块一方面对传感器采集到的数据进行处理，另一方面控制喷雾机进行精密喷雾，此外，控制模块还控制无线传输模块发送数据。
[0011]进一步，所述无线传输模块是通过网络端口与控制模块进行数据交互，以保证数据的交互速度。
[0012]本发明的方法的技术方案为:一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测方法，包括以下步骤:
[0013]步骤1，传感器模块采集信息:本部分共包含两个传感器，分别是彩色摄像头和激光传感器，两个传感器同时工作，采集植株信息并传送到控制单元；
[0014]步骤2,控制模块对传感器模块得到的数据进行预处理，预处理部分包括对激光传感器数据的格式转换，将数据从极坐标转化到直角坐标系中，然后将彩色传感器的数据与激光传感器数据进行对齐，得到带有深度数据的彩色图像;根据限制距离参数设置去除距离外其他数据，得到类似柱状数据带，最后去除植株外无用数据；
[0015]步骤3,对预处理后的数据进行采样压缩，对应于彩色图像数据和激光传感器数据的不同特点，分别采用不同的测量矩阵对数据进行采样压缩，并将压缩后的数据通过无线发射终端传输到云端；
[0016]步骤4,网络模块从云端加载数据，重构模块进行重构:数据下载完整之后得到压缩后的彩色图像数据和深度图像数据，分别使用重构算法中的对应于不同压缩矩阵的不同重构算法分别将彩色图像采样压缩数据流和深度图像采样压缩数据流进行重构，得到重构后的彩色图像和深度图像；
[0017]步骤5,对数据三维重构，使用小波变换原理将彩色图像和深度图像进行三维重构，得到植株的三维图像，并存储到历史数据库中，同时可以在显示屏中显示。
[0018]进一步，控制模块对数据的处理分为两部分，首先对数据进行预处理，包括对激光传感器采集到数据的格式进行转换、按照实际距离进行限距去除距离以外数据、去除目的数据以外的无用数据，其后是利用压缩感知理论中的匹配追踪算法对其进行采样压缩。
[0019]本发明具有以下技术效果:
[0020]1)本发明能够实时采集植株的彩色图像和深度图像，控制模块对数据进行预处理并利用压缩感知理论中的算法将采集到的大量的实时数据进行采样压缩，通过无线传输模块将数据实时发送到云端，用户端则通过重构算法将云端下载下来的数据进行重构并利用三维重构算法将图像融合成三维图像。通过该系统，用户可以通过观察三维图像远距离得知植株的生长状态，为植株病虫害治理提供依据。
[0021]2)对彩色图像和深度图像数据进行处理得到三维重构图像及必要的修复等工作， 此时将重构后的三维图像存入历史数据库同时展示到用户桌面以便于用户查看。该系统利用压缩感知理论与农业的结合，实现了农业远程智能化、可视化的目的，同时实现了对植物的历史数据的存储，有利于对病虫害的分析。【附图说明】
[0022]图1为图像采集及传输原理框图；[〇〇23]图2为图像重构原理框图；[〇〇24]图3为图像采集及传输流程图；[〇〇25]图4为图像重构流程图。【具体实施方式】
[0026]以下结合附图对本发明的系统作进一步描述。
[0027]如图1-2所示，本实例包括七个模块:传感器模块、控制模块、无线传输模块、网络模块、重构模块、显示模块、存储模块。传感器模块包括彩色摄像机1、激光传感器2,这两个设备将采集到的数据发送到控制模块;控制模块由预处理单元3、采样压缩单元4、无线模块控制单元5构成，其中预处理单元3接收来自传感器模块发送来的数据，预处理单元3对彩色摄像机1送来的数据进行色系转换，对激光传感器2送来的深度图像数据进行进制转换、限距、除杂处理，预处理单元3完成工作后将数据送到采样压缩单元4;采样压缩单元4主要负责对预处理单元3送来的数据进行采样压缩，其中对彩色图像数据和深度图像数据分别采用了不同的测量矩阵，彩色图像数据和深度图像数据经采样压缩之后变成了数据流，此时数据流放在无线发射器6的接收端口，等待无线发射器6的接收，控制模块中的无线模块控制单元5是用于控制无线发射器控制单元7,使整个发送过程不出错;无线传输模块由无线发射器6和无线控制单元7组成，无线发射器6受无线发射器控制单元控制，而无线发射器控制单元7接受无线模块控制单元5控制，当采样压缩完成的数据放到无线发射器6的接受端口时，无线模块控制单元5发送接收命令到无线发射器控制单元7,由无线发射器控制单元7 对无线发射器发出接收命令，并把数据发送到云端，等待当前数据发送完毕后反馈信息到无线发射器控制单元7,此时无线发射器控制单元7控制无线发射器6暂停工作，并将信息反馈到无线模块控制单元5,无线模块控制单元5将信息反馈到采样压缩单元4,此时可将数据继续放到无线发射器6的接收端口。
[0028]图像重构部分分为四个模块:网络模块、重构模块、显示模块、存储模块。网络模块中的网络单元8负责将数据从云端下载下来并储存到重构模块的内存单元9，供图像重构调用;重构部分分为两条不相关路径，分别是彩色图像重构单元10和深度数据重构单元11，数据经过不同的重构矩阵重构后得到的数据将发送到三维重构单元12;由于深度数据是经过裁剪和除杂过程的，所以彩色图像数据和深度数据不能跟完整的点对点，所以此时以重构后的深度数据为本，通过对彩色图像中元素的删减，使其和深度数据能够实现点对点的融合，此时再利用三维重构算法，将两种数据进行融合，得到重构后植株的三维图像；图像直接存储到存储器13中，同时传输到显示模块的显示器13中。
[0029]如图3-4所示，本部分共包含两个传感器，分别是彩色摄像头和激光传感器，两个传感器同时工作，采集植株信息并传送到控制单元。控制模块对传感器得到的数据进行预处理，预处理部分包括对激光传感器数据的格式转换，将数据从极坐标转化到直角坐标系中，然后将彩色传感器的数据与激光传感器数据进行对齐，得到带有深度数据的彩色图像。根据限制距离参数设置去除距离外其他数据，得到类似柱状数据带，最后去除植株外无用数据。
[0030]采样压缩时，对应于彩色图像数据和激光传感器数据的不同特点，分别采用不同的测量矩阵对数据进行采样压缩，并将压缩后的数据通过无线发射终端传输到云端。[0031 ]数据重构时，网络模块先从云端加载数据，重构模块进行重构。数据下载完整之后得到压缩后的彩色图像数据和深度图像数据，分别使用重构算法中的对应于不同压缩矩阵的不同重构算法分别将彩色图像采样压缩数据流和深度图像采样压缩数据流进行重构，得到重构后的彩色图像和深度图像。得到两幅图像后对数据进行三维重构，使用小波变换原理将彩色图像和深度图像进行三维重构，得到植株的三维图像，并存储到历史数据库中，同时可以在显示屏中显示。
[0032]所述的传感器模块由彩色摄像机和激光传感器组成，其采集数据的对象为喷雾机在行进过程中的道路两侧的植株的彩色图像信息以及深度图像信息，其中彩色摄像机为尼康D7000的视频拍摄模式持续对两侧的植株的彩色图像进行采集并通过USB端口将数据传送到控制模块，相机固定在喷雾机前端，距离地面垂直距离150cm处。所述激光传感器为德国SICK公司生产的LMS151激光扫描器，该传感器体积小、重量轻，采用多回波技术，采用1级激光，扫描范围270度，扫描范围最大值50m，激光传感器对喷雾机经过的两侧植株深度信息进行持续采集并通过网络端口实时将数据传送到控制模块。激光传感器以旋转扫描的方式工作，每间隔〇.5度扫描一次，每秒钟旋转50圈。[〇〇33]所述的控制模块，任务有三:其一对传感器采集到的数据进行预处理，其二控制喷雾机进行精密喷雾，其三控制无线传输模块发送数据。控制模块对数据的处理分为两部分， 首先对数据进行预处理，激光传感器采集到的数据是极坐标数据，为了便于处理，将其转化成直角坐标系下的坐标进行处理，这样便于后面的限距处理。由于喷雾机在工作的时候道路两边的植株高度一般不超过3m，最低不会低于0.5m，故将激光传感器的有效数据保留范围限制为〇.5?3m，在水平方向上，由于激光传感器安装在喷雾机正中，去掉喷雾机自身宽度，再考虑到植株的宽度，故将距离限定为1.5m?3m，至此，整个限距后形成了一个矩形框， 为了使数据更加简洁，将植株以外的数据全部清零。其后是利用压缩感知理论中的匹配追踪算法对其进行采样压缩，该算法每次迭代的原子会在下一次迭代过程中可能会有所丢弃，残差也会得到相应的更新，有效地增加重构的精度。所述无线传输模块为4G通信模块， 通过网线与控制模块进行数据交互。[〇〇34]所述图像重构部分对云端下载的数据处理分为两步:一、分别使用重构算法中的对应于不同压缩矩阵的不同重构算法分别将彩色图像采样压缩数据流和深度图像采样压缩数据流进行重构，得到重构后的彩色图像和深度图像。二、使用小波变换原理将彩色图像和深度图像进行三维重构，得到植株的三维图像。[〇〇35]综上，本发明的一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统及方法，包括两个部分。第一部分为图像采集及传输部分，共三个模块:传感器模块采集靶标图像信息，并将采集到的信息传输到控制模块;控制模块先对采集到的数据进行预处理后，再根据压缩感知理论的测量矩阵，将采集到的彩色图像数据和深度图像数据进行采样压缩，然后发送到无线传输模块;无线传输模块得到控制模块的指令后从控制模块接收数据发送到数据云端。第二部分为图像重构部分:首先从云端将数据下载到本地，通过本地计算机利用压缩感知理论中的重构算法将下载的数据进行重构，得到完整的彩色图像数据和深度图像数据，然后对彩色图像和深度图像数据进行处理得到三维重构图像及必要的修复等工作，此时将重构后的三维图像存入历史数据库同时展示到用户桌面以便于用户查看。 该系统利用压缩感知理论与农业的结合，实现了农业远程智能化、可视化的目的，同时实现了对植物的历史数据的存储，有利于对病虫害的分析。
[0036]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。[〇〇37]尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
【主权项】
1.一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测系统，其特征在于，包 括两个部分；第一部分为图像采集及传输部分，共三个模块:传感器模块、控制模块、无线传输模块， 第二部分为图像重构部分，包括网络模块、重构模块、显示模块；所述的传感器模块采集喷雾机在行进过程中道路两边的植株信息，通过网络端口和 USB端口传输到控制室内的主机，为精密喷雾和利用压缩感知的图像云端传输提供数据;所 述的控制模块一方面控制精密喷雾机的喷雾，另一方面对传感器采集到的数据进行预处 理，然后通过压缩感知理论的测量矩阵进行采样压缩，并控制无线传输模块实时地将压缩 后的数据发送到云端；所述的图像重构部分中，网络模块先从云端加载压缩后的数据，重构模块使用重构矩 阵进行图像数据恢复，利用三维重构算法对其进行三维重构，最后显示模块显示出重构出 来的三维图像。2.根据权利要求1所述的基于压缩感知的变量喷雾靶标图像云端传输与远程观测系 统，其特征在于，所述的传感器模块由彩色摄像机和激光传感器组成，其采集数据的对象为 喷雾机在行进过程中的道路两侧的植株的彩色图像信息以及深度图像信息，所述彩色摄像 机持续对两侧的植株的彩色图像进行采集并通过USB端口将数据传送到控制模块;所述激 光传感器对喷雾机经过的两侧植株深度信息进行持续采集并通过网络端口实时将数据传 送到控制模块。3.根据权利要求2所述的基于压缩感知的变量喷雾靶标图像云端传输与远程观测系 统，其特征在于，所述的激光传感器以旋转扫描的方式工作，每间隔0.5度扫描一次，每秒钟 旋转50圈。4.根据权利要求1所述的基于压缩感知的变量喷雾靶标图像云端传输与远程观测系 统，其特征在于，所述的控制模块一方面对传感器采集到的数据进行处理，另一方面控制喷 雾机进行精密喷雾，此外，控制模块还控制无线传输模块发送数据。5.根据权利要求1所述的一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测 系统，其特征在于:所述无线传输模块是通过网络端口与控制模块进行数据交互，以保证数 据的交互速度。6.—种基于压缩感知的变量喷雾靶标图像云端传输与远程观测方法，其特征在于，包 括以下步骤:步骤1，传感器模块采集信息:本部分共包含两个传感器，分别是彩色摄像头和激光传 感器，两个传感器同时工作，采集植株信息并传送到控制单元；步骤2，控制模块对传感器模块得到的数据进行预处理，预处理部分包括对激光传感器 数据的格式转换，将数据从极坐标转化到直角坐标系中，然后将彩色传感器的数据与激光 传感器数据进行对齐，得到带有深度数据的彩色图像;根据限制距离参数设置去除距离外 其他数据，得到类似柱状数据带，最后去除植株外无用数据；步骤3,对预处理后的数据进行采样压缩，对应于彩色图像数据和激光传感器数据的不 同特点，分别采用不同的测量矩阵对数据进行采样压缩，并将压缩后的数据通过无线发射 终端传输到云端；步骤4，网络模块从云端加载数据，重构模块进行重构:数据下载完整之后得到压缩后的彩色图像数据和深度图像数据，分别使用重构算法中的对应于不同压缩矩阵的不同重构 算法分别将彩色图像采样压缩数据流和深度图像采样压缩数据流进行重构，得到重构后的 彩色图像和深度图像；步骤5,对数据三维重构，使用小波变换原理将彩色图像和深度图像进行三维重构，得 到植株的三维图像，并存储到历史数据库中，同时可以在显示屏中显示。7.根据权利要求6所述的一种基于压缩感知的变量喷雾靶标图像云端传输与远程观测 方法，其特征在于，控制模块对数据的处理分为两部分，首先对数据进行预处理，包括对激 光传感器采集到数据的格式进行转换、按照实际距离进行限距去除距离以外数据、去除目 的数据以外的无用数据，其后是利用压缩感知理论中的匹配追踪算法对其进行采样压缩。
【文档编号】G06T17/00GK106060146SQ201610461035
【公开日】2016年10月26日
【申请日】2016年6月22日
【发明人】沈跃, 潘成凯, 刘慧
【申请人】江苏大学