一种高效动态负载均衡的处理大规模数据的系统及方法
【技术领域】
[0001]本发明涉及一种处理大规模数据技术领域，具体地说是一种高效动态负载均衡的处理大规模数据的系统及方法。
【背景技术】
[0002]当前社会人类的数据大爆炸，信息数据越来越多，人们对信息数据的处理能力的要求也越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算，金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高性能计算的需求迅猛增长。
[0003]计算速度对于高性能计算尤为重要，高性能计算向多核、众核发展，采用异构并行提升应用计算速度，目前CPU+GPU是非常成熟的异构协同计算模式，适合高度并行计算的应用或算法。但是由于一些应用运算数据规模一直比较大，受限于网络带宽，系统内存等原因在单台服务器中添加硬件设备的方式，已经无法满足当前的需求，需要进一步设计一种根据现有有限的硬件设备下能够处理大规模数据的方法。
【发明内容】
[0004]本发明的技术任务是提供一种高效动态负载均衡的处理大规模数据的系统及方法；实现动态负载均衡的CPU+GPU混合异构集群系统，充分利用设备的性能，以实现整个系统效率大幅提升，并解决当前服务器计算系统网络带宽不足、内存容量小等情况，而无法对较大规模数据进行处理的问题。
[0005]本发明的技术任务是按以下方式实现的，
一种高效动态负载均衡的处理大规模数据的系统，为CPU与GPU混合异构集群系统，包括中央控制系统、计算集群系统、存储系统、高速网络；中央控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储设置在中央控制系统的节点以及计算集群系统的每个节点中，共享存储分为主存储和备份存储，主存储和备份存储作为冗余存储、存储相同的计算数据，本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。
[0006]一种高效动态负载均衡的处理大规模数据的系统，中央控制系统中节点控制计算集群系统中节点、存储系统中节点。
[0007]—种高效动态负载均衡的处理大规模数据的系统，中央控制系统中节点设置有I个，共享存储中节点设置有至少I个，计算集群系统中节点设置有至少2个。
[0008]一种高效动态负载均衡的处理大规模数据的方法，采用上述中任意一种处理大规模数据的系统，对大规模数据进行处理，包括如下步骤:
(I)、中央控制系统中节点通过高速网络与所有计算集群系统中节点相互连接，中央控制系统中节点控制各个计算集群系统中节点，中央控制系统中节点动态的分配计算任务给计算集群系统中节点，中央控制系统中节点接收计算集群系统中节点的返回结果；
(2)、计算集群系统中节点与共享存储中节点通过高速网络互连，中央控制系统中节点与共享存储中节点通过高速网络互连；共享存储中节点根据中央控制系统中节点的命令向计算集群系统中节点发送计算任务数据；
(3)、计算集群系统中节点负责计算任务，计算集群系统中节点内有多个同型号的GPU处理器进行计算；可以提高计算的并行度，提高单节点的计算能力，同时同型号的GPU易于计算任务的划分；
(4)、中央控制系统的节点或者是计算集群系统的节点内的本地存储，用于缓存本地所必要的数据；
(5)、共享存储中节点存储计算集群系统中节点所需要的计算数据和计算结果数据，通过高速网络向计算集群系统中节点发送计算数据；同时共享存储中节点采用主存储和备份存储的存储方式，保证了数据的安全性。
[0009]一种高效动态负载均衡的处理大规模数据的方法，中央控制系统中节点收集所有计算集群系统中节点的计算能力信息，中央控制系统中节点将计算数据动态的划分，并命令共享存储中节点将计算数据发送给选中的计算集群系统中节点；共享存储中节点根据中央控制系统中节点的命令首先将计算数据以数据块为单位进行划分，然后将不同数量的数据块动态的发送给对应的计算集群系统中节点；计算集群系统中节点接收共享存储中节点发送来的计算数据，并将计算结果数据传输给中央控制系统中节点，中央控制系统中节点将接收到的计算结果统一处理后存储到共享存储中节点。
[0010]计算集群系统中节点在接收下一个数据块的同时，计算当前的数据块，同时发送上一个已经计算完成的数据块。
[0011]一种高效动态负载均衡的处理大规模数据的方法，处理大规模数据的系统的工作流程为:
①、中央控制系统中节点负责收集各个计算集群系统中节点的GPU卡的数量，根据各计算集群系统中节点不同的卡数量，生成各个计算集群系统中节点的计算能力信息，将此计算能力信息发送给共享存储中节点；计算能力信息包括每个计算集群系统中节点GPU卡的数量，高速网络的通信能力，GPU卡的计算能力；
②、共享存储中节点根据中央控制系统中节点发送的计算能力信息，首先将数据分为合适的可发送的基本的数据块，然后为各计算集群系统中节点分配对应数量的计算数据块，再将数据块动态的发送给计算集群系统中节点；
③、计算集群系统中节点接收数据进行计算同时，若传输数据的较快而计算未完成，可将计算数据暂存储到本地存储中，若没有数据传输时，则从本地存储中获取，若本地也没有则需等待；
④、计算集群系统中节点完成计算数据块的同时即可将计算的结果发送给中央控制系统中节点，若传输繁忙则可先将数据暂存于本地存储中，等待网络空闲时再将其发送给中央控制系统中节点；
⑤、中央控制系统中节点将接收到的各个计算集群系统中节点的计算结果，进行必要的处理操作，然后发送给共享存储中节点，在计算期间中央控制系统中节点定时的收集计算集群系统中节点的必要的信息缓存到本地存储并存储到共享存储中节点。
[0012]本发明的一种高效动态负载均衡的处理大规模数据的系统及方法具有以下优占-
^ \\\.1、根据需要处理的数据任务量在现有的硬件设备条件部署集群，动态负载均衡方法，具有针对系统平台自适应，可实现系统的可靠、高效；
2、此负载均衡方法可以自适应于集群系统，此系统可以由纯CPU集群子系统、CPU+GPU异构集群子系统一个或多个子系统组成的复杂混合集群系统；
3、实现动态负载均衡，集群系统中各计算集群系统中节点间实现负载均衡，系统设备利用率高，不同计算设备，如CPU、GPU可以实现计算均衡，彼此相互不等待，系统中计算设备不出现空闲状态，整个集群系统将实现高效运转；
4、在现有硬件的条件如内存容量、网络带宽不足的情况下，采取数据分块传输与计算异步处理的方式，能够有效处理大规模的数据；
5、运行此系统将实现高性能，此负载均衡方法将根据不同计算集群系统中节点的计算能力和节点内不同计算设备的计算能力动态划分不同的计算任务到不同计算集群系统中节点上，实现计算任务划分的非固定性，提升动态负载均衡的高效性；
6、根据应用算法特点，以及CPU、GPU不同计算设备计算能力不同，计算设备所动态获取的计算任务应设置为不同；
7、将本发明扩展到多台服务器上，能够处理较大规模的数据，并使集群系统的节点间、节点内的计算设备达到计算的负载均衡，从而最大限度的利用现有设备的性能，提高系统的整体运行的效率，大大缩短程序的运行时间。
【附图说明】
[0013]下面结合附图对本发明进一步说明。
[0014]附图1为一种高效动态负载均衡的处理大规模数据的系统的结构示意框图；
附图2为一种高效动态负载均衡的处理大规模数据的系统中各节点的通信示意框图。
【具体实施方式】
[0015]参照说明书附图和具体实施例对本发明的一种高效动态负载均衡的处理大规模数据的系统及方法作以下详细地说明。
[0016]实施例1:
本发明的一种高效动态负载均衡的处理大规模数据的系统，为CPU与GPU混合异构集群系统，包括中央控制系统、计算集群系统、存储系统、高速网络；中央控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储设置在中央控制系统的节点以及计算集群系统的每个节点中，共享存储分为主存储和备份存储，主存储和备份存储作为冗余存储、存储相同的计算数据，本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。
[0017]中央控制系统中节点控制计算集群系统中节点、存储系统中节点。
[0018]中央控制系统中节点设置有I个，共享存储中节点设置有I个，计算集群系统中节点设置有2个。
[0019]实施例2:
本发明的一种高效动态负载均衡的处理大规模数据的系统，为CPU与GPU混合异构集群系统，包括中央控制系统、计算集群系统、存储系统、高速网络；中央控制系统中节点采用CPU与GPU混合异构架构；计算集群系统中节点采用CPU与GPU混合异构架构或采用CPU架构；存储系统分共享存储和本地存储，共享存储中节点采用CPU架构，本地存储设置在中央控制系统的节点以及计算集群系统的每个节点中，共享存储分为主存储和备份存储，主存储和备份存储作为冗余存储、存储相同的计算数据，本地存储用于存储所在的中央控制系统的节点或者是计算集群系统的节点的数据；高速网络用于将中央控制系统中节点、计算集群系统中节点、共享存储中节点互相连接，组成集中式的处理大规模数据的系统。
[0020]中央控制系统中节点控制计算集群系统中节点、存储系统中节点。
[0021]中央控制系统中节点设置有I个，共享存储中节点设置有2个，计算集群系统中节点设置有5个。
[0022]实施例3:
本发明的一种高效动态负载均衡的处理大规模数据的方法，采用上述中