专利名称：一种数据处理系统、节点及方法
技术领域：
本发明涉及移动通信领域，尤其涉及一种数据处理系统、节点及方法。
背景技术：
在大规模数据处理应用(如通信话单处理)中，通常将数据分散到数据处理系统不同的节点上并行处理，以加快数据处理速度。现有技术中的解决方案为分别部署M个分发节点和N个计算节点组成并行的数据处理系统，其中M和N均为预先指定的数值。如图 1所示，为现有技术中，数据处理系统的系统架构图，包括分发节点和计算节点，分发节点上部署有分发模块，其功能是从数据源获取一个或一批数据，按照一定的分发规则将数据分发到对应的计算节点。计算节点上部署有计算模块，其功能是接收来自分发节点的数据，按照一定的处理规则对接收到的数据进行处理。现有技术的解决方案中存在如下问题分发节点和计算节点是两类不同的节点， 无法实现均质化部署，当分发节点和计算节点数量超过一定数目时，各节点的数据配置、软件版本升级、硬件调整等系统维护困难，导致数据处理系统维护难度高；同时，分别部署分发节点和处理节点，导致各自的系统资源无法共享，系统资源存在浪费，分发模块没有数据需要分发时，分发节点的系统资源处于空闲状态，这些空闲的系统资源无法给计算模块使用，造成系统资源的浪费；且由于分发节点和计算节点的数量是预先设定好的，因此数据处理系统的分发能力和计算能力无法根据系统待处理数据量的变化进行动态调整。一方面， 如果分发节点和计算节点数据数目设置不合理，导致系统负荷不均衡。比如假设分发节点设置过多，而计算节点设置过少，则会出现数据很快被分发，但是无法得到及时处理的情况，这样各个分发节点的系统负载空闲，而计算节点系统负载繁忙；另外一方面，由于数据源的数据量是动态变化的，固定数目的分发节点或者计算节点就会存在忙时无法及时处理数据，闲时系统资源空闲的情况，从而导致系统资源使用率低的问题。因此，如何均质化部署分发节点和计算节点，以达到简化数据处理系统的维护难度、并提高系统资源使用率的目的，成为现有技术中亟待解决的技术问题之一。
发明内容
本发明实施例提供一种数据处理系统、节点及方法，用以均质化部署分发节点和计算节点，从而简化数据处理系统的维护难度、提高系统资源使用率。相应的，本发明实施例还提供一种数据处理控制方法，用以实现对分发节点和计算节点的均质化部署。本发明实施例提供的数据处理系统，包括至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，其中所述分发模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则将数据分发给相应的计算模块；所述计算模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收相应的分发模块分发的需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；所述控制模块，用于获取自身所在的数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块。本发明实施例提供的数据处理节点，包括分发模块、计算模块和控制模块，其中所述分发模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；所述计算模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；所述控制模块，用于获取所述数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给所述分发模块和计算模块。本发明实施例提供的数据处理方法，包括数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；并根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，所述控制指令用于指示处于暂停状态或者工作状态；所述分发模块根据接收到的控制指令进入暂停状态或者工作状态，以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；所述计算模块根据接收到的控制指令进入暂停状态或者工作状态，以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理。本发明实施例提供的数据处理控制方法，包括数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；并根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，所述控制指令用于指示处于暂停状态或者工作状态。本发明实施例提供的数据处理系统、节点及方法，数据处理系统包括结构相同的至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，控制模块用于获取自身所在的数据处理节点的系统参数信息，根据该系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块；分发模块和计算模块根据接收到的控制指令进入工作状态或者暂停状态，并在工作状态下分别进行数据分发和数据处理；通过在同一数据处理节点中部署分发模块和计算模块，并通过控制模块控制分发模块和计算模块的状态，实现了对分发节点和计算节点的均质化部署，从而达到了简化数据处理系统的维护难度、提高系统资源使用率的目的。本发明实施例提供的数据处理控制方法，通过控制部署在同一数据处理节点中的分发模块和计算模块的状态，实现了对分发节点和计算节点的均质化部署，为简化数据处理系统的维护难度、提高系统资源使用率提供基础。本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
图1为现有技术中，数据处理系统的系统架构图；图2为本发明实施例中，数据处理系统一种可能的结构示意图；图3为本发明实施例中，数据处理节点一种可能的结构示意图；图4为本发明实施例中，数据处理方法的实施流程示意图；图5为本发明实施例中，数据处理控制方法的实施流程示意图；图6为本发明实施例中，通信话单处理流程示意图。
具体实施例方式为了实现均质化部署分发节点和计算节点，以达到简化数据处理系统的维护难度，提高系统资源使用率的目的，本发明实施例提供了一种数据处理系统、节点及方法。以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。如图2所示，为本发明实施例提供的数据处理系统一种可能的结构示意图，包括至少两个数据处理节点20，每一个数据处理节点包括分发模块201、计算模块202和控制模块203，其中分发模块201，用于接收位于同一数据处理节点20中的控制模块203下发的指示处于暂停状态或者工作状态的控制指令，根据该控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则将数据分发给相应的计算模块202 ；计算模块202，用于接收位于同一数据处理节点中的控制模块203下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收相应的分发模块201分发的需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；控制模块203，用于获取自身所在的数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块201和计算模块202。具体实施中，数据处理节点的系统参数信息可以包括数据处理节点20的系统资源使用率、数据处理节点20中的分发模块201的待分发数据量和数据处理节点20中的计算模块202的待处理数据量；其中，数据处理节点20的系统资源使用率可以包括CPU (Central Processing Unit，中央处理器)使用率或者内存使用率。具体实施中，控制模块203可以按照预先配置的采集周期，周期性获取每一个采集时间点上自身所在的数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，控制模块203可以按照预先配置的采集周期，周期性获取每一个采集时间段内自身所在的数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。举例说明，采集周期可以设置为一小时，则可以在每小时内设置一个采集时间点(例如采集周期的开始时间点)， 或者在每小时内设置一个采集时间段(例如从采集周期的开始时间点起计时10分钟)，用以采集数据处理节点的系统参数信息。具体实施中，可以为分发模块201和计算模块202分别设置一个开关，在接收到控制模块203下发的指示处于暂停状态或者工作状态的控制指令后，进入暂停状态或者工作状态。具体的，控制模块203可以通过脉冲信号“0”或“1”的方式下发控制指令，例如当脉冲信号为“0”时，相应的控制指令用于指示处于工作状态；当脉冲信号为“ 1”时，相应的控制指令用于指示处于暂停状态。用脉冲信号“0”或“1”的方式下发控制指令只是一种可能的实施方式，具体实施中，只要是可以指示处于暂停状态或者工作状态的任何方式都可以。
具体实施中，可以预先配置状态控制策略，下面介绍几种常用的状态控制策略，实际应用中状态控制策略包括但不限于以下几种(1)第一种状态控制策略在第一种状态控制策略中，采用系统资源使用率、待分发数据量、待处理数据量三个参数来确定。假设使用率阈值设置为80%，比率阈值设置为10，如表1所示，为系统资源使用率、待分发数据量与待处理数据量之比在不同场景下的状态控制策。具体实施中，使用率阈值、比率阈值可以根据系统配置情况、需要处理的数据量来确定。表 权利要求
1.一种数据处理系统，其特征在于，包括至少两个数据处理节点，每一个数据处理节点包括分发模块、计算模块和控制模块，其中所述分发模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则将数据分发给相应的计算模块；所述计算模块，用于接收位于同一数据处理节点中的控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收相应的分发模块分发的需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；所述控制模块，用于获取自身所在的数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的分发模块和计算模块。
2.如权利要求1所述的数据处理系统，其特征在于，所述数据处理节点的系统参数信息包括所述数据处理节点的系统资源使用率、所述数据处理节点中的分发模块的待分发数据量和所述数据处理节点中的计算模块的待处理数据量；以及所述控制模块，具体用于判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块； 如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值，如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块，如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块。
3.如权利要求2所述的数据处理系统，其特征在于，所述数据处理节点的系统资源使用率包括中央处理器CPU使用率或者内存使用率。
4.如权利要求1或2所述的数据处理系统，其特征在于，所述控制模块，具体用于按照预先配置的采集周期，周期性获取每一个采集时间点上自身所在的数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内自身所在的数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。
5.一种数据处理节点，其特征在于，包括分发模块、计算模块和控制模块，其中所述分发模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；所述计算模块，用于接收所述控制模块下发的指示处于暂停状态或者工作状态的控制指令，根据所述控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；所述控制模块，用于获取所述数据处理节点的系统参数信息，根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给所述分发模块和计算模块。
6.如权利要求5所述的数据处理节点，其特征在于，所述数据处理节点的系统参数信息包括系统资源使用率、所述分发模块的待分发数据量和所述计算模块的待处理数据量； 以及所述控制模块，具体用于判断获取到的系统资源使用率是否超过预先设置的使用率阈值，如果否，生成指示处于工作状态的控制指令下发给所述计算模块，以及生成指示处于工作状态的控制指令下发给所述分发模块；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值，如果是，生成指示处于暂停状态的控制指令下发给所述计算模块，以及生成指示处于工作状态的控制指令下发给所述分发模块，如果否，生成指示处于暂停状态的控制指令下发给所述分发模块，以及生成指示处于工作状态的控制指令下发给所述计算模块。
7.如权利要求5或6所述的数据处理节点，其特征在于，所述控制模块，具体用于按照预先配置的采集周期，周期性获取每一个采集时间点上所述数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内所述数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。
8.一种数据处理方法，其特征在于，包括数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；并根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，所述控制指令用于指示处于暂停状态或者工作状态；所述分发模块根据接收到的控制指令进入暂停状态或者工作状态，以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；所述计算模块根据接收到的控制指令进入暂停状态或者工作状态，以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理。
9.如权利要求8所述的数据处理方法，其特征在于，所述数据处理节点的系统参数信息包括所述数据处理节点的系统资源使用率、所述数据处理节点中的分发模块的待分发数据量和所述数据处理节点中的计算模块的待处理数据量；以及所述根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，具体包括所述控制模块判断获取到的系统资源使用率是否超过预先设置的使用率阈值；如果否，生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；如果是，进一步判断获取到的待分发数据量与待处理数据量之比是否超过预先设置的比率阈值；如果是，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的计算模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的分发模块；如果否，生成指示处于暂停状态的控制指令下发给位于同一数据处理节点中的分发模块，以及生成指示处于工作状态的控制指令下发给位于同一数据处理节点中的计算模块。
10.如权利要求8或9所述的数据处理方法，其特征在于，所述数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息，具体包括所述控制模块按照预先配置的采集周期，周期性获取每一个采集时间点上所述数据处理节点的系统参数信息，以及将当前采集时间点上系统参数的实时采集值作为当前的系统参数信息；或者，周期性获取每一个采集时间段内所述数据处理节点的系统参数信息，以及将当前采集时间段内系统参数的统计平均值作为当前的系统参数信息。
11.一种数据处理控制方法，其特征在于，包括数据处理节点中的控制模块获取自身所在的数据处理节点的系统参数信息；并根据获取到的系统参数信息以及预先配置的状态控制策略，分别生成相应的控制指令下发给位于同一数据处理节点中的计算模块和分发模块，所述控制指令用于指示处于暂停状态或者工作状态。
全文摘要
本发明公开了一种数据处理系统、节点及方法，用以均质化部署分发节点和计算节点，从而简化数据处理系统的维护难度，提高系统资源使用率。所述数据处理系统，包括至少两个数据处理节点，每一个数据处理节点包括分发模块，用于根据接收到的控制指令进入暂停状态或者工作状态；以及在工作状态下，从数据源获取需要处理的数据，并按照预先配置的分发规则进行数据分发；计算模块，用于根据接收到的控制指令进入暂停状态或者工作状态；以及接收需要处理的数据，并在工作状态下按照预先配置的处理规则进行数据处理；控制模块，用于获取根据获取到的系统参数信息及预先配置的状态控制策略，分别生成相应的控制指令下发给分发模块和计算模块。
文档编号H04W16/18GK102547756SQ20101061265
公开日2012年7月4日 申请日期2010年12月29日 优先权日2010年12月29日
发明者兰建明, 孙宏伟, 袁向阳, 钱岭, 韩金宇 申请人:中国移动通信集团公司