一种分布式数据处理方法和装置的制造方法

文档序号:9616442阅读:450来源:国知局
一种分布式数据处理方法和装置的制造方法
【技术领域】
[0001]本发明属于数据处理领域,尤其涉及一种分布式数据处理方法和装置。
【背景技术】
[0002]随着网络技术的不断发展,用户终端与服务器进行数据交换的内容也越来越多,比如对于金融或者网络购物等应用的服务器,需要存储大量的数据的同时,也需要实时的完成对用户的数据的分析处理,以便于为用户带来便捷安全的服务。
[0003]为了提高服务器处理数据的效率,现有技术中通常使用较多的服务器,按照任务量进行协助的方式,来完成对大量数据的处理,这种处理方式的好处是使得数据的处理较为及时,但是,由于处理数据的服务器是根据服务器当前的繁忙状态进行选择的,这种方式容易使得用户的数据丢失,从而不利于用户数据的安全性。

【发明内容】

[0004]本发明的目的在于提供一种分布式数据处理方法,以解决现有技术容易导致用户的数据丢失,从而不利于用户数据的安全性的问题。
[0005]第一方面,本发明实施例提供了一种分布式数据处理方法,所述方法包括:
[0006]接收数据处理请求,所述数据处理请求包括客户身份标识信息及请求处理的数据;
[0007]根据所述客户身份标识信息,查找与所述客户身份标识信息对应的服务器节点;
[0008]将所述请求处理的数据发送至所查找的服务器节点进行处理。
[0009]结合第一方面,在第一方面的第一种可能实现方式中,所述将所述请求处理的数据发送至所查找的服务器节点进行处理步骤包括:
[0010]根据预先设定的分布式切片规则,以及所述客户身份标识信息,对所述请求处理的数据进行切分;
[0011]将切片后的请求处理的数据分布至所查找的服务器节点中预先分割的数据表,并更新所述数据表对应的索引。
[0012]结合第一方面的第一种可能实现方式,在第一方面的第二种可能实现方式中,所述将切片后的请求处理的数据分布至所查找的服务器节点中预先分割的数据表,并更新所述数据表对应的索引步骤包括:
[0013]预先将服务器节点中的数据存储区分割为多个数据表;
[0014]根据预先设定的分布式切片规则,将切片后的请求处理的数据分布至数据表中;
[0015]根据切片后的请求处理的数据的分布在数据表中的位置,更新所述数据表的索引
?目息O
[0016]结合第一方面,在第一方面的第三种可能实现方式中,所述接收数据处理请求,所述数据处理请求包括客户身份标识信息及请求处理的数据步骤包括:
[0017]由全局负载均衡系统接收数据处理请求,并将所述数据处理请求分发至服务器负载均衡系统,并由服务器负载均衡系统转发至前置机群。
[0018]结合第一方面,在第一方面的第四种可能实现方式中,所述方法还包括:
[0019]接收服务器节点导出的下行文件,根据所述下行文件的数据特征,整理为统一的文件。
[0020]第二方面,本发明实施例提供了一种分布式数据处理装置,所述装置包括:
[0021]请求接收单元,用于接收数据处理请求,所述数据处理请求包括客户身份标识信息及请求处理的数据;
[0022]节点查找单元,用于根据所述客户身份标识信息,查找与所述客户身份标识信息对应的服务器节点;
[0023]数据处理单元,用于将所述请求处理的数据发送至所查找的服务器节点进行处理。
[0024]结合第二方面,在第二方面的第一种可能实现方式中,所述数据处理单元包括:
[0025]数据切分子单元,用于根据预先设定的分布式切片规则,以及所述客户身份标识信息,对所述请求处理的数据进行切分;
[0026]索引更新子单元,用于将切片后的请求处理的数据分布至所查找的服务器节点中预先分割的数据表,并更新所述数据表对应的索引。
[0027]结合第二方面的第一种可能实现方式,在第二方面的第二种可能实现方式中,所述索引更新子单元包括:
[0028]分割模块,用于预先将服务器节点中的数据存储区分割为多个数据表;
[0029]分布模块,用于根据预先设定的分布式切片规则,将切片后的请求处理的数据分布至数据表中;
[0030]更新模块,用于根据切片后的请求处理的数据的分布在数据表中的位置,更新所述数据表的索引信息。
[0031 ] 结合第二方面,在第二方面的第三种可能实现方式中,所述请求接收单元包括:
[0032]由全局负载均衡系统接收数据处理请求,并将所述数据处理请求分发至服务器负载均衡系统,并由服务器负载均衡系统转发至前置机群。
[0033]结合第二方面,在第二方面的第四种可能实现方式中,所述装置还包括:
[0034]文件统一单元,用于接收服务器节点导出的下行文件,根据所述下行文件的数据特征,整理为统一的文件。
[0035]在本发明中,在接收到的数据处理请求时,获取所述数据请求中包括的用户身份标识信息,根据所述用户身份标识信息查找与其对应的服务器节点,将请求处理的数据发送到查找的服务器节点进行处理,由于本发明将服务器节点与用户对应,从而有利于保持请求处理的数据完整性和效率的同时,也能够有效的提高用户数据的安全性。
【附图说明】
[0036]图1是本发明第一实施例提供的分布式数据处理方法的实现流程图;
[0037]图2是本发明第二实施例提供的分布式数据处理方法的实现流程图;
[0038]图3是本发明第三实施例提供的分布式数据处理装置的结构示意图。
【具体实施方式】
[0039]为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0040]本发明实施例的主要目的在于解决现有技术中进行数据处理时数据安全性不能得到更好的保障的问题。现有技术中为了提高数据处理速度,使得数据更加及时有效的处理,现有技术中会根据数据处理服务器的负载进行灵活的分配,虽然可以有效的提高了数据处理速度,但是,可能会使得用户数据信息丢失,不利于保障数据安全性,特别是金融数据的处理,如果数据出错,则会给用户带来极大的财产损失。下面结合附图进一步说明。
[0041]实施例一:
[0042]图1示出了本发明第一实施例提供的分布式数据处理方法的实现流程,详述如下:
[0043]在步骤SlOl中,接收数据处理请求,所述数据处理请求包括客户身份标识信息及请求处理的数据。
[0044]具体的,本发明实施例中所述的数据处理请求,可以为不同用户终端所发送,所述用户终端包括但不限于手机、平板电脑、台式电脑或者银行客户端等。当然,所述数据处理请求还可以由其它数据处理中心进行转发。
[0045]作为本发明一种优选的实施方式中,所述接收数据处理请求的方式可以包括:由全局负载均衡系统接收各个用户终端发送的数据处理请求,并由全局负载均衡系统对广域网中不同区域的服务器进行数据调配,然后由服务器负载均衡系统对同一区域内的前置机群进行数据调配。在前置机群中将待处理的数据转发至服务器节点,用
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1