别基于从多个服务器获取的相应的业务数据而生成。
[0062]根据本发明的实施例,第一获取装置502包括:组合单元5022,用于将多个服务器的服务器编号和相应位置进行组合,以得到多个存储位置;以及收集单元5024,用于在多个存储位置中分别收集多个日志文件。
[0063]根据本发明的实施例,存储装置504包括:存储单元5042,用于按照多个日志文件的文件名称将多个日志文件分别存储到多个文件夹中,其中每个文件夹按照生成日志数据的时间所归属的时间区间而建立,该文件名称与该时间区间关联。
[0064]根据本发明的实施例,该设备500还包括:第二获取装置506,用于在多个文件夹中获取多个日志文件;以及输出装置508,用于按照多个日志文件中的日志数据的日志前缀输出日志数据,其中该日志前缀用于唯一指示该日志数据的类型。
[0065]综上所述,根据上述本发明的实施例,提供了一种业务数据的处理方法及设备。该方法包括:从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;基于该业务数据,生成日志数据;以及将该日志数据分别存储在与该业务数据相应的服务器的相应位置处。本发明的实施例能够获得规范和统一的日志数据并且将其直接用于大数据应用,从而提高大数据应用特别是大数据收集和大数据解析的工作效率。
[0066]显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
[0067]以上所述仅为本发明可选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等效替换、改进等,均应包含在本发明的保护范围之内。
【主权项】
1.一种业务数据的处理方法,包括: 从多个服务器获取相应的业务数据,其中所述多个服务器分别用于多种业务; 基于所述业务数据,生成日志数据;以及 将所述日志数据分别存储在与所述业务数据相应的服务器的相应位置处,以用于大数据应用。2.根据权利要求1所述的方法,其中基于所述业务数据,生成日志数据包括: 从所述业务数据中提取具有特定键名的数据;以及 基于所述提取的数据,生成所述日志数据。3.根据权利要求2所述的方法,还包括: 生成用于唯一指示所述日志数据的类型的日志前缀;以及 在所述日志数据中的、所述提取的数据之前增加所述日志前缀。4.根据权利要求2所述的方法,还包括: 如果针对所述日志数据增加键名,则在所述日志数据中的、所述提取的数据之后增加所述键名。5.根据权利要求2所述的方法,还包括: 如果针对所述日志数据减少键名,则将所述键名所对应的键值设置为默认值,而不在所述日志数据中减少所述键名。6.根据权利要求1至5中任一项所述的方法,其中将所述日志数据分别存储在与所述业务数据相应的服务器的相应位置处包括: 按照生成所述日志数据的时间所归属的时间区间,分别生成包括相应的日志数据的多个日志文件,其中每个日志文件的文件名称与所述时间区间关联;以及 将所述多个日志文件分别存储在与所述业务数据相应的服务器的相应位置处。7.一种业务数据的处理方法,包括: 从多个服务器的相应位置处获取多个日志文件;以及 将所述多个日志文件分别存储到多个文件夹中, 其中所述多个服务器分别用于多种业务,所述多个日志文件分别基于相应的日志数据而生成,所述日志数据分别基于从所述多个服务器获取的相应的业务数据而生成。8.根据权利要求7所述的方法,其中从所述多个服务器的所述相应位置处获取所述多个日志文件包括: 将所述多个服务器的服务器编号和所述相应位置进行组合,以得到多个存储位置;以及 在所述多个存储位置中分别收集所述多个日志文件。9.根据权利要求7所述的方法,其中将所述多个日志文件分别存储到多个文件夹中包括: 按照所述多个日志文件的文件名称,将所述多个日志文件分别存储到所述多个文件夹中,其中每个文件夹按照生成所述日志数据的时间所归属的时间区间而建立,所述文件名称与所述时间区间关联。10.根据权利要求7至9中任一项所述的方法,还包括: 在所述多个文件夹中获取所述多个日志文件;以及 按照所述多个日志文件中的日志数据的日志前缀输出所述日志数据,其中所述日志前缀用于唯一指示所述日志数据的类型。11.一种业务数据的处理设备,包括: 获取装置,用于从多个服务器获取相应的业务数据,其中所述多个服务器分别用于多种业务; 第一生成装置,用于基于所述业务数据,生成日志数据;以及 存储装置,用于将所述日志数据分别存储在与所述业务数据相应的服务器的相应位置处,以用于大数据应用。12.根据权利要求11所述的设备,其中所述第一生成装置包括: 提取单元,用于从所述业务数据中提取具有特定键名的数据;以及 第一生成单元,用于基于所述提取的数据,生成所述日志数据。13.根据权利要求12所述的设备,还包括: 第二生成装置,用于生成用于唯一指示所述日志数据的类型的日志前缀;以及 第一增加装置,用于在所述日志数据中的、所述提取的数据之前增加所述日志前缀。14.根据权利要求12所述的设备,还包括: 第二增加装置,用于在针对所述日志数据增加键名的情况下,在所述日志数据中的、所述提取的数据之后增加所述键名。15.根据权利要求12所述的设备,还包括: 设置装置,用于在针对所述日志数据减少键名的情况下,将所述键名所对应的键值设置为默认值,而不在所述日志数据中减少所述键名。16.根据权利要求11至15中任一项所述的设备,其中所述存储装置包括: 第二生成单元,用于按照生成所述日志数据的时间所归属的时间区间,分别生成包括相应的日志数据的多个日志文件,其中每个日志文件的文件名称与所述时间区间关联;以及 存储单元,用于将所述多个日志文件分别存储在与所述业务数据相应的服务器的相应位置处。17.—种业务数据的处理设备,包括: 第一获取装置,用于从多个服务器的相应位置处获取多个日志文件;以及 存储装置,用于将所述多个日志文件分别存储到多个文件夹中, 其中所述多个服务器分别用于多种业务,所述多个日志文件分别基于相应的日志数据而生成,所述日志数据分别基于从所述多个服务器获取的相应的业务数据而生成。18.根据权利要求17所述的设备,所述第一获取装置包括: 组合单元,用于将所述多个服务器的服务器编号和所述相应位置进行组合,以得到多个存储位置;以及 收集单元,用于在所述多个存储位置中分别收集所述多个日志文件。19.根据权利要求17所述的设备,其中所述存储装置包括: 存储单元,用于按照所述多个日志文件的文件名称将所述多个日志文件分别存储到所述多个文件夹中,其中每个文件夹按照生成所述日志数据的时间所归属的时间区间而建立,所述文件名称与所述时间区间关联。20.根据权利要求17至19中任一项所述的设备,还包括: 第二获取装置,用于在所述多个文件夹中获取所述多个日志文件;以及输出装置,用于按照所述多个日志文件中的日志数据的日志前缀输出所述日志数据,其中所述日志前缀用于唯一指示所述日志数据的类型。
【专利摘要】本发明的实施例公开了一种业务数据的处理方法及设备。该方法包括:从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;基于该业务数据,生成日志数据;以及将该日志数据分别存储在与该业务数据相应的服务器的相应位置处。本发明的实施例能够获得规范和统一的日志数据并且将其直接用于大数据应用,从而提高大数据应用特别是大数据收集和大数据解析的工作效率。
【IPC分类】H04L12/26, H04L29/08
【公开号】CN105656706
【申请号】
【发明人】任长延
【申请人】北京通达无限科技有限公司
【公开日】2016年6月8日
【申请日】2014年11月14日