业务数据的处理方法及设备的制造方法_3

文档序号:9891249阅读:来源:国知局
且将所收集的日志文件存储在大数据服务器中的名称为2014091207的文件夹中。
[0045]根据本发明的实施例,该方法300还可以包括步骤S306,在多个文件夹中获取多个日志文件;以及按照多个日志文件中的日志数据的日志前缀输出日志数据,其中该日志前缀用于唯一指示日志数据的类型。例如,如果大数据服务器需要得到2014年9月12日6:00-7:00期间的微信支付的情况,则该大数据服务器将在名称为2014091207的文件夹中获取多个日志文件,对这些日志文件进行解析,如果解析结果指示该日志文件中的日志数据中的日志前缀是“微信支付”,则将该日志数据向预定的用于微信支付的大数据应用的输出路径进行输出。
[0046]本发明的实施例还提供了一个实例,用以说明上述根据本发明的实施例的业务数据的处理方法的实现过程。下面对该实例进行详细描述。
[0047]假设目前网络中部署了 600台服务器,其中服务器编号分别为001-300的300台服务器用于出租车业务,服务器编号分别为301-600的另外300台服务器用于专车业务。以001号服务器和301号服务器为例,并假设将存储日志数据的位置设置为/home/app/log/,则用于存储001号服务器和301号服务器的日志数据的位置分别是:001/hOme/app/lOg/和 301/home/app/log/。
[0048]因此,根据本发明的实施例的业务数据的处理方法,从001号服务器获取用于出租车业务的业务数据,基于该业务数据而生成日志数据,并且将该日志数据存储在001/home/app/log/目录。这一目录中具有成千上万条日志数据,其中按照这些日志数据的生成时间而每小时生成一个日志文件以用于包括这个小时中的这些日志数据。例如,名称为2014091207的日志文件包括在2014年9月12日6:00_7:00所生成的日志数据。另外,为了将上述业务数据用于微信支付的大数据应用,该日志数据的格式是:“微信支付I I支付时间=值1| I支付总额=值2| I红包金额=值3| I现金金额=值4| |”。同时,为了将上述业务数据还用于衡量订单价值的大数据应用,该日志数据的格式是“订单价值11出发地=值1| I目的地=值2| I调度费=值3| I抢单司机数量=值4| I”。因此,例如在2014年9月12日6:00-7:00所生成的这两种日志数据将都包括于在001/home/app/log/目录中存储的、名称为2014091207的日志文件中。
[0049]类似地,根据本发明的实施例的业务数据的处理方法,从301号服务器获取用于专车业务的业务数据,基于该业务数据而生成日志数据,并且将该日志数据存储在301/home/app/log/目录。这一目录中具有成千上万条日志数据,其中按照这些日志数据的生成时间而每小时生成一个日志文件以用于包括这个小时中的这些日志数据。例如,名称为2014091207的日志文件包括在2014年9月12日6:00_7:00所生成的日志数据。另外,为了将上述业务数据用于微信支付的大数据应用,该日志数据的格式是:“微信支付I I支付时间=值1| I支付总额=值2| I红包金额=值3| I现金金额=值4| I”。同时,为了将上述业务数据还用于衡量订单价值的大数据应用,该日志数据的格式是“订单价值11出发地=值1| I目的地=值2| I调度费=值3| I抢单司机数量=值4| I”。因此,例如在2014年9月12日6:00-7:00所生成的这两种日志数据将都包括于在301/home/app/log/目录中存储的、名称为2014091207的日志文件中。
[0050]本领域技术人员可以理解,在001/home/app/log/目录以及301/home/app/log/目录中还存储有其它时间所生成的其它日志文件,例如包括在2014年9月12日5:00-6:00所生成的日志数据的、名称为2014091206的日志文件。
[0051]本领域技术人员还可以理解,在002-300以及302-600号服务器中同样具有/home/app/log/目录,其中存储有名称为2014091206、2014091207的日志文件以及其它时间所生成的其它日志文件,并且这些日志文件中至少包括用于微信支付的大数据应用的日志数据以及用于衡量订单价值的大数据应用的日志数据。
[0052]然后,如上文所讨论的,如果大数据服务器需要得到2014年9月12日6:00-7:00期间的微信支付的情况,则该大数据服务器将服务器编号1-600和/home/app/log/进行组合以得到600个存储位置,以及该大数据服务器分别在这些存储位置中收集名称为2014091207的日志文件,并且将所收集的600个日志文件存储在大数据服务器中的名称为2014091207的文件夹中。
[0053]在大数据收集之后,如上文所讨论的,大数据服务器将对文件夹2014091207中的600个日志文件进行解析,如果解析结果指示该日志文件中的日志数据中的日志前缀是“微信支付”,则将该日志数据向预定的用于微信支付的大数据应用的输出路径进行输出。
[0054]进而,假设网络中又部署了服务器编号为601-900的300台服务器以用于新业务,并且假设将存储日志数据的位置仍然设置为/home/app/log/并且日志数据格式和日志前缀也相同。因此,如果大数据服务器需要得到2014年9月12日6:00-7:00期间的订单价值的情况,则大数据服务器只需要在配置文件中新增服务器编号601-900,就可以分别在这900台服务器的相应存储位置中收集名称为2014091207的日志文件,并且将所收集的900个日志文件存储在大数据服务器中的名称为2014091207的文件夹中;同时,大数据服务器只需要在日志数据解析程序的配置文件里面新增“订单价值”,就可以对文件夹2014091207中的900个日志文件进行解析,如果解析结果指示该日志文件中的日志数据中的日志前缀是“订单价值”,则将该日志数据向预定的用于衡量订单价值的大数据应用的输出路径进行输出。
[0055]图4是根据本发明的实施例的业务数据的处理设备400的结构框图。如图4所示,该设备400包括:获取装置402,用于从多个服务器获取相应的业务数据,其中多个服务器分别用于多种业务;第一生成装置404,用于基于该业务数据,生成日志数据;以及存储装置406,用于将该日志数据分别存储在与该业务数据相应的服务器的相应位置处,以用于大数据应用。
[0056]根据本发明的实施例,第一生成装置404包括:提取单元4042,用于从该业务数据中提取具有特定键名的数据;以及第一生成单元4044,用于基于所提取的数据,生成日志数据。
[0057]根据本发明的实施例,该设备400还包括:第二生成装置408,用于生成用于唯一指示该日志数据的类型的日志前缀;以及第一增加装置410,用于在该日志数据中的、所提取的数据之前增加该日志前缀。
[0058]根据本发明的实施例,该设备400还包括:第二增加装置412,用于在针对该日志数据增加键名的情况下,在该日志数据中的、所提取的数据之后增加该键名。
[0059]根据本发明的实施例,该设备400还包括:设置装置414,用于在针对该日志数据减少键名的情况下,将该键名所对应的键值设置为默认值,而不在该日志数据中减少该键名。
[0060]根据本发明的实施例,存储装置406包括:第二生成单元4062,用于按照生成该日志数据的时间所归属的时间区间,分别生成包括相应的日志数据的多个日志文件,其中每个日志文件的文件名称与该时间区间关联;以及存储单元4064,用于将多个日志文件分别存储在与业务数据相应的服务器的相应位置处。
[0061]图5是根据本发明的实施例的业务数据的处理设备500的结构框图。如图5所示,该设备500包括:第一获取装置502,用于从多个服务器的相应位置处获取多个日志文件;以及存储装置504,用于将多个日志文件分别存储到多个文件夹中,其中多个服务器分别用于多种业务,多个日志文件分别基于相应的日志数据而生成,该日志数据分
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1