业务数据的处理方法及设备的制造方法_2

文档序号:9891249阅读:来源:国知局
储位置中收集上述日志数据。
[0026]根据本发明的实施例,上述步骤S206可以实现如下:按照生成日志数据的时间所归属的时间区间,分别生成包括相应的日志数据的多个日志文件,其中每个日志文件的文件名称与该时间区间关联,以及将该多个日志文件分别存储在上述相应位置处。本领域技术人员可以理解,在这一实施例中,划分上述日志数据从而生成多个日志文件并且通过文件名称来区分这些日志文件,从而避免由于日志数据的规模不统一所产生的影响。
[0027]在这一实施例中,可以例如将每小时的日志数据划分为一个日志文件。例如,对于2014年9月12日5:00-6:00所生成的日志数据,可以建立名称为2014091206的日志文件以包括该日志数据,其中2014091206就代表了生成该日志数据的时间。类似地,对于2014年9月12日6:00-7:00所生成的日志数据,可以建立名称为2014091207的日志文件以包括该日志数据,其中2014091207就代表了生成该日志数据的时间。应当理解的是,这一实施例仅仅用于举例而非进行限制,同时本领域技术人员还可以采用其它时间区间来划分日志数据,并且还可以采用其它命名方式,其均应当纳入本发明的保护范围。
[0028]通过这一实施例,可以使得大数据服务器快捷、准确地收集某些特定时间所生成的业务数据。具体来说,该大数据服务器可以按照生成日志数据的时间所归属的时间区间而预先建立多个文件夹,其中每个文件夹中将存储相应的时间区间中的多个日志文件,其中每个日志文件的文件名称与该时间区间关联。例如,该大数据服务器可以预先建立名称为2014091206和2014091207的两个文件夹,其中前者用于存储包括2014年9月12日5:00-6:00期间、服务器102、104、106、112、114和116所生成的日志数据的日志文件,类似地后者用于存储包括2014年9月12日6:00-7:00期间、服务器102、104、106、112、114和116所生成的日志数据的日志文件。这样,经由文件夹2014091207,该大数据服务器能够快捷、准确地定位到2014年9月12日6:00-7:00期间所生成的日志数据,从而进行大数据收集。
[0029]应当理解的是,这一实施例仅仅用于举例而非进行限制,同时本领域技术人员还可以针对文件夹采用其它命名方式,例如/user/data/log/publiclog/年/月/日/时/,其均应当纳入本发明的保护范围。
[0030]上述内容通过保证日志文件存储位置和日志文件命名格式的规范和统一,从而保证了大数据收集对各种业务可以完全重复使用。具体来说,对于同种业务,不需要对新增业务数据进行任何处理,将自动生成基于该业务数据的日志数据,然后存储该日志数据以便进行大数据收集;对于不同业务,只需要在配置文件中新增相应服务器的服务器编号,同样将自动生成基于业务数据的日志数据,然后存储该日志数据以便进行大数据收集。
[0031]如上文所讨论的,上述步骤S204生成具有特定格式的日志数据从而使得该日志数据规范和统一。下面结合示例来详细描述。
[0032]第一,从业务数据中提取具有特定键名的数据以及基于所提取的数据而生成日志数据。其中,该日志数据的格式可以例如是:11键名I =键值1| I键名2 =键值2| I键名3=键值3| I键名4 =键值4| I。
[0033]例如,如上文所讨论的,基于出租车业务和专车业务的业务数据,对于用于微信支付的大数据应用,所生成的日志数据可以包括例如支付时间、支付总额、利用微信红包所支付的金额以及利用现金所支付的金额,这些内容都可以作为上述特定键名而用于该日志数据。因此,该日志数据的格式可以例如是:“ I I支付时间=0630 I支付总额=20 I红包金额=5 I I现金金额=15 I I ”。
[0034]类似地,同样基于出租车业务和专车业务的业务数据,对于用于衡量订单价值的大数据应用,所生成的日志数据可以包括例如出发地、目的地、调度费以及抢单司机数量。因此,该日志数据的格式可以例如是:“ 11出发地=蓟门桥11目的地=回龙观11调度费=511抢单司机数量=?ο 11 ”。
[0035]第二,生成用于唯一指示该日志数据的类型的日志前缀以及在该日志数据中的、所提取的数据之前增加该日志前缀。
[0036]例如,对应于微信支付的日志前缀可以例如是“微信支付”或者“WechatPay”;对应于订单价值的日志前缀可以例如是“订单价值”或者“OrderValue”。因此,该日志数据的格式可以相应地是:“微信支付I I支付时间=0630 I支付总额=20 I I红包金额=5 I I现金金额=15| I”以及“订单价值11出发地=蓟门桥11目的地=回龙观11调度费=5| I抢单司机数量=?ο 11 ”。
[0037]第三,如果需要针对该日志数据增加键名,则在该日志数据中的、所提取的数据之后增加该键名。
[0038]例如,对于用于微信支付的大数据应用,如果需要增加利用积分所支付的金额,则在该日志数据之后增加该键名,因此该日志数据的格式可以例如是:“微信支付11支付时间=0630 I I支付总额=20 I I红包金额=5 I I现金金额=10 I I积分金额=5 I I ”。这样,能够避免所增加的键名对已经生成的日志数据的影响。
[0039]第四,如果需要针对该日志数据减少键名,则将该键名所对应的键值设置为默认值,而不在该日志数据中减少该键名。
[0040]例如,对于用于微信支付的大数据应用,如果需要减少利用红包所支付的金额,则将该键名所对应的键值设置为默认值(例如O),而不在该日志数据中减少该键名。因此该日志数据的格式可以例如是:“微信支付11支付时间=0630 I支付总额=20I I红包金额=Ol I现金金额=20”。这样,能够避免所减少的键名对已经生成的日志数据的影响。
[0041]通过上述四点,可以使得大数据服务器快捷、准确地解析具有特定格式和/或特定内容的日志数据。具体而言,大数据服务器可以按照该日志数据中的日志前缀来解析该日志数据,将该日志数据向相应的输出路径进行输出。例如,如果需要得到2014年9月12日6:00-7:00期间的微信支付的情况,该大数据服务器将对文件夹2014091207中的日志文件(或者日志数据)进行解析,如果解析结果指示该日志数据中的日志前缀是“微信支付”,则将该日志数据向预定的用于微信支付的大数据应用的输出路径进行输出。这样,既保证了能够通过唯一的日志前缀来区分不同的日志数据,又保证了日志数据解析程序对各种业务都可以完全重复使用。也就是说,如果需要解析得到新增日志数据,则只需要在日志数据解析程序的配置文件里面新增该日志数据的日志前缀。
[0042]图3是根据本发明的实施例的业务数据的处理方法300的流程图。本领域技术人员可以理解,该方法300可以由参考图1所示的服务器122中的处理设备来执行。为讨论方便,下文将参考图1所示的网络结构100来描述该方法300。
[0043]在方法300开始之后,在步骤S302,从多个服务器的相应位置处获取多个日志文件,其中多个服务器分别用于多种业务,多个日志文件分别基于相应的日志数据而生成,这些日志数据分别基于从多个服务器获取的相应的业务数据而生成。具体来说,该相应位置对于每个服务器是固定的,因此可以通过将多个服务器的服务器编号和该相应位置进行组合从而得到多个存储位置。也就是说,如果对于服务器102的位置是102/home/app/log,则对于服务器112的位置是112/home/app/log。
[0044]接下来,该方法300进行到步骤S304,将多个日志文件分别存储到多个文件夹中,从而进行大数据收集。具体来说,可以按照多个日志文件的文件名称而将多个日志文件分别存储到多个文件夹中,其中每个文件夹按照生成日志数据的时间所归属的时间区间而建立,该文件名称与该时间区间关联。例如,如果大数据服务器需要收集2014年9月12日6:00-7:00期间的情况,则该大数据服务器将收集名称为2014091207的日志文件,并
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1