Hose基于规则的数据推送系统及方法

文档序号:9787562阅读:607来源:国知局
Hose基于规则的数据推送系统及方法
【技术领域】
[0001]本发明涉及企业权威资源管理技术领域,具体的说,是Hose基于规则的数据推送系统及方法。
【背景技术】
[0002]传统的数据推送都是与业务紧密耦合在一起的,无法做到数据推送的通用性和数据结构的多样性,无法对推送数据过程进行精确控制。在大型企业中针对公司战略数据资源都是统一管理、统一运维、统一分析,并为公司业务发展提供服务和数据支持。因为数据资源集中保存与维护,就存在数据的共享和分发问题。
[0003]数据整合集成是企业信息化管理的有效手段,通过将分布在企业各个系统和数据库中的数据进行提取、梳理、统一维护,建立数据权威库。可以有效降低企业信息化建设成本,提供企业信息化水平,为企业发展战略提供快速的数据支持。数据整合以后就需要进行共享,这样才能支撑企业的业务活动,所以需要一种手段实现数据的分发,并支持数据的实时同步变更。但现有的技术存在如下缺点:
1.只能支持业务中有限的数据,导致业务耦合性太强,不具有通用性和系统迀移性。
[0004]2.与权威库的集成方式单一,导致集成困难,系统改造难度大。
[0005]3.无法对推动的数据进行精密的控制,无法对数据进行灵活的修改。
[0006]4.针对关系型数据库,API接口、WebService接口,文本文件等,不支持多种数据目标库。

【发明内容】

[0007]本发明的目的在于提供Hose基于规则的数据推送系统及方法,为解决现有数据的分发,并支持数据的实时同步变更的技术所存在的问题及限制,为了实现数据变更实时的推送给目标库而搭建Hose基于规则的数据推送系统,采用独创的插入式设计架构,实现系统中多个组件按需插入,不需要时直接卸载或者替换,在服务器中,设置多个连接器和一个驱动引擎,在驱动中插入过滤器、规则库、处理器和日志加料器等,并将驱动中的对象进行有序的组合,以便处理数据推送请求;本发明所述Hose基于规则的数据推送方法采用推动驱动的方式将数据推送给目标库,在进行数据推送时,以驱动引擎为容器,驱动为核心,对推送数据和推送过程精确控制和监控,针对推动的数据运用规则,变更数据,纲要映射,完成被推送的数据的推送。
[0008]本发明通过下述技术方案实现:Hose基于规则的数据推送系统,包括权威库、服务器及目标库,在所述服务器内设置有驱动引擎、监听器及多个连接器,所述连接器与驱动引擎相连接;在所述驱动引擎内设置有驱动管理器、驱动引擎日志记录器及多个驱动,所述连接器与驱动相连接,在所述驱动内按数据处理流程顺序设置有过滤器、规则库、处理器及日志记录器;
所述服务器为一个运行的Hose系统; 所述驱动引擎,通过驱动管理器,管理所述驱动的生命周期,进行驱动创建、删除、变更、启动及关闭操作;
所述驱动引擎日志记录器,记录包括对驱动本身新增、删除、变更、启动及关闭的操作记录;
所述驱动管理器,一种可视化的对驱动进行管理的工具;
所述驱动,处理权威库与目标库的数据推送分发,支持多驱动,多权威库和多目标库;所述过滤器,将所述驱动不需要推送的数据过滤掉,对推送的数据进行精确的控制;所述规则库,对推送的数据进行控制,执行额外的业务逻辑;并针对不同的驱动和推送要求进行灵活配置规则;
所述处理器,根据目标库的不同分别对应不同的处理器,设置有JDBC处理器、LDAP处理器及WebService处理器;
所述日志记录器,将数据推送过程中产生的数据审计记录到文件中;
所述连接器,为服务器的入口,包括基于TCP/IP的连接器、基于HTTP协议的连接器、基于JMS消息的连接器、基于内存的连接器;
所述监听器,监听通过不同渠道发送过来的数据推送请求,是权威库与Hose数据推送集成通信的入口,根据权威库的技术异构,相关限制,提供与之对应的监听器对象,方便集成,并采用TCP/IP技术或HTTP技术或JMS技术将监听到的数据推送请求通过连接器引入服务器内。
[0009]进一步的为更好的实现本发明所述系统,特别设置有下述结构:在所述服务器内还设置有控制台,所述控制台,基于浏览器的可视化管理工具,用于监控服务器状态,结合驱动管理器管理驱动的启动和停止,以及驱动创建、删除、编辑,并查看驱动日志信息操作。
[0010]进一步的为更好的实现本发明所述系统,特别设置有下述结构:在所述驱动引擎内还设置有集群组件,所述集群组件,在集群多节点部署环境中驱动引擎采用集群组件将驱动的配置变更广播给集群中其他的服务器,确保驱动配置集群中保持同步。
[0011]Hose基于规则的数据推送方法,包括以下步骤:
1)所述监听器监听通过不同渠道发送过来的数据推送请求,而后将数据推送请求通过连接器传递给驱动引擎;
2)所述驱动引擎接收从连接器发送过来的数据推送请求,查询驱动引擎中所有可用的驱动,依次调用驱动处理数据推送请求;
3)驱动处理请求,所述驱动接收到从驱动引擎传递过来的数据推送请求,驱动首先检查路由标识,如果不支持此路由标识,则直接返回,数据推送结束;如果支持该路由标识,则将该数据推送请求传递给过滤器;
4)过滤器处理请求,所述过滤器接收到驱动传递过来的数据推送请求后,过滤器将对数据推送请求中驱动不支持的数据进行过滤,而后将能够被推送的数据推送请求传递给规则库;
5)针对请求数据运用规则,所述规则库接收到数据推送请求,对该数据推送请求应用规则库内配置的规则,规则运行完成,执行步骤6),将数据推送请求传递给处理器;在规则运行过程中,可以中断推送过程直接结束;
6)处理器处理请求,所述处理器接收到数据推送请求,从数据推送请求中获得被推送的数据,将被推送的数据通过纲要映射转换成目标库能够识别的格式。
[0012]进一步的为更好的实现本发明所述方法,特别采用下述设置方式:在执行步骤I)所述监听器监听通过不同渠道发送过来的数据推送请求,将数据推送请求通过连接器传递给驱动引擎之前还设置有以下步骤:
步骤一、权威库监听处理事件,权威库从事件中获得原始数据,并为原始数据生成一个能被驱动所支持且代表目标库的路由标识;
步骤二、权威库依据推送时机、目标库、数据类型和操作类型,将原始数据进行整合规范,而后将规范化后的数据和路由标识封装为XML格式化数据,并将XML格式化数据作为数据推送请求发送至服务器的连接器内。
[0013]进一步的为更好的实现本发明所述方法,特别采用下述设置方式:还包括以下步骤:
7)目标库处理数据,经步骤6)后,所述目标库接收到被推送的数据,首先对所接收的被推送的数据的合法性及有效性进行验证,经验证后被推送的数据的目标库是关系型数据库则直接使用JDBC将数据写入;经验证后若被推送的数据的目标库为WebService服务或者RESTful则将被推送的数据写入WebService服务端。
[0014]进一步的为更好的实现本发明所述方法,特别采用下述设置方式:还包括下述步骤:
8)持久化数据并进行数据整合,经步骤7)后,所述目标库将接收到的被推送的数据进行持久化,并且被推送的数据与权威库保持关联关系。
[0015]进一步的为更好的实现本发明所述方法,特别采用下述设置方式:还包括下述步骤:
9)经步骤8)后,所述处理器调用日志记录器,将数据推送请求处理过程的审计信息记录下来,保存到磁盘中,处理器完成数据推送请求处理和数据推送,返回到驱动引擎进行下一步处理。
[0016]进一步的为更好的实现本发明所述方法,特别采用下述设置方式:还包括下述步骤:
10)经步骤9)后,所述驱动引擎接收到数据推送请求处理结果,通过连接器响应权威库,告知权威库数据推送结果是成功或者失败,并附有推送失败的原因,据此完成一个数据推送请求。
[0017]进一步的为更好的实现本发明所述方法,特别采用下述设置方式:还包括下述步骤:
11)经步骤10)后,所述处理器会将被推送的数据封装成目标库能够识别的数据格式,在进行数据封装时,针对不同的目标库类型,采用不同的处理器,将数据封装后,推送给相应的目标库。
[0018]本发明与现有技术相比,具有以下优点及有益效果:
(I)本发明为解决现有数据的分发,并支持数据的实时同步变更的技术所存在的问题及限制,采用独创的插入式设计架构,实现系统中多个组件按需插入,不需要时直接卸载或者替换,在服务器中,设置多个连接器和一个驱动引擎,在驱动中插入过滤器、规则库、处理器和日志加料器等,并将驱动中的对象进行有序的组合,以便处理数据推送请求;本发明同时以驱动引擎为容器,驱动为核心,对推送数据和推送过程精确控制和监控,针对推动的数据运用规则,变更数据,纲要映射,完成被推送的数据的推送。
[0019](2)本发明多驱动支持,每个驱动支持将数据从权威库推送到目标库中。各驱动之间独立,无相互影响。支
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1