一种共享型主数据的数据加工存储方法
【专利说明】一种共享型主数据的数据加工存储方法
[0001]
技术领域
[0002]本发明涉及数据存储技术领域，具体地，涉及一种共享型主数据的数据加工存储方法。
【背景技术】
[0003]目前的企业单位均存在着大大小小不同时期建设的专业性业务系统，系统间的部署主要以网状结构存在。而现有的各个部分使用各自的系统，各系统之间的信息不能互享，形成“信息孤岛”。随着企业单位研究业务的变化、经济社会的转型和信息技术的发展，数据库之间的数据交换越来越频繁。在业务应用中，经常需要进行复杂的数据交换，尤其是不同系统和业务之间，这些数据交换要求跨平台、跨系统的，同时要实现业务数据结构的变化和多业务的交互。在对各系统之间的数据进行整理时，由于各系统之间的数据存在冗余、不一致的问题，采用现有的数据存储方式显然不太合适。
【发明内容】
[0004]本发明为了解决的上述技术问题，提供了一种共享型主数据的数据加工存储方法。
[0005]本发明解决上述问题所采用的技术方案是:
一种共享型主数据的数据加工存储方法，其特征在于，包括:
A、抽取，从各业务系统或文件中抽取各信息域主数据；
B、清洗，清洗抽取到的主数据，取出脏数据；
C、映射，建立主数据系统和各业务系统数据映射关系表，建立业务系统主数据和主数据管理系统主数据的映射关系；
D、转换，对各业务系统的接口数据进行转换，使其数据类型与主数据管理系统的数据规范一致；
E、加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中。
[0006]所谓的脏数据，即源系统中的数据不在给定的范围内或对实际业务毫无意义，或者数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。脏数据的造成主要是由于源系统的设计不严密造成的，主要表现在:数据格式错误，数据不一致，数据重复、错误，业务逻辑不合理，违反业务规则等。譬如:未经验证的身份、未经验证的日期、字段等。本发明的数据加工存储方法基于现有的各系统之间的信息相互独立不能共享交互而生的。先对各系统中的信息进抽取，随之对脏数据进行剔除，利用映射，使得主数据系统和各业务系统数据相对应，再对接口数据进行转换，使得数据类型相匹配一致，最后再加载到主数据模型中，实现数据的共享，避免各系统之间数据的冗余和不一致的问题。
[0007]作为优选，为了保证数据的安全性，还包括备份:对主数据管理平台数据库中的应用框架数据和主数据进行备份。
[0008]进一步的，所述的清洗步骤中还包括对取出的脏数据的存储，对脏数据进行存储，便于分析使用。
[0009]作为优选，为了便于对数据进行管理，在对主数据系统和各业务系统数据之间进行映射时，同时加上时间戳。
[0010]作为优选，为了便于对数据进行管理，在将将抽取到的、经过清洗和转换的数据装载到主数据库模型中时,加上时间戳。
[0011]综上，本发明的有益效果是:
本发明的方法对各系统中的信息进抽取，随之对脏数据进行剔除，利用映射，使得主数据系统和各业务系统数据相对应，再对接口数据进行转换，使得数据类型相匹配一致，最后再加载到主数据模型中，实现数据的共享，避免各系统之间数据的冗余和不一致的问题。
【具体实施方式】
[0012]下面结合实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0013]实施例1:
一种共享型主数据的数据加工存储方法，其特征在于，包括:
A、抽取，从各业务系统或文件中抽取各信息域主数据；
B、清洗，清洗抽取到的主数据，取出脏数据；
C、映射，建立主数据系统和各业务系统数据映射关系表，建立业务系统主数据和主数据管理系统主数据的映射关系；
D、转换，对各业务系统的接口数据进行转换，使其数据类型与主数据管理系统的数据规范一致；
E、加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中。
[0014]本发明的数据加工存储方法基于现有的各系统之间的信息相互独立不能共享交互而生的。先对各系统中的信息进抽取，随之对脏数据进行剔除，利用映射，使得主数据系统和各业务系统数据相对应，再对接口数据进行转换，使得数据类型相匹配一致，最后再加载到主数据模型中，实现数据的共享，避免各系统之间数据的冗余和不一致的问题。
[0015]实施例2:
为了提高数据的安全性，本实施例在上述实施例的基础上做了优化，即还包括备份:对主数据管理平台数据库中的应用框架数据和主数据进行备份。
[0016]所述的清洗步骤中还包括对取出的脏数据的存储。
[0017]实施例3:
为了便于对数据的管理，本实施例在上述实施例的基础上做了优化，即在对主数据系统和各业务系统数据之间进行映射时，同时加上时间戳。
[0018]在将将抽取到的、经过清洗和转换的数据装载到主数据库模型中时，加上时间戳。
[0019]如上所述，可较好的实现本发明。
【主权项】
1.一种共享型主数据的数据加工存储方法，其特征在于，包括: 抽取，从各业务系统或文件中抽取各信息域主数据； 清洗，清洗抽取到的主数据，取出脏数据； 映射，建立主数据系统和各业务系统数据映射关系表,建立业务系统主数据和主数据管理系统主数据的映射关系； 转换，对各业务系统的接口数据进行转换，使其数据类型与主数据管理系统的数据规范一致； 加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中。
2.根据权利要求1所述的一种共享型主数据的数据加工存储方法,其特征在于:还包括备份:对主数据管理平台数据库中的应用框架数据和主数据进行备份。
3.根据权利要求1或2所述的一种共享型主数据的数据加工存储方法，其特征在于:所述的清洗步骤中还包括对取出的脏数据的存储。
4.根据权利要求1所述的一种共享型主数据的数据加工存储方法，其特征在于:在对主数据系统和各业务系统数据之间进行映射时，同时加上时间戳。
5.根据权利要求1所述的一种共享型主数据的数据加工存储方法，其特征在于:在将将抽取到的、经过清洗和转换的数据装载到主数据库模型中时，加上时间戳。
【专利摘要】本发明公开了一种共享型主数据的数据加工存储方法，其特征在于，包括：抽取，从各业务系统或文件中抽取各信息域主数据；清洗，清洗抽取到的主数据，取出脏数据；映射，建立主数据系统和各业务系统数据映射关系表，建立业务系统主数据和主数据管理系统主数据的映射关系；转换，对各业务系统的接口数据进行转换，使其数据类型与主数据管理系统的数据规范一致；加载，将抽取到的、经过清洗和转换的数据装载到主数据库模型中，其实现了数据的共享，避免各系统之间数据的冗余和不一致的问题。
【IPC分类】G06F17-30
【公开号】CN104699860
【申请号】CN201510163449
【发明人】朱焰冰
【申请人】成都卡莱博尔信息技术有限公司
【公开日】2015年6月10日
【申请日】2015年4月9日