具有数据监控功能的海量数据平台的利记博彩app
【专利摘要】本发明公开了具有数据监控功能的海量数据平台，包括数据采集模块：从各类数据源收集数据到数据处理中心，数据处理模块：针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，数据存储管理模块：针对经过所述多维数据集处理模块处理的数据进行存储管理；数据服务模块：将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，数据监视模块：包括接收模块、解析模块、存储模块、对比模块和输出模块。本发明数据监控通过与数据采集模块、数据处理模块和数据服务模块的信息交换，实时监控海量数据整个数据流程，并实时反映给用户，降低海量数据的出错率。
【专利说明】
具有数据监控功能的海量数据平台
技术领域
[0001 ]本发明涉及一种平台，具体涉及具有数据监控功能的海量数据平台。
【背景技术】
[0002]随着计算机和网络技术的飞速发展，信息量的增长远远超出了人们对信息获取能力的增长。海量信息资源的有序存储和利用越来越受到世界各国的关注。现实社会里，由其在移动电子商务领域经常存在着对海量数据进行查询显示和浏览交易的需求。然而，面对海量级别的数据，我们首先要考虑的问题是如何提高海量数据的操作性能和处理效率。海量数据的数据量庞大，存在数据管理、更新和监控等操作不方便性和高出错率的问题，但是面对如此巨大的数据靠人工检测是不可能的，如果数据处理流程中出现错误，不易查找。
【发明内容】
[0003]本发明所要解决的技术问题是监控海量数据处理流程，确保数据更新，目的在于提供具有数据监控功能的海量数据平台，实时监控海量数据整个数据流程，并实时反映给用户。
[0004]本发明通过下述技术方案实现:
具有数据监控功能的海量数据平台，包括:
数据采集模块:从各类数据源收集数据到数据处理中心，针对所收集的各类数据进行初步加工，即格式检查和标准化处理；
数据处理模块:针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，生成标准格式的数据产品，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品;对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的数据；
数据存储管理模块:针对经过所述多维数据集处理模块处理的数据进行存储管理；数据服务模块:将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发模块、元数据交换模块、Web检索服务模块、数据定制服务模块、数据直接服务模块、数据访问服务接口模块和用户服务管理模块；
数据监视模块:包括接收模块、解析模块、存储模块、对比模块和输出模块，所述接收模块将数据采集模块、数据处理模块和数据服务模块的数据处理信息接收，传输给解析模块，解析模块将接收到的信息解析得到相应的数据信息和监控信息，解析模块将解析后的数据信息和监控信息打包传输给存储模块进行保存，对比模块内置有原始数据，将存储模块中的数据与原始数据进行对比，符合要求的数据将会被传输至输出模块供用户查看。
[0005]数据采集模块将各类数据源的数据收集到数据处理中心，针对收集的数据进行格式检查和标准化处理的初步加工;数据处理模块将数据采集模块发送的数据进行进一步加工，包括对数据的实时质量检查、对数据进行选取、融合以及统计加工;数据存储模块将数据进行数据转换出力、数据融合处理等预处理工作之后将数据存入各数据子库中。
[0006]进一步地，各类数据源的类型包括文本、图片、视频和音频数据，满足海量数据多类型的要求。
[0007]进一步地，数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迀移与回迀、数据归档和数据访问接口。
[0008]进一步地，数据接收模块接收的数据信息包括接收时间、接收数据源、接收数据类型和接收数据大小。
[0009]进一步地，对比模块的内置原始数据是最近一次从同一种数据源获取的数据。
[0010]进一步地，对比模块中符合要求的数据是指与最近一次接收的数据相比有更新的数据。
[0011]本发明与现有技术相比，具有如下的优点和有益效果:数据监控通过与数据采集模块、数据处理模块和数据服务模块的信息交换，实时监控海量数据整个数据流程，并实时反映给用户，降低海量数据的出错率。
【附图说明】
[0012]此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中:
图1为本发明结构示意图。
【具体实施方式】
[0013]为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
[0014]如图1所示，本发明具有数据监控功能的海量数据平台，具有数据监控功能的海量数据平台，包括:
数据采集模块:从各类数据源收集数据到数据处理中心，针对所收集的各类数据进行初步加工，即格式检查和标准化处理;各类数据源的类型包括文本、图片、视频和音频数据，满足海量数据多类型的要求，格式检查包括。
[0015]数据处理模块:针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，生成标准格式的数据产品，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品;对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的数据；
数据存储管理模块:针对经过所述多维数据集处理模块处理的数据进行存储管理;数据存储管理模块包括数据存储、数据入库存储、数据处理、数据清除、数据安全控制、数据备份与恢复、数据迀移与回迀、数据归档和数据访问接口。
[0016]数据服务模块:将所述数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理；
数据监视模块:包括接收模块、解析模块、存储模块、对比模块和输出模块，所述接收模块将数据采集模块、数据处理模块和数据服务模块的数据处理信息接收，传输给解析模块，解析模块将接收到的信息解析得到相应的数据信息和监控信息，解析模块将解析后的数据信息和监控信息打包传输给存储模块进行保存，对比模块内置有原始数据，将存储模块中的数据与原始数据进行对比，符合要求的数据将会被传输至输出模块供用户查看。数据接收模块接收的数据信息包括接收时间、接收数据源、接收数据类型和接收数据大小。对比模块的内置原始数据是最近一次从同一种数据源获取的数据。对比模块中符合要求的数据是指与最近一次接收的数据相比有更新的数据。
[0017]数据采集模块将各类数据源的数据收集到数据处理中心，针对收集的数据进行格式检查和标准化处理的初步加工;数据处理模块将数据采集模块发送的数据进行进一步加工，包括对数据的实时质量检查、对数据进行选取、融合以及统计加工;数据存储模块将数据进行数据转换出力、数据融合处理等预处理工作之后将数据存入各数据子库中。
[0018]以上所述的【具体实施方式】，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的【具体实施方式】而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.具有数据监控功能的海量数据平台，其特征在于，包括: 数据采集模块:从各类数据源收集数据，针对所收集的各类数据进行初步加工，即格式检查和标准化处理； 数据处理模块:针对所述数据采集模块中采集到的经过初步加工的数据进行解码和格式转换，生成标准格式的数据产品，设置每个数据的质量控制码，生成带有质量控制码的标准格式数据产品;对部分实时和非实时海量数据进行选取、融合以及统计加工，生成处理后的数据； 数据存储管理模块:针对经过所述数据处理模块处理的数据进行存储管理； 数据服务模块:将所述数据存储管理模块存储的数据与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、Web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理； 数据监视模块:包括接收模块、解析模块、存储模块、对比模块和输出模块，所述接收模块将数据采集模块、数据处理模块和数据服务模块的数据处理信息接收，传输给解析模块，解析模块将接收到的信息解析得到相应的数据信息和监控信息，解析模块将解析后的数据信息和监控信息打包传输给存储模块进行保存，对比模块内置有原始数据，将存储模块中的数据与原始数据进行对比，符合要求的数据将会被传输至输出模块供用户查看。2.根据权利要求1所述的具有数据监控功能的海量数据平台，其特征在于，所述各类数据源的类型包括文本、图片、视频和音频数据。3.根据权利要求1所述的具有数据监控功能的海量数据平台，其特征在于，所述数据存储管理模块包括数据存储结构模块、数据入库存储模块、数据处理模块、数据清除模块、数据安全控制模块、数据备份与恢复模块、数据迀移与回迀模块、数据归档模块和数据访问接口丰旲块。4.根据权利要求1所述的具有数据监控功能的海量数据平台，其特征在于，所述数据接收模块接收的数据信息包括接收时间、接收数据源、接收数据类型和接收数据大小。5.根据权利要求1所述的具有数据监控功能的海量数据平台，其特征在于，所述对比模块的内置原始数据是最近一次从同一种数据源获取的数据。6.根据权利要求1所述的具有数据监控功能的海量数据平台，其特征在于，所述对比模块中符合要求的数据是指与最近一次接收的数据相比有更新的数据。
【文档编号】G06F17/30GK106096067SQ201610700699
【公开日】2016年11月9日
【申请日】2016年8月23日
【发明人】朱焰冰
【申请人】成都卡莱博尔信息技术股份有限公司