一种基于分布式技术的电网非结构化数据解析平台的利记博彩app
【技术领域】
[0001]本实用新型涉及一种基于分布式技术的电网非结构化数据解析平台，属于电力技术领域。
【背景技术】
[0002]目前，随着电网公司信息化的建设和发展，每年非结构化数据的增长量已经达到PB级别。经过多年的运行积累，非结构化数据的存储、管理、集成和应用的问题日益凸显。如何集成非结构化数据成为挖掘非结构化数据价值的前提。
[0003]现有SCADA系统的数据都采用文件存储或关系型数据库存储，无法很好的保留及利用历史数据，挖掘出其中的价值。客服服务系统保留的音频记录文件也仅作为短时间内的查询核对使用，不能够快捷便利的提炼出有用的信息。
【实用新型内容】
[0004]本实用新型的目的是:针对现有技术的上的缺陷，提供一种基于分布式技术的电网非结构化数据解析平台，她为实现对历史数据的保持和利用，又能快捷对记录文件的提炼提供了一个新的思路和可行的硬件设备，以克服现有技术的不足。
[0005]本实用新型的技术方案
[0006]—种基于分布式技术的电网非结构化数据解析平台，该平台括分布式计算处理服务器集群，通过设置至少2个终端电能监测装置，通信服务器与终端电能监测装置的输出端连接，数据采集与监视控制系统分别与通信服务器的输出端和分布式计算处理服务器集群输入端连接实现终端电能监测装置与分布式计算处理服务器集群连接，SCADA的音频文件系统、非结构化文本系统及关系型数据库分别通过数据采集接口与分布式计算处理服务器集群连接。
[0007]前述的一种基于分布式技术的电网非结构化数据解析平台中，所述分布式计算处理服务器集群包括语音识别模块、搜索引擎、文本分析模块、分布式存储系统、分布式计算任务管理模块，其中分布式计算任务管理模块连接分布式存储系统的输出端，语音识别模块、搜索引擎、文本分析模块分别通过分布式计算管理模块与分布式存储系统连接。
[0008]前述的一种基于分布式技术的电网非结构化数据解析平台中，所述的终端电能监测装置包括数据交换模块，用于将数据上传至通讯服务器，监测装置从电网采集得到电压/电流信号，经过处理转化为数字信号，最终解析出需要监测的各种监测数据，监测装置采集的数据主要相电压总有效值、线电压总有效值、电流总有效值、单相有功功率、单相无功功率、总有功功率等数据。
[0009]前述的一种基于分布式技术的电网非结构化数据解析平台中，所述数据采集接口包括多数据库接入模块、异构数据源的预处理模块、导入工具，多数据库接入模块提供多种关系型数据库的驱动，对关系型数据库中的数据进行读写操作，异构数据源的预处理模块提供异构数据源的关联计算等处理，导入工具将关系型数据与非结构化文本、语音等数据导入到分布式存储系统。
[0010]由于采用了上述技术方案，与现有技术相比，本实用新型设计思路简单，操作性，实用性高，本实用新型的设备为全自动化工作，本实用新型克服了传统电力信息系统仅能处理结构化数据的问题，为通采用布式技术解决对流式数据的存储及非结构化数据的分析、提取、应用，解决了电网对非结构化数据难以进行整合的问题提供了一套精确实效的硬件基础，提高对非结构化数据的利用率，挖掘更多数据的价值，该硬件设备连接关系简单，成本低，安装方便，灵敏度高，实用性强。
【附图说明】
[0011]附图1是本实用新型的结构示意图；
[0012]附图2是本实用新型中分布式计算处理服务器集群中各节点的工作流程图。
【具体实施方式】
[0013]下面结合附图对本实用新型用作进一步的详细说明，但不作为对本实用新型的任何限制。
[0014]本实用新型的实施例:一种电网非结构化数据解析方法，该方法通过分布式技术实现对SCADA实时流数据的采集与存储，及对SCADA的音频文件、非结构化文本及关系型数据库的识别分析、扫描文档的信息分析提取。
[0015]根据上述方法所构建的一种基于分布式技术的电网非结构化数据解析平台，该平台括分布式计算处理服务器集群I，通过设置至少2个终端电能监测装置2，通信服务器3与终端电能监测装置2的输出端连接，数据采集与监视控制系统4分别与通信服务器3的输出端和分布式计算处理服务器集群I输入端连接实现终端电能监测装置2与分布式计算处理服务器集群连接4，SCADA的音频文件系统5、非结构化文本系统6及关系型数据库7分别通过数据采集接口 8与分布式计算处理服务器集群I连接。
[0016]其中该分布式计算处理服务器集群I包括语音识别模块9、搜索引擎10、文本分析模块11、分布式存储系统12、分布式计算任务管理模块13，其中分布式计算任务管理模块13连接分布式存储系统12的输出端，语音识别模块9、搜索引擎10、文本分析模块10分别通过分布式计算管理模块13与分布式存储系统12连接，该分布式存储系统解决了海量实时数据的存储问题、非结构化数据文件的存储问题，语音识别模块智能化的将语音转换为文本并检出关键词，文本分析模块提供非结构化文本的基于上下文语义的分析和推理、检索关键词并进行分析统计，分布式计算任务管理模块负责各分布式计算任务的调度和监控，搜索弓I擎提供数据信息的检索服务。
[0017]该分布式计算任务管理模块连接分布式存储系统内，语音识别模块、搜索引擎、文本分析模块分别通过分布式计算管理模块与分布式存储系统连接，该分布式计算处理服务器集群包含多个节点，ResourceManager将各个资源部分计算、内存、带宽等安排给NodeManagerc3ResourceManager与 Applicat1nMaster分配资源，与 NodeManager启动和监视它们的基础应用程序。
[0018]该终端电能监测装置2包括至少2个数据交换模块14，用于将数据上传至通讯服务器，监测装置从电网采集得到电压/电流信号，经过处理转化为数字信号，最终解析出需要监测的各种监测数据，监测装置采集的数据主要相电压总有效值、线电压总有效值、电流总有效值、单相有功功率、单相无功功率、总有功功率等数据。
[0019]该终端监测装置和通信服务器、数据采集与监视控制系统，其中通信服务器负责与采集终端装置的通讯，数据采集与监视控制系统接收装置发送过来的实时监测数据，同时对因故障没有能够接收的数据进行抽取，再将所接收的数据转换并写入到文件，通过flume处理，最后写入到分布式存储系统。
[0020]该数据采集接口8包括多数据库接入模块、异构数据源的预处理模块、导入工具，多数据库接入模块提供多种关系型数据库的驱动，对关系型数据库中的数据进行读写操作，异构数据源的预处理模块提供异构数据源的关联计算等处理，导入工具将关系型数据与非结构化文本、语音等数据导入到分布式存储系统。
【主权项】
1.一种基于分布式技术的电网非结构化数据解析平台，其特征在于:该平台括分布式计算处理服务器集群(I)，通过设置至少2个终端电能监测装置(2)，通信服务器(3)与终端电能监测装置(2)的输出端连接，数据采集与监视控制系统(4)分别与通信服务器(3)的输出端和分布式计算处理服务器集群(I)输入端连接实现终端电能监测装置(2)与分布式计算处理服务器集群(I)连接，SCADA的音频文件系统(5)、非结构化文本系统(6)及关系型数据库(7)分别通过数据采集接口(8)与分布式计算处理服务器集群(I)连接。2.根据权利要求1所述的一种基于分布式技术的电网非结构化数据解析平台，其特征在于:所述分布式计算处理服务器集群(I)包括语音识别模块(9)、搜索引擎(10)、文本分析模块(11)、分布式存储系统(12)、分布式计算任务管理模块(13)，其中分布式计算任务管理模块(13)连接分布式存储系统(12)的输出端，语音识别模块(9)、搜索引擎(10)、文本分析模块(I I)分别通过分布式计算管理模块(13)与分布式存储系统(I 2)连接。3.根据权利要求1所述的一种基于分布式技术的电网非结构化数据解析平台，其特征在于:所述的终端电能监测装置(2)包括至少2个数据交换模块(14)。4.根据权利要求1所述的一种基于分布式技术的电网非结构化数据解析平台，其特征在于:所述数据采集接口(8)包括多数据库接入模块、异构数据源的预处理模块、导入工具，多数据库接入模块提供多种关系型数据库的驱动，对关系型数据库中的数据进行读写操作，异构数据源的预处理模块提供异构数据源的关联计算处理，导入工具将关系型数据与非结构化文本、语音数据导入到分布式存储系统。
【专利摘要】本实用新型公开了一种基于分布式技术的电网非结构化数据解析平台，该平台包括分布式计算处理服务器集群，通过设置至少2个终端电能监测装置，通信服务器与终端电能监测装置的输出端连接，数据采集与监视控制系统与通信服务器的输出端连接实现终端电能监测装置与分布式计算处理服务器集群连接，SCADA的音频文件、非结构化文本及关系型数据库分别通过数据采集结构与分布式计算处理服务器集群连接，本实用新型克服了传统电力信息系统仅能处理结构化数据的问题,通过分布式技术实现对流式数据的存储及非结构化数据的分析、提取、应用，解决了电网对非结构化数据难以进行整合的问题，提高对非结构化数据的利用率，挖掘更多数据的价值。
【IPC分类】G06F17/30
【公开号】CN205247387
【申请号】CN201520860608
【发明人】朱州, 吴漾, 王玮, 罗念华, 陆岫昶, 李飞, 王鹏, 陈佳运, 吴川黔
【申请人】贵州电网公司信息通信分公司, 贵州广思信息网络有限公司
【公开日】2016年5月18日
【申请日】2015年11月2日