基于喷泉码的智能电能表误差大数据安全存储装置的制造方法
【技术领域】
[0001]本实用新型专利涉及电能计量及营销大数据的存储技术领域，具体是一种基于喷泉码的智能电能表误差大数据安全存储装置。
【背景技术】
[0002]近年来，随着智能电能表大规模安装应用，电力用户侧数据呈指数级增长，海量数据的存储变得越来越重要。传统意义的基于Oracle等大型关系数据库的电力数据存储系统，具有分析速度慢、可伸缩性与可靠性差等缺点，难以适应智能电网时代电力大数据对数据存储与分析的需求，已成为智能电网建设的瓶颈所在。
[0003]HDFS(Hadoop Distributed File System)是云计算Hadoop框架平台数据存储管理的基础，是基于流数据模式访问和处理超大文件等的需求而开发的，并可以运行于廉价的商用服务器上。它所具有的尚容错、尚可靠性、尚可扩展性、尚获得性、尚吞吐率等特征为海量数据提供了可靠的存储，为超大数据集(Large Data Set)的应用处理带来了很多便利。
[0004]Hadoop平台中电力数据的存储和数据收集方式直接影响着电力数据的可用性。数据持久性通常是衡量感知数据在网络中可用性的主要指标。传统HDFS系统中提高数据持久性的基本思想是部署一定数量的冗余节点，设法把感知数据以一定的方式拷贝“备份”存储在其它节点上，使得任意节点发生故障时，其数据皆有机会在其它节点数据中继续存活。但这样的方案通常具有较低的数据恢复性，且复杂度高，此外，HDFS的典型配置是每个文件块需要存3份拷贝，空间利用率仅为33%;另一方面，将海量电力数据交由第三方的资源平台提供的云服务器来管理，用户最终失去了对数据的控制权，电力数据信息的安全和用户隐私保障依赖于云服务商。虽然云服务商能提供更高可靠性的数据备份和数据恢复能力，但不能排除云服务商们出于自身利益考虑和外界因素的干扰，出现泄漏、隐藏、丢失用户存放在云端的数据或者被恶意篡改等情况。为提升存储空间的利用率，保障数据拥有者的利益以及数据用户查询数据的真实性和完整性，需要一个高效的电力大数据安全存储系统。
【实用新型内容】
[0005]本实用新型的目的是提供一种基于喷泉码的智能电能表误差大数据安全存储装置，去除了冗余信息，提升了存储效率。
[0006]本实用新型的技术方案:一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于:所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；
[0007]所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；
[0008]所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；
[0009]所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。
[0010]HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。
[0011 ] 所述HDFS客户端还包括喷泉码应用服务器。
[0012]所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。
[0013]本实用新型的技术效果:通过对智能电表误差数据进行稀疏预处理，去除了冗余信息，提升了存储效率;通过喷泉码编码技术对误差数据进行编码，而不是传统的将误差数据备份存储，提升了存储空间利用率;利用喷泉码编译码复杂度低，译码成功率高，解决了传统由于DataNode失效而导致的存储数据丢失问题;并进一步地通过将编码矩阵信息存储在HDFS客户端，未授权用户在访问得到DataNode所存储的编码包信息时，仍不能解码得到智能电表误差数据，确保了用户数据的私密性保护。
【附图说明】
[0014]图1为本实用新型存储装置结构示意图。
[0015]图中:1一智能电能表自助误差校准装置，2—HDFS客户端，3—Hadoop大数据存储平台，4一HDFS服务器，5—喷泉码应用服务器。
【具体实施方式】
[0016]下面结合附图对本实用新型进一步说明:
[0017]如图1所示，一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于:所述装置包括依次连接的智能电能表自助误差校准装置1、HDFS客户端2、Hadoop大数据存储平台3;
[0018]所述智能电能表自助误差校准装置I，用于采集被测智能电能表数据；
[0019]所述HDFS客户端2用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；
[0020]所述Hadoop大数据存储平台3用于对智能电能表误差大数据进行分布式存储。
[0021 ] HDFS服务器4连接所述HDFS客户端2用以控制管理HDFS客户端2。
[0022]所述HDFS客户端2还包括喷泉码应用服务器5。
[0023]所述Hadoop大数据存储平台3设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。
[0024]所述的HDFS客户端，在存储智能电能表数据时，具体用于对采集的智能电能表数据进行稀疏表示、等分分组预处理，并利用LT码编码技术对预处理后的智能电能表数据编码;在读取智能电能表数据时，具体利用改进的高斯消元法对Hadoop大数据存储平台发送过来的数据译码、并对译码后的数据进行重构，整合处理，以得到原智能电能表数据。
[0025]所述的Hadoop大数据存储平台采用HDFS对编码包数据进行分布式存储与读取管理。HDFS具有处理超大文件、流式的访问数据;运用与廉价的商业集群。
[0026]本实用新型的基于喷泉码的智能电能表误差大数据安全存储装置，通过对智能电表误差数据进行稀疏预处理，去除了冗余信息，提升了存储效率;通过喷泉码编码技术对误差数据进行编码，而不是传统的将误差数据备份存储，提升了存储空间利用率;利用喷泉码编译码复杂度低，译码成功率高，解决了传统由于DataNode失效而导致的存储数据丢失问题;并进一步地通过将编码矩阵信息存储在HDFS客户端，未授权用户在访问得到DataNode所存储的编码包信息时，仍不能解码得到智能电表误差数据，确保了用户数据的私密性保护。
【主权项】
1.一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于:所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台； 所述智能电能表自助误差校准装置用于采集被测智能电能表数据； 所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码； 所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储。2.根据权利要求1所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于:HDFS服务器连接所述HDFS客户端用以控制管理HDFS客户端。3.根据权利要求1或2所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于:所述HDFS客户端还包括喷泉码应用服务器。4.根据权利要求1所述的基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于:所述Hadoop大数据存储平台设置有多个机架，每个机架上存放存储器，用以实现智能电能表误差大数据进行分布式存储。
【专利摘要】一种基于喷泉码的智能电能表误差大数据安全存储装置，其特征在于：所述装置包括依次连接的智能电能表自助误差校准装置、HDFS客户端、Hadoop大数据存储平台；所述智能电能表自助误差校准装置，用于采集被测智能电能表数据；所述HDFS客户端用于对采集到的智能电能表数据进行预处理，并对预处理后的数据编译码；所述Hadoop大数据存储平台用于对智能电能表误差大数据进行分布式存储，本实用新型的技术效果：提升了存储效率；提升了存储空间利用率；解决了传统由于DataNode失效而导致的存储数据丢失问题；确保了用户数据的私密性保护。
【IPC分类】H04L29/08
【公开号】CN205304877
【申请号】
【发明人】郭雨, 陈俊, 易本顺, 郭玥, 汪司珂, 邓桂平, 黄太奇, 陈应龙, 刘恒, 毕伟
【申请人】国家电网公司, 国网湖北省电力公司电力科学研究院
【公开日】2016年6月8日
【申请日】2016年1月13日