一种基于Hadoop的分布式入侵检测系统的利记博彩app
【技术领域】
[0001] 本发明设及计算机网络安全领域，尤其设及一种基于化doop的分布式入侵检测 系统。
【背景技术】
[0002] 传统的入侵检测系统因难W处理日益增长的海量网络数据，系统性能下降，丢包 率增加，检测率降低，已无法满足人们的安全需求。分布式入侵检测系统值istributed Instruction Detection System, DID巧采用分布式结构进行数据采集和并行处理，有效提 高了在高速网络环境下的入侵检测效率，已成为目前入侵检测技术研究的主流。然而，现有 DIDS存在系统架构不合理、接口标准化低、关键算法不完善等问题，运降低了 DIDS的并行 处理能力和系统的互操作性，阻碍了其能力的发挥，不能有效提高系统的检测率。
[0003] 化doop是Apache软件基金会下的一个分布式计算框架，主要组件包括皿FS、 MapReduce、ZooKeeper、Pig、HIVE、皿ase 等。其中，皿FS(Hadoop Distributed File System)和MapRe化Ce是化doop的两项关键技术。皿FS是一个分布式的文件系统，它为分 布式计算模型提供底层的存储支持。MapRe化Ce是一个分布式的计算模型，可W方便地实现 任务的分解和并行化处理。化doop能够处理TB或PB级别的海量数据。目前，越来越多企 业和研究机构的项目围绕着化doop核屯、框架展开。将化doop技术运用于入侵检测，可W 利用其框架较好地实现分布式入侵检测系统的部署，获得强大的分布式数据处理和并行计 算能力支持，提高系统性能，降低丢包率，提高检测率。
【发明内容】
[0004] 本发明的目的是针对现有DIDS存在的问题，提供一种基于化doop的分布式入侵 检测系统，该系统主要包括两个部分：一是提出一种高效的基于能力与负载的数据分割算 法，实现海量数据的有效分割和数据分配；二是提出一种基于化doop的分布式入侵检测体 系结构，实现入侵检测系统各模块的分布式部署和数据并行处理，并W提出的算法作为系 统的任务调度器进行数据分割，实现海量数据的分布式处理，提高入侵检测效率，维持负载 均衡。 阳0化]算法方面，基于对数据分析子结点的状态监控信息，计算结点的数据处理能力和 负载；根据系统对不同应用层协议数据的分类检测思想，将数据分析子结点进行分组，计算 各分组的平均负载；针对各分组的负载情况，建立过载队列和轻载队列，若检测出现连续过 载则报警，并根据分组待处理数据量大小对过载队列中的分组进行过滤；采用一种动态负 载均衡的策略，针对过载队列中的分组，从轻载的分组中选择合适的结点进行迁移，维持系 统负载均衡；若无轻载分组，则降低过载队列中各分组待处理的数据集；针对动态负载均 衡调整后的结点分组，在组内根据结点的数据处理能力和负载情况，从分组待处理的数据 集中分割相适应的数据子集，分配给各结点进行并行处理，有效发挥结点的能力，提高系统 效率，维持系统负载均衡。
[0006] 体系结构方面，本发明利用化doop架构带来的高性能、接口标准规范、良好的互 操作性等特点，实现入侵检测系统的分布式部署及系统各模块的通信与数据传输。
[0007] 实现本发明目的的技术方案为：
[0008] 一种基于化doop的分布式入侵检测系统包括：数据采集模块、数据存储模块、控 制中屯、和数据分析模块，其中控制中屯、包括系统管理模块、系统监控模块、任务调度模块和 报警响应模块；
[0009] 数据采集模块由分布在网络上的多个相互独立的传感器组成，通过传感器实现网 络数据的捕获和处理后，将采集的数据上传至数据存储模块的皿FS数据子结点，即存储至 皿FS数据集中；
[0010] 所述传感器的工作步骤为：首先，通过网络监听采集所在网络的原始数据包；其 次，解析数据包，计算数据包的唯一连接标识；第=，识别数据包的传输协议标识并进行数 据处理，将数据包存储在W唯一连接标识命名的数据文件中；第四，按照数据包的应用层协 议标识，将数据文件分类存储到传感器初始化时设置的目录结构中；最后，按照指定的周期 将采集的数据WFTP方式上传至本系统的皿FS数据子结点，进行分类存储；
[0011] 皿FS数据子结点通过MapRe化Ce机制，向任务调度模块的结点Master提交数据检 测分析的任务；
[0012] 系统监控模块对分布式化doop集群各结点的状态监控，记录监控结果，并将结果 存储到数据存储模块的皿ase数据库，为任务调度提供任务分配决策支持；同时，完成对报 警响应显示，并实现对系统的管理配置；
[0013] 任务调度模块根据系统监控获取的结点状态和待处理数据的规模大小，根据设计 的基于能力与负载的数据分割算法将大数据分割成数据子集，合理地将数据子集分发给不 同数据分析子结点进行并行数据检测分析，最后把各个数据分析子结点的处理结果进行汇 集；
[0014] 数据分析模块中的数据分析由分布在化doop集群中的多个数据分析子结点并行 完成，数据分析子结点根据任务调度模块中所分配的数据子集地址信息，从对应的皿FS数 据子结点上读取由传感器采集并上传的数据子集，根据建立的特征检测规则集进行数据检 测分析；
[0015] 报警响应模块中由报警响应结点并行接收数据分析子结点传送的入侵检测结果， 存储到皿ase中；并对非法入侵行为进行报警响应，在系统监控的界面中显示报警信息；
[0016] 系统管理模块采用Web方式完成化doop集群的配置、用户管理、日志查询功能。 阳017] 具体地，系统各模块如下：
[0018] A)数据采集模块由传感器实现网络数据的分布式并行采集，并将采集的数据按连 接进行分离，再分类提交到皿FS数据子结点，W便进行数据检测分析处理。传感器工作步 骤如下：
[0019] (1)配置与本传感器最近的皿FS数据子结点的连接信息，由于传感器采用FTP协 议进行数据传输，皿FS数据子结点也作为一个FTP服务器存在，连接信息包括结点名称、IP 地址、用户名和密码、目录；
[0020] (2)启动传感器进行监听，采集结点所在网络的原始数据包；
[0021] (3)解析数据包，计算数据包的唯一连接标识。从数据包中提取四元组 < 源IP地 址，源端口，目的IP地址，目的端口〉，采用哈希函数计算该四元组的哈希值，并将其作为数 据包的唯一连接标识IDJlash ;
[0022] (4)识别数据包传输协议标识并进行数据处理，按IDJlash进行数据存储。提取数 据包的传输协议标识，针对TCP协议标识的数据包，采用TCP流重组的方式进行数据重组， W IDJlash作为TCP连接的唯一标识，结合数据包中的连接序号，将捕获的数据包还原成一 个个完整的数据链，实现正确的TCP流重组，并将具有同一 IDJlash的数据存储在同一个W IDJlash命名的txt文件中；对于非TCP协议的数据，同样存储在同一个W IDJlash命名的 txt文件中。将所有具有相同IDJlash的数据存储在同一个文件中，可将分解到多次的访问 中的攻击汇集在一起，而在后续的数据分割中W文件为单位进行数据分割，避免将包含同 一攻击的数据分发到两个或多个检测结点分别处理而破坏数据的完整性，降低系统的漏报 率.
[0023] (5)数据分类存储。根据数据包中的应用层协议标识，将WIDJlash命名的txt文 件按照应用层协议标识，存储在传感器初始化时根据不同应用层协议分别建立的W应用层 协议标识命名的目录下，不能识别应用层协议类型的数据存储在一个缺省目录中；
[0024] (6)传感器采用FTP协议，按照设置的周期将存储的数据文件及其目录结构上传 至配置好的皿FS数据子结点上，并清除已经完成上传的数据文件。
[0025] B)数据存储模块用于对系统所产生的各种数据进行存储管理。本系统的数据存储 方式有多种，包括在皿FS、皿ase和MyS化数据库上的存储。皿FS存储由多个传感器采集 并上传的数据文件；皿ase存储入侵特征规则库、系统监控对化doop集群监测的结点状态 信息、非法入侵数据检测结果；MyS化存储用户信息和系统相关配置信息等；具体如下： [00%] (1)皿FS分布式文件存储。采用分布式方式，在多个皿FS数据子结点上，采取就近 原则，存储由多个分布的传感器结点所采集、解析并分类存储的数据。运些数据，将在系统 后续处