一种网络异常流量检测方法和装置与流程

本发明涉及网络领域，尤指一种网络异常流量检测方法和装置。

背景技术：

异常流量管理是信息安全管理工作中的一项重要工作。当前异常流量所引发的潜在风险巨大，但又缺乏有效的检测管理机制，通过单一的流量检测设备无法有效解决企业内部异常流量带来的安全风险和影响。

网络流量异常检测的工作一直在不断的往前发展，Roy和Frank[1]定义了网络正常行为和异常行为的概念，流量异常检测方法则可以分为静态检测方法和动态检测方法两个大类。静态检测方法包括恒定阈值检测方法和自适应阈值检测方法。通常是根据历史数据建立一个正常的参数基线，通过系统在网络运行的过程中自适应的学习能力改变告警阈值。动态检测方法包括基于统计的检测方法，基于小波的检测方法。统计检测方法在实际中最常见的是GLR(Generalized Likelihood Ratio，广义似然比)测试。GLR考虑两个相邻的时间窗R(t)和S(t)以及这两个合并组成的窗口C(t)，每个窗口运用自回归模型(AR)拟合，应用似然比检验方法，检测两个窗口之间发生的异常变化。当两个窗口的似然度超过某个设定的阈值时则认为两个窗口边界产生异常。Amy Ward等人提出了另外一种统计检测方法，该方法在网络正常运行下建立一套网络参数，当参数出现偏差不符合正常运行情况时产生告警。例如在工作日的流量占总流量的绝大部分，节假日的内部网络流量则可以忽略。工作日的流量则又呈现出休息时间和工作时间之间存在流量突变的情况，如：早上上班时间和中午休息时间，下午下班时间可将工作日的流量分为三个阶段。第一个阶段流量变化趋势从无到有存在一个剧烈的变化；第二个阶段为中午休息时间，这个阶段存在流量的两个突变，即：中午下班的突然减少或者中午上班时间的突然增大；第三阶段为下班以后，流量在下降后呈现一个平稳的态势。工作日则周期性的出现这样一种流量情况。

现有技术中，现有的技术方案都是通过流量本身的不同维度来发现网络流量存在异常，与特定业务系统是没有逻辑关系的。比如网络中可能存在办公系统，邮件系统，视频系统，新闻系统等，现有流量异常检测系统并不区分这些业务。采用这种方式检测异常流量存在三方面的问题：(1)统计分析的流量是整体流量，而不是特定业务的流量，导致不能有效识别出存在异常流量的业务系统；(2)难以检测利用业务内部逻辑漏洞进行的攻击；(3)无法发现合法员工的非法活动。

技术实现要素：

本发明要解决的技术问题是提供一种网络异常流量检测方法和装置，以更精准的识别出网络中存在的异常流量，发现潜在的攻击或内部泄密行为。

一种网络异常流量检测方法，包括：

存储预定时间段内的网络流量；

根据所述网络流量采集网络信息；

根据所述网络信息，基于每一用户对所述网络信息所属层的访问行为进行建模；

根据所述建模进行流量异常检测。

可选地，所述存储预定时间段内的网络流量是通过以下方式实现的：

预先通过分光或镜像的方式存储预定时间段内的网络流量。

可选地，所述采集网络信息，包括：

从所述存储的网络流量中抓取网络数据包，识别出网络协议，根据所述网络协议提取所述网络信息。

可选地，所述网络信息包括以下的一项或多项：

网络层的IP五元组信息，传输层的连接频率、上行数据量或者下行数据量，应用层的统一资源定位符或者请求频率，业务层的请求类型。

可选地，所述根据所述建模进行流量异常检测的过程中包括：

如检测到异常流量，则进行告警。

可选地，所述告警的方式包括以下的一种或多种：

邮件告警，页面告警，短信告警。

可选地，所述根据所述网络流量采集网络信息之后，还包括：

对所述网络信息进行缓存。

一种网络异常流量检测装置，其中，包括：

存储模块，用于存储预定时间段内的网络流量；

采集模块，用于根据所述网络流量采集网络信息；

建模模块，用于根据所述网络信息，基于每一用户对所述网络信息所属层的访问行为进行建模；

检测模块，用于根据所述建模进行流量异常检测。

可选地，所述存储模块，是预先通过分光或镜像的方式存储预定时间段内的网络流量的。

可选地，所述采集模块，采集网络信息包括：从所述存储的网络流量中抓取网络数据包，识别出网络协议，根据所述网络协议提取所述网络信息，

所述网络信息包括以下的一项或多项：

网络层的IP五元组信息，传输层的连接频率、上行数据量或者下行数据量，应用层的统一资源定位符或者请求频率，业务层的请求类型。

可选地，所述装置还包括告警模块，

所述检测模块，根据所述建模进行流量异常检测的过程中，如检测到异常流量，则通知所述告警模块；

所述告警模块，接收到通知后进行告警，所述告警的方式包括以下的一种或多种：邮件告警，页面告警，短信告警。

可选地，所述装置还包括：

缓存模块，用于缓存所述采集模块采集的所述网络信息。

综上，本发明实施例提供一种网络异常流量检测方法和装置，可以更精准的识别出网络中存在的异常流量，发现潜在的攻击或内部泄密行为。

附图说明

图1为本发明实施例的一种网络异常流量检测方法的流程图；

图2为本发明实施例的一种网络异常流量检测方法的流程图；

图3为本发明实施例的一种网络异常流量检测装置的示意图；

图4为本发明应用示例的业务管理关系流量检测结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例一

图1为本发明实施例的一种网络异常流量检测方法的流程图，如图1所示，本实施例的一种网络异常流量检测方法包括以下步骤：

步骤11、存储预定时间段内的网络流量；

步骤12、根据所述网络流量采集网络信息；

步骤13、根据所述网络信息，基于每一用户对所述网络信息所属层的访问行为进行建模；

步骤14、根据所述建模进行流量异常检测。

本发明实施例的网络异常流量检测方法解决了现有异常流量检测方案的不足，更精准的识别出网络中存在的异常流量，发现潜在的攻击或内部泄密行为。

实施例二

图2为本发明实施例的一种网络异常流量检测方法的流程图，如图2所示，本实施例的一种网络异常流量检测方法包括以下步骤：

步骤101、预先通过分光或镜像的方式存储网络流量；

步骤102、从存储的网络流量中抓取网络数据包，识别出网络协议；

步骤103、根据该网络协议，提取网络信息，其中，网络信息随着访问层的不同而不同，且所述网络信息至少包括以下至少一项：

网络层的IP五元组信息，传输层的连接频率、上行数据量或者下行数据量，应用层的URL(Universal Resource Locator，统一资源定位符)或者请求频率，以及业务层的请求类型；

步骤104、根据所述网络信息，基于每一用户对该网络信息所属的层的访问行为进行建模和检测；

步骤105、根据检测结果确定是否产生异常流量，如果是，则执行步骤106，否则，执行步骤S107；

步骤106、发出告警消息；

本实施例中的告警的方式可以包括以下的一种或多种：

邮件告警，页面告警，短信告警。

步骤107、确定该访问业务的网络流量正常，不作处理。

采用本发明实施例提供的方法，针对每一用户的每一业务进行建模及网络流量异常检测，能够更准确的识别出访问业务中是否存在异常流量，并及时发现潜在的攻击或内部泄露行为。

本申请目标是实现一种基于业务的异常流量识别方案，以解决现有异常流量检测方案的不足，更精准的识别出网络中存在的异常流量，发现潜在的攻击或内部泄密行为。本申请的基本原理是通过对业务系统进行建模，以准确的定位针对业务的异常访问行为。

实施例三

图3为本发明实施例的一种网络异常流量检测装置的示意图，如图3所示，本实施例的网络异常流量检测装置300包括：

存储模块301，用于存储预定时间段内的网络流量；

采集模块302，用于根据所述网络流量采集网络信息；

建模模块303，用于根据所述网络信息，基于每一用户对所述网络信息所属层的访问行为进行建模；

检测模块304，用于根据所述建模进行流量异常检测。

可选地，存储模块301，是预先通过分光或镜像的方式存储预定时间段内的网络流量的。

本实施例的网络异常流量检测装置300采用旁路部署模式，将流量通过分光或镜像的方式拷贝一份，这样对现有网络影响最小。

可选地，采集模块302，用于抓取网络数据包，识别网络协议，根据特定的网络协议，提取出相应的网络信息，比如：网络层提取出IP五元组信息；传输层提取连接频率、上行数据量或下行数据量信息；应用层提取URL(Universal Resource Locator，统一资源定位符)或请求频率；业务层提取请求类型等信息。

可选地，本实施例的网络异常流量检测装置还可以包括：缓存模块，负责缓存采集模块采集的网络信息。

建模模块303，获取采集模块302提取的网络层，传输层，应用层，以及业务层信息，并基于特定用户对特定业务的访问行为进行建模；

检测模块304识别检测出网络中存在的异常访问行为。

可选地，本实施例还可以包括：告警模块，

所述检测模块304，根据所述建模进行流量异常检测的过程中，如检测到异常流量，则通知所述告警模块；

所述告警模块，接收到通知后进行告警，所述告警的方式可以包括以下的一种或多种：邮件告警，页面告警，短信告警。

在日常工作中，每一个人访问的业务系统(比如客户资源管理系统，生产系统，源代码管理系统等)不一样，访问业务系统的习惯(比如访问时间，停留时间)不一样，访问的周期性(比如每天，每周，甚至每月)也不一样。因此，只有针对每一个人访问每一个业务的情况或者说基于特定用户对特定业务的访问行为建立独立的行为模型，才能准确的识别出某个人的行为是否发生了异常。而传统的异常流量检测方法都是对所有人，所有业务都不加区分，建立同样的模型，这就导致异常检测的效果不理想。

本申请中可以对不同请求间的依赖关系进行建模，比如，一个基于Web的业务系统，肯定需要先登录，然后再进入业务模块，而且有些业务模块，只能从另外一个业务模块跳转过来，不能直接访问，体现在HTTP(Hyper Text Transfer Protocol，超文本传输协议)请求上就是，URL(Uniform Resource Locator，统一资源定位符)会有相互顺序，且HTTP请求头中的URL和referer字段会明确访问顺序；本申请中检测模式指的是当前是处于学习，建模阶段，或者检测阶段。

以传输层为例说明，针对传输层协议，也就是一个TCP(Transmission Control Protocol，传输控制协议)连接，现有的流量检测方法只能将该TCP连接作为一个整体，被分析一次，而事实上现在一个TCP连接中，可以传送非常多的HTTP请求，完成大量的业务，而只有分析到这些请求，才能发现对业务系统访问的异常。本申请则充分考虑了这些因素，本申请中分析的对象包含网络层、传输层、应用层、业务层，另外分析的维度除了访问频率外，还可以支持业务关联关系，访问范围，流量大小等。

以业务关联关系为例，参考图4所示的方法来说明网络异常流量的检测原理：

图4中，用户首先需要访问首页，完成身份验证，然后进入相应的业务模块，开展工作。以用户要访问业务1的模块1为例，用户的访问流程如下：

1、用户访问首页，http://首页；

2、用户进行身份验证，http://auth；

3、用户访问业务1，http://业务1；

4、用户访问业务1，模块1。

本实施例中，系统会自动学习这一访问模型，如果在实际请求中发现，系统未经身份验证，直接访问业务1，则视为异常，发出告警；或者用户登录后直接访问业务1-模块1，也被视为异常，发出告警。

告警模块，将异常检测模块发现的异常行为对外进行告警。告警方式支持邮件告警，页面告警(管理员登录到本系统时，弹出告警页面)，短信告警。

所述业务流程的异常流量检测方法，包括以下步骤：

步骤501，采用旁路部署模式，将流量通过分光或镜像的方式拷贝一份到网络流量检测系统；

步骤502，抓取网络数据包，识别网络协议，根据特定的网络协议，提取出相应的网络信息，并将该信息进行缓存；

步骤503，提取缓存的网络信息，检测当前是否处于检测模式，如果是，则转步骤504，如果不是，则转步骤506；

步骤504，检测用户的业务访问行为，并判断用户的业务访问行为是否存在异常，如果是，则转步骤505；

步骤505，采用邮件或短信告警方式对外进行告警；

步骤506，如果检测到未处于检测模式，则基于网络信息进行用户行为建模。

这里举一个用户访问文件服务器的例子来说明上图中的两个关键阶段。在日常的工作中员工A会在早上从文件服务器上的某一目录下载几个文件到本地，然后进行文件内容的增加和修改，完成后在下午会将文件上传到文件服务器上。在某一天晚上员工A从文件服务器上下载了大量的文件到本地，而没有上传文件到文件服务器上。

基于元数据进行用户行为建模：

通过流量采集模块提取的网络层元数据(五元组)，应用层元数据(访问的目录)，业务层元数据(下载/上传文件，文件数量)，结合这些行为发生的时间点，就可以形成类似图4所示的员工A某一天对文件服务器的行为访问模型。在10点到11点间，员工A对文件服务器有数次访问高峰，在15点到17点之间员工A对文件服务器也有数次访问高峰。

如果学习一周就可以形成较完善的员工A对文件服务器的访问模型，员工A对文件服务器会有两个时间段的访问高峰，即9点到11点，以及15点到17点。至此，员工A对文件服务器的访问模型就建立了，系统可以进入检测阶段。

检测用户行为：

系统进入检测阶段后，在某一天晚上员工A从文件服务器上下载了大量的文件这一情况发生时，系统会发现员工A的访问行为与其日常工作的访问模型严重偏离，系统会据此发出异常访问报警。

分析人员可依据此报警对员工A的情况进行调查核实，确认当晚是有特殊情况需要加班紧急处理事务，或是员工A有窃取公司资料的企图。

通过对业务系统的用户访问行为进行建模，以准确识别出恶意软件或用户的非法行为，从而大幅度提高系统的检测准确率。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。

以上仅为本发明的优选实施例，当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。