专利名称：一种非平稳Web流的监控、预测与仿真方法
技术领域：
本发明涉及网络通信技术领域，特别涉及一种用于非平稳Web流的监控、预测与仿真的方法。
背景技术：
网络流建模是现代通信中的一个基本问题。它对网络设计、仿真、监控、行为预测， 及为不同应用提供不同的服务质量都具有重要意义。为此，网络流模型必须能够准确描述实际通信流的统计特性与时间动态过程。常用的网络流建模方法主要从以下三方面刻画网络流特性统计特征、结构特征与时间特征。统计模型在基于统计方法的统计模型中，统计分布函数用于描述网络流的统计特征。这一类方法的主要目的是使用已知的统计分布函数或它们的组合来描述网络流的统计特性，例如流量分布。这些统计特征被认为是是网络流形成的基本机制，并影响着网络流的行为表现。在获得网络流的统计特征后，这些统计特征被用于改善链路的性能、生成仿真网络流。 典型的统计分布模型包括基于泊松分布的到达过程模型、基于重尾分布(例如=Pareto 分布和Weibull分布)。泊松模型是一种被广泛应用在传统电信网络，并进行通信流分析的模型。它是一种无记忆模型。在一个泊松过程中，到达率服从以λ为参数的指数分布 P{An^t} = l_e_At。泊松模型的潜在假设条件是(1)到达的事件(例如呼叫、分组)来自于大量相互独立的源，这些源称为泊松源；( 泊松源的数量接近无限；C3)流到达模式是随机的。从而模型可以用一个相同的参数λ来表示统计分布的均值和方差。重尾分布是另外一种典型的方法用于描述网络流。Pareto分布可以用于描述独立、同分布的分组互到达时间间隔；Weibull分布则被用于描述网络流的ON和OFF的长度。基于统计分布的网络流模型的主要缺陷在于(1)这些模型无法反映网络流在时间域上的动态变化信息；使用统计分布模型产生的仿真流往往与实际网络流的差异非常大。而且，没有一种统计分布模型可以描述不同场景下的不同的网络流。( 统计模型仅能刻画网络流的长期平均特征，无法描述网络流行为的局部细节，特别是那些小概率事件。结构模型结构模型的目的是重现被观测网络流的结构特征，例如自相似性、长相关性。这些模型的参数与网络流的生成机制及网络行为相关。最早被发现的网络流结构特征是突发性及大时间尺度的相关性，随后自相似性、长相关性被广泛用于描述网络流的结构特性。这两种结构特征是传统泊松过程及马尔科夫过程无法描述的，但是却可以在自相似或分形过程中进行描述。在自相似与长相关提出后，许多不同的结构模型被提出并用于刻画网络流的自相似性与长相关性。例如经典的0N/0FF模型、M/G/⑴队列模型、小波模型、分形布朗运动模型等。然而，这些模型存在的问题是几乎所有这些模型都只关注自相似特性，而它们所提到的自相似特性又都是由一个单一的参数(Hurst)所决定。实际的网络流往往具有多种不同的尺度变化，使用一个单一的参数来描述不同尺度下的特性变化并不是一种理想的办法。例如理论上网络流存在不同的尺度，其扩张因子可以从0—直到⑴。而现有的结构模型在处理尺度问题时，往往只考虑有限个尺度，无法完整地考虑0到⑴的尺度变化。因此，这些模型只能是简化地表示网络流而无法完整描述它。已有的研究表明，目前广泛使用的、单参数的网络流结构化模型在大尺时是接近的实际网络流，但在小尺度时，则需要更多的参数。结构模型另一个缺点是它们无法获得/描述网络流的时间特性，因此难以用这些模型描述实际场景中随时间动态变化的网络流。时间序列模型时间序列模型是一种通用的方法刻画网络流的时间动态过程。这一类方法把网络流看成时间序列，并通过观测数据训练得到时间序列模型参数。确定了参数的模型可以用于网络性能分析和网络流的重构。典型的时间序列模型包括自回归移动平均模型、马尔科夫族模型(例如马尔科夫到达率模型、马尔科夫调制源模型)。最近，隐马尔科夫模型 (hidden markov model, HMM)也被用于网络流的建模与分析。主要的应用包括使用HMM 刻画边界路由器的网络流特性、利用HMM描述分组信道的状态、利用HMM分析分组的互到达时间和分组字节数、利用HMM刻画网络流的周期性和随机行为、使用HMM描述分组间的时间相关性并应用于网络流的异常检测。这些时间序列模型的主要问题是(1)它们大多是针对平稳网络流设计的，平稳随机过程模型适合传统的网络环境，却不适合非平稳流的场景。现代的网络环境与十年前大不相同，在电子商务及信息网络化的驱动下，非平稳网络流成为现代网络的一大特点，例如在线播放的体育赛事、在线播放的热点新闻、商务网站的限时抢购(秒杀)等都会产生非平稳突发流。因此，需要设计适合描述现代非平稳网络流的模型。( 它们都采用平板形的模型结构。这种模型结构易于实现，但难以真实刻画实际网络流的分层特性、多尺度特性。难以同时描述长期时间动态过程以及短期突发性。当网络流变得复杂时，例如非规则性或具有大尺度的变化，这些模型的性能将大打折扣。这些问题导致现有的大部分时间序列模型在处理实际复杂网络流时，缺乏灵活性和准确性。提高模型性能的一种方法是增加模型的参数，例如增加HMM的隐状态数。然而，对于大部分数学模型，参数的数量和计算复杂度并不是线性关系，因此，参数的增加往往会导致复杂度的显著增加，从而使这些方法难以在实际的应用中使用。此外，简单地增加模型的参数并不能保证性能的提升，例如在 HMM中，当状态数增加到一定程度时，会发生“过载”问题，即参数的增加不但没有改进模型的性能，反而损害了模型的描述能力。另外，实际的非平稳网络流包含了大概率事件和小概率事件。但是由于常用网络流模型结构的单一化，这些模型往往无法捕抓到实际网络流中的小概率事件，而只能描述网络流的大概率事件。如果利用这样的网络流模型进行实时的监控、预测或仿真，会产生比较大误差。而且，在网络性能评估时，如果忽略了小概率事件，往往会导致不可估计的损失。 例如在非平稳网络流中，突发的超高流量是属于小概率事件，如果一个网络流模型无法准确刻画这一特点，在使用该网络流模型进行新业务测试时必然会忽略非平稳网络流的突发性超高流量场景，最终导致该新业务无法有效应对实际网络环境中的突发高流量(诸如 限时抢购、秒杀等电子商务活动)。
可见，统计模型与结构模型并不能全面刻画实际网络流的时间特性。而现有的时间序列模型由于采用单一的平板化结构，难以描述实际网络环境下非平稳Web流的时间过程特性。
发明内容
本发明的目的在于克服现有网络流模型的不足，使用一种新的结构化模型专门用于描述复杂的非平稳Web流，实现有效的监控、预测与仿真。为了达到上述目的，本发明采用了一下技术方案一种非平稳Web流的监控、预测与仿真方法，包括步骤Sl 根据非平稳Web流到达率大小将非平稳Web流划分为若干不同的阶段， 每一阶段由一宏状态集合表示，每一宏状态具有子状态集合，宏状态过程与子状态过程构成双状态链模型；步骤S2 用双层隐马尔科夫模型来描述上述的双状态链模型；步骤S3 根据上述双层隐马尔科夫模型对非平稳Web流进行监控、预测和仿真。进一步地，步骤Sl中所述的若干阶段为波谷阶段、过渡阶段、波峰阶段。进一步地，步骤Sl中所述的子状态集合相互不交叠。进一步地，步骤S2中，宏状态过程是不可见的马尔科夫过程，而且控制相应的子状态过程，在给定的宏状态下，子状态过程也是不可见的马尔科夫过程，它控制非平稳Web 流在当前宏状态下的到达率表现。进一步地，所述的双隐马尔科夫过程的输出是突发网络流的到达率过程，也是该模型唯一可以观测到的变量。进一步地，步骤S3中所述的监控是在给定一个非平稳流的到达率序列与模型情况下，推断出对应的隐状态过程，以及在给定一个非平稳流的到达率序列与模型情况下，测量该到达率序列相对于模型的最大或然概率。进一步地，步骤S3中所述的预测是根据非平稳流的到达率模型预测下一个非平稳流的到达率序列。进一步地，步骤S3中所述的仿真是根据给定的模型，生成非平稳网络流。与现有技术相比，本发明基于两层的隐马尔科夫模型，该技术不依赖模型参数的增加来改进模型的性能，而是通过调整模型的结构使它更适合描述非平稳Web流。因此，在相同复杂度的情况，该发明技术在描述非平稳网络流方面具有比现有其它时间序列模型更好的性能。
图1是双层隐马尔科夫模型示意图；图2是实现非平稳网络流仿真的流程图。
具体实施例方式
下面根据附图对本发明进行详细描述。
本发明采用以下技术方案
非平稳Web流的建模方法考虑到网络流的日变化及其突发性，本发明根据非平稳网络流的到达率大小把网络流分为若干个不同的阶段，例如波谷阶段、过渡阶段、波峰阶段。非平稳网络流在任一时刻的到达率都可以归入这三个阶段中的一个。流量阶段随时间的变化构成了 “阶段过程”， 它是一个时间序列。因此，网络流随时间的长期变化趋势可以用“阶段过程”来表示，也就是“阶段过程”刻画了非平稳网络流的粗轮廓。不同的“阶段”可以视为产生不同类型的非平稳Web流的潜在机制；“阶段”之间的跳转表示非平稳Web流触发机制发生了变化，例如 从波谷到过渡阶段、从过渡阶段到波峰阶段。每一个阶段都具有自己的流量特性，例如在波谷阶段，网络流到达率的波动仅在一个小范围变化；在过渡阶段，到达率可能从小值变化到大值或从大值下降；而在波峰阶段，到达率则在比较大的区间内波动。由于在一个给定的阶段内，网络流的波动相对比较稳定，因此可以用不同的平稳随机过程来描述不同阶段内的网络流变化过程。因此，可以采用下述的两层随机过程模型来描述非平稳Web流的时间动态过程。定义宏状态集合表示非平稳Web流不同的流量阶段，例如=MS1表示波谷阶段、MS2 表示过渡阶段、M&表示波峰阶段。每一个宏状态具有自己的子状态集合，这些子状态控制非平稳Web流在该宏状态出现期间的小尺度波动。假设每一个宏状态内包含一个子状态过程，不同宏状态所包含的子状态集合相互不交叠。当系统进入一个宏状态时，将触发一个新的子状态过程，这个子状态过程将控制非平稳Web流在当前宏状态下的表现，即宏状态过程与子状态过程构成了一个双状态链，这个双状态链的每一步输出都对应一个非平稳Web流的到达率。因此，这个双状态链可以视为生成非平稳Web流到达率过程的触发机制，但该双状态链是不可见的，它的参数(包括宏/子状态转移概率、子状态输出概率)只能通过观测到的非平稳Web流到达过程来估计。模型的公式化方法对于上述的双状态链模型，当假设宏状态链与子状态链都是马尔科夫链时，上述用于描述非平稳网络流的双状态链模型等价于一个两层隐马尔科夫模型来表示(1)宏状态过程是不可见的马尔科夫过程，而且控制相应的子状态过程；(2)在给定的宏状态下，子状态过程也是不可见的马尔科夫过程，它控制非平稳 Web流在当前宏状态下的到达率表现；(3)这个双马尔科夫过程的输出是突发网络流的到达率过程，也是该模型唯一可以观测到的变量。根据本发明的设计目的，对于这个两层隐马尔科夫模型，我们关注以下问题(1)给定一个实际的非平稳Web流，如何估计两层隐马尔科夫模型的参数；(2)给定一个两层隐马尔科夫模型，如何计算观测到的非平稳网络流相对于模型的或然概率；(3)给定一个两层隐马尔科夫模型，如何生成非平稳Web流的仿真流；本发明使用的符号如表1所示。
权利要求
1.一种非平稳Web流的监控、预测与仿真方法，其特征在于包括步骤Sl 根据非平稳Web流到达率大小将非平稳Web流划分为若干不同的阶段，每一阶段由一个宏状态表示，每一个宏状态具有子状态集合，宏状态过程与子状态过程构成双状态链模型；步骤S2 用双层隐马尔科夫模型来描述上述的双状态链模型；步骤S3 根据上述双层隐马尔科夫模型对非平稳Web流进行监控、预测和仿真。
2.根据权利要求1所述的非平稳Web流的监控、预测与仿真方法，其特征在于步骤Sl 中所述的若干阶段为波谷阶段、过渡阶段、波峰阶段。
3.根据权利要求1所述的非平稳Web流的监控、预测与仿真方法，其特征在于步骤Sl 中所述的子状态集合相互不交叠。
4.根据权利要求1所述的非平稳Web流的监控、预测与仿真方法，其特征在于步骤 S2中，宏状态过程是不可见的马尔科夫过程，而且控制相应的子状态过程，在给定的宏状态下，子状态过程也是不可见的马尔科夫过程，它控制非平稳Web流在当前宏状态下的到达率表现。
5.根据权利要求4所述的非平稳Web流的监控、预测与仿真方法，其特征在于所述的双隐马尔科夫过程的输出是突发网络流的到达率过程，也是该模型唯一可以观测到的变量。
6.根据权利要求1所述的非平稳Web流的监控、预测与仿真方法，其特征在于步骤S3 中所述的监控是在给定一个非平稳流的到达率序列与模型情况下，推断出对应的隐状态过程，以及在给定一个非平稳流的到达率序列与模型情况下，测量该到达率序列相对于模型的最大或然概率。
7.根据权利要求1所述的非平稳Web流的监控、预测与仿真方法，其特征在于步骤S3 中所述的预测是根据非平稳流的到达率模型预测下一个非平稳流的到达率序列。
8.根据权利要求1所述的非平稳Web流的监控、预测与仿真方法，其特征在于步骤S3 中所述的仿真是根据给定的模型，生成非平稳网络流。
全文摘要
本发明所设计的两层隐马尔科夫模型是一种结构化的模型，它克服了现有单步平板结构的时间序列模型的缺点，通过结构化的模型实现对复杂、多层次的非平稳流的描述。在相同参数下，两层隐马尔科夫模型描述非平稳流的性能优于现有的其它时间序列模型。基于本发明所设计的方法，可以在真实网络环境下，在线实现非平稳网络流的监控与预测，从而改善网络负载均衡，提升网络的服务质量与用户体验。该方法也可以用来产生非平稳网络流的仿真流，用于对即将投入运营的网络服务、设备进行性能测试。
文档编号H04L12/24GK102571432SQ20121000674
公开日2012年7月11日 申请日期2012年1月10日 优先权日2012年1月10日
发明者谢逸 申请人:中山大学