专利名称：基于网络爬虫日志的性能测试脚本自动化生成系统及方法
技术领域：
本发明涉及性能测试脚本生成领域，尤其涉及一种基于网络爬虫日志的性能测试脚本自动化生成系统及方法。
背景技术：
目前web网站多级页面的压力测试脚本，多为人工针对主要测试页面书写或者录制的，这种脚本生成的周期长，可能会不准确，并且只是覆盖一部分页面；而面对类似门户网站的多级复杂页面的性能测试时，很难快速准确的由人工书写或录制完备的各级页面的访问测试脚本。网络爬虫工具是一种专用于页面之间的层级关系的工具，虽然这种工具能够初步获得复杂网站上下层级页面的关系，但是不能作为性能测试的工具。综上所述，现有技术中的无法实现对网页访问性能的进行完整测试。
发明内容
本发明所要解决的技术问题是提供一种基于网络爬虫日志的性能测试脚本自动化生成系统及方法，以解决对网页访问性能能够进行完整测试。为解决上述技术问题，本发明提供了一种基于网络爬虫日志的性能测试脚本自动化生成系统，其特征在于，包括爬虫日志分析模块、链接逻辑展示模块及性能测试脚本生成模块；其中，爬虫日志分析模块，用于将网络爬虫日志对访问的链接和该访问涉及的链接判断出的层级关系生成相应的树状结构图，并将该树状结构图的可扩展标记语言文件发送给所述链接逻辑展示模块；链接逻辑展示模块，用于接收所述爬虫日志分析模块发送来的该树状结构图的可扩展标记语言文件，并逻辑生成对应的展示页面的可扩展标记语言文件，将该展示页面的可扩展标记语言文件发送给所述性能测试脚本生成模块；性能测试脚本生成模块，用于接收所述展示页面的可扩展标记语言文件，并根据该访问的链接和该访问涉及的链接生成性能测试脚本。进一步地，其中，所述链接逻辑展示模块中还设有人工干预接口，用于接收用户设置的所述树状结构图的访问权限，并根据该访问权限调整逻辑生成对应的展示页面的可扩展标记语言文件，将含有人工干预参数的展示页面的可扩展标记语言文件发送给所述性能测试脚本生成模块。进一步地，其中，所述网络爬虫日志为HERITRIX日志(Heritrix是一个爬虫框架， 可加如入一些可互换的组件)进一步地，其中，所述性能测试脚本的类型为Jmeter类型(JMeter是Apache组织的开放源代码项目，它是功能和性能测试的工具)或LoadRurmer类型(LoadRurmer是一种预测系统行为和性能的负载测试工具)。
进一步地，其中，所述树状结构图是以页面的形式展示所述该访问的链接和该访问涉及的链接结构，其后台对应可扩展标记语言文件。为解决上述技术问题，本发明还提供了一种基于网络爬虫日志的性能测试脚本自动化生成方法，其特征在于，包括将网络爬虫日志对访问的链接和该访问涉及的链接判断出的层级关系生成相应的树状结构图；接收该树状结构图的可扩展标记语言文件，并逻辑生成对应的展示页面的可扩展标记语言文件；接收所述展示页面的可扩展标记语言文件，并根据该访问的链接和该访问涉及的链接生成性能测试脚本。进一步地，其中，所述接收树状结构图的可扩展标记语言文件同时，通过接收用户设置的所述树状结构图的访问权限，并根据该访问权限调整逻辑生成对应的展示页面的可扩展标记语言文件，最终生成含有人工干预参数的展示页面的可扩展标记语言文件。进一步地，其中，所述网络爬虫日志为HERITRIX日志。进一步地，其中，所述性能测试脚本的类型为Jmeter类型或LoadRurmer类型。进一步地，其中，所述树状结构图是以页面的形式展示所述该访问的链接和该访问涉及的链接结构，其后台对应可扩展标记语言文件。与现有技术相比，本发明主要解决了对网页访问性能能够进行完整测试；同时还能够分析出目标网站的层级关系，形成清晰的树状结构图，页面层次更加清晰明确；提供用户设置接口，用户可以调整性能测试脚本的逻辑；以及能够自动形成可以供性能测试工具使用的性能测试脚本，大大提高了编写性能测试脚本的效率和准确性。
图1为本发明实施例一所述的基于网络爬虫日志的性能测试脚本自动化生成系统结构图。图2为本发明实施例二所述的基于网络爬虫日志的性能测试脚本自动化生成方法流程图。图3为本发明实施例一所述的基于网络爬虫日志的性能测试脚本自动化生成系统带有人工干预接口的结构图。图4为本发明实施例一所述的树状结构的示意图。
具体实施例方式以下结合附图对本发明作进一步详细说明，但不作为对本发明的限定。如图1所示，为本发明实施例一所述的基于网络爬虫日志的性能测试脚本自动化生成系统，包括爬虫日志分析模块101、链接逻辑展示模块102及性能测试脚本生成模块 103 ；其中，爬虫日志分析模块101，用于将网络爬虫日志对访问的链接和该访问涉及 (Refer)的链接判断出的层级关系生成相应的树状结构图(如图4所示)，并将该树状结构图的XML文件(可扩展标记语言，Extensible Markup Language)发送给链接逻辑展示模块102。这里的XML文件仅仅包含页面间的层级关系信息)。在本实施例中，所述的网络爬虫日志可以采用HERITRIX日志(Heritrix是一个爬虫框架，可加如入一些可互换的组件)。链接逻辑展示模块102，用于接收爬虫日志分析模块101发送来的树状结构图的 XML文件，并逻辑生成对应的展示页面的XML文件(这里的XML文件包含页面层级关系及默认的附加参数信息)，将展示页面的XML文件发送给所述性能测试脚本生成模块103 ；其中，进一步还可以(如图3所示)链接逻辑展示模块102中设置有人工干预接口 1021用于接收用户设置的所述树状结构图的访问权限，并根据该权限调整逻辑生成展示页面的XML文件，将最终含有人工干预参数的展示页面的XML文件发送给所述性能测试脚本生成模块103。这里采用人工干预接口 1021的作用是用户可以针对不同链接设置有不同的权值，不同的分支有不同的选择策略；还可以对树状结构图的逻辑生成对应的测试脚本进行确认，如不对应还可以重新生成。性能测试脚本生成模块103，用于接收所述展示页面的XML文件，并根据该访问的链接和该访问涉及(Refer)的链接及附加参数生成性能测试脚本。其中，所述生成的性能测试脚本的类型，包括=Jmeter类型(JMeter是Apache组织的开放源代码项目，它是功能和性能测试的工具)或LoadRurmer类型(LoadRurmer是一种预测系统行为和性能的负载测试工具)等性能测试脚本。如图2所示，为本发明实施例二所述的基于网络爬虫日志的性能测试脚本自动化生成方法，包括步骤步骤201，将网络爬虫日志对访问的链接和该访问涉及(Refer)的链接判断出的层级关系生成相应的树状结构图；这里的XML文件仅仅包含页面间的层级关系信息)。步骤202，按照该树状结构图的XML文件逻辑生成对应的展示页面的XML文件(这里的XML文件包含页面层级关系及默认的附加参数信息)。其中，进一步还可以为通过接收用户设置的所述树状结构图的访问权限，并根据该访问权限调整逻辑生成的展示页面的XML文件，最终生成含有人工干预参数的展示页面的XML文件。步骤203，根据所述展示页面的XML文件，并根据该访问的链接和该访问涉及 (Refer)的链接及附加参数生成性能测试脚本。如图4所示，为上述实施例一、二中提到的“树状结构图”示意图，其中主页为第一层，体育、新闻和音乐属于第二层，国内、国际、流行和经典则属于第三层。树状结构图是以页面的形式为用户展示易查看的网站链接结构、该访问的链接和该访问涉及的链接结构， 其后台对应XML文件。本发明主要是借助网络爬虫日志，能够分析出网站的链接层级结构，并且能够自动生成针对目标测试网站的性能测试脚本；本发明的目的是在网络爬虫日志和性能测试工具之间构造一个桥梁，实现根据网站的实际链接层级关系自动生成性能测试脚本的功能。综上所述，与现有技术相比，本发明主要解决了复杂的目标网站的各级页面的递归扫描工作，由爬虫工具完成，且实现了快速准确；同时还能够分析出目标网站的层级关系，形成清晰的树状结构图，页面层次更加清晰明确；提供用户设置接口，用户可以调整性能测试脚本的逻辑；以及能够自动形成可以供性能测试工具使用的性能测试脚本，大大提高了编写性能测试脚本的效率和准确性。 当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
权利要求
1.一种基于网络爬虫日志的性能测试脚本自动化生成系统，其特征在于，包括爬虫日志分析模块、链接逻辑展示模块及性能测试脚本生成模块；其中，爬虫日志分析模块，用于将网络爬虫日志对访问的链接和该访问涉及的链接判断出的层级关系生成相应的树状结构图，并将该树状结构图的可扩展标记语言文件发送给所述链接逻辑展示模块；链接逻辑展示模块，用于接收所述爬虫日志分析模块发送来的该树状结构图的可扩展标记语言文件，并逻辑生成对应的展示页面的可扩展标记语言文件，将该展示页面的可扩展标记语言文件发送给所述性能测试脚本生成模块；性能测试脚本生成模块，用于接收所述展示页面的可扩展标记语言文件，并根据该访问的链接和该访问涉及的链接生成性能测试脚本。
2.如权利要求1所述的基于网络爬虫日志的性能测试脚本自动化生成系统，其特征在于，所述链接逻辑展示模块中还设有人工干预接口，用于接收用户设置的所述树状结构图的访问权限，并根据该访问权限调整逻辑生成展示页面的可扩展标记语言文件，将最终含有人工干预参数的展示页面的可扩展标记语言文件发送给所述性能测试脚本生成模块。
3.如权利要求1所述的基于网络爬虫日志的性能测试脚本自动化生成系统，其特征在于，所述网络爬虫日志为HERITRIX日志。
4.如权利要求1所述的基于网络爬虫日志的性能测试脚本自动化生成系统，其特征在于，所述性能测试脚本的类型为Jmeter类型或LoadRurmer类型。
5.如权利要求1所述的基于网络爬虫日志的性能测试脚本自动化生成系统，其特征在于，所述树状结构图是以页面的形式展示所述该访问的链接和该访问涉及的链接结构，其后台对应可扩展标记语言文件。
6.一种基于网络爬虫日志的性能测试脚本自动化生成方法，其特征在于，包括将网络爬虫日志对访问的链接和该访问涉及的链接判断出的层级关系生成相应的树状结构图；根据该树状结构图的可扩展标记语言文件逻辑生成对应的展示页面的可扩展标记语言文件；根据所述展示页面的可扩展标记语言文件，并根据该访问的链接和该访问涉及的链接生成性能测试脚本。
7.如权利要求6所述的基于网络爬虫日志的性能测试脚本自动化生成方法，其特征在于，进一步为所述接收树状结构图的可扩展标记语言文件同时，通过接收用户设置的所述树状结构图的访问权限，并根据该访问权限调整逻辑生成展示页面的可扩展标记语言文件，最终生成含有人工干预参数的展示页面的可扩展标记语言文件。
8.如权利要求6所述的基于网络爬虫日志的性能测试脚本自动化生成方法，其特征在于，所述网络爬虫日志为HERITRIX日志。
9.如权利要求6所述的基于网络爬虫日志的性能测试脚本自动化生成方法，其特征在于，所述性能测试脚本的类型为Jmeter类型或LoadRurmer类型。
10.如权利要求6所述的基于网络爬虫日志的性能测试脚本自动化生成方法，其特征在于，所述树状结构图是以页面的形式展示所述该访问的链接和该访问涉及的链接结构，其后台对应可扩展标记语言文件。
全文摘要
本发明公开了一种基于网络爬虫日志的性能测试脚本自动化生成系统及方法，其中该系统包括爬虫日志分析模块，用于将网络爬虫日志对访问的链接和该访问涉及的链接判断出的层级关系生成相应的树状结构图，并将该树状结构图的可扩展标记语言文件发送给链接逻辑展示模块；链接逻辑展示模块，用于接收发送来的该树状结构图的可扩展标记语言文件，并逻辑生成对应的展示页面的可扩展标记语言文件，将该展示页面的可扩展标记语言文件发送给性能测试脚本生成模块；性能测试脚本生成模块，用于接收展示页面的可扩展标记语言文件，并根据该访问的链接和该访问涉及的链接生成性能测试脚本。本发明解决了现有技术无法对网页访问性能进行完整测试的问题。
文档编号G06F11/36GK102508779SQ20111036434
公开日2012年6月20日 申请日期2011年11月17日 优先权日2011年11月17日
发明者李建涛, 王士博, 王巍 申请人:北京北纬点易信息技术有限公司