专利名称:用于http数据还原的方法
技术领域：
本发明属于通信领域，具体涉及HTTP协议还原方法，背景技术我国经济的发展促进了信息产业和互联网在我国的高速发展，全国互联网网民的数量快速的增长，互联网的网上信息也成爆炸式的增长，而HTTP应用的数据量占整个互联网数据量的％80以上，成为人们用的最多得应用，互联网上最广泛的应用。
互联网由于具备信息量大、传播速度快，受众范围广，信息的传播是匿名方式等特点，所以很容易导致谣言，赌博和黄色信息等不良信息也通过互连网进行快速传播，企业、政府和事业单位、学校、公安、军队内部员工有意识的或无意识通过HTTP访问外部网络泄漏本单位的商业秘密、技术资料和其他一些重要的机密信息，犯罪分子也通过互连网进行犯罪，国外敌对分子也通过互联网获取中国的情报和信息，危害公共安全和国家安全。
所以对企业、政府和事业单位、学校、公安、军队内部员工以及整个互联网的上网行为进行再现，显得非常有必要。这样可以方便互联网管理部门和企业，政府和事业单位、军队、学校的管理人员和内部网络管理员发现和规范本单位管辖范围内的员工的上网行为、网上的行为，发现和防止内部员工通过互联网泄漏本单位的商业秘密，技术资料和其他一些重要的机密信息具有很强的作用，特别对公安、武警、国家安全、军队等安全部门用来预防和打击犯罪，防止谣言和黄色信息等不良信息的传播，以及用来获取相关情报和信息，维护公共安全和国家安全具有很好的作用。
用户在上网浏览网页时和发表内容时，首先是客户端(用户的浏览器)向服务器端(网站服务器)发送请求，如浏览网页一般是get请求，发表内容是post请求，post请求中带有用户发表的内容，这些数据是用一个一个HTTP包进行传输。服务器接受到用户的请求后，对客户端发送的请求，进行响应。对于get请求，就是返回用户浏览的网页数据，这些数据是用一个一个HTTP包进行传输。
对这些请求和响应的HTTP包数据截获并进行处理，就可以将HTTP包的数据还原出来，用户的上网行为也可以再现出来。
发明内容本发明的目的在于一种用于HTTP数据还原的方法，提供对互联网和企业、政府和事业单位、学校、公安、军队内部员工通过HTTP访问企业外部INTERNET网和其他网络站点、以及对整个互联网上访问网页行为的一种再现，包括访问的网页，以及发表的一些内容的再现。
实现本发明的技术方案一种用于HTTP数据还原的方法，其特征在于截获客户端对服务器发送的请求数据和服务器端对客户端请求的响应数据，然后进行过滤、解析、缓存，形成html格式的整体数据，如果数据传输时经过传输编码则对形成的整体数据进行解传输编码；如果数据在传输前进行压缩则对形成的整体数据进行解压缩，这样就形成可以用浏览器直接显示的数据，HTTP协议数据的还原也就完成。
如上所述的用于HTTP数据还原的方法，其特征在于对获取的请求数据和响应数据，依次需要解析底层协议(物理层协议)，IP层协议，TCP层协议，HTTP层协议；对解析后的HTTP数据，对每一个用户建立一个用户上下文；然后对该用户的每一个HTTP应用，建立一个HTTP上下文，将该次HTTP应用的数据存放在HTTP上下文中，直到该次HTTP应用数据传输完毕后，形成一个整体的数据。
本发明的原理如下一、HTTP数据的截获和解析。
使用网络接入设备，获取该客户端和服务器之间的该网络上的所有数据，包括客户端对服务器发送的请求数据和服务器端对客户端请求的响应数据，对该数据过滤和解析。按照协议解析物理层协议，通过物理层协议的协议类型过滤出通过IP协议传输的数据；解析IP协议，通过IP层协议的协议类型，过滤出通过TCP协议来传输的数据；解析TCP协议，通过TCP协议的端口号(端口号80)过滤出HTTP的数据。然后在解析出HTTP数据。在解析IP层协议时，解析出客户端和服务器端的IP，分别为client IP，server IP，在解析TCP层协议时，解析出客户端和服务器端的通信的端口号，分别为client port，server port，sequence number，acknowledgment number.解析HTTP协议，解析出HTTP的客户端请求类型get/post、get/post url、content-type、content-length、transfer-endcoding、content-encoding等字段。
二、对HTTP数据的还原。
对于过滤和解析后的数据，根据用户客户端的IP，对于每一个用户，建立一个用户数据的上下文，该上下文中包含一个定时器。然后对该用户的每一个HTTP应用，根据协议类型(HTTP协议)、服务器IP、客户端端口、服务器端口，服务器响应的ackno五元组建立一个HTTP上下文，该上下文当中包含本次应用的生存时间。然后把该HTTP应用的数据存放到该HTTP上下文的链表中。如果服务器的响应中包含content-length字段，收到的该用户的本次HTTP应用的收集到数据长度达到content-length的长度时，则将本次HTTP上下文中的数据保存成文件或者内存文件。如果服务器的响应中不包含content-length子段，则等HTTP上下文中的生存时间到时，将本次HTTP上下文中的数据保存成文件或者内存文件。如果该内存文件没有经过传输编码和压缩，则是本次HTTP应用的一个完整的html格式的数据。如果将html格式的数据生成文件，可以直接用浏览器(例如IE浏览器)打开浏览。。
三、对HTTP数据进行解传输编码和解压缩。
对于客户端的get/post请求，有的服务器端的响应数据在传输时进行传输编码，则对于生成后的数据必须按照RFC2616文档规范进行传输解码。如果在传输时没有进行传输编码，则无需进行传输编码解码。对于客户端的get/post请求的响应数据，有的服务器为了减少传输占用网络带宽，对响应数据进行了压缩，则对于生成后的数据必须进行解压缩。如果服务器没有对响应数据进行压缩，则无需进行解压缩。如果服务器在对数据进行压缩时用的是GZIP压缩算法，则解压缩时进行GZIP解压缩，如果服务器在对数据进行压缩时用的是defalte压缩算法，则解压缩时进行defalte解压缩。经过这些处理后是，所生成的数据，则是本次HTTP应用的一个完整的htm格式的数据。如果将htm格式的数据生成文件，可以直接用浏览器(例如IE浏览器)打开浏览.
有益效果对这些请求和响应的HTTP包数据截获并进行处理，就可以将HTTP包的数据还原出来，用户的上网行为也可以再现出来。提供对互联网和企业、政府和事业单位、学校、公安、军队内部员工通过HTTP访问企业外部INTERNET网和其他网络站点、以及对整个互联网上访问网页行为的一种再现，包括访问的网页，以及发表的一些内容的再现。
图1是本发明实施例对HTTP数据的还原的整体流程。
图2是本发明实施例对HTTP数据的截获和解析流程。
图3是本发明实施例对HTTP数据截获和解析后处理流程。
具体的实施方式参见图1，是对HTTP数据的还原的整体流程。
对HTTP数据还原的整体流程是使用网络接入设备，获取该客户端和服务器之间的该网络上的所有数据，包括客户端对服务器发送的请求数据和服务器端对客户端请求的响应数据，对该数据过滤和解析，依次需要解析底层协议(物理层协议)，IP层协议，TCP层协议，HTTP层协议。然后对解析后的数据进行还原处理，形成整体数据，最后如果数据传输时经过传输编码则要对形成的整体数据进行解传输编码，如果没有经过传输编码则无需对形成的整体数据进行解传输编码。如果数据在传输前进行压缩则要进行解压缩，如果数据在传输前没有进行压缩则无需进行解压缩。
参见图2，是对HTTP数据的截获和解析流程。
按照协议解析物理层协议，通过物理层协议的协议类型过滤出通过IP协议传输的数据；解析IP协议，通过IP层协议的协议类型，过滤出通过TCP协议来传输的数据；解析TCP协议，通过TCP协议的端口号(端口号80)过滤出HTTP的数据。然后在解析出HTTP数据。在解析IP层协议时，解析出客户端和服务器端的IP，分别为clientIP，server IP，在解析TCP层协议时，解析出客户端和服务器端的通信的端口号，分别为client port，server port，sequence number，acknowledgment number.解析HTTP协议，解析出HTTP的客户端请求类型get/post、get/post url、content-type、content-length、transfer-endcoding、content-encoding等字段。
参见图3，是对HTTP数据截获和解析后处理流程。
对解析后的HTTP数据，对每一个用户建立一个用户上下文。然后对该用户的每一个HTTP应用，建立一个HTTP上下文，将该次HTTP应用的数据存放在HTTP上下文中，直到该次HTTP应用数据传输完毕后，形成一个整体的数据，如果数据在传输前没有经过传输编码和压缩，则是本次HTTP应用的一个完整的html格式的数据，可以用浏览器(例如IE浏览器)直接显示。
如果数据传输时经过传输编码则要对形成的整体数据进行解传输编码；如果数据在传输前进行压缩则要对形成的整体数据进行解压缩，这样经过处理后形成的数据就是本次HTTP应用的一个完整的html格式的数据，可以用浏览器(例如IE浏览器)直接显示。
虽然通过实施例子描述了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求
包括这些变形和变化而不脱离本发明的精神。
权利要求
1.一种用于HTTP数据还原的方法，其特征在于；截获客户端对服务器发送的请求数据和服务器端对客户端请求的响应数据，然后进行过滤、解析、缓存，形成html格式的整体数据，如果数据传输时经过传输编码则对形成的整体数据进行解传输编码；如果数据在传输前进行压缩则对形成的整体数据进行解压缩，这样就形成可以用浏览器直接显示的数据，HTTP协议数据的还原也完成。
2.如权利要求
1所述的用于HTTP数据还原的方法，其特征在于对获取的请求数据和响应数据，依次需要解析底层协议(物理层协议)，IP层协议，TCP层协议，HTTP层协议；对解析后的HTTP数据，对每一个用户建立一个用户上下文；然后对该用户的每一个HTTP应用，建立一个HTTP上下文，将该次HTTP应用的数据存放在HTTP上下文中，直到该次HTTP应用数据传输完毕后，形成一个整体的数据。
专利摘要
一种用于HTTP数据还原的方法，其特征在于截获客户端对服务器发送的请求数据和服务器端对客户端请求的响应数据，然后进行过滤、解析、缓存，形成html格式的整体数据，如果数据传输时经过传输编码则对形成的整体数据进行解传输编码；如果数据在传输前进行压缩则对形成的整体数据进行解压缩，这样就形成可以用浏览器直接显示的数据，HTTP协议数据的还原也就完成。对这些请求和响应的HTTP包数据截获并进行处理，就可以将HTTP包的数据还原出来，用户的上网行为也可以再现出来。
文档编号H04L29/08GK1997030SQ200610125451
公开日2007年7月11日 申请日期2006年12月13日
发明者曹尚涛 申请人:武汉虹旭信息技术有限责任公司导出引文BiBTeX, EndNote, RefMan