数据平台上的大数据量下载方法
【技术领域】
[0001] 本发明涉及网络数据传输技术，尤其涉及一种数据平台上的大数据量下载方法。
【背景技术】
[0002] 对于大型的企业或者网络平台来说，常常有大量的数据表报需要进行传输，尤其 是应用诸如ERP等数据平台的企业，用户常常需要将大量的数据报表下载到本地机上进行 后续处理。
[0003]目前采用的传输方式是用户从自己的客户端发起请求，系统服务器在其内存中处 理请求，根据请求查询数据库，将查询得到的数据项缓存在系统服务器的内存中，等待查询 全部完成后再从系统服务器的内存中传送给用户的客户端。在此过程中，所有的工作均在 系统服务器的内存中完成，在数据量很大的时候，在内存中需要创建大量对象来缓存该些 数据项。该时会引起可用内存减少，使得系统服务器的其他工作受到影响，在数据量过大的 时候还有引起内存溢出导致系统崩溃。一种解决方案是配置更大的内存，但该将引起成本 的上升，并且，随着数据量的不断增加，仅仅依靠增加内存容量的方式并不能解决大数据量 下载的问题。
【发明内容】
[0004] 本发明旨在提出一种适用于在数据平台上进行大数据量下载的方法。
[0005] 根据本发明的一实施例，提出一种数据平台上的大数据量下载方法，用于将大数 据量由数据库下载至本地的W邸应用服务器，包括如下的步骤：
[0006] 数据查询步骤，系统服务器根据用户输入的查询条件在数据库中查询符合条件的 数据项的条数。
[0007] TXT文件计算步骤，系统服务器将符合条件的数据项分页，系统服务器根据符合条 件的数据项的总条数，W及每一页对应的TXT文件条数确定TXT文件的文件格式。
[0008] TXT文件生成步骤，根据TXT文件的文件格式在本地的肥B应用服务器上生成TXT 文件，系统服务器将数据项写入TXT文件中，写入完成后释放系统服务器的内存资源。
[0009] 输出流写入步骤，在系统服务器的内存中形成输出流，输出流是数据流，从本地的 W邸应用服务器上循环读取TXT文件中的数据项并写入输出流。
[0010] 数据导出步骤，从输出流中导出数据项，导出完成后释放系统服务器的内存资源。
[0011] 在一个实施例中，数据查询步骤中，用户输入的查询条件为含有ID号的S化语句， 系统服务器根据S化语句中的ID号在数据库中查询符合条件的数据项的条数，如果没有符 合查询条件的数据项，则输出异常报告。
[0012] 在一个实施例中，在TXT文件生成步骤中，系统服务器依次执行：
[0013] 根据TXT文件的文件格式在本地的肥B应用服务器上生成TXT文件；
[0014] 设置将文件写入TXT文件的完全路径；
[0015] 在系统服务器的内存中开启文件写入流，根据完全路径将所述数据项写入TXT文 件中；
[0016] 写入完成后关闭所述文件写入流，释放系统服务器的内存资源。
[0017] 在一个实施例中，将数据项写入TXT文件的过程中，对于TXT文件中的每一个数据 项：
[0018] 根据其中每个字段的数据类型设置输出的格式；
[0019] 在字符串数字前增加"="号并增加双引号。
[0020] 在一个实施例中，根据其中每个字段的数据类型设置输出的格式包括：
[0021] 对于数据类型为数值型，输出的格式为直接输出；
[0022] 对于数据类型为日期型，输出的格式为固定日期格式；
[0023] 对于其他数据类型，输出的格式为字符串类型。
[0024] 在一个实施例中，输出流写入步骤中，系统服务器在内存中开启数据流作为输出 流，向输出流中写入表头，并从本地的W邸应用服务器上循环读取TXT文件中的数据项并写 入输出流。
[0025] 在一个实施例中，数据导出步骤中，系统服务器刷新输出流导出输出流中的所有 缓冲字段W从输出流中导出数据项，导出完成后关闭输出流和导出程序W释放系统服务器 的内存资源。
[0026] 本发明的数据平台上的大数据量下载方法减少了对于系统服务器的内存的占用， W数据流的方式将处理过程中的数据项落地到本地的W邸应用服务器上并WTXT文件的形 式保存，处理完毕后再从TXT文件中读取数据项并提供给用户，每一阶段完成后均对系统 服务器的内存资源进行释放，有效提高了系统服务器的内存使用效率，提高了系统运行的 稳定性。
【附图说明】
[0027] 下面结合附图对本发明的【具体实施方式】做进一步详细具体的说明。
[0028] 图1掲示了根据本发明的一实施例的数据平台上的大数据量下载方法的流程图。
[0029] 图2掲示了根据本发明的一实施例的一种数据平台上的大数据量下载方法的过 程示意图。
【具体实施方式】
[0030] 参考图1所示，本发明掲示了一种数据平台上的大数据量下载方法，用于将大数 据量由数据库下载至本地的W邸应用服务器，该方法包括如下的步骤：
[0031] 102.数据查询步骤，系统服务器根据用户输入的查询条件在数据库中查询符合条 件的数据项的条数。在一个实施例中，在数据查询步骤102中，用户输入的查询条件为含有 ID号的S化语句，系统服务器根据S化语句中的ID号在数据库中查询符合条件的数据项的 条数，如果没有符合查询条件的数据项，则输出异常报告。
[0032] 104.TXT文件计算步骤，系统服务器将所述符合条件的数据项分页，系统服务器根 据符合条件的数据项的总条数，W及每一页对应的TXT文件条数确定TXT文件的文件格式。
[0033] 106.TXT文件生成步骤，根据TXT文件的文件格式在本地的肥B应用服务器上生成 TXT文件，系统服务器将所述数据项写入TXT文件中，写入完成后释放系统服务器的内存资 源。在一个实施例中，在TXT文件生成步骤106中，系统服务器依次执行下述的过程：
[0034]a)根据TXT文件的文件格式在本地的肥B应用服务器上生成TXT文件。
[00巧]b)设置将文件写入TXT文件的完全路径。
[0036] C)在系统服务器的内存中开启文件写入流，根据完全路径将数据项写入TXT文件 中。在一个实施例中，在将数据项写入TXT文件的过程中，对于TXT文件中的每一个数据项： 首先根据其中每个字段的数据类型设置输出的格式，再在字符串数字前增加"="号并增加 双引号。在字符串数字前增加"="号并增加双引号的目的是解决W0开头的数据项不显示 前面的0和数字超过11位科学计数的情况。根据每个字段的数据类型设置输出的格式，对 于不同的数据类型，处理如下：
[0037] 对于数据类型为数值型，输出的格式为直接输出；
[0038] 对于数据类型为日期型，输出的格式为固定日期格式；
[0039] 对于其他数据类型，输出的格式为字符串类型。
[0040] d)写入完成后关闭文件写入流，释放系统服务器的内存资源。
[0041] 步骤106的实例代码如下：
[0042]
【主权项】
1. 一种数据平台上的大数据量下载方法，用于将大数据量由数据库下载至本地的WEB 应用服务器，其特征在于，包括： 数据查询步骤，系统服务器根据用户输入的查询条件在数据库中查询符合条件的数据 项的条数； TXT文件计算步骤，系统服务器将所述符合条件的数据项分页，系统服务器根据所述符 合条件的数据项的总条数，以及每一页对应的TXT文件条数确定TXT文件的文件格式； TXT文件生成步骤，根据所述TXT文件的文件格式在本地的WEB应用服务器上生成TXT 文件，系统服务器将所述数据项写入TXT文件中，写入完成后释放系统服务器的内存资源； 输出流写入步骤，在系统服务器的内存中形成输出流，所述输出流是数据流，从本地的 WEB应用服务器上循环读取TXT文件中的数据项并写入输出流； 数据导出步骤，从所述输出流中导出数据项，导出完成后释放系统服务器的内存资源。
2. 如权利要求1所述的数据平台上的大数据量下载方法，其特征在于，所述数据查询 步骤中，用户输入的查询条件为含有ID号的SQL语句，系统服务器根据SQL语句中的ID号 在数据库中查询符合条件的数据项的条数，如果没有符合查询条件的数据项，则输出异常 报告。
3. 如权利要求1所述的数据平台上的大数据量下载方法，其特征在于，所述TXT文件生 成步骤中，系统服务器依次执行： 根据所述TXT文件的文件格式在本地的WEB应用服务器上生成TXT文件； 设置将文件写入TXT文件的完全路径； 在系统服务器的内存中开启文件写入流，根据所述完全路径将所述数据项写入TXT文 件中； 写入完成后关闭所述文件写入流，释放系统服务器的内存资源。
4. 如权利要求3所述的数据平台上的大数据量下载方法，其特征在于，将数据项写入 TXT文件的过程中，对于TXT文件中的每一个数据项： 根据其中每个字段的数据类型设置输出的格式； 在字符串数字前增加"="号并增加双引号。
5. 如权利要求4所述的数据平台上的大数据量下载方法，其特征在于，根据其中每个 字段的数据类型设置输出的格式包括： 对于数据类型为数值型，输出的格式为直接输出； 对于数据类型为日期型，输出的格式为固定日期格式； 对于其他数据类型，输出的格式为字符串类型。
6. 如权利要求1所述的数据平台上的大数据量下载方法，其特征在于，所述输出流写 入步骤中，系统服务器在内存中开启数据流作为输出流，向输出流中写入表头，并从本地的 WEB应用服务器上循环读取TXT文件中的数据项并写入输出流。
7. 如权利要求6所述的数据平台上的大数据量下载方法，其特征在于，所述数据导出 步骤中，系统服务器刷新输出流导出输出流中的所有缓冲字段以从输出流中导出数据项， 导出完成后关闭输出流和导出程序以释放系统服务器的内存资源。
【专利摘要】本发明揭示了一种数据平台上的大数据量下载方法，适用于大数据量下载，包括：数据查询步骤，系统服务器在数据库中查询符合条件的数据项的条数。TXT文件计算步骤，系统服务器将数据项分页，根据数据项的总条数，以及每一页对应的TXT文件条数确定TXT文件的文件格式。TXT文件生成步骤，根据TXT文件的文件格式在本地的WEB应用服务器上生成TXT文件，系统服务器将数据项写入TXT文件中，写入完成后释放系统服务器的内存资源。输出流写入步骤，在系统服务器的内存中形成输出流，输出流是数据流，从本地的WEB应用服务器上循环读取TXT文件中的数据项并写入输出流。数据导出步骤，从输出流中导出数据项，导出完成后释放系统服务器的内存资源。
【IPC分类】G06F17-30
【公开号】CN104866485
【申请号】CN201410060855
【发明人】严鸽群, 李燕秋, 王莘, 舒畅, 许磊, 蒋卓婕, 甘鸿琨, 张顺, 孔晓苏
【申请人】上海宝钢国际经济贸易有限公司
【公开日】2015年8月26日
【申请日】2014年2月24日