，例如上文中所述的预设数据量为5000条，实际大概为4M的数据量，在传输过程中不会占用太多的系统资源。
[0065]则上述第二存储单元即为一查询数据库。当待操作数据被从第一存储单元同步到第二存储单元后，就可以提供给使用者根据之前输入的数据操作请求进行相应的操作。
[0066]综上所述，本发明技术方案中，通过两次分批对数量庞大的数据操作请求进行划分，从而减轻数据库的查询和下载负担，避免响应延迟或者运行死机的问题。
[0067]本发明的较佳的实施例中，如上文中所述，上述时间段可以以每天为单位进行划分，即按照不同的日期将不同的上述数据操作请求划分成包括在不同的请求批次中。
[0068]本发明的另一个较佳的实施例中，上述时间段也可以以每小时为单位进行划分，即按照不同的小时将不同的上述数据操作请求划分成包括在不同的请求批次中。
[0069]本发明的另一个较佳的实施例中，上述时间段也可以以每月为单位进行划分，SP按照不同的月份将不同的上述数据操作请求划分成包括在不同的请求批次中。
[0070]本发明的其他实施例中，上述时间段还可以以其他适宜的时间维度为单位进行划分。
[0071]上述多种划分方式实际分别对应了不同的划分精度，用以契合系统当前的查询负载。例如系统当前的数据操作请求较多，系统的查询负载较重，此时可以选择更加精确的划分方式，例如以每天或者每小时为单位进行划分，从而保证每个请求批次中包括的数据操作请求不至于过多。相应地，系统当前的数据操作请求较少，系统的查询负载较轻，此时可以选择比较宽泛的划分方式，例如以每月为单位进行划分。
[0072]上述多种划分方式同样可以用来契合系统当前的查询范围。例如系统当前的数据操作请求对应的查询范围较窄，例如查询范围仅涉及到一天或者几天的数据量，此时可以选择更加精确的划分方式，例如以每天或者每小时为单位进行划分。相应地，系统当前的数据操作请求对应的查询范围较宽，例如查询范围涉及到几个月甚至几年的数据量，此时可以选择比较宽泛的划分方式，例如以每月为单位进行划分。
[0073]本发明的较佳的实施例中，在设定上述时间段的划分方式时，可以综合考虑上述两个因素。
[0074]本发明的较佳的实施例中，上述步骤S2中，对每个请求批次生成一个对应的批次号，并记录在对应的同步日志中，以供使用者查询同步进度。
[0075]本发明的一个较佳的实施例中，根据数据操作请求需要同步2015-10-01至2015-10-15的待操作数据。此时可以以每天为单位对时间段进行划分，以将数据操作请求分别包括在批次号为20151001、20151002、……、20151015的不同的请求批次中。为所有请求批次建立一个批次列表，并循环批次列表，分别对其中包括的每个请求批次查询其对应的时间段内包括在第一存储单元中的数据量的大小。假设对于第一个时间段(20151001)，保存在第一存储单元中的数据总量为10000条，此时预设数据量为2000条，则将这个数据总量的待操作数据分别划分成:第1-2000条，第2001-4000条，第4001-6000条，第6001-8000条以及第8001-10000条这五个批次，并且分批传输至上述第二存储单元中，以供使用者查询或者下载。该实施例中，每取一个批次的数据(即每取2000条数据)就往第二存储单元中同步一次，并在同步完成后释放系统内存，这样就能保证只有一个批次的数据量的传输操作占用内存。
[0076]本发明的较佳的实施例中，基于上文中所述的数据同步方法，还提供一种数据同步系统，其结构具体如图2所示，包括:
[0077]第一存储单元I，用于保存待操作数据以及待操作数据的查询时间；
[0078]设置单元2，用于分别设置多个不同的时间段，以及设置一预设数据量；
[0079]获取单元3，获取外部输入的多个数据操作请求，以及分别关联于每个数据操作请求的待操作数据的查询时间；
[0080]划分单元4，分别连接设置单元2和获取单元3，用于按照对应的查询时间，将多个数据操作请求分别包括在对应不同的时间段的请求批次中；
[0081]查询单元5，分别连接划分单元4和第一存储单元I，用于在第一存储单元I中查询得到对应一个请求批次的时间段内包括的待操作数据的数据量；
[0082]判断单元6，分别连接查询单元5和设置单元2，用于判断数据量是否大于预设数据量，并输出判断结果；
[0083]处理单元7，连接判断单元6，以及连接一第二存储单元8，用于根据判断结果，在:
[0084]在数据量大于预设数据量时，以预设数据量为单位将查询得到的待操作数据划分为多个数据批次，并依次将每个数据批次传输至一第二存储单元8，随后依据数据操作请求进行操作；以及
[0085]在数据量不大于预设数据量时，将查询得到的所有待操作数据传输至第二存储单元8，随后依据数据操作请求进行操作。
[0086]本发明的较佳的实施例中，如上文中所述，数据操作请求包括:
[0087]针对待操作数据的查询请求;和/或
[0088]针对待操作数据的下载请求。
[0089]本发明的较佳的实施例中，如上文中所述，时间段以每小时为单位进行划分;或者
[0090]时间段以每天为单位进行划分;或者
[0091]时间段以每月为单位进行划分。
[0092]本发明的较佳的实施例中，如图3所示，上述划分单元4进一步包括:
[0093]标记模块41，用于对每个请求批次生成一个对应的批次号，并记录在对应的同步日志中，以供使用者查询同步进度。
[0094]本发明的较佳的实施例中，如上文中，上述预设数据量为5000条待操作数据。
[0095]以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
【主权项】
1.一种数据同步方法，其特征在于，包括一第一存储单元，用于保存待操作数据以及所述待操作数据的查询时间； 分别设置多个不同的时间段，以及设置一预设数据量，还包括: 步骤SI，获取外部输入的多个数据操作请求，以及分别关联于每个所述数据操作请求的所述待操作数据的所述查询时间； 步骤S2，按照对应的所述查询时间，将多个所述数据操作请求分别包括在对应不同的所述时间段的请求批次中； 步骤S3，于所述第一存储单元中查询得到对应一个所述请求批次的所述时间段内包括的所述待操作数据的数据量，并判断所述数据量是否大于所述预设数据量: 若是，则以所述预设数据量为单位将查询得到的所述待操作数据划分为多个数据批次，并依次将每个所述数据批次传输至一第二存储单元，随后依据所述数据操作请求进行操作； 若否，则将查询得到的所有所述待操作数据传输至所述第二存储单元，随后依据所述数据操作请求进行操作； 步骤S4，转向下一个所述请求批次，并返回所述步骤S3。2.如权利要求1所述的数据同步方法，其特征在于，所述数据操作请求包括: 针对所述待操作数据的查询请求;和/或 针对所述待操作数据的下载请求。3.如权利要求1所述的数据同步方法，其特征在于，所述时间段以每小时为单位进行划分;或者 所述时间段以每天为单位进行划分;或者 所述时间段以每月为单位进行划分。4.如权利要求1所述的数据同步方法，其特征在于，所述步骤S2中，对每个所述请求批次生成一个对应的批次号，并记录在对应的同步日志中，以供使用者查询同步进度。5.如权利要求1所述的数据同步方法，其特征在于，所述预设数据量为5000条所述待操作数据。6.一种数据同步系统，其特征在于，包括: 第一存储单元，用于保存待操作数据以及所述待操作数据的查询时间； 设置单元，用于分别设置多个不同的时间段，以及设置一预设数据量； 获取单元，获取外部输入的多个数据操作请求，以及分别关联于每个所述数据操作请求的所述待操作数据的所述查询时间； 划分单元，分别连接所述设置单元和所述获取单元，用于按照对应的所述查询时间，将多个所述数据操作请求分别包括在对应不同的所述时间段的请求批次中； 查询单元，分别连接所述划分单元和所述第一存储单元，用于在所述第一存储单元中查询得到对应一个所述请求批次的所述时间段内包括的所述待操作数据的数据量； 判断单元，分别连接所述查询单元和所述设置单元，用于判断所述数据量是否大于所述预设数据量，并输出判断结果； 处理单元，连接判断单元，以及连接一第二存储单元，用于根据所述判断结果，在: 在所述数据量大于所述预设数据量时，以所述预设数据量为单位将查询得到的所述待操作数据划分为多个数据批次，并依次将每个所述数据批次传输至一第二存储单元，随后依据所述数据操作请求进行操作；以及 在所述数据量不大于所述预设数据量时，将查询得到的所有所述待操作数据传输至所述第二存储单元，随后依据所述数据操作请求进行操作。7.如权利要求6所述的数据同步系统，其特征在于，所述数据操作请求包括: 针对所述待操作数据的查询请求;和/或 针对所述待操作数据的下载请求。8.如权利要求6所述的数据同步系统，其特征在于，所述时间段以每小时为单位进行划分;或者 所述时间段以每天为单位进行划分;或者 所述时间段以每月为单位进行划分。9.如权利要求6所述的数据同步系统，其特征在于，所述划分单元中包括: 标记模块，用于对每个所述请求批次生成一个对应的批次号，并记录在对应的同步日志中，以供使用者查询同步进度。10.如权利要求6所述的数据同步系统，其特征在于，所述预设数据量为5000条所述待操作数据。
【专利摘要】本发明公开了一种数据同步方法及系统，属于数据同步技术领域；方法包括：步骤S1，获取数据操作请求，以及待操作数据的查询时间；步骤S2，按照对应的查询时间，将数据操作请求包括在对应时间段的请求批次中；步骤S3，于第一存储单元中查询得到对应一个请求批次的时间段包括的数据量，并判断数据量是否大于预设数据量：若是，则以预设数据量为单位将待操作数据划分为多个数据批次，并将每个数据批次传输至一第二存储单元；若否，则将所有待操作数据传输至第二存储单元。系统包括：第一存储单元、设置单元、获取单元、划分单元、查询单元、判断单元和处理单元。上述技术方案的有益效果是：提升查询响应速度，提升使用者的使用体验。
【IPC分类】G06F17/30
【公开号】CN105653652
【申请号】
【发明人】李计
【申请人】上海瀚银信息技术有限公司
【公开日】2016年6月8日
【申请日】2015年12月28日