一种数据同步方法及系统的利记博彩app
【技术领域】
[0001]本发明涉及数据同步技术领域，尤其涉及一种数据同步方法及系统。
【背景技术】
[0002]随着电子商务的发展，越来越多的人选择在网络交易平台上进行日常购物交易以及其他各种类型的交易。随着网络交易量的不断增加，保存在电商数据库中的交易数据量也在逐步增加。在这种情况下，若商户需要进行交易数据的查询或者下载，通常面对的是海量的数据存储量，从而会因为各种原因(例如需要查找的数据量过大从而占用数据库的较多的查询语句，或者下载的数据量过大从而占用过多的硬件资源)使得数据库在接收查询或者下载请求时的响应非常慢，甚至出现死机的情况，因此降低查询的效率，并降低使用者的使用体验。
【发明内容】
[0003]根据现有技术中存在的上述问题，现提供一种数据同步方法及系统的技术方案，旨在提升查询响应速度，改善查询处理效率，从而提升使用者的使用体验。
[0004]上述技术方案具体包括:
[0005]—种数据同步方法，其中，包括一第一存储单元，用于保存待操作数据以及所述待操作数据的查询时间；
[0006]分别设置多个不同的时间段，以及设置一预设数据量，还包括:
[0007]步骤SI，获取外部输入的多个数据操作请求，以及分别关联于每个所述数据操作请求的所述待操作数据的所述查询时间；
[0008]步骤S2，按照对应的所述查询时间，将多个所述数据操作请求分别包括在对应不同的所述时间段的请求批次中；
[0009]步骤S3，于所述第一存储单元中查询得到对应一个所述请求批次的所述时间段内包括的所述待操作数据的数据量，并判断所述数据量是否大于所述预设数据量:
[0010]若是，则以所述预设数据量为单位将查询得到的所述待操作数据划分为多个数据批次，并依次将每个所述数据批次传输至一第二存储单元，随后依据所述数据操作请求进行操作；
[0011 ]若否，则将查询得到的所有所述待操作数据传输至所述第二存储单元，随后依据所述数据操作请求进行操作；
[0012]步骤S4，转向下一个所述请求批次，并返回所述步骤S3。
[0013]优选的，该数据同步方法，其中，所述数据操作请求包括:
[0014]针对所述待操作数据的查询请求;和/或
[0015]针对所述待操作数据的下载请求。
[0016]优选的，该数据同步方法，其中，所述时间段以每小时为单位进行划分;或者
[0017]所述时间段以每天为单位进行划分;或者
[0018]所述时间段以每月为单位进行划分。
[0019]优选的，该数据同步方法，其中，所述步骤S2中，对每个所述请求批次生成一个对应的批次号，并记录在对应的同步日志中，以供使用者查询同步进度。
[0020]优选的，该数据同步方法，其中，所述预设数据量为5000条所述待操作数据。
[0021]一种数据同步系统，其中，包括:
[0022]第一存储单元，用于保存待操作数据以及所述待操作数据的查询时间；
[0023]设置单元，用于分别设置多个不同的时间段，以及设置一预设数据量；
[0024]获取单元，获取外部输入的多个数据操作请求，以及分别关联于每个所述数据操作请求的所述待操作数据的所述查询时间；
[0025]划分单元，分别连接所述设置单元和所述获取单元，用于按照对应的所述查询时间，将多个所述数据操作请求分别包括在对应不同的所述时间段的请求批次中；
[0026]查询单元，分别连接所述划分单元和所述第一存储单元，用于在所述第一存储单元中查询得到对应一个所述请求批次的所述时间段内包括的所述待操作数据的数据量；
[0027]判断单元，分别连接所述查询单元和所述设置单元，用于判断所述数据量是否大于所述预设数据量，并输出判断结果；
[0028]处理单元，连接判断单元，以及连接一第二存储单元，用于根据所述判断结果，在:
[0029]在所述数据量大于所述预设数据量时，以所述预设数据量为单位将查询得到的所述待操作数据划分为多个数据批次，并依次将每个所述数据批次传输至一第二存储单元，随后依据所述数据操作请求进行操作；以及
[0030]在所述数据量不大于所述预设数据量时，将查询得到的所有所述待操作数据传输至所述第二存储单元，随后依据所述数据操作请求进行操作。
[0031]优选的，该数据同步系统，其中，所述数据操作请求包括:
[0032]针对所述待操作数据的查询请求;和/或
[0033]针对所述待操作数据的下载请求。
[0034]优选的，该数据同步系统，其中，所述时间段以每小时为单位进行划分;或者
[0035]所述时间段以每天为单位进行划分;或者
[0036]所述时间段以每月为单位进行划分。
[0037]优选的，该数据同步系统，其中，所述划分单元中包括:
[0038]标记模块，用于对每个所述请求批次生成一个对应的批次号，并记录在对应的同步日志中，以供使用者查询同步进度。
[0039]优选的，该数据同步系统，其中，所述预设数据量为5000条所述待操作数据。
[0040]上述技术方案的有益效果是:
[0041 ] I)提供一种数据同步方法，能够提升查询响应速度，改善查询处理效率，从而提升使用者的使用体验；
[0042]2)提供一种数据同步系统，能够支持实现上述数据同步方法。
【附图说明】
[0043]图1是本发明的较佳的实施例中，一种数据同步方法的总体流程示意图；
[0044]图2是本发明的较佳的实施例中，一种数据同步系统的总体结构示意图；
[0045]图3是本发明的较佳的实施例中，于图2的基础上，数据同步系统中的划分单元的结构示意图。
【具体实施方式】
[0046]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0048]下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0049]基于上文中所述的现有技术中的缺陷，目前通常会采用一个独立于数据库的查询数据库，并将数据同步到查询数据库中专门供使用者进行查询或者下载。但是由于电商数据库中保存的交易数据的数据量通常非常大，将数据库中的数据同步到另外一个查询数据库中同样会因为占用过多的硬件资源以及占用部分SQL查询语句导致系统响应缓慢，并不能从根本上改变上文中提及的现有技术中存在的缺陷。
[0050]本发明的较佳的实施例中，基于上文中提到的现有技术中存在的问题，现提供一种数据同步方法，该方法中，首先包括一第一存储单元，用于保存待操作数据以及待操作数据的查询时间；
[0051]分别设置多个不同的时间段，以及设置一预设数据量。
[0052]则如图1所示，上述数据同步方法具体包括:
[0053]步骤SI，获取外部输入的多个数据操作请求，以及分别关联于每个数据操作请求的待操作数据的查询时间；
[0054]步骤S2，按照对应的查询时间，将多个数据操作请求分别包括在对应不同的时间段的请求批次中；
[0055]步骤S3，于第一存储单元中查询得到对应一个请求批次的时间段内包括的待操作数据的数据量，并判断数据量是否大于预设数据量:
[0056]若是，则以预设数据量为单位将查询得到的待操作数据划分为多个数据批次，并依次将每个数据批次传输至一第二存储单元，随后依据数据操作请求进行操作；
[0057]若否，则将查询得到的所有待操作数据传输至第二存储单元，随后依据数据操作请求进行操作；
[0058]步骤S4，转向下一个请求批次，并返回步骤S3。
[0059]在一个具体实施例中，首先设置一个第一存储单元，作为存储上述待操作数据的数据库。所谓待操作数据，根据不同的操作领域可以为不同的数据，例如在电商数据库中，上述待操作数据可以为交易数据。
[0060]在该实施例中，预先设置多个不同的时间段，以及设置一预设数据量。
[0061]在该实施例中，首先获取外部输入的多个数据操作请求。所谓数据操作请求，其中可以包括对上述待操作数据进行查询的查询请求，也可以包括对上述待操作数据进行下载的下载请求。获取上述多个数据操作请求后，获取每个数据操作请求对应的待操作数据的查询时间。上述查询时间可以为使用者在输入数据操作请求的同时输入的时间，例如使用者希望查询XX年XX月XX日的待操作数据，则该“XX年XX月XX日”就为对应该数据操作请求的查询时间。
[0062]在该实施例中，在获取多个数据操作请求，以及分别对应每个数据操作请求的查询时间后，按照不同的查询时间，将多个数据操作请求分别包括在对应不同的时间段的请求批次中。例如，以一天为单位划分时间段，则可以将查询时间处于同一天的多个数据操作请求包括在同一个请求批次中。上述操作可以将数量众多的数据操作请求划分成包括在不同的请求批次中，从而完成第一次分批的操作。
[0063]在该实施例中，随后，进一步地，分别对每个请求批次进行判断:选择一个请求批次，并根据对应该请求批次的时间段，判断该时间段内保存上述第一存储单元中的待操作数据的数据量。上述预先进行的数据量的查询，只需要查询到特定时间段内在上述第一存储单元中保存的数据量即可，因此不需要耗费太多的系统资源。上述步骤S3中，查询得到关联于一个请求批次的待操作数据的数据量后，将该数据量与上述预设数据量进行比较:
[0064]若查询得到的数据量大于上述预设数据量，则表示该请求批次对应的数据量过大，需要进行二次分批。此时根据上述预设数据量对查询得到的数据量进行分批操作。例如，预设数据量为5000条，而查询得到的数据量为20000条，大大超出了预设数据量。则以5000条为依据对20000条的查询得到的待操作数据的数据量进行分割，即将上述查询得到的待操作数据划分为1-5000,5001-1000,10001-15000以及15001-20000四批，并依次放入一第二存储单元中。本发明的其他实施例中，上述预设数据量还可以为其他预设的值，以一次向第二存储单元传输的数据总量不会占用太多系统资源为最佳