专利名称：基于分布式系统架构的文件传输方法及装置的利记博彩app
技术领域：
本发明涉及IT业务支撑技术领域，尤其是涉及一种基于分布式系统架构的文件传输方法及装置。
背景技术：
传统的通信运营通常采用集中式的管理方式，近年来由于分布式系统具有易扩充性、负载均衡、可靠性好等优点，逐渐的渗透到现代通信运营管理当中。一个分布式系统是若干独立的节点(计算机)的集合，对使用该系统的用户来说，分布式系统就相当于一台计算机。在分布式系统环境下，节点之间的数据文件传输一般采用套接字/文件传输协议(socket/FTP,File Transfer Protocol)的方式实现,在进行数据文件传输时,设置一个控制通道和一个传输通道，其中，控制通道用于根据分布式系统的资源信息，将待传输的数据文件按照时间或者区域拆分成多个小文件，拆分后的多个小文件通过设置的传输通道传输到分布式系统中不同的节点中。其中，分布式系统的资源信息包括CPU使用率、I/O资源、内存占用资源、以及网络资源等。采用socket/FTP数据传输方式进行数据传输，由于只单独设置了一个传输通道，因此在分布式系统中如果有大量数据需要进行传输时，传输速率就比较低，数据在传输时丢包率比较高。例如在互联网以及云计算架构下，常常需要在多个远程站点之间进行大量数据文件同步和交互，以保存多个副本，进行负荷分担和应急容灾等功能，这些都需要在数据文件传输时提高分布式系统的数据处理性能和传输带宽。为了提高分布式系统的数据处理能力，现有技术中一般采用两种方案:第一种方案:在进行数据传输时，分别设置动态通道和静态通道，采用动态通道和静态通道相结合的方式来实现数据在分布式系统中各节点之间的传输。其中，静态通道自始至终连续的传输数据文件，在系统资源紧张的情况下，采用动态通道传输部分数据文件。第二种方案:在进行数据传输时，采用设置多通道的方式，将待传输的文件按照设定的规则拆分为多个不同的文件，将拆分后的不同的文件在不同的通道中进行传输。上述两种方式，虽然可以在一定程度上提高分布式系统中数据文件的传输速率，但是如果在分布式系统性能很低的情况下，会因为多个传输进程之间抢占系统的CPU、网络以及内存等资源而影响分布式系统的传输速率，进而会造成该系统僵死现象的发生，从而影响了用户的感知度。
发明内容
本发明实施例提供一种基于分布式系统架构的文件传输方法及装置，能够较好地提高分布式系统的数据传输速率，并节约分布式系统的处理资源。本发明实施例提出的技术方案如下:—种基于分布式系统架构的文件传输方法，包括:在接收到文件传输指令后，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息；根据采集到的每个系统资源使用情况信息，预测以当前时间点为基准的下一规定时长内至少一个预设时间点上的系统资源使用情况信息；根据预测得到的系统资源使用情况信息，分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的节点间通道数和节点间通道传输速率；按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率；基于实际用于传输文件的节点间通道数和节点间通道传输速率，对用于传输文件的节点间通道数和节点间通道的传输速率进行调整；并使用调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输。一种基于分布式系统架构的文件传输装置，包括:信息采集模块，用于在接收到文件传输指令后，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息；预测模块，用于根据信息采集模块采集到的每个系统资源使用情况信息，预测以当前时间点为基准的下一规定时长内至少一个预设时间点上的系统资源使用情况信息；控制模块，用于根据分析模块预测得到的系统资源使用情况信息，分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的节点间通道数和节点间通道传输速率；第一确定模块，用于按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据控制模块确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率；调整模块，用于基于第一模块确定出的实际用于传输文件的节点间通道数和节点间通道传输速率，对用于传输文件的节点间通道数和节点间通道的传输速率进行调整；传输模块，用于使用调整模块调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输。采用上述技术方案，在接收到文件传输指令后，采用过去时长内的系统资源使用情况信息来预测未来规定时长内的系统资源使用情况信息，并根据预测结果，有针对性地调整节点间的通道数和节点间通道传输速率，来更适应性地传输将要传输的文件数据，从而能够较好地提高分布式系统的数据传输速率并节约分布式系统的处理资源，避免了系统的僵死现象，进而提升了用户的感知度。
图1为本发明实施例一中，提出的基于分布式系统架构的文件传输方法流程图；图2为本发明实施例一中，提出的文件列表信息组成结构图；图3为本发明实施例一中，提出的分布式系统的结构组成示意图；图4为本发明实施例一中，提出的基于分布式系统架构的文件传输装置结构图；图5为本发明实施例二中，提出的预测模型组成结构图；图6为本发明实施例二中，提出的传输小文件示意图。
具体实施例方式针对现有技术中存在的文件在分布式系统中各节点传输时，如果分布式系统性能较低，会因为多个传输进程共同存在而抢占系统的CPU、网络以及内存等资源而影响分布式系统的传输速率，进而使得系统处于僵死状态的问题，本发明实施例这里提出一种基于分布式系统架构的文件传输方法及装置，采用分析预测和控制技术，结合分布式系统的历史资源使用情况信息，预测下一时长内的系统资源使用情况信息，根据预测的结果，计算传输文件需要使用的通道数和传输速率，然后根据计算出的通道数和传输速率来传输文件，能够最大限度地提高文件传输速率并节约系统资源，从而避免了因为进程数较多而抢占系统资源而造成系统僵死的现象发生。下面将结合各个附图对本发明实施例技术方案的主要实现原理具体实施方式
及其对应能够达到的有益效果进行详细地阐述。实施例一 基于分布式系统架构组成，本发明实施例一这里提出一种基于分布式系统架构的文件传输方法，需要说明的是，为便于阐述，本发明实施例一这里提出的基于分布式系统架构的文件传输方法，是针对一个传输对话中的一个节点来进行详细阐述的，对于同一个传输对话中的其他各节点，其具体实施方式
均相同或相似。如图1所示，具体步骤为:步骤11，接收用户或者前端发来的文件传输指令，在接收到文件传输指令后，根据传输请求分析待传输的文件信息，针对待传输文件的文件信息和系统的负载情况，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息分别作为样本数据，对采集到的样本数据进行聚类分析预测。其中，根据接收到的传输指令分析待传输的文件信息，可以但不限于包括文件目录信息、文件名、传输文件的目的节点、以及目的节点的口令信息等。并根据获取的文件信息，对待传输的文件进行分析，将待传输的文件归入到相应的文件列表中，如图2所示，文件列表包括小文件、大文件、中等文件等，将分析得到的文件信息写入到对应的文件列表中。具体地，文件的大小按照预先设定的阈值来判定，例如，可以预先设定两个阈值，第一容量阈值M和第二容量阈值N，M < N，如果待传输的文件容量大小小于预先设定的M时，确定该待传输的文件为小文件，将该待传输的文件的大小、文件名以及文件类型等信息写入到小文件列表信息中指定位置，如果待传输的文件容量大小大于预先设定的N时，确定该待传输的文件为大文件，将该待传输的文件的大小、文件名以及文件类型等信息写入到大文件列表信息中指定位置，如果待传输的文件容量大于预先设定M，且小于预先设定的N时，确定该待传输的文件为中等文件，将该待传输的文件的大小、文件名以及文件类型等信息写入到中等文件列表信息中指定位置。较佳地，本发明实施例这里将第一容量阈值设置为1M，第二容量阈值设置为50M。较佳地，为保证采集到的样本数据的准确性，在采集到的系统资源使用情况信息中，确定是否存在对预测有影响的不良信息，如果确定存在不良信息，则对确定出的不良信息进行替换处理，并将替换处理后的系统资源使用情况信息作为实际采集到的系统资源使用情况信息。具体地，在采集到的系统资源使用情况信息中，为减轻样本数据中不良信息对资源预测的影响，需要对采集到的系统资源使用情况信息进行预处理，本发明实施例一这里采用滤波法对在上一规定时长内每个预设时间点上分别采集到的资源使用情况信息进行预处理，其处理过程如下:步骤一:计算在该预设时间点上采集到的资源使用情况信息的第一均值和第二均值，所述第一均值是指在与该预设时间点相邻的前一预设时间点上和后一预设时间点上采集到的信息的平均值，所述第二均值是指在已经过去的规定天数中在该预设时间点采集到的信息的平均值。步骤二:在计算得到的第一均值和第二均值与该预设时间点上采集的信息的差值均分别大于预设的第一阈值时，确定在该预设时间点上采集到的信息为不良信息。较佳地，为保证预测结果的精准性，如果采用上述步骤步骤一 步骤二确定出某一预设时间点上采集到的信息是不良信息时，则需要将在该预设时间点上采集到的信息，替换为采用上述步骤一 步骤二中计算得到的第一均值和第二均值的平均值。步骤12，根据采集到的每个系统资源使用情况信息，建立用以预测以当前时间点为基准的下一规定时长内至少一个预设时间点上的系统资源使用情况信息的预测模型。步骤13，根据建立的预测模型预测得到的系统资源使用情况信息，针对预测得到的每个预设时间点上的系统资源使用情况信息，分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的节点间通道数和节点间通道传输速率。
具体实施方式
为，针对预测得到的每个预设时间点上的系统资源使用情况信息，分别执行:步骤一:将预设的第二阈值与预测得到的该预设时间点上的资源使用情况信息做相关运算，得到第一相关值，并将预测得到的该预设时间点上的信息与预设的第三阈值做相关运算，得到第二相关值。其中，第二阈值与第三阈值的大小可以任意设定，较佳地，本发明实施例一这里设定第二阈值小于第三阈值。其中，计算第一相关值的方法可以但不限于采用下述两种方式:第一种方式:将预先设定的第二阈值与预测得到的该预设时间点上的资源使用情况信息相减，然后将得到的差值作为第一相关值。第二种方式:将预先设定的第二阈值与预测得到的该预设时间点上的信息的差值除以第二阈值，得到第一相关值。其中，计算第二相关值的方法可以但不限于采用下述两种方式:第一种方式:将预测得到的该预设时间点上的信息与预先设定的第三阈值做减法，然后将得到的差值作为第二相关值。第二种方式:将预测得到的该预设时间点上的信息与预设的第三阈值的差值除以第三阈值，得到第二相关值。步骤二:将得到的第一相关值与预设的第一差值调整量的乘积除以预设的浮动百分比，得到第一调整值；并将得到的第二相关值与预设的第二差值调整量的乘积除以所述浮动百分比，得到第二调整值。其中，预先设定的浮动百分比，既不能过大，也不能过小，如果设置的过大，则会导致对系统资源使用情况信息的变化不十分敏感，容易使得在网络出现拥塞后才会进行调整，反之，如果设置的过小，则会使得分布式系统在文件传输过程中调整的比较频繁，较佳地，根据机器硬件配置和网络的传输带宽，当CPU偏离预设的第三阈值超过5 %时，按照经验，应该将节点间的传输通道减少2个，节点间通道传输速率应该降低3%，如果CPU低于第二阈值5%时，应该将节点间的传输通道增加I个，节点间通道传输速率应该提高4%，所以本发明实施例一这里将浮动百分比设置为5 10%的区间内，即可以选择5 % 10 %区间中的任一数值。步骤三:将得到的第一调整值和第二调整值做求和运算。
可选地，在执行步骤三之前，还可以对得到的第一调整值和/或第二调整值进行校验处理；根据校验结果，在确定第一调整值和/或第二调整值为不合理取值时，将第一调整值和/或第二调整值设置为O。较佳地，本发明实施例一这里对得到的第一调整值和第二调制值均进行校验处理。步骤四:根据针对每个预设时间点上的系统资源使用情况信息，分别得到的第一调整值和第二调整值做求和运算得到的结果，得到调整值矩阵。步骤五:根据得到的调整值矩阵，确定在该预设时间点上传输文件时所需的节点间通道数和传输速率。
具体实施方式
为:A，对得到的调整值矩阵进行分析，分别确定在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列，可以但不限于采用下述几种方式:第一种方式，对得到的调整值矩阵进行分析，分别选取调整值矩阵中每一行的最小值作为在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列。第二种方式，对得到的调整值矩阵进行分析，将每一行的数据相加所得到的和值作为在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列。第三种方式，对得到的调整值矩阵进行分析，分别选取调整值矩阵中每一行的最大值作为在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列。第四种方式，对得到的调整值矩阵进行分析，将每一行的数据相加求取平均值，将得到的平均值作为在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列。较佳地，本发明实施例一这里为保证调整的幅度比较小，因此使用第一种方式，即分别选取调整值矩阵中每一行的最小值作为在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列。B，根据确定出的调整值序列，分别按照下述公式I和公式2确定以该预设时间点为基准，在下一规定时长内的至少一个预设时间点上传输文件时所需的节点间通道数和传输速率:通道数i =该预设时间点的通道数+Kli公式I传输速率i =该预设时间点的传输速率+K2i公式2其中，上述公式I和公式2中，i是以该预设时间点为基准的下一规定时长内的各预设时间点，所述Kli是确定出的对应该预设时间点的节点间通道数调整值序列，所述K2i是确定出的对应该预设时间点的传输速率调整值序列，i为在每一规定时长内选择的预设时间点的数量。步骤14，按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。其中，可以直接将预测得到的对应该时间点的节点间通道数和节点间通道传输速率作为在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。—种较佳的实现方式，为了保证预测的准确性，在到达一个时间点时，采集该时间点上的系统资源实际使用情况信息，将采集到的该时间点上的系统资源使用情况信息，与预测得到的对应该时间点的系统资源使用情况是否一致，在一致时，将确定的对应该时间点的节点间通道数和节点间通道传输速率，作为在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率，在不一致时，根据采集到的该时间点上的系统资源使用情况信息，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。并重新按照当前实际采集到的该时间点上的系统资源使用情况信息对后续时间点进行修正。步骤15，基于实际用于传输文件的节点间通道数和节点间通道传输速率，对用于传输文件的节点间通道数和节点间通道的传输速率进行调整。例如增加或者减少节点间的通道数目等。步骤16，使用调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输。
具体实施方式
为:获得待传输的文件，根据获得的待传输的文件的容量大小确定该待传输的文件是大文件、中等文件还是小文件，在获得的文件容量大于预设的第一容量阈值、且系统资源的占用大于预设的第四阈值时，确定该待传输的文件属于大文件。如果此时分布式系统系能较差，例如CPU、I/O、内存等系统资源使用情况已经超过一定的数值，则此时将获得的待传输的文件做分片处理，得到多个分片文件，使用调整后的相应数量的节点间通道和相应的传输速率，分别传输各分片文件，相应地，在接收端将接收到的分片文件合成为一个文件。在获得的文件容量小于预设的第二容量阈值、和/或系统资源的占用大于预设的第四阈值时，确定该待传输的文件是小文件，如果此时分布式系统性能较差，则在调整后的具备相应传输速率的相应数量的节点间通道中，选择一个正在传输文件的通道；并使用选择的通道传输获得的文件。进一步地，如果分布式系统中的网络传输资源处于较差的情况下，还可以做特殊处理，例如在传输下一个数据包的时候，将该数据包启用压缩处理，然后将压缩后的数据包使用调整后的节点间的通道数和节点间通道的传输速率进行传输。并在接收端启用解压缩技术，将接收到的数据包做解压缩处理。使用本发明实施例一这里提出的基于分布式系统架构的文件传输方法，能够不受人工干预以及减少节点上的资源负载，并可以灵活的根据系统资源使用情况信息对节点间的传输通道、传输速率进行动态的调整。分布式系统由各节点共同组成，如图3所示，本发明实施例还提出一种基于分布式系统架构的文件传输装置，该装置可以集成在组成分布式系统的各节点中，也可以作为独立的装置设置在分布式系统中，较佳地，本发明实施例一这里将该装置集成在组成分布式系统的各节点中，其结构组成具体如图4所示，包括:信息采集模块401，用于在接收到文件传输指令后，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息。预测模块402，用于根据信息采集模块401采集到的每个系统资源使用情况信息，预测以当前时间点为基准的下一规定时长内至少一个预设时间点上的系统资源使用情况信息。控制模块403，用于根据预测模块402预测得到的系统资源使用情况信息，分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的节点间通道数和节点间通道传输速率。其中，控制模块403，包括:相关值计算子模块，用于针对预测模块402预测得到的每个预设时间点上的系统资源使用情况信息，将预设的第二阈值与预测得到的该预设时间点上的信息做相关运算，得到第一相关值，并将预测模块402预测得到的该预设时间点上的信息与预设的第三阈值做相关运算，得到第二相关值。具体地，相关值计算子模块，具体用于将预设的第二阈值与预测得到的该预设时间点上的信息的差值除以第二阈值，得到第一相关值；并将预测得到的该预设时间点上的信息与预设的第三阈值的差值除以第三阈值，得到第二相关值。调整值计算子模块，用于将相关值计算子模块得到的第一相关值与预设的第一差值调整量的乘积除以预设的浮动百分比，得到第一调整值；并将相关值计算子模块得到的第二相关值与预设的第二差值调整量的乘积除以所述浮动百分比，得到第二调整值；以及将得到的第一调整值和第二调整值做求和运算；根据针对每个预设时间点上的系统资源使用情况信息，分别得到的第一调整值和第二调整值做求和运算得到的结果，得到调整值矩阵。其中，调整值计算子模块，还用于对得到的第一调整值和/或第二调整值进行校验处理；根据校验结果，在确定第一调整值和/或第二调整值为不合理取值时，将第一调整值和/或第二调整值设置为O。确定子模块，用于根据调整值计算子模块得到的调整值矩阵，确定在该预设时间点上传输文件时所需的节点间通道数和传输速率。具体地，确定子模块，具体用于在调整值计算子模块得到的调整值矩阵中，分别确定在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列；根据确定出的调整值序列，分别按照下述公式确定以该预设时间点为基准，在下一规定时长内的至少一个预设时间点上传输文件时所需的节点间通道数和传输速率:通道数i =该预设时间点的通道数+Kli ;传输速率1 =该预设时间点的传输速率+K2i ；所述i是以该预设时间点为基准的下一规定时长内的各预设时间点，所述Kli是确定出的对应该预设时间点的节点间通道数调整值序列，所述K2i是确定出的对应该预设时间点的传输速率调整值序列，i为在每一规定时长内选择的预设时间点的数量。第一确定模块404，用于按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据控制模块403确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。具体地，第一确定模块404，具体用于采集该时间点上的系统资源使用情况信息；比较采集到的该时间点上的系统资源使用情况信息，与确定的对应该时间点的节点间通道数和节点间通道传输速率是否一致；在一致时，将确定的对应该时间点的节点间通道数和节点间通道传输速率，作为在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率；在不一致时，根据采集到的该时间点上的系统资源使用情况信息，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。调整模块405,用于基于第一确定模块404确定出的实际用于传输文件的节点间通道数和节点间通道传输速率，对用于传输文件的节点间通道数和节点间通道的传输速率进行调整。传输模块406，用于使用调整模块405调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输。具体地，传输模块，具体用于获得待传输的文件；在获得的文件容量大于预设的第一容量阈值、且系统资源的占用大于预设的第四阈值时，将获得的文件做分片处理，得到多个分片文件；使用调整模块调整后的相应数量的节点间通道和相应的传输速率，分别传输各分片文件，并在接收端将接收到的分片文件合成为一个文件；在获得的文件容量小于预设的第二容量阈值、和/或系统资源的占用大于预设的第四阈值时，在调整模块调整后的具备相应传输速率的相应数量的节点间通道中，选择一个正在传输文件的通道；并使用选择的通道传输获得的文件。上述基于分布式系统架构的文件传输装置，还包括:第二确定模块407，用于在信息采集模块401采集到的系统资源使用情况信息中，确定是否存在对预测有影响的不良信息。具体地，第二确定模块407具体用于针对在上一规定时长内每个预设时间点上分别采集到的资源使用情况信息，分别执行:计算在该预设时间点上采集到的资源使用情况信息的第一均值和第二均值，所述第一均值是指在与该预设时间点相邻的前一预设时间点上和后一预设时间点上采集到的信息的平均值，所述第二均值是指在已经过去的规定天数中在该预设时间点采集到的信息的平均值；在计算得到的第一均值和第二均值与该预设时间点上采集的信息的差值均分别大于预设的第一阈值时，确定在该预设时间点上采集到的信息为不良信息。替换模块408，用于对第二确定401模块确定出的不良信息进行替换处理，并将替换处理后的系统资源使用情况信息作为实际采集到的系统资源使用情况信息。具体地，替换模块408具体用于将在该预设时间点上采集到的信息，替换为计算得到的第一均值和第二均值的平均值。其中，本发明实施例一这里提出的基于分布式系统架构的文件传输装置，其结构组成的每个模块，可以位于分布式系统架构中各节点组成的任一模块中，也可以单独设置在分布式系统中，较佳地，本发明实施例这里，采用将该装置的各模块组成集成于分布式系统各节点中的模块中。实施例二进一步地，在上述实施例一的基础上，本发明实施例二这里进一步阐述基于分布式系统架构的文件传输方法，具体过程如下:步骤一，接收用户或者前端发来的文件传输指令，该传输指令中携带待传输文件的数目、文件类型以及与传输的目的地址相对应的口令信息。其中，传输的目的地址对应的口令信息，可以但不限于包括分布式系统架构中目的节点的名称以及密码等信息。例如，接收到的文件传输指令是将该文件从节点I传输至节点2中，则传输指令中需要携带目的节点2的名称以及密码等信息。步骤二，根据接收到的文件传输指令，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息作为样本数据，将采集到的样本数据进行聚类分析预测。其中，本发明实施例二这里以采集CPU、内存、I/O、以及网络资源4个数据作为系统资源使用情况信息。较佳地，本发明实施例二这里预测的是未来一个小时内的系统资源使用情况信息，由于对于任一时刻来说，其后一时刻的资源变化情况和前一时刻的资源变化情况具有相关性，因此，本发明实施例二这里以当前时间点位基准，分别采集与当前时间点相关的前6个预设时间点上的系统资源使用情况信息作为样本数据。假设基准时间点为j，则分别采集Xl = j-5分钟、X2 = j-ΙΟ分钟、X3 = j-60分钟以及X4 =昨天同一 j时刻和X5 =一周前同一 j时刻、X6 =—月前同一 j时刻的系统资源使用情况信息作为采集到的样本数据如图5所示。为了保证预测的准确性，需要对采集到的6个样本数据进行预处理，这里以对X4时刻采集到的样本数据为例， 将采集到的X4时刻的资源使用情况做横向和纵向比较，即把X4时刻的资源使用情况信息和采集到的X3时刻、X5时刻资源使用情况信息的平均值(即对应上述实施例一中的第一均值)做比较，同时将X4时刻的资源使用情况与前两天的相同时刻的资源使用情况信息的平均值(即对应上述实施例一中的第二均值)进行比较，当与二者的比较均大于预先设定的第一阈值Ql时，确定在X4时刻采集到的信息为不良信息，则为了保证预测的准确性，将X4时刻采集到的信息替换为上述经过计算得到的第一均值和第二均值的平均值。步骤三，根据采集到的6个时刻对应的系统资源使用情况信息，建立预测模型，如图5所示，输入采集到的样本数据，得到预测结果。一种较佳地实现方式，本发明实施例二这里以j时刻为基准，预测未来一小时内，每5分钟作为一个预测点为例来详细阐述。输入6个样本数据以后，将会输出12个预设点的数据。即预测得到的结果是一个12行4列的矩阵Zu，其中i的取值为I 12，j的取值为I 4。该矩阵的行表示每个时间点，列分别表示CPU、内存、I/O、以及网络资源4个系统资源使用情况信息。本发明实施例二这里以输出的
权利要求
1.一种基于分布式系统架构的文件传输方法，其特征在于，包括: 在接收到文件传输指令后，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息； 根据采集到的每个系统资源使用情况信息，预测以当前时间点为基准的下一规定时长内至少一个预设时间点上的系统资源使用情况信息； 根据预测得到的系统资源使用情况信息，分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的节点间通道数和节点间通道传输速率； 按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率； 基于实际用于传输文件的节点间通道数和节点间通道传输速率，对用于传输文件的节点间通道数和节点间通道的传输速率进行调整；并 使用调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输。
2.如权利要求1所述的方法，其特征在于，还包括: 在采集到的系统资源使用情况信息中，确定是否存在对预测有影响的不良信息；以及对确定出的不良信息进行替换处理，并将替换处理后的系统资源使用情况信息作为实际采集到的系统资源使用情况信息。
3.如权利要求2所述的方法，其特征在于，在采集到的系统资源使用情况信息中，确定是否存在对预测有影响的不良信息，包括: 针对在上一规定时长内每个预设时间点上分别采集到的资源使用情况信息，分别执行: 计算在该预设时间点上采集到的资源使用情况信息的第一均值和第二均值，所述第一均值是指在与该预设时间点相邻的前一预设时间点上和后一预设时间点上采集到的信息的平均值，所述第二均值是指在已经过去的规定天数中在该预设时间点采集到的信息的平均值； 在计算得到的第一均值和第二均值与该预设时间点上采集的信息的差值均分别大于预设的第一阈值时，确定在该预设时间点上采集到的信息为不良信息。
4.如权利要求3所述的方法，其特征在于，对确定出的不良信息进行替换处理，包括: 将在该预设时间点上采集到的信息，替换为计算得到的第一均值和第二均值的平均值。
5.如权利要求1所述的方法，其特征在于，分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的节点间通道数和节点间通道传输速率，包括: 针对预测得到的每个预设时间点上的系统资源使用情况信息，分别执行: 将预设的第二阈值与预测得到的该预设时间点上的信息做相关运算，得到第一相关值，并将预测得到的该预设时间点上的信息与预设的第三阈值做相关运算，得到第二相关值； 将得到的第一相 关值与预设的第一差值调整量的乘积除以预设的浮动百分比，得到第一调整值；并将得到的第二相关值与预设的第二差值调整量的乘积除以所述浮动百分比，得到第二调整值；将得到的第一调整值和第二调整值做求和运算； 根据针对每个预设时间点上的系统资源使用情况信息，分别得到的第一调整值和第二调整值做求和运算得到的结果，得到调整值矩阵； 根据得到的调整值矩阵，确定在该预设时间点上传输文件时所需的节点间通道数和传输速率。
6.如权利要求5所述的方法，其特征在于，将预设的第二阈值与预测得到的该预设时间点上的信息做相关运算，得到第一相关值，包括: 将预设的第二阈值与预测得到的该预设时间点上的信息的差值除以第二阈值，得到第一相关值； 将预测得到的该预设时间点上的信息与预设的第三阈值做相关运算，得到第二相关值，包括: 将预测得到的该预设时间点上的信息与预设的第三阈值的差值除以第三阈值，得到第二相关值。
7.如权利要求5所述的方法 ，其特征在于，根据得到的调整值矩阵，确定在该预设时间点上传输文件时所需的节点间通道数和传输速率，包括: 在得到的调整值矩阵中，分别确定在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列； 根据确定出的调整值序列，分别按照下述公式确定以该预设时间点为基准，在下一规定时长内的至少一个预设时间点上传输文件时所需的节点间通道数和传输速率: 通道数i =该预设时间点的通道数+Kli ； 传输速率i =该预设时间点的传输速率+K2i ； 所述i是以该预设时间点为基准的下一规定时长内的各预设时间点，所述Kli是确定出的对应该预设时间点的节点间通道数调整值序列，所述K2i是确定出的对应该预设时间点的传输速率调整值序列，i为在每一规定时长内选择的预设时间点的数量。
8.如权利要求5所述的方法，其特征在于，将得到的第一调整值和第二调整值做求和运算之前，还包括: 对得到的第一调整值和/或第二调整值进行校验处理； 根据校验结果，在确定第一调整值和/或第二调整值为不合理取值时，将第一调整值和/或第二调整值设置为O。
9.如权利要求1所述的方法，其特征在于，根据确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率，包括: 采集该时间点上的系统资源使用情况信息； 比较采集到的该时间点上的系统资源使用情况信息，与确定的对应该时间点的节点间通道数和节点间通道传输速率是否一致； 在一致时，将确定的对应该时间点的节点间通道数和节点间通道传输速率，作为在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率； 在不一致时，根据采集到的该时间点上的系统资源使用情况信息，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。
10.如权利要求1所述的方法，其特征在于，使用调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输，包括: 获得待传输的文件； 在获得的文件容量大于预设的第一容量阈值、且系统资源的占用大于预设的第四阈值时，将获得的文件做分片处理，得到多个分片文件； 使用调整后的相应数量的节点间通道和相应的传输速率，分别传输各分片文件，并在接收端将接收到的分片文件合成为一个文件； 在获得的文件容量小于预设的第二容量阈值、和/或系统资源的占用大于预设的第四阈值时，在调整后的具备相应传输速率的相应数量的节点间通道中，选择一个正在传输文件的通道；并 使用选择的通道传输获得的文件。
11.一种基于分布式系统架构的文件传输装置，其特征在于，包括: 信息采集模块，用于在接收到文件传输指令后，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息； 预测模块，用于根据信息采集模块采集到的每个系统资源使用情况信息，预测以当前时间点为基准的下一规定时长内至少一个预设时间点上的系统资源使用情况信息； 控制模块，用于根据分析模块预测得到的系统资源使用情况信息，分别确定在下一规定时长内至少一个预 设时间点上传输文件时所需的节点间通道数和节点间通道传输速率；第一确定模块，用于按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据控制模块确定的对应该时间点的节点间通道数和节点间通道传输速率，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率；调整模块，用于基于第一模块确定出的实际用于传输文件的节点间通道数和节点间通道传输速率，对用于传输文件的节点间通道数和节点间通道的传输速率进行调整； 传输模块，用于使用调整模块调整后的相应数量的节点间通道和相应的传输速率，对文件继续进行传输。
12.如权利要求11所述的装置，其特征在于，还包括: 第二确定模块，用于在信息采集模块采集到的系统资源使用情况信息中，确定是否存在对预测有影响的不良信息； 替换模块，用于对第二确定模块确定出的不良信息进行替换处理，并将替换处理后的系统资源使用情况信息作为实际采集到的系统资源使用情况信息。
13.如权利要求12所述的装置，其特征在于，所述第二确定模块，具体用于针对在上一规定时长内每个预设时间点上分别采集到的资源使用情况信息，分别执行:计算在该预设时间点上采集到的资源使用情况信息的第一均值和第二均值，所述第一均值是指在与该预设时间点相邻的前一预设时间点上和后一预设时间点上采集到的信息的平均值，所述第二均值是指在已经过去的规定天数中在该预设时间点采集到的信息的平均值；在计算得到的第一均值和第二均值与该预设时间点上采集的信息的差值均分别大于预设的第一阈值时，确定在该预设时间点上采集到的信息为不良信息。
14.如权利要求13所述的装置，其特征在于，所述替换模块，具体用于将在该预设时间点上采集到的信息，替换为计算得到的第一均值和第二均值的平均值。
15.如权利要求11所述的装置，其特征在于，所述控制模块，包括: 相关值计算子模块，用于针对预测模块预测得到的每个预设时间点上的系统资源使用情况信息，将预设的第二阈值与预测得到的该预设时间点上的信息做相关运算，得到第一相关值，并将预测模块预测得到的该预设时间点上的信息与预设的第三阈值做相关运算，得到第二相关值； 调整值计算子模块，用于将相关值计算子模块得到的第一相关值与预设的第一差值调整量的乘积除以预设的浮动百分比，得到第一调整值；并将相关值计算子模块得到的第二相关值与预设的第二差值调整量的乘积除以所述浮动百分比，得到第二调整值；以及将得到的第一调整值和第二调整值做求和运算；根据针对每个预设时间点上的系统资源使用情况信息，分别得到的第一调整值和第二调整值做求和运算得到的结果，得到调整值矩阵； 确定子模块，用于根据调整值计算子模块得到的调整值矩阵，确定在该预设时间点上传输文件时所需的节点间通道数和传输速率。
16.如权利要求15所述的装置，其特征在于，所述相关值计算子模块，具体用于将预设的第二阈值与预测得到的该预设时间点上的信息的差值除以第二阈值，得到第一相关值；并将预测得到的该预设时间点上的信息与预设的第三阈值的差值除以第三阈值，得到第二相关值。
17.如权利要求15所述的装置，其特征在于，所述确定子模块，具体用于在调整值计算子模块得到的调整值矩阵中，分别确定在该预设时间点上传输文件时所需的节点间通道数调整值序列和传输速率调整值序列；根据确定出的调整值序列，分别按照下述公式确定以该预设时间点为基准，在下一规定时长内的至少一个预设时间点上传输文件时所需的节点间通道数和传输速率: 通道数i =该预设时间点的通道数+Kli ； 传输速率i =该预设时间点的传输速率+K2i ； 所述i是以该预设时间点为基准的下一规定时长内的各预设时间点，所述Kli是确定出的对应该预设时间点的节点间通道数调整值序列，所述K2i是确定出的对应该预设时间点的传输速率调整值序列，i为在每一规定时长内选择的预设时间点的数量。
18.如权利要求15所述的装置，其特征在于，所述调整值计算子模块，还用于对得到的第一调整值和/或第二调整值进行校验处理；根据校验结果，在确定第一调整值和/或第二调整值为不合理取值时，将第一调整值和/或第二调整值设置为O。
19.如权利要求11所述的装置，其特征在于，所述第一确定模块，具体用于采集该时间点上的系统资源使用情况信息；比较采集到的该时间点上的系统资源使用情况信息，与确定的对应该时间点的节点间通道数和节点间通道传输速率是否一致；在一致时，将确定的对应该时间点的节点间通道数和节点间通道传输速率，作为在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率；在不一致时，根据采集到的该时间点上的系统资源使用情况信息，确定在该时间点上实际用于传输文件的节点间通道数和节点间通道传输速率。
20.如权利要求11所述的装置，其特征在于，所述传输模块，具体用于获得待传输的文件；在获得的文件容量大于预设的第一容量阈值、且系统资源的占用大于预设的第四阈值时，将获得的文件做分片处理，得到多个分片文件；使用调整模块调整后的相应数量的节点间通道和相应的传输速率，分别传输各分片文件，并在接收端将接收到的分片文件合成为一个文件；在获得的文件容量小于预设的第二容量阈值、和/或系统资源的占用大于预设的第四阈值时，在调整模块调整后的具备相应传输速率的相应数量的节点间通道中，选择一个正在传输文件的通道； 并使用选择的通道传输获得的文件。
全文摘要
本发明公开了一种基于分布式系统架构的文件传输方法及装置，包括在接收到文件传输指令后，分别采集以当前时间点为基准的上一规定时长内至少一个预设时间点上的系统资源使用情况信息；预测下一规定时长内系统资源使用情况信息；然后分别确定在下一规定时长内至少一个预设时间点上传输文件时所需的通道数和传输速率；按照接收到的文件传输指令，在下一规定时长内传输文件过程中，每到达一个预设时间点，根据确定的节点间通道数和传输速率，确定实际用于传输文件的通道数和传输速率进行调整；使用调整后的相应数量的通道和传输速率，继续传输文件。使用本发明提出的技术方案，能够较好地提高分布式系统的数据传输速率，并节约系统的处理资源。
文档编号H04L29/08GK103179171SQ201110441338
公开日2013年6月26日 申请日期2011年12月26日 优先权日2011年12月26日
发明者朱祥磊, 陈丕海, 赵建福, 李世冲, 曹璐 申请人:中国移动通信集团山东有限公司