一种用于存储系统的负载均衡控制方法
【技术领域】
[0001] 本发明涉及一种用于存储系统的负载均衡控制方法
【背景技术】
[0002] 随着越来越多的智能设备接入互联网，导致网络上的数据量越来越大。到目前为 止，线上数据还以摩尔定律的方式急速增长，因此必然为数据的存储和管理带来极大的挑 战。分布式存储技术是目前比较流行的解决方案，通过融合集群技术、分布式技术和文件系 统等功能，实现众多存储设备之间的协同工作，对外接入不同设备提供统一的访问模式。分 布式存储系统一般由物理存储层、基础平台管理层、应用接口层和用户访问层组成，其中基 础管理层是存储核心的部分。基础管理层主要负责数据储存、冗余备份、数据一致性、负载 均衡、高可用等功能，其中节点的负载是很重要的一个模块。所谓的负载不均衡是指各个存 储节点之间的数据分布不平衡，节点之间的负载不均衡必然会影响整个存储系统的系统吞 吐量和响应时间、。
[0003] 高效地解决大规模存储节点之间负载均衡是一个比较困难的问题，当前的主 流技术包括基于分布式技术的动态数据存放和数据带条化技术。比如：文献"Ganger G R et al. Disk Subsystem Load Balancing:Disk striping vs Conventional data placement[C]. Proceedings of the 26th Hawaii International Conference on System Sciences, LosAlamitos: IEEE CS Press, 1993:40-49" 认为传统的动态数据策略容易造 成磁盘容量倾斜，因为它要求在快速改变访问模式下被迫接受原子数据，从而导致负载 失衡，最后采用磁盘带条化作为辅助手段；文献"R. J. Honicky, E. L. Miller. Replication Under Scalable Hashing:A Family of Algorithms for Scalable Decentralized Data Distribution.thel8th International Parallel and Distributed Processing Symposium(IPDPS2004), Santa Fe, NM，April2004" 提出了 RUSH 族算法，基于去中心化的数 据分布，主要针对文件系统在增加或删除数据时系统出现负载失衡的情况，不同的RUSH算 法变种有不同的特征，分别用来解决不同的情况；文献"倪云竹，吕光宏，黄彦辉.用遗传算 法解决基于分条技术的磁盘负载均衡问题[J].计算机学报"提出了采用遗传算法来解决基 于带条化技术的磁盘动态负载均衡策略，主要采用了带条化技术来划分文件以及为实现负 载均衡的文件分配算法，并且对磁盘的热度进行分析，最终根据遗传算法来得到最佳解决 方案；文献"董欢庆，李战怀.基于遗传算法的RAID磁盘阵列中磁盘负载均衡的方法[J]. 计算机工程与应用"对RAID磁盘阵列的逻辑磁盘的10特征进行分析，在此基础上又根据逻 辑磁盘和物理磁盘之间的映射和负载情况进行分析，最后从存储节点的内部进行负载均衡 处理，提出一种快速的存储节点内部数据迀移方案。
[0004] 上述文献采用的方法能够实现一定的作用，但都难以实现存储节点的高效负载均 衡，特别是难以降低频繁访问节点的负载。
【发明内容】
[0005] 本发明的目的就在于为了解决上述问题而提供一种能降低频繁访问节点负载的 用于存储系统的负载均衡控制方法。
[0006] 本发明通过以下技术方案来实现上述目的：
[0007] -种用于存储系统的负载均衡控制方法，包括以下步骤：
[0008] (1)根据系统模型物理节点和虚拟节点的映射特点，采用多叉树结构编码，整个系 统结构对应一棵树，基因位对应根节点到叶子节点路径上所有的节点，根节点即第零层定 义为系统，第一层表示物理节点，第二层表示磁盘，第三层对应磁盘分块，第四层对应虚拟 节点；
[0009] (2)随机生成含有若干个个体的初始种群；
[0010] (3)确定是否满足迭代结束条件，如果不满足，进入步骤（4)，如果满足则输出结 果；
[0011] ⑷根据以下公式计算每个个体的适应度：
[0012]
【主权项】
1. 一种用于存储系统的负载均衡控制方法，其特征在于：包括以下步骤： (1) 根据系统模型物理节点和虚拟节点的映射特点，采用多叉树结构编码，整个系统 结构对应一棵树，基因位对应根节点到叶子节点路径上所有的节点，根节点即第零层定义 为系统，第一层表示物理节点，第二层表示磁盘，第三层对应磁盘分块，第四层对应虚拟节 占. (2) 随机生成含有若干个个体的初始种群； (3) 确定是否满足迭代结束条件，如果不满足，进入步骤（4)，如果满足则输出结果； (4) 根据以下公式计算每个个体的适应度：
其中，F(s)适应度函数，M，N为常数，f(s)由下式确定：
其中，Gy表不任意一个物理节点中的任意一块磁盘的全局负载，表不任意一块 磁盘的平均负载，S表示整个系统的总使用量； (5) 按照轮盘赌选择方法选择下一步的个体； (6) 对选择的个体进行交叉运算； (7) 对种群的基因位进行变异处理； (8) 除去种群中适应度最小的个体，确保种群的规模，产生新的种群，并返回步骤（3)。
2. 根据权利要求1所述的用于存储系统的负载均衡控制方法，其特征在于：所述步骤 (5) 中，所述轮盘赌选择方法包括以下步骤： ① 按以下公式计算选择概率：
其中，Pi为个体i被选中遗传到下一代群体的概率，F(x，i)为个体i的适应度函数； ② 根据选择概率，将圆盘分成N个扇形，每个扇形的中心角为2JIPi，在圆盘边缘随机选 取个参考点，转动圆盘，最终参考点对应的扇形就是被选取的个体Xi; ③ 累加1^皮选取的次数； ④ 不断重复上述步骤②和③N次，可以选择出N个个体。
3. 根据权利要求1所述的用于存储系统的负载均衡控制方法，其特征在于：所述步骤 (6) 中，所述交叉运算包括以下步骤： A、从种群中选择两个交叉个体，分别表示为SJPS2; B、对于Si的任意一个物理节点，记作
，即表示物理节点、磁盘和虚拟 节点这三者的一个向量； (：、把Pi所有映射按照虚拟标号顺序依次排列，表示为Ti; D、重新建立物理节点、磁盘和虚拟节点之间的关系，把的元素按照迭代方式依次对 应到物理节点所有磁盘中。
4.根据权利要求1所述的用于存储系统的负载均衡控制方法，其特征在于：所述步骤 (7)中，所述变异是指依据变异概率将个体编码串中的某些基因值用其它基因值来替换，从 而形成一个新的个体，所述变异处理包括以下步骤： a、 根据变异概率随机的选择两个物理节点； b、 在保证虚拟节点映射位置不同的情况下，分别从这两个物理节点中选一个磁盘，将 这两个磁盘对调。
【专利摘要】本发明公开了一种用于存储系统的负载均衡控制方法，包括以下步骤：(1)采用多叉树结构编码；(2)随机生成含有若干个个体的初始种群；(3)确定是否满足迭代结束条件，如果不满足，进入步骤(4)，如果满足则输出结果；(4)计算每个个体的适应度；(5)按照轮盘赌选择方法选择下一步的个体；(6)对选择的个体进行交叉运算；(7)对种群的基因位进行变异处理；(8)除去种群中适应度最小的个体，确保种群的规模，产生新的种群，并返回步骤(3)。发明把树形编码规则应用到物理节点和虚拟节点的映射关系上，重新设计遗传算法中的交叉算子和变异算子，得出一种满足负载均衡的映射方案，明显提高了系统的吞吐量、磁盘利用率和用户访问服务质量。
【IPC分类】H04L29-08
【公开号】CN104580518
【申请号】CN201510045039
【发明人】武德安, 白铖, 吴磊, 陈鹏, 刘杰
【申请人】成都国科海博信息技术股份有限公司, 电子科技大学
【公开日】2015年4月29日
【申请日】2015年1月29日