专利名称:一种云存储资源模糊动态分配方法
技术领域:
本发明涉及一种计算机云存储应用技术领域,具体地说是设计一种云存储资源模糊动态分配机制,优化云资源存取效率,均衡存储设备负载,提高管理能力的一种云存储资源模糊动态分配方法。
背景技术:
随着web 2.0技术的发展和成熟,大量数据以指数级增长的方式出现在互联网上,传统的存储方式为应对这种信息的爆炸式增长速度,需购买大量的存储设备,付出巨大的维护和管理代价,仍不能有效存储和管理这些资源。云存储技术的出现能很好地解决这个问题。云存储通过集群应用、网格技术或分布式文件系统等功能,将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能。云存储系统中所有存储设备对用户来说都是完全透明的,任何经过授权的用户只需通过云存储提供商提供的接口,就能对云存储系统进行数据访问,实现数据的读、写操作。使用云存储,用户前期不必对存储设备进行投资,不需关心设备的型号、传输协议,更不必对存储设备进行状态监测,管理和维护。云存储采用按需付费模式,用户仅对自己使用的部分付费。 作为海量数据管理的一种优良解决方案,云存储应具有对海量存储的可管理性、性能可扩展性、容量可扩展性及安全性等特征。一种优良的云存储资源分配机制必需满足以上特征的,同时为提高存储的效率,存储管理系统必须具有动态实时均衡各物理存储设备的能力, 否则将会导致部分存储设备过载,部分欠载。本发明提出的云存储资源模糊动态分配机制就是一种优良的分配机制。
发明内容
本发明的目的是提供一种云存储资源模糊动态分配方法。本发明的目的是按以下方式实现的,通过设计一种新的云存储资源模糊动态分配机制,动态均衡各云物理存储设备的使用,提高云端资源存取效率,假设有A、B、C、D四台存储设备,动态分配步骤如下
1)存储设备A接收用户存储请求,并审核用户权限,包括是否经过授权、要求存储空间是否大于剩余的用户购买的存储空间、用户要求的I/O速度和安全性是否高于用户所购买的服务协议,若审核通过,将用户存储请求信息发送给存储设备C,否则,拒绝该请求,要求用户修改请求信息;
2)存储设备B实时检测各存储设备状态,包括剩余存储空间、存储率、I/O速度、网络带宽、网络延迟、设备安全性,监测过程采用“推”和“拉”两种模式的结合,存储设备B周期性从各存储设备“拉”其状态信息,当在存储设备有触发事件发生时将其状态信息主动“推” 给存储设备B,这里的触发事件指是否有新的存储设备加入或退出;是否存储设备存储率超过某一阈值;存储空间大小是否发生变化;
3)存储设备C接收到存储设备A发送来的用户请求信息后,向存储设备B请求各存储设备状态信息,根据机器学习技术,以各存储设备状态信息和用户请求信息为输入,计算出各存储设备适合存储该请求资源的模糊隶属度大小并选择模糊隶属度大的若干设备作为输出,通知被选中的存储设备分配存储空间给用户,用户上传资源采用并行上传方式,各存储设备同时存储该资源,存储完成后,模糊隶属度最大的设备中的资源标记为主资源,其它的标记为备份;
4)存储设备D保存所有元数据,包括文件名、文件对应主资源存储位置,备份数,备份资源存储位置,当用户请求读写数据时,用户先和存储设备D联络,存储设备D告知用户应该和哪些存储设备联系,随后用户直接与存储设备连接,进行读写操作,避免存储设备D成为瓶颈,用户读写采用并行下载方式,提高读写速度,且能有效保持数据一致性;
5)对于模糊隶属度的计算,主要考虑存储设备的剩余存储空间和存储率,网络延迟和网络带宽作为次要考虑,前提为存储设备满足用户请求中的I/O速度和设备安全性要求,假定存储设备i的剩余存储空间、存储率、网络延迟和网络带宽分别表示为 RemainSpace (i), StorageRate (i), Delay (i)和 BandWidth (i),用户请求存储空间表示为 RequestSpace,平均存储率表示为AverageStoragerate,则各存储设备的模糊隶属度计算如下
权利要求
1. 一种云存储资源模糊动态分配方法,其特征在于假设有A、B、C、D四台存储设备, 动态分配步骤如下1)存储设备A接收用户存储请求,并审核用户权限,包括是否经过授权、要求存储空间是否大于剩余的用户购买的存储空间、用户要求的I/O速度和安全性是否高于用户所购买的服务协议,若审核通过,将用户存储请求信息发送给存储设备C,否则,拒绝该请求,要求用户修改请求信息;2)存储设备B实时检测各存储设备状态,包括剩余存储空间、存储率、I/O速度、网络带宽、网络延迟、设备安全性,监测过程采用“推”和“拉”两种模式的结合,存储设备B周期性从各存储设备“拉”其状态信息,当在存储设备有触发事件发生时将其状态信息主动“推” 给存储设备B,这里的触发事件指是否有新的存储设备加入或退出;是否存储设备存储率超过某一阈值;存储空间大小是否发生变化;3)存储设备C接收到存储设备A发送来的用户请求信息后,向存储设备B请求各存储设备状态信息,根据机器学习技术,以各存储设备状态信息和用户请求信息为输入,计算出各存储设备适合存储该请求资源的模糊隶属度大小并选择模糊隶属度大的若干设备作为输出,通知被选中的存储设备分配存储空间给用户,用户上传资源采用并行上传方式,各存储设备同时存储该资源,存储完成后,模糊隶属度最大的设备中的资源标记为主资源,其它的标记为备份;4)存储设备D保存所有元数据,包括文件名、文件对应主资源存储位置,备份数,备份资源存储位置,当用户请求读写数据时,用户先和存储设备D联络,存储设备D告知用户应该和哪些存储设备联系,随后用户直接与存储设备连接,进行读写操作,避免存储设备D成为瓶颈,用户读写采用并行下载方式,提高读写速度,且能有效保持数据一致性;5)对于模糊隶属度的计算,主要考虑存储设备的剩余存储空间和存储率,网络延迟和网络带宽作为次要考虑,前提为存储设备满足用户请求中的I/O速度和设备安全性要求,假定存储设备i的剩余存储空间、存储率、网络延迟和网络带宽分别表示为 RemainSpace (i), StorageRate (i), Delay (i)和 BandWidth (i),用户请求存储空间表示为 RequestSpace,平均存储率表示为AverageStoragerate,则各存储设备的模糊隶属度计算如下
全文摘要
本发明提供一种云存储资源模糊动态分配方法,本发明通过实时检测云中各存储设备状态信息,并依据云存储状态信息与用户存储请求资源参数,实现云存储资源模糊动态均衡分配,提高云存储系统的效率。通过学习、计算各存储资源的命中模糊可能性,将用户数据依据存储及备份数量选择相应的物理存储设备,并对此进行登记。该存储分配机制能有效动态均衡各存储设备负载,优化资源存取效率。
文档编号H04L29/08GK102404399SQ20111036664
公开日2012年4月4日 申请日期2011年11月18日 优先权日2011年11月18日
发明者于治楼, 张化祥, 陈川 申请人:浪潮电子信息产业股份有限公司