用于异构系统的分布式存储分配的利记博彩app
【专利说明】用于异构系统的分布式存储分配 相关申请的交叉参考 本申请要求2013年3月14日提交的美国临时专利申请序列号N〇.61/784,282、题 为"异构系统的分布式存储分配（Distributed Storage Allocation for Heterogeneous Systems) "的优先权，通过引用其全部公开内容并入本文。 政府资助声明 本发明是由政府支持在空军授权的FA9550-10-10166下进行的。政府享有本发明的一 定权利。 背景 技术领域 本公开涉及与如在内容分发或无线通信中所用的网络通信和分布式网络架构的领域 相关的方法和算法。特别地，本公开提出了新的分布式存储分配技术，例如，该分布式存储 分配技术可以被用于通过包括具有异构访问概率的存储节点的分布式存储的网络进行通 信。目的是通过分布式存储来存储给定的数据对象（例如，文件），其具有成功恢复的最大 概率。数据对象可以跨越多个存储节点进行拆分和编码。假设使用适当的编码（例如，最大 距离可分（MDS)码、随机线性编码），如果访问的数据的总量是至少原始数据对象的大小， 则原始数据对象可以被恢复。 概述 根据本公开的各种实施例，在分布式存储系统中的各种存储节点可以按照其访问概率 的递减次序进行布置（例如，具有最高故障概率的节点是最后的）。在本公开中提出了基于 一个或多个级别的对称分配的新方法。在基本的一级对称分配中，整个存储预算被均匀散 布在第一 m节点上，其中，例如，基于故障概率确定m的值。在二级对称分配中，预算被分为 两部分，一部分均匀散布在第一 1?节点上，并且另一部分均匀散布在随后的m2节点上，使得 分配到第一子集中的每个节点的量是第二子集中的每个节点被分配的量的两倍。还提出了 衍生自二层分配的k级对称分配，其中k = 2。根据本公开的各种实施例，提供了给定访问 概率的、找到良好的一级、二级和k级对称分配的有效算法。 尽管它们的低复杂度，如本公开的各种图所呈现的，在数值实验中，在相同的参数设置 下，根据本公开一级、二级和k级对称分配可以胜过基于大偏差不等式和凸优化的现有的 方法。此外，根据本公开新的二级和k级对称分配可以实现比新的一级对称分配更高的恢 复概率。此外且根据本公开，对于小数量的节点（例如，η < 4)，可以穷举确定的精确最优 分配可以在一级和二级对称分配中被找到。 除了分布式存储以外，上述方法还可以应用于其他问题，诸如例如，应用于实时流传输 的编码设计问题，其中消息可以顺序地到达源（例如，基于计算机的工作站），并且消息在 源进行编码，以用于通过数据包删除通道传输到汇节点（例如，基于计算机的工作站），汇 节点需要在指定延迟内对消息顺序地进行解码。在各种网络场景中，数据包延迟（例如，如 被同步节点接收）可以表现出差异，导致数据包接收的概率随着延迟而增加。通过将实时 流传输问题中的传输的数据包视作存储分配问题中的节点，使用对应的异构时滞相关损失 概率，异构存储分配问题的解决方案转化为对应的流传输问题的会话内编码。 根据本公开的第一方面，提出了用于在异构存储系统中分配存储的基于计算机的方 法，该基于计算机的方法包括：提供已知异构可靠性的一组硬件存储节点；通过计算机提 供目标函数；通过计算机提供约束；基于所述约束和所述目标函数，通过计算机，选择所述 一组硬件存储节点中的一个或多个不相交的子集；以及基于所述选择，通过计算机将存储 量分配到所述一个或多个不相交的子集，其中所述分配基于所述异构可靠性和所述约束， 并且是通过将所述存储量散布到所述一个或多个不相交的子集上而获得的，使得所述一个 或多个不相交的子集中的每个子集的每个硬件存储节点具有相同的分配存储量，所述相同 的分配存储量不同于分配到不同子集的硬件存储节点的量。 根据本公开的第二方面，提出了用于分布式存储分配的基于计算机的系统，该基于计 算机的系统包括：基于计算机的源，其被配置为通过一个或多个通信链路与多个已知异构 可靠性的基于硬件的存储节点通信，其中所述基于计算机的源被配置为执行存储分配算 法，以获得在所述多个基于硬件的存储节点上的分配的存储，所述算法执行以下任务：i) 基于所提供的预算和提供的目标函数，选择所述多个基于硬件的存储节点中的一个或多个 不相交的子集，其中所述预算指定所述多个基于硬件的存储节点的总可用存储大小的一部 分；ii)以及，通过将所述预算散布到所述一个或多个不相交的子集上，将所述预算分配到 所述一个或多个不相交的子集，使得所述一个或多个不相交的子集中的每个子集的每个基 于硬件的存储节点具有分配预算的相同量，所述分配预算的相同量不同于分配到不同子集 的基于硬件的存储节点的量，其中所述预算的分配是基于所述异构可靠性和所述预算。 根据本公开的第三方面，提出了用于通过通信链路对多个独立消息实时流传输的基于 计算机的方法，所述基于计算机的方法包括步骤：i)通过计算机提供所述多个独立消息的 消息大小s ;ii)通过计算机提供基于若干时间步长的消息创建间隔c，其中所述消息创建 间隔限定两个连续的消息的创建时间之间的时间间隔；iii)通过计算机提供指定预算的 约束，其中所述预算对应于在每个时间步长传输的编码的数据包的最大大小；iv)通过计 算机提供为若干时间步长的固定的解码延迟d，其中所述固定的解码延迟限定关于所述多 个独立消息的消息的创建时间的延迟，在所述延迟内，所述消息必须基于一个或多个传输 的数据包，通过基于计算机的解码器进行解码；v)通过计算机提供限定通过所述通信链路 传输的数据包的异构时滞相关损失概率的异构可靠性模型；vi)通过计算机对所述多个独 立消息中的消息进行编码；以及vii)基于所述步骤i)_vi)，通过计算机产生对应于所编 码的消息的多个数据包，并且通过所述通信链路顺序地传输所述多个数据包，其中：所述多 个独立消息中在时间步长i创建的消息被分配了根据所述异构可靠性模型所选择的时间 步长i、i+Ι、…、i+d传输的数据包的空间中的部分；使用纠删码，消息被跨越时间步长i、 i+1、一i+d的数据包的所述空间中的所分配的部分编码；以及通过基于计算机的解码器， 在距所述消息的创建时间的所述固定解码延迟内，对所述消息进行解码。 【附图说明】 图1示出的是在示例性分布式存储系统中的信息流。源s具有将被编码和存储在η个 存储节点上的归一化单位大小的单个数据对象。随后，数据采集器t，通过只访问存储在节 点的随机子集r中的数据，试图恢复原始数据对象。 图2示出的是包括3个异构节点（η = 3)的系统的最优分配表1，其中Pl> p 2彡p 3。 图3示出的是包括4个异构节点（η = 4)的系统的最优分配表1I，其中 Ρ 2彡 Ρ 3彡 Ρ 4〇 图4示出的是比较精确最优解的、关于η = 4且= (0. 8479, 0. 6907, 0. 6904,0. 6725)的、分别通过本公开的算法1和算法3获得的一级对称分 配和二级对称分配的表现。 图5示出的是表示根据本公开内容和现有技术所提出的算法在η = 30的恢复故障的 概率方面表现的各种曲线图。 图6示出的是表示当总预算Τ = 2且η = 30时的不同方法的每个节点的分布量的各 种曲线图。 图7示出的是表示所提出的算法在η = 50情况下恢复故障的概率方面表现的各种曲 线图。 图8示出的是表示当总预算Τ = 1:7且η = 50时的不同方法的每个节点的分布量的 各种曲线图。 图9示出的是表示不同的算法针对节点数的时间成本的各种曲线图。 图10示出的是表示针对其中消息率s = 1的从1到4的数据包率Ρ的解码故障概率 的各种曲线图。 图11示出的是表示针对范围从0. 1到1的消息率s且数据包率Ρ = 1的解码故障概 率的各种曲线图。 图12示出的是根据本公开的实施例的一级对称分配算法。 图13示出的是根据本公开的实施例的图12中提出的算法的简化版本的一级对称分配 算法。 图14示出的是根据本公开的实施例的二级对称分配算法。 图15示出的是根据本公开的实施例的三级对称分配算法。 图16示出的是示例性实时流传输系统，其中消息顺序地到达源，并且被编码用于通过 数据包删除通道进行传输，以由汇节点在距它们的创建时间的指定的延迟内进行解码。 图17Α和图17Β示出的是被分配用于在顺序地传输数据包的流传输数据包构造的情况 下以两个连续时间步长进行流传输数据包的存储。 图18示出的是用于本公开的各种分布式存储系统的各种存储节点的示例性目标硬 件。 【具体实施方式】 引言 根据本公开的各个方面，考虑了下列问题：利用异构访问概率在一组存储节点（例如， 具有硬件依赖性）上存储数据对象（例如，文件、视频流、蜂窝语音消息，等等），以便使给定 的总存储预算的成功恢复概率最大化。数据对象可以跨越多个存储节点进行拆分和编码。 例如，通过利用最大距离可分（MDS)码，如果访问数据的总量是至少数据对象的大小，则原 始数据对象可以被恢复。目标是确定跨越该组存储节点的存储预算的最优分配，使得随后 的恢复概率被最大化。 存储分配的问题是由实际存储问题激发的，例如，在具有异构节点的对等云存储、内容 分发网络、延迟容忍网络和无线传感器网络方面。例如，每个节点可以是虚拟专用服务器 (VPS)，虚拟专用服务器（VPS)的正常运行时间/停机时间统计是已知的，从而可以被用于 作为对应的访问概率的量度。在另一个示例中，用于存储服务器的数据的硬盘架可以包括 存