专利名称：数据的上传方法、下载方法和系统的利记博彩app
技术领域：
本发明涉及一种通信技术领域，尤其涉及一种数据的上传方法、下载方法和系统。
背景技术：
智能接入终端的普及及接入方式的多样化，产生大量用户原创内容(UGC，User Generated Content)，并在网络上进行存储、共享和分发，为了保证用户的体验，需要足够 的网络资源来支撑，尤其是网络中大规模存储资源。架构在这些资源之上的业务多样化，促 使建立很多数据中心，而这些数据中心在逻辑上将会形成一个庞大的资源池。在资源池中， 很多业务在重复使用相同的内容，但这些内容副本都是按照各自的业务来分配资源。现有 技术中需要铺设专网等高速网络来保证数据业务的处理，或多网的环境下保持内容同步， 导致了系统的维护和运营成本增高和降低了资源池的利用率。目前普遍采用的解决方案包括以下几种。采用定向服务器技术，对于发送到其他 网络的消息，先把消息发送到本网的中转服务器，通过网络之间的中转服务器，进行跨网的 消息交互。虽然可以满足一些消息业务的处理，但是对于大量的数据业务的请求存在瓶颈， 需要铺设专网等高速网络来保证。采用镜像服务器技术，即每个网络都和其他网络保持内 容的同步。任何一个网络中的内容变化，都映射到其他网络中的数据中心。可以在多网的 环境下，保证一致性，但是跨网流量比较高，造成流量浪费；跨网的副本的动态性比较强，很 难短时间进行同步。
发明内容
本发明的目的在于提供一种数据的上传方法、下载方法和系统，简化了系统，提高 了资源利用率。本发明的一个实施例提供一种数据的上传方法，包括下列步骤接收用户的上传 数据请求，获得内容标识；根据内容标识确定该内容是否已经存在；如果所述上传数据未 被存储，则向本地数据中心上传并存储所述上传数据。本发明的另一个实施例提供一种数据的下载方法，包括下列步骤接收用户的数 据下载请求，获得内容标识；根据所述内容标识确定数据存储在本地数据中心还是非本地 数据中心；如果数据存储在非本地数据中心，则从所述非本地数据中心获取所述数据并存 储到本地数据中心；从本地数据中心下载所述数据。本发明的另一个实施例提供一种数据系统，包括边缘服务器，用于接收用户的上传数据或下载请求并获得内容标识；根据媒体管 理器的查询结果确定是否保存该数据并获得的存储数据的数据中心信息；根据所述数据中 心信息确定所述数据保存在本地数据中心还是非本地数据中心，如果保存在非本地数据中 心，则向给非本地数据中心请求校验上传或请求下载数据；多个数据中心，根据所述内容标识查询对应的存储所述数据的节点地址；媒体管理器(MM，Media Manager)，用于根据数据的内容标识查询存储数据的数据中心信息，并将查询结果返回给边缘服务器；多边网关，用于在所述多个数据中心之间进行信息交互。本发明的实施例通过双线或多线网关，而不需要铺设专网等高速网络从而节省成 本，减轻不同网络之间的数据流量负载和提高响应效率，从而提高资源池的利用率。
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，并不 构成对本发明的限定。在附图中图1是本发明实施例一的数据的上传方法的流程图；图2是本发明实施例二的数据的上传方法的流程图；图3是本发明实施例三的数据的下载方法的流程图；图4是本发明实施例四的数据系统的结构示意图；图5是本发明实施例四中数据中心的结构示意图。
具体实施例方式为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合实施例和附 图，对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本 发明，但并不作为对本发明的限定。实施例一本实施例提供一种数据的上传方法。如图1所示，该方法包括步骤101 接收用户的上传数据请求，获得所述上传数据的内容标识；该步骤可以由数据分布存储系统中的边缘服务器(ES，Edge Server)执行。ES节 点保留所处域的域信息，即所在域的数据中心地址(NetID)。且ES只与所在域的数据中心 的存储节点(CS，Chunk Server)联系。ES接收到上传数据的请求或促发了上传数据处理 后，通过Hash算法获得上传数据的内容标识(0ID，0bject ID)，并在该OID后级联ES所在 域的 NetID。如“01982736AFED01982736AFED01982736 1”，前面 32 位是 128 位上传数据通 过Hash算法获得的0ID，最后一位表示ES所在域的数据中心的NetIDl。步骤102 根据所述内容标识查询上传数据是否已被存储；该步骤可以由数据分布存储系统的ES和MM执行。MM上存储有上传成功的数据 的内容标识和存储该数据的数据中心的NetID2 (数据中心信息)。ES接收到用户的上传数 据请求后，向MM提交查询请求，该查询请求中携带数据的内容标识和ES所在的数据中心的 NetlDl。匪查询是否保存有匹配的内容标识，然后向ES发送查询结果。ES提交的查询请 求可以是认证请求，即请求验证用户是否具有上传信息的权限。如果MM验证用户具有上传 信息的权限，再查询是否保存有匹配的内容标识，在验证通过的响应中携带相应用户信息， 例如用户名、密码、IP地址等等。如果MM验证用户不具有上传信息的权限，则ES在接收到 验证不通过的响应后结束上传。步骤103 如果所述上传数据未被存储，则向本地数据中心上传并存储所述上传 数据。该步骤可以由ES执行。如果上传数据未被存储，ES向所在的数据中心(即本地
5数据中心)上传并存储所述数据。具体包括向本地数据中心的接入存储节点(ACS，ACCeSS CS)发送上传请求，ACS查询本地数据中心的索引节点(ICS，Index CS)是否登记有与所述 内容标识对应的CS的地址；如果有则向该CS断点续传该数据并存储。如果没有则向该ACS 上传该数据并存储。数据存储完毕后，存储该数据的CS/ACS向ICS登记该数据的OID和自 己的地址。上传成功后，ES向MM登记上传数据的OID及级联的存储该数据的数据中心的 NetID (即ES所在的数据中心的NeTID)。本实施例中，如果MM查询到保存有匹配的内容标识后，在返回给ES的查询响应中 携带存储该数据的数据中心的NetID2。根据所述存储内容所在的数据中心的信息，中心信 息进行所述数据中心的一致性校验，校验通过后向用户反馈上传成功。ES对接收到存储该 数据的数据中心的NetID2和其自身所在的数据中心的NetIDl进行比较。如果一致，则该数 据存储在ES所在的数据中心，ES从本地数据中心的索引节点获得与上传数据标识对应的 CS地址，即存储该数据的节点地址。从所述存储该数据的节点获取校验信息，如果校验信息 与上传数据一致，则表示存储有该数据，向用户反馈上传成功，否则结束上传。如果NetIDl 与NetID2不一致，则通过与ES绑定权重大的网关(GW，GateWay)，则该数据不存储在ES所 在的数据中心，向存储该数据的数据中心的CS请求校验信息，如果校验信息与上传数据一 致，则表示存储有该数据，向用户反馈上传成功，否则结束上传。校验信息可以是偏移信息， 或其他常用校验信息。本发明的实施例通过根据数据的内容标识判断是否存储过该数据，减少系统中相 同内容副本在网络上的分布数量；并在上传网络与存储网络不同时通过双边或多变网关进 行信息交互，减轻不同网络之间的数据流量负载和提高响应效率。实施例二本实施例提供一种数据的上传方法。如图2所示，该方法包括步骤201 :ES接收上传数据请求或者促发上传数据的处理，获得数据的内容标识 (OID)。ES获得该数据的临时OID并级联该ES所在域的NetIDl。例如“01982736AFED0198 2736AFED019827361”，其中前面32位是128位上传数据通过Hash算法获得的0ID，最后一 位表示ES所在的数据中心的NetIDl。步骤202 =ES向匪提交认证用户上传合法性请求。ES将用户的相关信息和以及 上述OID和NetIDl发送给MM，MM根据用户的相关信息认证其是否有上传权限，如果合法， 再根据OID查询该上传数据是否被登记过，并把验证和登记结果通过响应返回给ES。其中， 登记结果为该上传数据存储的数据中心的NetID2时，表明该上传数据被登记过，否则为没 有被登记过。步骤203 :ES接收匪返回的响应，判断用户是否合法。如果响应中的验证结果为 用户不合法则结束上传，如果响应中的验证结果为用户合法，则进入步骤204。步骤204 =ES判断是否存储过该上传数据。如果上传数据没有被登记过，则进入步 骤205 ；如果上传数据被登记过，进入步骤211。步骤205 在ES所在域(本地)选择一个CS作为ACS并发送上传数据的请求。步骤206 =ACS查询该上传数据是否部分保存过。通过上传数据的OID查询ICS是 否登记(保存)过该上传数据。当查询到与OID对应的CS地址则表示登记(保存)过该 上传数据并返回该CS地址，进入步骤207，否则没有登记(保存)过该上传数据，进入步骤
6208。步骤207 =ES根据该CS地址向对应的CS进行断点续传处理。步骤208 =ES向ACS进行上传处理。步骤209 上传存储该数据的CS (ACS)向ICS登记上传数据的)ID和该CS (ACS)地 址。ICS可以通知该CS(ACS)进行内容扩散处理，把该内容备份到本地的空闲CS上。步骤210 =ES向MM发送登记内容请求，登记存储数据的OID并级联存储该数据的 网络(数据中心)的NetID。步骤211 =ES判断上传数据是否存储在本地。比较自己的NetIDl是否和MM返回 的响应中的NetID2是否相同。如果两者相同表示该上传数据存储在本地，则进入步骤212 ； 如果两者不同表示该上传数据没有存储在本地，则进入步骤213。步骤212 在本地选择一个CS作为ACS请求查询本网(本地数据中心)的ICS，其 中携带数据的0ID。步骤213 根据返回响应的NetID2，在本地找到与NetID2绑定的GW请求查询跨网 (非本地数据中心)ICS(如果不存在与NetID2绑定的GW，那么通过绑定其他网络的GW转 发)，其中携带数据的0ID。步骤214:本网ICS (跨网ICS)根据上传数据的OID查找存储该上传数据的CS地 址，并以列表形式将CS地址的查找结果最终返回给Es。步骤215 向存储该上传数据的CS请求偏移信息。优先选择列表中与ES的NetIDl 相同的CS，如果没有本网的CS，那么从列表中选择跨网(非本地数据中心)CS，该CS所在网 络与连接ES所在网络的GW存在绑定且ES到该GW的绑定权重要大。步骤216 如果获得的偏移信息和提交上传数据的偏移信息一致，则向用户返回 上传成功，进入步骤210 ；否则，表示上传的上传数据和网络上存储的内容不一致，上传失 败并结束。本发明的实施例通过根据数据的内容标识判断是否存储过该数据，减少系统中相 同内容副本在网络上的分布数量；并在上传网络与存储网络不同时通过双边或多变网关进 行信息交互，减轻不同网络之间的数据流量负载和提高响应效率，便于不同网络的用户快 速的获取内容，并兼容其他的分布式存储系统。实施例三本实施例提供一种数据的下载方法。如图3所示，该方法包括步骤301 接收用户的下载数据请求，获得所述下载数据的内容标识；该步骤可以由数据分布存储系统中的边缘服务器(ES)执行。ES接收到的下载请 求中携带下载数据的内容标识(OID)，该内容通过Hash算法获得。步骤302 根据所述内容标识确定所述下载数据存储在本地数据中心还是非本地 数据中心；该步骤可以由数据分布存储系统的ES和MM执行。MM上存储有数据的内容标识和 存储该数据的数据中心的NetID2。ES向MM提交查询请求，MM查询与存储该数据的内容标 识对应的数据中心的NetID2，通过查询响应将NetID2返回ES。ES对接收到存储该数据的 数据中心的NetID2和其自身所在的数据中心的NetIDl进行比较。如果NetIDl与NetID2 一致则数据存储在本地数据中心(本地存储)，否则数据存储在非本地数据中心(跨网存
7储)。步骤303 如果所述下载数据存储在非本地数据中心，则从所述非本地数据中心 获取所述下载数据并存储到本地数据中心；该步骤可以由数据分布存储系统的ES、CS和GW执行。ES通过本地接入节点(ACS) 请求索引节点(ICS)查询存储节点状态，获得本地的空闲CS地址，通过GW跨网获得所述数 据并存储到该空闲CS。步骤304从本地数据中心下载所述数据。该步骤可以由数据分布存储系统的ES执行。ES从存储该数据的CS下载所述数 据。本实施例中，如果数据存储在本地，ES则直接从本地下载该数据。具体包括通过 本地ACS请求ICS查询存储该数据的CS地址；从该CS上下载数据。本发明的实施例通过根据数据的内容标识查询数据存储的网络，实现对在不同网 络的内容副本进行统一的管理，快捷的查询，减少系统中相同内容副本在网络上的分布数 量；并对跨网存储的数据通过双边或多变网关进行本地存储后再下载，减轻不同网络之间 的数据流量负载和提高响应效率，便于不同网络的用户快速的获取内容。实施例四本实施例提供一种数据分布存储系统。如图4所示，该系统包括边缘服务器(ES) 410，边缘服务器，用于接收用户的上传数据或下载请求并获得内 容标识；根据媒体管理器(MM，Media Manager)的查询结果确定是否保存该数据并获得的 存储数据的数据中心信息；根据所述数据中心信息确定所述数据保存在本地数据中心还是 非本地数据中心，如果保存在非本地数据中心，则向给非本地数据中心请求校验上传或请 求下载数据；多个数据中心420，根据所述内容标识查询对应的存储所述数据的节点地址；MM430，用于根据数据的内容标识查询存储数据的数据中心信息，并将查询结果返 回给边缘服务器；多边网关(GW)440，用于在所述多个数据中心之间进行信息交互。如图5所示所述数据中心420包括接入节点421，用于接收边缘服务器转发的上 传或下载请求；索引节点422，用于根据数据的内容标识查询存储数据的节点地址；存储节 点423，用于存储数据。上传数据时，ES410接收上传数据请求，获得该数据的临时OID并级联ES所在域的 NetlDl。ES410向MM430提交认证用户上传合法性请求，将用户的相关信息和以及上述OID 和NetIDl发送给MM430，MM430根据用户的相关信息认证其是否有上传权限，如果合法，再 查询该上传数据是否被登记过，并把验证和登记查询结果通过响应返回给ES410。ES410接 收MM430返回的响应。如果响应中的验证结果为用户不合法则结束上传。如果用户合法且 上传数据没有被登记过，则在ES所在域(本地)上传完整的数据或断点续传。上传完成后， ES410向MM登记该数据的OID和ES所在域的NetlDl。如果用户合法而且上传数据被登记 过，则响应中携带与登记过内容对应的数据中心的NetID2。ES410比较自己的NetIDl是否 和返回响应中的NetID2是否相同。如果相同，则表示该内容存储在本地，则向本地数据中 心请求偏移信息。如果不相同，则根据返回响应的NetID2，通过GW440向跨网数据中心请求偏移信息(如果不存在与NetID2绑定的GW，那么通过绑定其他网络的GW)。如果获得的偏 移信息和提交上传数据的偏移信息一致，那么向用户返回上传成功；否则上传失败并结束。 上传成功后，ES410向MM430发送登记内容请求，等级存储数据的OID并级联存储该数据的 网络(数据中心)的NetID。下载数据时，ES410向MM430提交请求，查询存储该数据的数据中心的NetID2。 ES410对接收到存储该数据的数据中心的NetID2和其自身所在的数据中心的NetIDl进行 比较。如果NetIDl与NetID2—致则是本地存储，否则为跨网存储。ES410通过本地ACS421 请求ICS422查询存储节点状态，获得本地的空闲CS地址，请求该空闲CS423通过GW440跨 网获得所述数据并存储。ES410从存储该数据的CS423下载所述数据。如果数据是本地存 储，ES410则直接从本地下载该数据。具体包括通过本地ACS421请求ICS422查询存储该 数据的CS地址；从该CS423上下载数据。本发明的实施例通过根据数据的内容标识判断是否存储过该数据或存储数据的 网络，对在不同网络的内容副本进行统一的管理，快捷的查询，减少系统中相同内容副本在 网络上的分布数量；并在上传网络与存储网络不同时通过双边或多变网关进行信息交互， 对跨网存储的数据通过双边或多变网关进行本地存储后再下载，减轻不同网络之间的数据 流量负载和提高响应效率；便于不同网络的用户快速的获取内容，和兼容其他的分布式存 储系统。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保 护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本 发明的保护范围之内。
权利要求
一种数据的上传方法，其特征在于，该方法包括下列步骤接收用户的上传数据请求，获得所述上传数据的内容标识；根据所述内容标识确定所述上传数据是否已被存储；如果所述上传数据未被存储，则向本地数据中心上传并存储所述上传数据。
2.根据权利要求1所述的方法，其特征在于，还包括如果所述上传数据已被存储，获取存储所述上传数据所在的数据中心信息； 根据所述数据中心信息进行中心的一致性校验，校验通过后则表示上传成功。
3.根据权利要求1所述的方法，其特征在于，还包括 向本地数据中心的接入存储节点发送上传请求，所述接入存储节点查询本地数据中心的索引节点是否登记有与所述内容标识对应的 存储节点的地址；如果有所述存储节点的地址，则向所述存储节点断点续传所述上传数据。
4.根据权利要求3所述的方法，其特征在于，还包括如果没有所述存储节点的地址，则向所述接入存储节点上传所述上传数据。
5.根据所述权利要求3或4所述的方法，其特征在于，还包括上传数据存储完毕后，存储上传数据的存储节点向索引节点登记所述上传数据的内容 标识和所述存储节点的地址。
6.根据权利要求1或2所述的方法，其特征在于，还包括 验证所述用户是否合法；如果所述用户合法，根据所述内容标识查询上传数据是否已被存储。
7.根据权利要求2所述的方法，其特征在于，根据所述中心信息进行中心的一致性校 验的步骤包括依据所述数据中心信息从对应的数据中心请求偏移信息， 根据所述偏移信息进行存储数据与上传数据的一致性校验。
8.根据权利要求7所述的方法，其特征在于，依据所述数据中心信息从对应的数据中 心请求偏移信息的步骤包括依据所述数据中心信息判断对应的数据中心是否为本地数据中心；如果是本地数据中心，查询本地数据中心的索引节点，获得本地存储节点的地址；向所述本地存储节点请求并获得所述偏移信息。
9.根据权利要求8所述的方法，其特征在于如果不是本地数据中心，查询与所述数据中心地址绑定权重最大的网管对应的数据中 心的索引节点，获得跨网存储节点的地址；向所述跨网存储节点请求并获得所述偏移信息。
10.一种数据的下载方法，其特征在于，该方法包括下列步骤 接收用户的下载数据请求，获得所述下载数据的内容标识；根据所述内容标识确定所述下载数据存储在本地数据中心还是非本地数据中心； 如果所述下载数据存储在非本地数据中心，则从所述非本地数据中心获取所述下载数 据并存储到本地数据中心；从本地数据中心下载所述数据。
11.根据权利要求10所述的方法，其特征在于，还包括如果所述下载数据存储在本地数据中心，则直接从本地下载该数据。
12.根据权利要求10所述的方法，其特征在于，根据所述内容标识确定所述下载数据 存储在本地数据中心还是非本地数据中心的步骤包括根据所述内容标识查询存储所述下载数据的数据中心地址； 比较所述数据中心地址和本地数据中心地址；如果所述数据中心地址和本地数据中心地址不同，则所述下载数据存储在非本地数据 中心；如果所述数据中心地址和本地数据中心地址相同，则所述下载数据存储在本地数据中心。
13.根据权利要求10所述的方法，其特征在于，获得本地的空闲存储节点存储所述数 据的步骤包括通过本地接入节点请求索引节点查询存储节点状态； 获得本地的空闲存储节点地址；通过网关从所述非本地数据中心获得所述数据并存储到该空闲存储节点。
14.一种数据系统，其特征在于，该系统包括边缘服务器，用于接收用户的上传或下载数据请求并获得所述数据的内容标识；根据 媒体管理器的查询结果确定是否保存该数据并获得的存储数据的数据中心信息；根据所述 数据中心信息确定所述数据保存在本地数据中心还是非本地数据中心，如果保存在非本地 数据中心，则向给非本地数据中心请求校验上传或请求下载数据；多个数据中心，根据所述内容标识查询对应的存储所述数据的节点地址； 媒体管理器，用于根据所述数据的内容标识查询存储数据的数据中心信息，并将查询 结果返回给边缘服务器；多边网关，用于在所述多个数据中心之间进行信息交互。
15.根据权利要求14所述的系统，其特征在于，所述数据中心包括 接入节点，用于接收边缘服务器转发的上传或下载请求；索引节点，用于根据数据的内容标识查询存储数据的节点地址； 存储节点，用于存储数据。
全文摘要
本发明提供数据的上传方法、下载方法和系统，上传方法包括接收用户的上传数据请求，获得所述上传数据的内容标识；根据所述内容标识确定所述上传数据是否已被存储；如果所述上传数据未被存储，则向本地数据中心上传并存储所述上传数据。本发明的实施例减轻不同网络之间的数据流量负载和提高响应效率；对在不同网络的内容副本进行统一的管理，快捷的查询，减少系统中相同内容副本在网络上的分布数量。
文档编号G06F17/30GK101924785SQ20101015994
公开日2010年12月22日 申请日期2010年4月28日 优先权日2010年4月28日
发明者王铁英 申请人:华为技术有限公司