太阳城集团

  • / 8
  • 下载费用:30 金币  

一种基于云计算平台的容灾存储方法.pdf

摘要
申请专利号:

CN201210229227.4

申请日:

2012.07.04

公开号:

CN102780769B

公开日:

2015.01.28

当前法律状态:

授权

有效性:

有权

法律详情: 专利权的转移号牌文件类型代码:1602号牌文件序号:101730056105IPC(主分类):H04L 29/08专利号:ZL2012102292274登记生效日:20160309变更事项:专利权人变更前权利人:南京邮电大学变更后权利人:南京盾华交通科技有限公司变更事项:地址变更前权利人:210003 江苏省南京市鼓楼区新模范马路66号变更后权利人:210046 江苏省南京经济技术开发区兴智路兴智科技园B栋0910室|||授权|||实质审查的生效IPC(主分类):H04L 29/08申请日:20120704|||公开
IPC分类号: H04L29/08; H04L12/24 主分类号: H04L29/08
申请人: 南京邮电大学
发明人: 付雄; 王义波; 王汝传; 孙力娟; 韩志杰; 季一木; 戴华
地址: 210003 江苏省南京市鼓楼区新模范马路66号
优先权:
专利代理机构: 南京经纬专利商标代理有限公司 32200 代理人: 叶连生
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201210229227.4

授权太阳城集团号:

|||102780769B||||||

法律状态太阳城集团日:

太阳城集团2016.03.30|||2015.01.28|||2013.01.02|||2012.11.14

法律状态类型:

太阳城集团专利申请权、专利权的转移|||授权|||实质审查的生效|||公开

摘要

太阳城集团本发明是一种基于云计算平台的容灾存储模型,该模型,在部署时可以降低对网络带宽和节点存储容量的要求;同时,当数据节点中P个数据节点同时出现故障时,仍能很好很快地实现数据的恢复,极好地保障了数据的完整性。其原理是当用户上传的数据比较大时,先将数据进行一定程度的分割,再将分割后的数据块交叉存储在数据节点上。运用这种方式实现的存储,允许节点集群中P个节点同时出现故障,即在集群中P个节点同时出现故障的情况下,仍可以保证用户数据的完整性,同时恢复的速度比目前主流的全副本放置模型要快许多。其中P为一小于节点数目的常数。

权利要求书

1.一种基于云计算平台的容灾存储方法,其特征在于该方法在某几个数据节点同时出现故障的情况下,仍能很快很好地实现数据的恢复,保障数据的可靠性,其步骤主要如下:步骤1. 根据设计要求和系统性能,确定副本节点数                                                ,同时确定用户数据文件大           小的阀值,其中阀值将来用于确定副本复制方案;步骤2. 计算用户数据文件大小,当 时执行步骤3,否则执行步骤4;步骤3. 将数据复制份,在每个节点上各存储一份完整的数据副本和其校验和;步骤4. 根据数据节点个数,将整个数据文件分割为相同大小的份; 步骤5. 将每一份数据再分割为相同大小的份,其中为一用户设定参数,分割后每一份数据大小为,其大小可通过式 来计算:                                                       步骤6. 将分割的份数据平均分配到个节点上,则每个节点存储份数据,称这些数据为节点的本地数据;注:表示本地数据,表示节点的本地数据;                                                                              步骤7. 将节点存储的本地数据块进行逻辑组划分,即将个数据划为一组,并将划分后的组进行编号;步骤8. 由步骤6可知,一个节点本地数据可以划分的逻辑组数为个,令逻辑组为,令表示节点的所有逻辑组,表示当前逻辑组;步骤9. 令刨除节点后的所有参与存储的节点集合为剩余节点集合,找出每个节点的剩余节点集合,即式        ,,;            步骤10. 将节点的数据存储到刨除的其他个节点上,即,并满足式,                              其中:为指定的常数,表示存储到。

说明书

一种基于云计算平台的容灾存储方法

技术领域

本发明是一种基于云计算平台的容灾存储方法,主要用于保障集群中数据的可靠性和安全性。属于分布式计算和云计算领域。

背景技术

随着Internet网络技术的发展和计算机技术的不断提高,网络中传输和处理的数据的能力直线增长。人们希望获得一种直接、便捷的计算处理方式,不需要安装应用软件,只要连接互联网,就可以利用连接在网络中的空闲的计算机资源进行任务处理。

在此背景之下,云计算应运而生,所谓云计算,就是通过计算机网络去连接由大量服务器、存储设备集群构成的云计算平台,来获取远程客户端所需要的服务。而云计算服务商则是将一项复杂的运算任务分成若干个部分,通过分布在计算机网络中的计算机协同合作,最终将运算结果传输到客户端,从而实现个人数据在远程的计算资源集群的运算。

云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供按用户需求的数据存储和业务访问功能的一个系统。

云存储对用户来讲,不是指某一个具体的设备,而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储,并不是使用某一个存储设备,而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲,云存储不是存储,而是一种服务。总之,云存储的核心是应用软件与存储设备相结合,通过应用软件来实现存储设备向存储服务的转变。

太阳城集团现有的网络带宽、存储数据的可靠性和安全性,这些是目前限制云储存技术走向大众化的关键因素。通过什么样的存储模型,可以在现有的网络带宽下,将数据比较快速的上传到云存储服务器,并可以保证数据的可靠性和安全性,这个问题是当今比较热门的一个话题,也吸引了很多技术人员来进一步的探索。

太阳城集团目前,为了保障存储数据的可靠性和安全性,主流的做法是将数据进行全副本备份,在各个副本部署到不同的节点,来避免数据因为服务器故障或自然灾害带来灾难性的后果。但上述做法,在保障了数据可靠性和安全性的同时,也带来了复制耗时过长的问题,且复制中可能存在节点失效,通过对这些问题的研究,本发明提出了一种容灾存储模型,在兼顾这些问题的同时也可以很好的保障数据的高可靠性和安全性。 

发明内容

太阳城集团技术问题:云存储中为了保证存储的数据具有较高的可靠性,往往会采用副本容灾机制,这样可以保证节点在灾难发生时进行有效恢复,但在部署时,由于现今网络带宽的限制,速度往往比较慢;与此同时,由于节点数据存储量较大,当节点发生灾难时,从一个节点进行数据恢复速度较慢,导致在数据恢复期备份节点发生失效的概率较大,针对这些问题,本发明提出了一种基于云计算的容灾存储模型。

技术方案:本发明是一种容灾存储模型,在部署时可以降低对网络带宽和节点存储容量的要求;同时,当P个数据节点同时出现故障时,仍能高效完整地实现数据的恢复,保障了数据的可靠性。其原理是当用户上传的数据比较大时,先将数据进行一定程度的分割,再将分割后的数据块交叉存储到数据节点上。运用这种方式实现的存储,允许节点集群中P个节点同时出现故障,即在P个数据节点同时出现故障的情况下,仍可以保证用户数据的完整性,且恢复速度快。其中P为一小于数据节点数目的常数。

太阳城集团该方法的主要步骤如下:

太阳城集团步骤1. 根据设计要求和系统性能,确定副本节点数                                                ,同时确定用户数据文件大       小的阀值,其中阀值将来用于确定副本复制方案;

步骤2. 计算用户数据文件大小,当 时执行步骤3,否则执行步骤4;

太阳城集团步骤3. 将数据复制份,在每个节点上各存储一份完整的数据副本和其校验和;

太阳城集团步骤4. 根据数据节点个数,将整个数据文件分割为相同大小的份; 

太阳城集团步骤5. 将每一份数据再分割为相同大小的份,其中为一用户设定参数,分割后每一份数据大小为,其大小可通过式 来计算:

太阳城集团                                                       

步骤6. 将分割的份数据平均分配到个节点上,则每个节点存储份数据,称这些数据为节点的本地数据。注:表示本地数据,表示节点的本地数据;                                                                              

太阳城集团步骤7. 将节点存储的本地数据块进行逻辑组划分,即将个数据划为一组,并将划分后的组进行编号;

步骤8. 由步骤6可知,一个节点本地数据可以划分的逻辑组数为个,令逻辑组为,令表示节点的所有逻辑组,表示当前逻辑组;

步骤9. 令刨除节点后的所有参与存储的节点集合为剩余节点集合,找出每个节点的剩余节点集合,即式

        ,,;            

太阳城集团步骤10. 将节点的数据存储到刨除的其他个节点上,即,并满足式,

太阳城集团                

太阳城集团        其中:为指定的常数,表示存储到。

有益效果:本发明提出了一种基于云计算平台的容灾存储模型,较目前主流的全副本放置的容灾存储模型而言,该模型主要优势在于:当数据节点中某几个数据节点同时出现故障时,仍能很好很快地实现数据的恢复,极好地保障了数据的完整性;与此同时,由于在数据节点上放置的并不是完整的副本,因此,无论是刚开始的副本放置还是出现故障后的数据恢复,该模型都具有较快的速度,对网络带宽的要求也更低,这些都进一步保障了数据的高可靠性。最后,该模型在数据节点存储空间的利用方面也有很大的优势。

太阳城集团    下面给出具体的说明:

太阳城集团    当用户需要上传数据到云存储服务器时,传统的副本放置模型会根据需要放置的节点个数,对用户的数据进行完全复制,并分别放置到各个节点。该模型对网络带宽、节点容量都有比较高的要求,而且在数据节点出现故障后,对数据的恢复比较慢,在恢复期间如果再有副本节点发生故障,就无法保障数据的完整性。

太阳城集团    运用本发明中的容灾存储模型,在用户上传数据时先对用户需要上传的数据进行分析,如果数据过大,则会采用交叉不完全副本存储方式,如果数据不大,则运用传统的全副本存储方式。

    这种容灾存储模型,很大程度上降低了对节点存储容量和网络带宽的要求,此外最重要的是这种存储模式,可以保障在某几个数据节点同时出现故障的情况下,仍能较快地实现数据的恢复,保障了数据的可靠性。

附图说明

图1 总体架构图。

太阳城集团图2是基于云计算平台的容灾存储模型的流程图。

具体实施方式

太阳城集团本发明的基于云计算平台的容灾存储方法在某几个数据节点同时出现故障的情况下,仍能很快很好地实现数据的恢复,保障数据的可靠性,其步骤主要如下:

步骤1. 根据设计要求和系统性能,确定副本节点数,同时确定用户数据文件大        小的阀值,其中阀值将来用于确定副本复制方案;

太阳城集团步骤2. 计算用户数据文件大小,当 时执行步骤3,否则执行步骤4;

太阳城集团步骤3. 将数据复制份,在每个节点上各存储一份完整的数据副本和其校验和;

步骤4. 根据数据节点个数,将整个数据文件分割为相同大小的份; 

步骤5. 将每一份数据再分割为相同大小的份,其中为一用户设定参数,分割后每一份数据大小为,其大小可通过式 来计算:

太阳城集团                                                       

太阳城集团步骤6. 将分割的份数据平均分配到个节点上,则每个节点存储份数据,称这些数据为节点的本地数据。注:表示本地数据,表示节点的本地数据;                                                                              

太阳城集团步骤7. 将节点存储的本地数据块进行逻辑组划分,即将个数据划为一组,并将划分后的组进行编号;

步骤8. 由步骤6可知,一个节点本地数据可以划分的逻辑组数为个,令逻辑组为,令表示节点的所有逻辑组,表示当前逻辑组;

步骤9. 令刨除节点后的所有参与存储的节点集合为剩余节点集合,找出每个节点的剩余节点集合,即式

        ,,;            

步骤10. 将节点的数据存储到刨除的其他个节点上,即,并满足式,

太阳城集团                    

          其中:为指定的常数,表示存储到。

一、数据拆分

   在数据拆分之前,需要先对用户上传服务器的数据进行分析,如果上传的数据量比较系统预设的阀值小,则采用全副本放置模型;如果上传的数据量高于系统预设的阀值,则对数据按照进行拆分,拆分过程详见步骤3,4,5。

    二、数据交叉存储

       这个阶段大致可以分为三个过程,即划分逻辑组、查找剩余节点集合和交叉存储,前两个过程是交叉存储的准备阶段,最后一个过程才是交叉存储真正的实施阶段。划分逻辑组,即对每个节点存储的数据进行划分,使其在逻辑上形成一定的分组,详见步骤6,7,8;查找剩余节点集合,即查找在参与存储的节点中,除自身之外的其余节点,将其称为自身的剩余节点集合,详见步骤9;交叉存储,即按照一定的方式,将自身存储的数据以划分的逻辑组为单位,交叉存储到自身的剩余节点集合上,详见步骤10。

关 键 词:
一种 基于 计算 平台 存储 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种基于云计算平台的容灾存储方法.pdf
链接地址:http://zh228.com/p-6420837.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');