太阳城集团

  • / 12
  • 下载费用:30 金币  

一种分布式文件系统中支持快照的元数据太阳城集团管理方法.pdf

摘要
申请专利号:

CN201310752681.2

申请日:

2013.12.31

公开号:

CN103678715A

公开日:

2014.03.26

当前法律状态:

授权

有效性:

有权

法律详情: 授权|||实质审查的生效IPC(主分类):G06F 17/30申请日:20131231|||公开
IPC分类号: G06F17/30; G06F11/14 主分类号: G06F17/30
申请人: 无锡城市云计算中心有限公司
发明人: 季旻; 郭照斌; 付根希; 李博; 苗艳超
地址: 214135 江苏省无锡市新区震泽路18号国家软件园鲸鱼座B-2
优先权:
专利代理机构: 北京安博达知识产权代理有限公司 11271 代理人: 徐国文
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201310752681.2

授权太阳城集团号:

太阳城集团103678715B||||||

法律状态太阳城集团日:

2017.06.23|||2014.07.30|||2014.03.26

法律状态类型:

授权|||实质审查的生效|||公开

摘要

本发明提供一种分布式文件系统中支持快照的元数据太阳城集团管理方法,包括以下步骤:对段资源进行管理;创建文件快照并对创建的文件快照进行修改;对iNode资源进行管理;创建目录快照并对创建的目录快照进行修改。本发明提供的分布式文件系统中支持快照的元数据太阳城集团管理方法,将MDS中iNode太阳城集团、段太阳城集团分别采用iNode管理器和段管理器进行维护,并通过管理器维护的方法,顺其自然的实现了分布式文件系统的快照。

权利要求书

权利要求书
1.  一种分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述方法包括以下步骤:
步骤1:对段资源进行管理;
步骤2:创建文件快照并对创建的文件快照进行修改;
步骤3:对iNode资源进行管理;
步骤4:创建目录快照并对创建的目录快照进行修改。

2.  根据权利要求1所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述步骤1中,段资源的基本属性包括引用计数RC和分裂版本SV;步骤1具体包括以下步骤:
步骤1-1:段布局中相应的文件数据内容发生改变时,若引用计数RC>1,则对段资源进行分裂;
步骤1-2:当删除文件时,元数据服务器将修改相应iNode资源引用的所有RC,使RC=RC-1;如果段资源的RC值为0,则通知数据服务器删除段布局对应的文件,并从段管理器中回收段资源。

3.  根据权利要求2所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:设ino表示当前修改文件的iNode资源,seg表示当前修改数据内容对应的段资源,元数据服务器对seg进行分裂过程如下:
1)如果seg布局相关元数据服务器空间不足,则为seg_new构建新布局;否则,拷贝seg给新段资源seg_new,并设置seg_new属性RC=1,SV=0;
2)如果seg与seg_new布局一致且相关数据服务器支持数据对象文件的快照,则建立seg中对应对象文件的快照并映射给seg_new对应对象文件;否则,拷贝seg中对应对象文件作为seg_new的对象文件;
3)seg属性RC=RC-1,SV=SV+1;
4)ino引用seg_new。

4.  根据权利要求1所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述步骤2包括以下步骤:
步骤2-1:设ino表示文件快照源,ino_snap表示需创建的快照文件,则元数据服务器创建文件快照过程如下:
1)拷贝ino中所有段资源引用太阳城集团给ino_snap;
2)设置ino引用的所有段资源RC属性:RC=RC+1。
步骤2-2:创建文件快照完成后,对文件快照的修改依据段资源管理进行处理。

5.  根据权利要求1所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述步骤3中,所述iNode资源的基本属性包括引用计数RC和分裂版本SV;步骤3具体包括以下步骤:
步骤3-1:当客户端需要修改指定路径的文件/目录时,客户端将从根目录开始,向元数据服务器逐级获取该路径上各目录项的iNode资源;若遇目录项的iNode资源属性RC>1,则需要从该目录项开始,执行iNode资源的分裂处理,直到路径上最后一级目录项的iNode资源完成;
步骤3-2:当客户端删除指定路径的目录时,元数据服务器执行删除目录流程;
步骤3-3:如果客户端删除指定路径的文件时,依据修改目录处理流程,完成文件所在目录的分裂处理;然后依据段资源管理中删除文件的处理流程,完成删除处理。

6.  根据权利要求5所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述步骤3-1中,设ino表示当前目录项的iNode资源,ino_parent表示父目录项的iNode资源,元数据服务器对ino进行分裂的过程如下:
1)设置ino属性RC=RC-1,SV=SV+1;
2)拷贝ino资源太阳城集团给新iNode资源ino_new,并设置ino_new属性RC=1,SV=0;
3)ino_parent引用ino_new;
4)由于ino_new与ino引用相同的资源,如果ino是文件类型,则所有引用的段资源属性RC=RC+1;如果ino是目录类型,则所有引用的iNode资源属性RC=RC+1。

7.  根据权利要求5所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述步骤3-2包括以下步骤:
1)依据修改目录处理流程,完成分裂处理;设ino_parent表示带删除目录项父目录项的iNode资源;
2)删除ino_parent中对应ino的目录项,并设置ino属性RC=RC-1;
3)若RC值为0,则从iNode管理器中回收ino。

8.  根据权利要求1所述的分布式文件系统中支持快照的元数据太阳城集团管理方法,其特征在于:所述4包括以下步骤:
步骤4-1:设ino表示目录快照源,ino_snap_parent表示目录快照的父目录,则元数据服务器创建目录快照过程如下:
1)在ino_snap_parent中增加目录项,目录项名称为目录快照名称,目录项的iNode引用ino;
2)设置ino属性RC=RC+1;
步骤4-2:创建目录快照完成后,对目录快照的修改依据iNode资源管理进行处理。

说明书

说明书一种分布式文件系统中支持快照的元数据太阳城集团管理方法
技术领域
本发明涉及一种管理方法,具体讲涉及一种分布式文件系统中支持快照的元数据太阳城集团管理方法。
背景技术
分布式文件系统一般包含客户端,元数据服务器(MetaData Servicer,MDS)和数据服务器(Data Servicer,DS),客户端负责文件数据的访问接口制定,元数据服务器器处理文件的布局及属性,数据服务器器存储文件的数据内容。
对于分布式文件系统,快照技术是实现防范数据丢失的有效手段。当存储设备发生应用故障或者文件损坏时,可以利用快照将数据恢复到快照产生太阳城集团点的状态;此外,快照为存储用户提供了另一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照或利用快照进行相关测试工作。
写时拷贝(Copy On Write,COW)是实现文件快照的基本思想,修改式访问→分裂→重定向修改式访问,是实现COW的基本流程。有些文件系统为了实现快照,额外建立了快照表,每次访问时都会通过快照表检查是否访问了快照项,并决定是否执行分裂处理;还有些文件系统通过额外增加数据块的元数据引用计数表,每次访问时都会通过引用计数表检查是否访问了快照项,并决定是否执行分裂处理。
目前的快照技术主要有如下缺点:
1)基于快照表/引用计数表检查的技术,虽无需改动原有元数据太阳城集团结构,但当快照表/引用计数表非常大时,检查快照表将比较耗时;
2)目前分布式文件系统快照实现多局限在文件快照级,缺乏目录级快照的实现方案。
发明内容
为了克服上述现有技术的不足,本发明提供一种分布式文件系统中支持快照的元数据太阳城集团管理方法,将MDS中iNode太阳城集团、段太阳城集团分别采用iNode管理器和段管理器进行维护,并通过管理器维护的方法,顺其自然的实现了分布式文件系统的快照。
为了实现上述发明目的,本发明采取如下技术方案:
本发明提供一种分布式文件系统中支持快照的元数据太阳城集团管理方法,所述方法包括以下步骤:
步骤1:对段资源进行管理;
步骤2:创建文件快照并对创建的文件快照进行修改;
步骤3:对iNode资源进行管理;
步骤4:创建目录快照并对创建的目录快照进行修改。
所述步骤1中,段资源的基本属性包括引用计数RC和分裂版本SV;步骤1具体包括以下步骤:
步骤1-1:段布局中相应的文件数据内容发生改变时,若引用计数RC>1,则对段资源进行分裂;
步骤1-2:当删除文件时,元数据服务器将修改相应iNode资源引用的所有RC,使RC=RC-1;如果段资源的RC值为0,则通知数据服务器删除段布局对应的文件,并从段管理器中回收段资源。
设ino表示当前修改文件的iNode资源,seg表示当前修改数据内容对应的段资源,元数据服务器对seg进行分裂过程如下:
1)如果seg布局相关元数据服务器空间不足,则为seg_new构建新布局;否则,拷贝seg给新段资源seg_new,并设置seg_new属性RC=1,SV=0;
2)如果seg与seg_new布局一致且相关数据服务器支持数据对象文件的快照,则建立seg中对应对象文件的快照并映射给seg_new对应对象文件;否则,拷贝seg中对应对象文件作为seg_new的对象文件;
3)seg属性RC=RC-1,SV=SV+1;
4)ino引用seg_new。
所述步骤2包括以下步骤:
步骤2-1:设ino表示文件快照源,ino_snap表示需创建的快照文件,则元数据服务器创建文件快照过程如下:
1)拷贝ino中所有段资源引用太阳城集团给ino_snap;
2)设置ino引用的所有段资源RC属性:RC=RC+1。
步骤2-2:创建文件快照完成后,对文件快照的修改依据段资源管理进行处理。
所述步骤3中,所述iNode资源的基本属性包括引用计数RC和分裂版本SV;步骤3具体包括以下步骤:
步骤3-1:当客户端需要修改指定路径的文件/目录时,客户端将从根目录开始,向元数据服务器逐级获取该路径上各目录项的iNode资源;若遇目录项的iNode资源属性RC>1,则需要从该目录项开始,执行iNode资源的分裂处理,直到路径上最后一级目录项的iNode资源完成;
步骤3-2:当客户端删除指定路径的目录时,元数据服务器执行删除目录流程;
步骤3-3:如果客户端删除指定路径的文件时,依据修改目录处理流程,完成文件所在目录的分裂处理;然后依据段资源管理中删除文件的处理流程,完成删除处理。
所述步骤3-1中,设ino表示当前目录项的iNode资源,ino_parent表示父目录项的iNode资源,元数据服务器对ino进行分裂的过程如下:
1)设置ino属性RC=RC-1,SV=SV+1;
2)拷贝ino资源太阳城集团给新iNode资源ino_new,并设置ino_new属性RC=1,SV=0;
3)ino_parent引用ino_new;
4)由于ino_new与ino引用相同的资源,如果ino是文件类型,则所有引用的段资源属性RC=RC+1;如果ino是目录类型,则所有引用的iNode资源属性RC=RC+1。
所述步骤3-2包括以下步骤:
1)依据修改目录处理流程,完成分裂处理;设ino_parent表示带删除目录项父目录项的iNode资源;
2)删除ino_parent中对应ino的目录项,并设置ino属性RC=RC-1;
3)若RC值为0,则从iNode管理器中回收ino。
所述4包括以下步骤:
步骤4-1:设ino表示目录快照源,ino_snap_parent表示目录快照的父目录,则元数据服务器创建目录快照过程如下:
1)在ino_snap_parent中增加目录项,目录项名称为目录快照名称,目录项的iNode引用ino;
2)设置ino属性RC=RC+1;
步骤4-2:创建目录快照完成后,对目录快照的修改依据iNode资源管理进行处理。
与现有技术相比,本发明的有益效果在于:
1)本发明将分布式文件系统中MDS的元数据太阳城集团采用了资源化管理方案,为快照的实现奠定了基础;并通过详细介绍段资源管理和iNode资源管理,说明了这种资源管理方法能够自然支持快照;
2)与传统快照实现方案相比,本发明无需对快照进行特殊处理,同时消除了快照源与快照之间的依赖关系,有效降低了快照实现的复杂度;
3)同时,依据分布式文件系统的特点,本发明将COW特性在MDS端细化到段的层面,降低了COW单次分裂的代价;
4)该发明已为一种分布式文件系统实现了快照功能。
附图说明
图1是创建快照前文件的iNode资源ino_1所引用的段资源示意图;
图2是创建文件快照完成后文件和段太阳城集团示意图;
图3是文件ino_1修改seg_3及文件ino_1_0修改seg_2示意图;
图4是删除文件ino_1后文件和段太阳城集团示意图;
图5是创建目录快照前目录结构及iNode资源太阳城集团示意图;
图6是创建目录/d_a的快照/snap_d_a示意图;
图7是修改/snap_d_a/d_b目录项太阳城集团示意图;
图8是删除/snap_d_a/d_b_ext目录项示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提供一种分布式文件系统中支持快照的元数据太阳城集团管理方法,所述方法包括以下步骤:
步骤1:对段资源进行管理;
所述步骤1中,段资源的基本属性包括引用计数RC(Reference Count)和分裂版本SV(Split Version);步骤1具体包括以下步骤:
步骤1-1:段布局中相应的文件数据内容发生改变时,若引用计数RC>1,则对段资源进行分裂;
设ino表示当前修改文件的iNode资源,seg表示当前修改数据内容对应的段资源,元数据服务器对seg进行分裂过程如下:
1)如果seg布局相关元数据服务器空间不足,则为seg_new构建新布局;否则,拷贝seg给新段资源seg_new,并设置seg_new属性RC=1,SV=0;
2)如果seg与seg_new布局一致且相关数据服务器支持数据对象文件的快照,则建立seg 中对应对象文件的快照并映射给seg_new对应对象文件;否则,拷贝seg中对应对象文件作为seg_new的对象文件;
3)seg属性RC=RC-1,SV=SV+1;
4)ino引用seg_new。
步骤1-2:当删除文件时,元数据服务器将修改相应iNode资源引用的所有RC,使RC=RC-1;如果段资源的RC值为0,则通知数据服务器删除段布局对应的文件,并从段管理器中回收段资源。
步骤2:创建文件快照并对创建的文件快照进行修改;
所述步骤2包括以下步骤:
步骤2-1:设ino表示文件快照源,ino_snap表示需创建的快照文件,则元数据服务器创建文件快照过程如下:
1)拷贝ino中所有段资源引用太阳城集团给ino_snap;
2)设置ino引用的所有段资源RC属性:RC=RC+1。
步骤2-2:创建文件快照完成后,对文件快照的修改依据段资源管理进行处理。
下面以创建文件快照及修改文件快照为例,介绍文件快照的创建和段资源的管理。
创建快照前,文件的iNode资源ino_1所引用的段资源如图1所示。若客户端向MDS请求ino_1的布局太阳城集团时,MDS将ino_1引用的所有段布局太阳城集团应答给客户端。
首先,MDS收到创建文件ino_1的快照文件ino_1_0请求。创建过程是将ino_1中所有段资源引用太阳城集团拷贝给ino_1_0,并增加ino_1引用各段资源的RC值。创建文件快照完成后,文件和段太阳城集团如图2所示。
然后,客户端要求修改文件ino_1引用的段seg_3对应的数据。由于seg_3资源RC>1,所以,依据段资源管理操作,MDS需对seg_3进行分裂。同样,客户端要求修改文件ino_1_0引用的段seg_2对应的数据,MDS也需对seg_2进行分裂。分裂后,文件和段太阳城集团如图3错误!未找到引用源。所示,其中,seg_4由seg_3分裂而成,seg_5由seg_2分裂而成。
最后,MDS收到删除文件ino_1请求。文件ino_1引用的seg_1、seg_2、seg_4段资源的RC值都减1,其中,seg_2和seg_4段资源RC值为0,依据段资源管理操作,将进行有关回收处理。删除文件ino_1后,文件和段太阳城集团如图4所示。
步骤3:对iNode资源进行管理;
所述步骤3中,所述iNode资源的基本属性包括引用计数RC和分裂版本SV;步骤3具体包括以下步骤:
步骤3-1:当客户端需要修改指定路径的文件/目录时,客户端将从根目录开始,向元数据服务器逐级获取该路径上各目录项的iNode资源;若遇目录项的iNode资源属性RC>1,则需要从该目录项开始,执行iNode资源的分裂处理,直到路径上最后一级目录项的iNode资源完成;
所述步骤3-1中,设ino表示当前目录项的iNode资源,ino_parent表示父目录项的iNode资源,元数据服务器对ino进行分裂的过程如下:
1)设置ino属性RC=RC-1,SV=SV+1;
2)拷贝ino资源太阳城集团给新iNode资源ino_new,并设置ino_new属性RC=1,SV=0;
3)ino_parent引用ino_new;
4)由于ino_new与ino引用相同的资源,如果ino是文件类型,则所有引用的段资源属性RC=RC+1;如果ino是目录类型,则所有引用的iNode资源属性RC=RC+1。
步骤3-2:当客户端删除指定路径的目录时,元数据服务器执行删除目录流程;
所述步骤3-2包括以下步骤:
1)依据修改目录处理流程,完成分裂处理(不包括ino);设ino_parent表示带删除目录项父目录项的iNode资源;
2)删除ino_parent中对应ino的目录项,并设置ino属性RC=RC-1;
3)若RC值为0,则从iNode管理器中回收ino。
步骤3-3:如果客户端删除指定路径的文件时,依据修改目录处理流程,完成文件所在目录的分裂处理;然后依据段资源管理中删除文件的处理流程,完成删除处理。
步骤4:创建目录快照并对创建的目录快照进行修改。
所述4包括以下步骤:
步骤4-1:设ino表示目录快照源,ino_snap_parent表示目录快照的父目录,则元数据服务器创建目录快照过程如下:
1)在ino_snap_parent中增加目录项,目录项名称为目录快照名称,目录项的iNode引用ino;
2)设置ino属性RC=RC+1;
步骤4-2:创建目录快照完成后,对目录快照的修改依据iNode资源管理进行处理。
下面以创建目录快照及修改目录快照为例,介绍目录快照的创建和iNode资源的管理。
创建目录快照前,目录结构和iNode资源太阳城集团如图5所示。各目录项引用的iNode资源由iNode管理器负责管理。
首先,MDS接收在根目录下创建目录/d_a的快照snap_d_a请求,如图6所示。由于快照snap_d_a与/d_a所包含的内容相同,所以snap_d_a直接引用d_a目录项的iNode资源ino_2,并增加ino_2属性RC值。
然后,MDS接收/snap_d_a/d_b改名为/snap_d_a/d_b_ext请求。依据iNode资源管理的处理流程,路径中snap_d_a对应的ino_2资源属性RC>1,所以需要对ino_2进行分裂,并且snap_d_a引用分裂后的iNode资源ino_6。分裂后,snap_d_a的所有目录项引用的iNode资源RC值均增1(如:ino_3和ino_5的RC值为2)。
同样,依据iNode资源管理的处理流程,将继续对/snap_d_a/d_b引用的ino_3进行分裂。
/snap_d_a/d_b路径中各目录项分裂任务完成后,执行改名处理。完成分裂和改名后的目录结构及iNode资源如图7所示。其中ino_2和ino_3资源属性SV值为1,表示经过1次分裂。
最后,MDS接收删除/snap_d_a/d_b_ext/f.dat目录项请求。首先,依据iNode资源管理处理流程,检查/snap_d_a/d_b_ext路径各目录项并执行分裂处理;由于各目录项iNode资源属性RC值均为1,所以无需分裂。然后,删除f.dat目录项;由于删除后,ino_4资源属性RC=1,所以无需回收ino_4资源。删除后的目录结构和iNode太阳城集团如图8所示。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。

关 键 词:
一种 分布式 文件系统 支持 快照 数据 太阳城集团管理 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种分布式文件系统中支持快照的元数据太阳城集团管理方法.pdf
链接地址:http://zh228.com/p-6180504.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');