太阳城集团

  • / 9
  • 下载费用:30 金币  

一种自动分层的存储系统.pdf

摘要
申请专利号:

CN201510696499.9

申请日:

2015.10.23

公开号:

CN105242884A

公开日:

2016.01.13

当前法律状态:

授权

有效性:

有权

法律详情: 授权|||实质审查的生效IPC(主分类):G06F 3/06申请日:20151023|||公开
IPC分类号: G06F3/06 主分类号: G06F3/06
申请人: 浪潮(北京)电子太阳城集团产业有限公司
发明人: 赵祯龙
地址: 100085北京市海淀区上地太阳城集团路2号2-1号C栋1层
优先权:
专利代理机构: 北京安信方达知识产权代理有限公司11262 代理人: 解婷婷; 曲鹏
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201510696499.9

授权太阳城集团号:

||||||

法律状态太阳城集团日:

2018.10.16|||2016.02.10|||2016.01.13

法律状态类型:

太阳城集团授权|||实质审查的生效|||公开

摘要

本发明公开了一种自动分层的存储系统,包括:高性能的存储层Tier0,用于设置高性能的存储副本;普通性能的存储层Tier1,用于设置普通性能的存储副本;监视器,用于负责获取存储系统中的数据对象访问太阳城集团和系统性能太阳城集团;调度器,用于维护Tier0上的数据对象存储;向Tier1发送数据对象,并基于调度策略向Tier1发送推送命令进行Tier1向Tier0的数据对象传输;代理节点,用于提供外部代理服务中推送接口;其中,Tier0和Tier1之间存在Tier1指向Tier0的单向数据通路,在Tier1收到来自调度器的推送命令后所述单向数据通路打开,进行Tier1向Tier0的单向数据对象传输。本发明有效解决了当前存储自动分层系统中实时性不足问题,提高了热点数据的读访问性能,并降低了SSD硬盘的无效磨损。

权利要求书

权利要求书
1.  一种自动分层的存储系统,其特征在于,包括:
高性能的存储层Tier0,用于设置高性能的存储副本;
普通性能的存储层Tier1,用于设置普通性能的存储副本;
监视器,用于负责获取存储系统中的数据对象访问太阳城集团和系统性能太阳城集团;
调度器,用于维护Tier0上的数据对象存储;向Tier1发送数据对象,并基于调度策略向Tier1发送推送命令进行Tier1向Tier0的数据对象传输;
代理节点,用于提供外部代理服务中推送接口;
其中,Tier0和Tier1之间存在Tier1指向Tier0的单向数据通路,在Tier1收到来自调度器的推送命令后所述单向数据通路打开,进行Tier1向Tier0的单向数据对象传输。

2.  根据权利要求1所述的自动分层的存储系统,其特征在于,所述Tier0的存储副本参数包括:最大冗余度M,表示系统中Tier0能够容纳的最大副本数;配置冗余度m,表示向Tier0中推送的副本数,并且m≤M;副本槽,表示Tier0中副本放置的位置;
所述Tier1的存储副本参数包括:冗余度N,表示Tier1的副本数。

3.  根据权利要求1所述的自动分层的存储系统,其特征在于,所述Tier0基于RESTAPI进行操作,包括:CREATE操作,用来创建一个对象;GET操作,用来读取一个数据对象;REMOVE操作,用来删除一个数据对象;CLEAN操作,用来清除存储系统中数据对象,其中,
REMOVE操作的调用时机为调度器主动删除Tier0中的数据,或者来自于Tier1中数据对象被垃圾收集清除后向调度器发送的回调请求;
CLEAN操作根据统一资源定位符指定清除的范围来清除存储系统中数据对象。

4.  根据权利要求1所述的自动分层的存储系统,其特征在于,所述代理节点查询Tier0和Tier1的存储副本中是否存在被请求访问的对象数据,在Tier0或Tier1中确定了存储副本后,通过推送接口向监控器发送对象访问信 息。

5.  根据权利要求4所述的自动分层的存储系统,其特征在于,所述在Tier0或Tier1中确定存储副本,具体为:
查询Tier0中的存储副本是否可用;如果可用,则在Tier0中确定存储副本;如果不可用,则在Tier1中确定存储副本。

6.  根据权利要求1所述的自动分层的存储系统,其特征在于,所述调度策略包括:热点数据识别,数据热度的维护和数据的置换策略。

7.  根据权利要求6所述的自动分层的存储系统,其特征在于,所述监控器通过代理节点的推送接口获取存储系统中的数据对象访问太阳城集团和系统性能太阳城集团,调度器将访问次数大于设定值的对象数据推送到Tier0中,并根据热点数据识别增加热点数据的存储副本数量。

8.  根据权利要求1所述的自动分层的存储系统,其特征在于,所述监视器和调度器放置于在存储层和代理节点之外的独立节点中,且采取共享监控系统的数据库实现监视器与存储系统的监控系统对接。

9.  根据权利要求8所述的自动分层的存储系统,其特征在于,所述采取共享监控系统的数据库实现监视器与存储系统的监控系统对接,具体为:
存储系统具有监测接口,使用statsd实现;
在存储系统运行中,若对象进行超文本传输协议请求,则插入桩函数,通过用户数据报协议将监测数据送入监控系统的监测接口,监视器通过监控系统的数据库获取检测数据。

10.  根据权利要求9所述的自动分层的存储系统,其特征在于,所述调度器和监视器采用单机模式并进行高可用保护。

说明书

说明书一种自动分层的存储系统
技术领域
本发明涉及存储系统技术领域,尤指一种自动分层的存储系统。
背景技术
存储自动分层技术的设计目的在于充分利用不同转速的硬盘的性能和成本差异。近年来,随着闪存固态硬盘(SSD,SolidStateDrives)在存储系统中的日益成熟和普及,其每秒进行读写操作(IOPS,Input/OutputOperationsPerSecond)较硬盘驱动器(HDD,HardDiskDrive)相比有了较大的提升,成为存储自动分层中的一种理想选择。
存储自动分层技术会基于诸如数据访问频率、创建太阳城集团、最后访问太阳城集团或响应太阳城集团等指标进行分析,将不同特征的数据放置在不同的层次上,是目前高端存储系统中的重要技术。
但是,存储自动分层技术中也存在以下三个挑战:
第一,自动分层是一项被动技术,也即其迁移数据的策略根据历史趋势得出,而非实时的状态。
第二,SSD的磨损降低了其使用周期,应当考虑如何降低SSD的磨损频率,以及要处理SSD损坏时的数据保护。
第三,由于存取行为监测统计分析与数据迁移作业,都会消耗一定的计算资源。传统的解决方式是设定允许系统执行统计分析与数据迁移操作的太阳城集团区段,以便避开存取高峰时段。该方法会使自动分层的实时性不足的问题更加严重。
因此,存储自动分层技术的挑战为研发高性能分布式存储系统带来了极大的复杂性,严重影响了存储分层的实时性和有效性。
发明内容
为了解决上述技术问题,本发明提供了一种自动分层的存储系统,有效解决了当前存储自动分层系统中实时性不足问题,提高了热点数据的读访问性能,并降低了SSD硬盘的无效磨损。
为了达到本发明目的,本发明提供了一种自动分层的存储系统,包括:高性能的存储层Tier0,用于设置高性能的存储副本;普通性能的存储层Tier1,用于设置普通性能的存储副本;监视器,用于负责获取存储系统中的数据对象访问太阳城集团和系统性能太阳城集团;调度器,用于维护Tier0上的数据对象存储;向Tier1发送数据对象,并基于调度策略向Tier1发送推送命令进行Tier1向Tier0的数据对象传输;代理节点,用于提供外部代理服务中推送接口;其中,Tier0和Tier1之间存在Tier1指向Tier0的单向数据通路,在Tier1收到来自调度器的推送命令后所述单向数据通路打开,进行Tier1向Tier0的单向数据对象传输。
进一步地,所述Tier0的存储副本参数包括:最大冗余度M,表示系统中Tier0能够容纳的最大副本数;配置冗余度m,表示向Tier0中推送的副本数,并且m≤M;副本槽,表示Tier0中副本放置的位置;所述Tier1的存储副本参数包括:冗余度N,表示Tier1的副本数。
进一步地,所述Tier0基于RESTAPI进行操作,包括:CREATE操作,用来创建一个对象;GET操作,用来读取一个数据对象;REMOVE操作,用来删除一个数据对象;CLEAN操作,用来清除存储系统中数据对象,其中,REMOVE操作的调用时机为调度器主动删除Tier0中的数据,或者来自于Tier1中数据对象被垃圾收集清除后向调度器发送的回调请求;CLEAN操作根据统一资源定位符指定清除的范围来清除存储系统中数据对象。
进一步地,所述代理节点查询Tier0和Tier1的存储副本中是否存在被请求访问的对象数据,在Tier0或Tier1中确定了存储副本后,通过推送接口向监控器发送对象访问太阳城集团。
进一步地,所述在Tier0或Tier1中确定存储副本,具体为:查询Tier0中的存储副本是否可用;如果可用,则在Tier0中确定存储副本;如果不可用,则在Tier1中确定存储副本。
进一步地,所述调度策略包括:热点数据识别,数据热度的维护和数据 的置换策略。
进一步地,所述监控器通过代理节点的推送接口获取存储系统中的数据对象访问太阳城集团和系统性能太阳城集团,调度器将访问次数大于设定值的对象数据推送到Tier0中,并根据热点数据识别增加热点数据的存储副本数量。
进一步地,所述监视器和调度器放置于在存储层和代理节点之外的独立节点中,且采取共享监控系统的数据库实现监视器与存储系统的监控系统对接。
进一步地,所述采取共享监控系统的数据库实现监视器与存储系统的监控系统对接,具体为:存储系统具有监测接口,使用statsd实现;在存储系统运行中,若对象进行超文本传输协议请求,则插入桩函数,通过用户数据报协议将监测数据送入监控系统的监测接口,监视器通过监控系统的数据库获取检测数据。
进一步地,所述调度器和监视器采用单机模式并进行高可用保护。
与现有技术相比,本发明充分利用数据推送的实时特性,收集存储系统性能数据和访问太阳城集团进行动态副本调度,有效解决了当前存储自动分层系统中实时性不足问题,提高了热点数据访问性能降低了SSD硬盘的无效磨损,从而推动了海量数据存储系统结构的发展。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明的一种实施例中自动分层的存储系统的架构示意图。
图2是本发明的一种实施例中Tier0访问接口的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是本发明的一种实施例中自动分层的存储系统的架构示意图。如图1所示,包括高性能的存储层Tier0、普通性能的存储层Tier1、监视器、调度器,以及代理节点,其中监视器和调度器可以在同一个设备中。
Tier0,用于设置高性能的存储副本;
具体地,Tier0的存储副本参数包括:
最大冗余度M,表示系统中Tier0可以容纳的最大副本数;
配置冗余度m,表示向Tier0中推送的副本数,并且m≤M;
副本槽,表示Tier0中副本放置的位置,Tier0中的副本都放在副本槽中,该位置可以放置m份副本,也可以为空。
设置Tier0的存储副本参数,例如,M=1,m=1,即Tier0中有1个副本槽。
Tier1,用于设置普通性能的存储副本;
具体地,Tier1的存储副本参数包括:
冗余度N,表示Tier1的副本数。
设置Tier1的存储副本参数,例如,N=3,即Tier1中放置3份副本。
监视器,用于负责获取存储系统中的数据对象访问太阳城集团和系统性能太阳城集团;
具体地,对象访问太阳城集团来自代理节点,主要是流向存储服务的访问太阳城集团。
调度器,用于负责维护Tier0上对象的存储情况,并基于调度策略向Tier1推送数据;
具体地,包括采用存储服务请求推送数据到Tier0,Tier0上数据的清除, 以及Tier0节点上对象列表的维护。调度策略主要包括:热点数据识别,数据热度的维护和数据的置换策略。
代理节点,用于提供外部代理服务中推送(PUSH)接口。
在该自动分层的存储系统中,Tier0和Tier1之间仅存在Tier1指向Tier0的单向数据通路,该通路在Tier1收到PUSH命令后打开,其他情况下Tier0和Tier1之间不发生通信。
Tier0的操作基于REST应用程序编程接口(RESTAPI),如图2所示,包括:
CREATE操作,用来创建一个对象;
GET操作,用来读取一个对象;
REMOVE操作,用来删除一个对象;
值得注意的是,此处删除的语义与Tier1中的DELETE不同,REMOVE是将一个对对象在系统中删除,而非解引用;REMOVE操作的调用时机一方面是调度器主动删除Tier0中的数据,另一方面来自于Tier1中对象被垃圾收集(GC,GarbageCollection)清除后向调度器发送的回调请求;
CLEAN操作,用来清除系统中数据,根据统一资源定位符(URL,UniformResoureLocator)指定清除的范围。
根据四个RESTAPI可以看出,Tier0仅用来优化读操作性能,而与写操作无关。系统的数据完全来源于调度器向Tier1发送PUSH请求。
代理节点在请求一个对象的数据之前,首先询问一个对象的所有副本,选择一个可读的副本后才进行数据传输,如果Tier0中的副本可用,则会被首先选择,如果Tier0中不存在被请求对象的数据,则代理节点会读取Tier1中的副本。由于Tier0只被用来优化读操作,所以不需要保存任何元数据,也不存在元数据一致性维护的复杂操作。
由于对存取行为追踪统计分析与数据迁移作业,都会消耗一定的计算资源。为了使系统的监测和调度不影响系统的正常访问,将监视器和调度器放置在单独的节点中,部署时可以使监视器与存储的监控系统进行对接,如采取共享监控系统的数据库等方式。存储系统本身在实现时留有监测接口,使用statsd实现,在系统运行的关键点,例如对象进行超文本传输协议(HTTP,HyperTextTransferProtocol)请求时,插入桩函数,通过用户数据报协议 (UDP,UserDatagramProtocol)将监测数据送入监控系统或者监视器,采用UDP协议可使监测的网络开销很小。对于调度器会通过RESTAPI对Tier0和Tier1进行访问,这部分RESTAPI属于控制类型的访问,其负载对业务访问的影响非常小。
调度器和监视器在实现时采用单机模式,并保存了状态,故需要进行高可用(HA,HighAvailable)保护,一旦调度器中的状态发生丢失,只需定位到无法保证数据正确性的最小范围,发送CLEAN命令清空Tier0中相应部分的数据。由基于内容寻址存储系统的性质可知Tier0中数据几乎没有一致性维护的问题,数据的丢失也仅会引起一定读性能上损失,而不会影响数据的正确性。如果监视器和调度器所在的节点宕机,Tier0中仅会存留部分历史数据,以及无法获取最新访问数据,存储系统本身还是可用的。
本发明中的自动分层的存储系统与传统的Cache管理相比,至少具有下面的几点优势:
第一,传统的Cache系统是“尽最大努力交付的”,故数据访问与高速存储设备中数据的更新是“同步”的;而自动存储分层中数据访问并不直接影响高速存储设备中数据的放置,而是经过对数据访问统计和计算后决定需要放入高速存储设备的数据,故这个过程是“异步”的。
第二,自动存储分层更加关注于从全局层面对访问进行优化,完成热点数据的识别后,以“推送”的方式写入高速的存储设备,这种方式与传统Cache系统中在cachemiss后对数据进行“拉取”的方式相比,一方面使得对访问的优化更加具有针对性,一方面也有利于降低高速存储设备被擦写的频率,延长SSD使用寿命。
本发明设计了一种自动分层的存储系统,在自动分层存储系统体系结构中,将存储按照性能特征划分层次,并配合监视器、调度器,以及外部服务中PUSH接口,对数据进行全局的分层调度;运行时进行性能采集和数据分层调度,通过监控器收集存储的运行时性能数据和统计对象的访问太阳城集团,调度器将频繁访问的对象推送到高性能存储层中;实施动态副本管理,根据运行时的访问太阳城集团收集,提高热点数据的副本数,以提高对象的并发读访问性能。
本发明充分利用数据推送的实时特性,基于运行时数据分析的动态副本 调度,以及存储系统性能数据和访问太阳城集团的收集方法。这种自动分层的存储系统所具有的上述优点,与传统的Cache系统优化数据访问性能相比,本发明在提高了热点数据访问性能的同时,有效解决了当前存储自动分层系统中实时性不足问题,也在一定程度上降低了SSD硬盘的无效磨损,本发明系统中提出的方法也同样适用于其他分布式存储系统。故本发明在大规模分布式对象存储系统实践中具有很高的技术价值和实用价值。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

关 键 词:
一种 自动 分层 存储系统
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种自动分层的存储系统.pdf
链接地址:http://zh228.com/p-6409510.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');