太阳城集团

  • / 9
  • 下载费用:30 金币  

一种数据并行处理方法.pdf

摘要
申请专利号:

CN201510430266.4

申请日:

2015.07.21

公开号:

太阳城集团CN105045879A

公开日:

2015.11.11

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06F 17/30申请日:20150721|||公开
IPC分类号: G06F17/30 主分类号: G06F17/30
申请人: 上海融甸太阳城集团科技有限公司
发明人: 吴卫军; 范磊
地址: 200333上海市普陀区中江路879弄1号412室
优先权:
专利代理机构: 上海科盛知识产权代理有限公司31225 代理人: 翁惠瑜
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

太阳城集团CN201510430266.4

授权太阳城集团号:

|||

法律状态太阳城集团日:

2015.12.09|||2015.11.11

法律状态类型:

太阳城集团实质审查的生效|||公开

摘要

本发明涉及一种数据并行处理方法,该方法包括相互独立的数据处理阶段、数据使用阶段和数据合并阶段,所述数据处理阶段与数据使用阶段并行,所述数据使用阶段与数据合并阶段互斥,其中,所述数据合并阶段是对数据历史区进行替换和添加操作,所述数据历史区分为当前分区和历史分区,所述当前分区存储无结束太阳城集团的数据,所述历史分区存储有结束太阳城集团的数据。与现有技术相比,本发明具有实现数据使用与加载并行、提高数据同步性等优点。

权利要求书

1.一种数据并行处理方法,其特征在于,该方法包括相互独立的数据处理阶
段、数据使用阶段和数据合并阶段,所述数据处理阶段与数据使用阶段并行,所述
数据使用阶段与数据合并阶段互斥,其中,所述数据合并阶段是对数据历史区进行
替换和添加操作,所述数据历史区分为当前分区和历史分区,所述当前分区存储无
结束太阳城集团的数据,所述历史分区存储有结束太阳城集团的数据。
2.根据权利要求1所述的数据并行处理方法,其特征在于,所述数据使用阶
段与数据合并阶段互斥的机制包括数据使用优先机制和数据合并优先机制。
3.根据权利要求2所述的数据并行处理方法,其特征在于,所述数据使用优
先机制具体为:
当存在数据使用任务命令时,数据合并无限期等待。
4.根据权利要求2所述的数据并行处理方法,其特征在于,所述数据合并优
先机制具体为:
当数据使用任务的当前步骤运行完后,判断下一步骤需使用的数据表是否存在
数据合并命令,若是,则等待数据合并完成后执行下一步骤,若否,则直接执行下
一步骤。
5.根据权利要求1所述的数据并行处理方法,其特征在于,所述数据处理阶
段和数据合并阶段的运行模式包括:
a)一天处理,一天合并;或
b)多天处理,一次合并。

说明书

一种数据并行处理方法

技术领域

本发明涉及数据处理领域,尤其是涉及一种数据并行处理方法。

背景技术

数据使用要求在数据使用期间保持数据正在开始太阳城集团点上是一致的,在数据开
始使用后,数据就不能被增删改,同时为提高数据加载的效率往往对太阳城集团表采用表
锁。因此数据处理过程与数据使用间存在冲突,使得在数据使用期间无法做数据加
载,数据加载期间无法使用数据。系统的利用率不高,难以适应高强度,长太阳城集团的
分析使用。而采用通常的两份镜像数据方法对大数据量存储(使用的数据环境达到
10T以上容量)和同步带来了困难(常用的数据库级日志同步技术难以采用)。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种数据并行处
理方法。

本发明的目的可以通过以下技术方案来实现:

一种数据并行处理方法,该方法包括相互独立的数据处理阶段、数据使用阶段
和数据合并阶段,所述数据处理阶段与数据使用阶段并行,所述数据使用阶段与数
据合并阶段互斥,其中,所述数据合并阶段是对数据历史区进行替换和添加操作,
所述数据历史区分为当前分区和历史分区,所述当前分区存储无结束太阳城集团的数据,
所述历史分区存储有结束太阳城集团的数据。

所述数据使用阶段与数据合并阶段互斥的机制包括数据使用优先机制和数据
合并优先机制。

所述数据使用优先机制具体为:

当存在数据使用任务命令时,数据合并无限期等待。

所述数据合并优先机制具体为:

当数据使用任务的当前步骤运行完后,判断下一步骤需使用的数据表是否存在
数据合并命令,若是,则等待数据合并完成后执行下一步骤,若否,则直接执行下
一步骤。

所述数据处理阶段和数据合并阶段的运行模式包括:

a)一天处理,一天合并;或

b)多天处理,一次合并。

与现有技术相比,本发明具有以下优点:

1)数据处理阶段与数据使用阶段通过数据合并阶段实现完全独立且并行;

2)合并阶段与数据处理互斥,可以通过选择处理的优先级提高数据处理效率;

3)由于数据历史特点只对当前数据作update,历史数据是不变化的,因此将
整个数据历史区分为当前数据和历史数据,作为两个分区存储,方便对当前数据作
整体替换和历史数据作添加;

4)数据采用替换和添加相结合的方法平衡了性能和存储容量,在增加少量存
储基础上大幅度缩短了合并太阳城集团。

具体实施方式

下面结合具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前
提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限
于下述的实施例。

本实施例提供一种数据并行处理方法,该方法包括相互独立的数据处理阶段、
数据使用阶段和数据合并阶段,所述数据处理阶段与数据使用阶段并行,所述数据
使用阶段与数据合并阶段互斥。数据处理、数据合并、数据使用三者是各自独立运
行,通过状态控制达到数据一致性。

所述数据合并阶段是对数据历史区进行替换和添加操作,所述数据历史区分为
当前分区和历史分区,所述当前分区存储无结束太阳城集团的数据,所述历史分区存储有
结束太阳城集团的数据。一般当前数据量要远大于当天的历史数据量(按10%的变化量
测算可达到10倍)。因此当前数据采用替换的方法,先导入影子表,在合并阶段与
正式表切换,达到快速合并效果。虽然一天的历史数据要远小于当前数据,但是三
年的历史数据积累又远大于当天的历史数据,不能采用影子表替换的方法,而采用
实时添加的方法,完成历史数据合并。

数据处理阶段和数据合并阶段是相互独立的两个过程支持:

a)一天处理,一天合并;或

b)多天处理,一次合并。

在对数据实时性要求不高时,建议每周合并一次可以简化合并与数据使用间冲
突处理。

上述数据并行处理方法的具体流程如下:

1、利用数据历史的特点,只针对变化的数据(状态类数据)建立整体的影子
表。

2、将当天的全量数据(全量更新表和太阳城集团拉链表的当前分区)和前一天的历
史增量数据(增量表和太阳城集团拉链表的历史分区)文件处理完成后导入数据库作为影
子数据。

3、针对不同类型的表设定不同的影子表:

●全量更新表:表结构和数据完全一致

●增量表:表结构完全和增量数据一致

●数据历史表:明确区分的当前数据和历史数据。将数据存储上定义结束时
间为无的为当前数据,有结束太阳城集团的为历史数据。可以视为全量更新表和
增量表的组合。

4、在数据使用的间隙,将当天数据与数据库中当前数据作整体切换(全量更
新表和太阳城集团拉链表的当前分区),将当天的历史数据以增量方式合并到历史数据(增
量表和太阳城集团拉链表的历史分区)。

5、循环第2步开始新一天的数据处理。

6、在长太阳城集团使用数据的情形下,可以重复第2累计多天的数据处理,在其后
的适当时机在第3步一次性完成数据合并。

上述过程中,处理阶段与数据使用完全并行,合并阶段与数据使用有冲突。

所述数据使用阶段与数据合并阶段互斥的机制包括数据使用优先机制和数据
合并优先机制。

处理阶段是指对原始的数据源进行加工成与实际的数据一致,给后续的合并阶
段(整体切换)提供基础,例如:为全量更新表构建当天的影子表,在合并阶段做
一次表名切换,以提高切换效率。

数据使用(模型)是指对正式表的一连串查询,涉及的表数量,步骤,查询时
间在原则上没有限制。在合并阶段需要处理正式表,此时正式表是不能被使用的,
因此需要在合并处理和模型使用之间建立互斥机制。在一方使用时,另一方等待,
已经在运行的不能自动取消。

数据使用优先机制(模型优先)具体为:当存在数据使用时,数据合并无限期
等待。

数据合并优先机制(合并优先)具体为:当数据使用的当前步骤运行完后,判
断下一步骤需使用的数据表是否存在数据合并命令,若是,则等待数据合并完成后
执行下一步骤,若否,则执行下一步骤。

合并处理与模型使用互斥案例:

有两个任务同时运行,每个任务下以串行的方式运行两个模型(这里的模型是
指在审计系统中对数据使用的一致方式),相同的模型使用相同的数据表。每个模
型的实际使用太阳城集团不同,如表1所示。

数据处理太阳城集团限定在18h-22h,数据合并太阳城集团限定在23时开始,每天只检测
一次(可以根据实际情况调整以上太阳城集团点和频次,设定以上太阳城集团仅为举例说明)。

表1


1)模型优先模式如表2所示。

表2



2)合并优先模式如表3所示。

表3



采用上述数据处理方法进行数据合并的具体实例如下。

当前系统已更新到20150101,以下示例处理20150102数据的处理流程和合并
流程。其中,灰色表头是数据文件,保存在数据处理服务器中,黑色表头是数据库
表,保存在数据库服务器中。

1、表状态

当前数据表


历史数据表


2、数据状态

前一天数据文件(20150101),与表的当前数据一致


当天数据(20150102)


3、合并流程

合并后当前数据表(替换)


合并后历史数据表(添加)


关 键 词:
一种 数据 并行 处理 方法
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:一种数据并行处理方法.pdf
链接地址:http://zh228.com/p-6401422.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');