太阳城集团

  • / 12
  • 下载费用:30 金币  

FPGA的虚拟化硬件架构的通信方法及装置.pdf

摘要
申请专利号:

CN201611033315.1

申请日:

2016.11.15

公开号:

太阳城集团CN106776002A

公开日:

2017.05.31

当前法律状态:

实审

有效性:

审中

法律详情: 实质审查的生效IPC(主分类):G06F 9/50申请日:20161115|||公开
IPC分类号: G06F9/50; G06F9/54 主分类号: G06F9/50
申请人: 华为技术有限公司; 清华大学
发明人: 戴国浩; 孙羽良; 田聃; 汪玉
地址: 518129 广东省深圳市龙岗区坂田华为总部办公楼
优先权:
专利代理机构: 北京清亦华知识产权代理事务所(普通合伙) 11201 代理人: 张大威
PDF完整版下载: PDF下载
法律状态
申请(专利)号:

CN201611033315.1

授权太阳城集团号:

|||

法律状态太阳城集团日:

太阳城集团2017.06.23|||2017.05.31

法律状态类型:

实质审查的生效|||公开

摘要

本发明公开了一种FPGA的虚拟化硬件架构的通信方法及装置,FPGA的虚拟化硬件架构中划分有多个资源块,并且多个资源块之间通过数据通道相互通信,其中,方法包括:获取多个用户所需的配置太阳城集团;根据多个用所需的配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团;根据分配太阳城集团将至少一个资源块配置成相应的加速区虚拟化给用户。该通信方法可以通过数据通道使得多个资源块可被同时分配给同一用户,满足灵活性需求,提高FPGA利用率与计算性能。

权利要求书

1.一种FPGA的虚拟化硬件架构的通信方法,其特征在于,所述FPGA的虚拟化硬件架构
中划分有多个资源块,并且所述多个资源块之间通过数据通道相互通信,其中,方法包括:
获取多个用户所需的配置太阳城集团;
根据所述多个用所需的配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团;以及
根据所述分配太阳城集团将至少一个资源块配置成相应的加速区虚拟化给用户。
2.根据权利要求1所述的FPGA的虚拟化硬件架构的通信方法,其特征在于,在加速器运
行时,基于资源块间的流量最大化确定数据传输通道,以根据所述数据传输通道进行资源
块间的通信。
3.根据权利要求2所述的FPGA的虚拟化硬件架构的通信方法,其特征在于,所述数据传
输通道包括至少一条数据通道。
4.根据权利要求1所述的FPGA的虚拟化硬件架构的通信方法,其特征在于,还包括:
获取计算结果,并通过PCI-e传输所述计算结果至用户。
5.根据权利要求1所述的FPGA的虚拟化硬件架构的通信方法,其特征在于,所述配置信
息包括所需加速器的配置太阳城集团和资源块太阳城集团。
6.一种FPGA的虚拟化硬件架构的通信装置,其特征在于,所述FPGA的虚拟化硬件架构
中划分有多个资源块,并且所述多个资源块之间通过数据通道相互通信,其中,装置包括:
获取模块,用于获取多个用户所需的配置太阳城集团;
分配模块,用于根据所述多个用所需的配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团;以

配置模块,用于根据所述分配太阳城集团将至少一个资源块配置成相应的加速区虚拟化给用
户。
7.根据权利要求6所述的FPGA的虚拟化硬件架构的通信装置,其特征在于,在加速器运
行时,基于资源块间的流量最大化确定数据传输通道,以根据所述数据传输通道进行资源
块间的通信。
8.根据权利要求7所述的FPGA的虚拟化硬件架构的通信装置,其特征在于,所述数据传
输通道包括至少一条数据通道。
9.根据权利要求6所述的FPGA的虚拟化硬件架构的通信装置,其特征在于,还包括:
传输模块,用于获取计算结果,并通过PCI-e传输所述计算结果至用户。
10.根据权利要求6所述的FPGA的虚拟化硬件架构的通信装置,其特征在于,所述配置
太阳城集团包括所需加速器的配置太阳城集团和资源块太阳城集团。

说明书

FPGA的虚拟化硬件架构的通信方法及装置

技术领域

本发明涉及云计算技术领域,特别涉及一种FPGA的虚拟化硬件架构的通信方法及
装置。

背景技术

目前,相关技术中的系统结构以及FPGA(Field-Programmable Gate Array,现场
可编程门阵列)上的动态重配区域划分,FPGA将被预先换分成大小固定的资源块,每个资源
块可以被配置成一个专用的硬件加速器,并在云端被虚拟化给不同的用户。

然而,在相关技术中,由于将FPGA预先换分成大小固定的资源块,导致当用户指定
的加速器与预先划分区域不匹配时,造成资源浪费甚至是无法使用,并且不能支持加速器
之间的通信与扩展,导致整个系统的可拓展性较差,无法灵活适用于云计算的场景,有待改
进。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此,本发明的一个目的在于提出一种FPGA的虚拟化硬件架构的通信方法,该方
法可以满足灵活性需求,提高FPGA利用率与计算性能。

本发明的另一个目的在于提出一种FPGA的虚拟化硬件架构的通信装置。

为达到上述目的,本发明一方面实施例提出了一种FPGA的虚拟化硬件架构的通信
方法,所述FPGA的虚拟化硬件架构中划分有多个资源块,并且所述多个资源块之间通过数
据通道相互通信,其中,方法包括:获取多个用户所需的配置太阳城集团;根据所述多个用所需的
配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团;根据所述分配太阳城集团将至少一个资源块配置成相
应的加速区虚拟化给用户。

本发明实施例的FPGA的虚拟化硬件架构的通信方法,可将多个资源块通过数据通
道组成一个大的资源块,用户加速器逻辑的不同部分配置到不同资源块,通过数据通道进
行连接和数据传输,FPGA上虚拟化的加速器大小可以大于原先划分的数据块大小,从而提
高了虚拟化资源分配的灵活度,从而数据通道使得多个资源块可被同时分配给同一用户,
满足灵活性需求,提高FPGA利用率与计算性能。

另外,根据本发明上述实施例的FPGA的虚拟化硬件架构的通信方法还可以具有以
下附加的技术特征:

进一步地,在本发明的一个实施例中,在加速器运行时,基于资源块间的流量最大
化确定数据传输通道,以根据所述数据传输通道进行资源块间的通信。该通信方法通过可
供使用流量最大的数据通路指导加速器进行数据传输,从而最大化由多个资源块组成的加
速器内部的数据流量,提高加速器工作效率。

进一步地,在本发明的一个实施例中,所述数据传输通道包括至少一条数据通道。

进一步地,在本发明的一个实施例中,还包括:获取计算结果,并通过PCI-e传输所
述计算结果至用户。

可选地,在本发明的一个实施例中,所述配置太阳城集团包括所需加速器的配置太阳城集团和
资源块太阳城集团。

为达到上述目的,本发明另一方面实施例提出了一种FPGA的虚拟化硬件架构的通
信装置,所述FPGA的虚拟化硬件架构中划分有多个资源块,并且所述多个资源块之间通过
数据通道相互通信,其中,装置包括:获取模块,用于获取多个用户所需的配置太阳城集团;分配模
块,用于根据所述多个用所需的配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团;配置模块,用于
根据所述分配太阳城集团将至少一个资源块配置成相应的加速区虚拟化给用户。

本发明实施例的FPGA的虚拟化硬件架构的通信装置,可将多个资源块通过数据通
道组成一个大的资源块,用户加速器逻辑的不同部分配置到不同资源块,通过数据通道进
行连接和数据传输,FPGA上虚拟化的加速器大小可以大于原先划分的数据块大小,从而提
高了虚拟化资源分配的灵活度,从而数据通道使得多个资源块可被同时分配给同一用户,
满足灵活性需求,提高FPGA利用率与计算性能。

另外,根据本发明上述实施例的FPGA的虚拟化硬件架构的通信装置还可以具有以
下附加的技术特征:

进一步地,在本发明的一个实施例中,在加速器运行时,基于资源块间的流量最大
化确定数据传输通道,以根据所述数据传输通道进行资源块间的通信。该装置通过可供使
用流量最大的数据通路指导加速器进行数据传输,从而最大化由多个资源块组成的加速器
内部的数据流量,提高加速器工作效率。

进一步地,在本发明的一个实施例中,所述数据传输通道包括至少一条数据通道。

进一步地,在本发明的一个实施例中,还包括:传输模块,用于获取计算结果,并通
过PCI-e传输所述计算结果至用户。

可选地,在本发明的一个实施例中,所述配置太阳城集团包括所需加速器的配置太阳城集团和
资源块太阳城集团。

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变
得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得
明显和容易理解,其中:

图1为根据本发明一个实施例的FPGA的虚拟化硬件架构的通信方法的流程图;

图2为根据本发明一个具体实施例的应用场景示意图;

图3为根据本发明另一个实施例的应用场景示意图;

图4为根据本发明一个实施例的FPGA的虚拟化硬件架构的通信装置的结构示意
图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终
相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。

下面描述根据本发明实施例提出的FPGA的虚拟化硬件架构的通信方法及装置之
前,先来简单描述一下云计算的重要性。

云计算已经日趋成为一种主流趋势。一些主流的IT企业和一些互联网公司已经给
出了多种云计算产品,将传统的IT架构移植到了云上。FPGA的很多关键性优点也使得其会
在未来继续被推广与应用。随着FPGA和云的应用价值双双被开发,可以预期到将FPGA放入
云端在未来会具有很高的需求。

用户通过云平台获取到的硬件资源,大部分以虚拟化的方式呈现给用户。虚拟化
是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽
象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的
方式来应用这些资源。这些资源的新虚拟部份是不受现有资源的假设方式,地域或物理组
态所限制。一般所指的虚拟化资源包括计算能力和资料存储。

现有平台下对于CPU、GPU、Memory等硬件的虚拟化技术较为成熟,而针对于FPGA的
虚拟化技术研究相对较少。动态可重配技术是一种可以动态的在运行太阳城集团对FPGA部分逻辑
进行配置而不影响FPGA其他部分逻辑正常运行的一种技术。因此,动态重配技术可以保证
用户可以动态的配置FPGA而不影响FPGA其他逻辑的正常工作。利用动态部分重配技术,用
户可以在一块大的FPGA上使用很少一部分逻辑,并且使得多个用户可以共享一块FPGA的使
用,从而为FPGA的虚拟化提供了可能性。

利用虚拟化技术将FPGA放入云计算平台,其中的一个关键问题在于如何灵活地配
置不同FPGA芯片上的不同计算资源。同一块FPGA上的不同资源在不同时刻可能分配给不同
的用户,也有可能共同的被分配给同一用户。因此,灵活配置FPGA芯片资源适用于当今云计
算环境下的应用场景。

因此,如何通过虚拟化技术将一块FPGA芯片资源充分配给不同用户,并且每个用
户的加速器配置需求都可以得到满足;当一个用户的计算资源超出了原先配置的任何一个
资源块时,如何实现资源块之间的数据通信等,均亟待解决。

本发明正是基于上述问题,而提出了一种FPGA的虚拟化硬件架构的通信方法和一
种FPGA的虚拟化硬件架构的通信装置。

下面参照附图描述根据本发明实施例提出的FPGA的虚拟化硬件架构的通信方法
及装置,首先将参照附图描述根据本发明实施例提出的FPGA的虚拟化硬件架构的通信方
法。

首先,FPGA的虚拟化硬件架构中划分有多个资源块,并且所述多个资源块之间通
过数据通道相互通信。具体地,如图2所示,硬件架构主要由CPU、PCI-e总线,FPGA板卡组成。
其中,主机的CPU将输入数据通过PCI-e总线发送至FPGA,而FPGA被预先划分成若干个资源
块,相邻资源块之间通过数据通道进行通信,每一个资源块可以被动态配置。

图1是本发明一个实施例的FPGA的虚拟化硬件架构的通信方法的流程图。

如图1所示,该FPGA的虚拟化硬件架构的通信方法包括以下步骤:

在步骤S101中,获取多个用户所需的配置太阳城集团。

可选地,在本发明的一个实施例中,配置太阳城集团可以包括所需加速器的配置太阳城集团和
资源块太阳城集团。

在步骤S102中,根据多个用所需的配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团。

可以理解的是,如图2所示,用户将加速器配置太阳城集团提交给云端,云端将太阳城集团几条
给主机端,其次服务层逻辑将多个用户的配置太阳城集团与已有资源块划分太阳城集团进行整合,在考
虑加速器内部的数据流量最大化的前提下,得到FPGA芯片上的资源块分配,并将一个或者
多个资源块配置成相应的加速器虚拟化给用户。不同数据块组成的同一加速器之间通过数
据通道进行数据传输。

在步骤S103中,根据分配太阳城集团将至少一个资源块配置成相应的加速区虚拟化给用
户。

其中,多个加速器在运行的过程中,利用图论和路由策略,考虑资源块间的流量最
大化,流量控制由服务层逻辑中的通信控制模块完成。

具体地,,在本发明的一个实施例中,在加速器运行时,基于资源块间的流量最大
化确定数据传输通道,以根据数据传输通道进行资源块间的通信。可选地,在本发明的一个
实施例中,数据传输通道包括至少一条数据通道。

在本发明的实施例中,本发明实施例的通信方法通过可供使用流量最大的数据通
路指导加速器进行数据传输,从而最大化由多个资源块组成的加速器内部的数据流量,提
高加速器工作效率。

也就是说,在本发明的实施例中,本发明实施例的通信方法在两个方面进行了改
进:第一个方面是在可重配的资源块之间加入了数据通道,使得相邻的资源块可以进行通
信,并且通过这种方式将多个资源块组合成一个大的资源块,配置成一个加速器虚拟化给
用户;第二个方面是增加了通信控制模块,控制数据通道中的数据流量,实现了资源块之间
数据的高效传输。

其中,通过FPGA相邻动态可重配资源块间的数据通道,可以使得多个资源块可被
同时分配给同一用户,满足灵活性需求,其中,可将多个资源块通过数据通道组成一个大的
资源块,用户加速器逻辑的不同部分配置到不同资源块,通过数据通道进行连接和数据传
输。FPGA上虚拟化的加速器大小可以大于原先划分的数据块大小,从而提高了虚拟化资源
分配的灵活度;通过资源块间数据通道的通信控制,可以最大化由多个资源块组成的加速
器内部的数据流量,提高加速器工作效率,其中,通过服务逻辑当中的通信控制模块,获取
加速器内部的流量太阳城集团。基于图论和路由算法,计算出可供使用流量最大的数据通路,指导
加速器进行数据传输。

进一步地,在本发明的一个实施例中,还包括:获取计算结果,并通过PCI-e传输计
算结果至用户。

也就是说,如图2所示,最后,加速器将计算结果反馈给主机端,并且主机端通过云
端间数据反馈给用户。

可以理解的是,云计算中的FPGA虚拟化硬件架构可以基于FPGA的动态重配技术将
FPGA芯片上的资源分配给不同云端用户,每个用户可以独立配置加速器。

在本发明的一个具体实施例中,如图2所示,本发明实施例的通信方法包括:

步骤S1,主机将资源块的划分太阳城集团、数据通道逻辑、服务层逻辑、通信控制等静态
配置逻辑下载到FPGA芯片,并进行配置。

步骤S2,用户将所需加速器的配置太阳城集团和所需资源块太阳城集团通过云平台发送给主机
端,配置太阳城集团的一个实例如表1所示。其中,表1为配置太阳城集团表。

表1

用户
加速器名称
所需资源块个数
用户1
应用1
2
用户2
应用2
2
用户3
应用3
1
用户4
应用4
1

步骤S3,服务层逻辑将多个用户的配置太阳城集团与已有资源块划分太阳城集团进行整合,在
考虑加速器内部的数据流量最大化的前提下,得到FPGA芯片上的资源块分配,并将一个或
者多个资源块配置成相应的加速器虚拟化给用户。不同数据块组成的同一加速器之间通过
数据通道进行数据传输。基于表1的配置太阳城集团实例,表2基于图2给出了资源块分配的实例,
即表2为资源块分配表。

表2

用户
加速器名称
所需资源块个数
分配的资源块
用户1
应用1
2
资源块A、B
用户2
应用2
2
资源块C、E
用户3
应用3
1
资源块D
用户4
应用4
1
资源块F

步骤S4,多个加速器在运行的过程中,利用图论和路由策略,考虑资源块间的流量
最大化。如图3所示,给出了一个流量管理的例子。当资源块C、D、E、F被配置成同一加速器
后,资源块C将数据发送给资源块F有C→D→F与C→E→F两条通路。通信控制模块通过考虑
这两条通路中数据流量的情况,结合图论和路由策略,选取可提供数据流量最大的通路进
行数据传输。

步骤S5,加速器的计算结果通过PCI-e传递给主机端,主机端通过云平台返回给用
户。

举例而言,选取DTW(Dynamic Time Warp)算法和Space Saving算法作为加速器的
实例。测试主要包含两个部分,一方面是测试配置不同大小(使用不同个数资源块)的加速
器,其吞吐量(throughput)是否可以维持,如表3所示。另一方面是测试不同加速器是否可
以按照需求分配给不同用户,如表4所示。

表3



表4

加速器内容
所需资源块个数
吞吐量(MB/s)
DTW算法
2
597
DTW算法
1
602
Space Saving算法
2
601
Space Saving算法
1
605

需要说明的是,表3为DTW算法在不同资源块配置下的吞吐率表,表4为不同加速器
同时工作时的吞吐率表。

根据本发明实施例的FPGA的虚拟化硬件架构的通信方法,可将多个资源块通过数
据通道组成一个大的资源块,用户加速器逻辑的不同部分配置到不同资源块,通过数据通
道进行连接和数据传输,FPGA上虚拟化的加速器大小可以大于原先划分的数据块大小,从
而提高了虚拟化资源分配的灵活度,从而数据通道使得多个资源块可被同时分配给同一用
户,满足灵活性需求,并且通过可供使用流量最大的数据通路指导加速器进行数据传输,从
而最大化由多个资源块组成的加速器内部的数据流量,提高加速器工作效率,提高FPGA利
用率与计算性能。

其次参照附图描述根据本发明实施例提出的FPGA的虚拟化硬件架构的通信装置。

其中,FPGA的虚拟化硬件架构中划分有多个资源块,并且所述多个资源块之间通
过数据通道相互通信。

图4是本发明一个实施例的FPGA的虚拟化硬件架构的通信装置的结构示意图。

如图4所示,该FPGA的虚拟化硬件架构的通信装置10包括:获取模块100、分配模块
200和配置模块300。

其中,获取模块100用于获取多个用户所需的配置太阳城集团。分配模块200用于根据多
个用所需的配置太阳城集团和资源块划分太阳城集团得到分配太阳城集团。配置模块300用于根据分配太阳城集团将
至少一个资源块配置成相应的加速区虚拟化给用户。本发明实施例的通信装置10可以通过
数据通道使得多个资源块可被同时分配给同一用户,满足灵活性需求,提高FPGA利用率与
计算性能。

进一步地,在本发明的一个实施例中,在加速器运行时,基于资源块间的流量最大
化确定数据传输通道,以根据数据传输通道进行资源块间的通信。

在本发明的实施例中,本发明实施例的通信装置10通过可供使用流量最大的数据
通路指导加速器进行数据传输,从而最大化由多个资源块组成的加速器内部的数据流量,
提高加速器工作效率。

进一步地,在本发明的一个实施例中,数据传输通道包括至少一条数据通道。

进一步地,在本发明的一个实施例中,本发明实施例的通信装置10还包括:传输模
块。其中,传输模块用于获取计算结果,并通过PCI-e传输计算结果至用户。

可选地,在本发明的一个实施例中,配置太阳城集团包括所需加速器的配置太阳城集团和资源
块太阳城集团。

需要说明的是,前述对FPGA的虚拟化硬件架构的通信方法实施例的解释说明也适
用于该实施例的FPGA的虚拟化硬件架构的通信装置,此处不再赘述。

根据本发明实施例的FPGA的虚拟化硬件架构的通信装置,可将多个资源块通过数
据通道组成一个大的资源块,用户加速器逻辑的不同部分配置到不同资源块,通过数据通
道进行连接和数据传输,FPGA上虚拟化的加速器大小可以大于原先划分的数据块大小,从
而提高了虚拟化资源分配的灵活度,从而数据通道使得多个资源块可被同时分配给同一用
户,满足灵活性需求,并且通过可供使用流量最大的数据通路指导加速器进行数据传输,从
而最大化由多个资源块组成的加速器内部的数据流量,提高加速器工作效率,提高FPGA利
用率与计算性能。

在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、
“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时
针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或
位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必
须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者
隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三
个等,除非另有明确具体的限定。

在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等
术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连
接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内
部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员
而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以
是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在
第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示
第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第
一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示
例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。

尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例
性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述
实施例进行变化、修改、替换和变型。

关 键 词:
FPGA 虚拟 硬件 架构 通信 方法 装置
  专利查询网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
太阳城集团本文
本文标题:FPGA的虚拟化硬件架构的通信方法及装置.pdf
链接地址:http://zh228.com/p-6019513.html
太阳城集团我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2017-2018 zhuanlichaxun.net网站版权所有
经营许可证编号:粤ICP备17046363号-1 
 


收起
展开
葡京赌场|welcome document.write ('');