数据中心CloudFabric云数据中心网解决方案-Multi-Site设计指南

CloudFabric云数据中心网解决方案设计指南Multi-Site

目录

1多数据中心业务诉求和场景.........................................................................................................1

1.1多数据中心的发展趋势. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2多数据中心业务场景分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.3多数据中心互联需求分析和技术介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

1.4多数据中心SDN网络需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

1.5华为Multi-DC Fabric方案整体架构和场景分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

1.5.1方案整体架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

1.5.2场景分类. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2 Multi-Site场景和设计.................................................................................................................13

2.1 Multi-Site方案应用场景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

2.1.1大VPC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

2.1.2VPC互通. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

2.2 Multi-Site方案设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

2.2.1 Multi-Site场景业务部署过程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

2.2.2 VMM对接设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

2.2.3部署方案设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

2.2.4转发面方案设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

2.2.5外部网络多活. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

2.3 Multi-Site部署方案推荐. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

2.3.1按安全等级划分VPC. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

2.3.2多租户VPC模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

3 Multi-PoD场景和设计................................................................................................................34

A参考图片......................................................................................................................................35

多数据中心业务诉求和场景

本章节说明多DC场景的客户诉求和业务场景。

1.1 多数据中心的发展趋势

1.2 多数据中心业务场景分析

1.3 多数据中心互联需求分析和技术介绍

1.4 多数据中心S DN网络需求分析

1.5 华为Multi-DC Fabric方案整体架构和场景分类

1.1多数据中心的发展趋势

随着业务的发展越来越多的应用部署在数据中心单个数据中心的规模有限不可能无限扩容业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需求需要多个数据中心来部署业务 同时数据安全、业务的可靠性和连续性也越来越被重视备份和容灾逐渐成为了普遍需求需要通过建设多个数据中心来解决容灾备份问题 “两地三中心”是这一阶段的代表方案。

伴随着互联网+云计算大数据的发展虚拟化和资源池化成为主流需求需要整合跨地域、跨DC资源形成统一资源池 同时业务系统多DC分布式部署形成多活就近提供服务提高用户体验 “分布式多数据中心”成为当前的主流方案。

1.2多数据中心业务场景分析

目前多DC的业务场景主要分为业务跨DC部署、业务双活、 网络容灾、分布式云化。下面分别介绍这几种业务场景。

业务跨DC部署

通常一个应用内部是需要多个子系统一起协助的有的可能需要上百个子系统一起协助。部署上主要存在以下两种情况。

 一种情况是可能由于单个数据中心的规模有限一个数据中心不能容纳所有的子系统应用的不同子系统分别部署在不同的DC中整体上看这个应用是跨多个DC部署。

 另一种情况是 由于不同子系统的功能不同有的需要分布式部署在多个数据中心有的需要集中式部署整个业务系统是跨数据中心部署。例如下面这样一种场景 web子系统部署在DC1  APP子系统部署在DC2 DB子系统部署在DC3WEB调用APP APP调用DB不同子系统需要跨DC互通保证应用的正常运行。业务跨DC部署场景如图1-1所示。

图1-1业务跨DC部署示意图

两地三中心

一般所讲的两地三中心是指在同城双活的主数据中心基础上增加一个异地灾备数据中心与同城双活实现数据同步。

同城双活的两个数据中心是指相同的两套业务系统部署在同城两个DC在应用处理层面上实现了完全冗余通过负载均衡将流量路由到不同数据中心的应用服务器两套业务系统同时在同城的两个数据中心运行 同时为用户提供服务。服务能力是双倍的并且互相实时灾备接管 当某个数据中心的业务系统出现问题时另一个数据中心的业务系统仍持续提供服务业务连续性和可靠性性得到了大大的提高对用户来说故障无需感知。不同数据中心的子系统间需要跨DC互通相同子系统的安全策略需要一致对外提供相同服务形成双活。

异地的灾备中心是同城双活的两个主数据中心的备份中心用于备份主数据中心的数据、配置、业务等。当主用双中心出现自然灾害等原因发生故障时异地灾备中心可以快速恢复数据和应用保证业务正常运行从而减轻因灾难给用户带来的损失如图1-2所示。

图1-2两地三中心

网络级容灾

当前有很多应用是通过集群软件提供服务的集群软件将网络上的多台服务器关联在一起对外表现为一台逻辑服务器提供一致的服务。通过集群利用多台服务器负载分担提升集群整体业务处理能力并且多台服务器间互为备份提升系统的可靠性。如果将集群中的服务器部署于不同数据中心 当某个数据中心发生故障时集群内其他数据中心的服务器仍可提供服务可实现跨数据中心的应用系统容灾。

多数厂商的集群软件需要各服务器间采用二层网络互连 因此服务器集群跨数据中心部署需要网络提供跨DC的大二层能力。 同时集群对外提供服务的地址是一个虚IP该地址将通过数据中心前端网络向外发布 因此集群跨数据中心部署需要网络给集群的虚IP提供跨DC的网关跨DC的网关可以是主备或者双活。

 主备网关是对外发布主备路由正常情况下南北向流量根据主路由走主数据中心

的主网关。当主用数据中心故障切换到备份路由流量走备数据中心的备网关。 双活网关是对外发布等价路由正常情况下南北向流量根据等价路由分担到两个

数据中心。当一个数据中心故障流量切换到其他数据中心的网关。

对于集群的南北向流量通常需要防火墙提供安全防护防火墙部署也可以是主备或者双活如图1-3所示。

图1-3网络级容灾

分布式云化场景

分布式云化是指业务分布式部署在多个数据中心每个数据中心都可以实时承担流量同时提供服务多个数据中心通过DCI骨干网互联形成统一的资源池可以实时同步数据任何一点出问题都可以直接切换 由其他站点直接接管站点间形成多活并且边缘DC就近提供服务时延小用户体验好。

中心DC为主要数据源通过骨干网将内容发送给边缘DC边缘DC再将内容发送给最终客户在这个过程中多个D C之间需要进行L2/L3互通。如图1-4所示。图1-4分布式云化场景

1.3多数据中心互联需求分析和技术介绍

互联需求分析

从业务场景介绍我们可以看出多个数据中心之间并不是孤立的不同的层面有不同互通需求多个数据中心之间互联要解决以下几个问题

 数据同步和数据备份需要存储互联

 跨数据中心部署HA集群内部的心跳或者虚机迁移需要大二层互通 业务间的互访需要跨数据中心三层互通

 不同数据中心前端网络 即数据中心的外联出口通过IP技术实现互联。图1-5跨数据中心互联示意

不同应用的互通方案建议参见下表。

互联技术介绍

1. 存储互联一般通过波分或者裸光纤

波分或者裸光纤DWDM或者Dark Fiber是物理链路直连此互联的方式的优点是独享式通道仅用于数据中心之间的流量交互可充分满足数据中心之间流量交互的高带宽和低延时需求而且可以承载多种协议的数据传输提供灵活的SAN/IP业务接入不论是IP SAN还是FC SAN都可以承载既支持二层网络互联也支持三层网络互联满足多业务传输需要不足之处就是需要新建或租用光纤资源增加数据中心的投入成本。

2. 应用集群或者跨DC的虚机迁移需要跨DC的大二层网络大二层技术包括− 裸光纤/D WD M成本高主要应用于同城站点之间难于扩展。

− VPLS VP LS是一种基于MPLS和以太网技术的二层VPN技术。VPLS的主要目的就是通过公网连接多个以太网使它们像一个LAN那样工作。在已有的公网/专网资源上封装二层VPN通道用以承载数据中心之间的数据交互和容业务持续和恢复份主要应用于云计算数据中心的互联场景此互联方式的优点是无需新建互联平面只需要在当前的网络通道上叠加一层VPN通道以隔离于网络中现有的数据流量不足就是部署实施较为复杂而且要有MPLS网络的支持需要租用运营商的MPLS网络或者有自建的MP LS网络。− VXLAN是一种先进的“MAC in IP”的Overlay技术允许承载在IP网络上通过VXL AN遂道在I P核心网提供L2 VP N服务。它可以基于现有的运营商各种专线网络或者因特网为分散的物理站点提供二层互联功能。成本低距离远易于扩展而且VXLAN支持水平分割防环机制 以及广播风暴抑制功能优点是不依赖于光纤资源或MP L S网络资源只要求两端三层IP可达即可方案灵活扩展性极强成本较低并且部署运维更简单不足之处是网络的质量受限于IP网络而且由于采用Overlay技术带宽利用率较低。

3. DC间三层互联

− 传统IP三层互联是指通过I GP/BGP路由传递使不同数据中心的业务网段能够三层互通。

− MPLS L3 VPN是构建在MPLS网络之上的虚拟L3专用网络通过MPLSL3 VPN可以使不同数据中心的业务网段能够三层互通用以承载IDC之间的数据交互和容业务持续和恢复份此互联方式主要应用于传统业务数据中心的互联场景优点同VPLS不足也与VPLS一样。

− VXLAN是构建在IP网络之上的VXLAN隧道也可以提供L3 VPN服务。

4. 数据中心的外联出口

数据中心出口设备接入运营商的各种专线网络或者因特网通过动态路由或静态路由等IP技术实现互联。

1.4多数据中心SDN网络需求分析

在云化数据中心 网络资源通过虚拟化技术形成资源池实现业务与物理网络解耦通过S DN技术实现业务网络的按需自助与自动化部署支持多租户、弹性扩缩、 以及快速部署。在多数据中心场景下还需要解决业务跨数据中心部署、不同业务系统之间的跨数据中心互通、跨数据中心互通的自动化部署、跨数据中心的业务容灾和多活问题。

多数据中心的主要诉求如下表

这4个诉求具体描述如下

1. 业务跨VPC部署客户某些业务可能是跨DC部署的 比如客户可能会针对某大型网站划一个独立的VPC这个VPC可能会跨多个Fabric所以在这个VPC内部流量就有跨Fabric互通的需求 同时路由和防火墙需要进行隔离。

2. 业务之间的互通客户针对不同的业务会划分不同的VPC不同VPC可能会部署在不同的Fabric中业务之间如果有互通的需求就要求VPC之间能跨Fabric进行L3互通VP C之间互通一般为L3互通如果需要L2互通则建议将互通的VM划分到同一个VPC中 。

3. 通过S DN实现自动化部署客户部署了S DN网络自然是希望实现自动化部署自动化部署主要分为两步首先需要将跨DC的虚拟化网络编排出来其次编排出虚拟化网络后需要在各DC中进行实例化。针对跨DC的业务编排器统一编排单DC内的网络则由iMaster NCE-Fabric进行编排。

4. 业务容灾/多活业务容灾和多活主要分为两种方式首先针对比较新的业务系统客户自己可以通过GSLB的方式进行容灾和多活具体方式是两个DC同时部署相同的业务业务相同同时IP地址不同这样两套系统可以进行容灾处理这种方式对网络没有什么特别的诉求。但是针对比较旧的一些系统会要求迁移到容灾中心后 IP地址不能变化。这种情况下就需要支持跨Fabric的二层互通 同时需要提供网关供业务访问外部网络 网关需要支持主备和双活两种方式。