数据中心CloudFabric云数据中心网解决方案-基于MDC的Multi-Site设计指南

CloudFabric云数据中心网解决方案设计指南基于MDC的Multi-Site

目录

1概述..................................................................................................................................................1

1.1概念术语. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2业务场景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

1.2.1两地三中心场景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

1.2.2边缘DC场景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.2.3大型DC多POD场景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

1.3业务需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

1.3.1多DC互联需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

1.3.2网络时延需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

1.3.3VAS资源池化需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

1.4SDN网络需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

2 Multi-Po d和Multi-S ite方案选择............................................................................................12

2.1 Multi-Site方案介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

2.2 Multi-Pod方案介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

2.3 Multi-Pod和Multi-Site对比选择. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18

3 Multi-Site方案架构.....................................................................................................................20

3.1MDC方案架构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

3.2 VMM/云平台对接设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22

4 Multi-Site方案设计.....................................................................................................................24

4.1方案能力. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .24

4.2MDC部署. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

4.3业务发放流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .27

4.3.1MDC预配置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

4.3.2租户VPC业务发放. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

4.3.3MDC业务发放. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

4.3.3.1跨Fabric VPC互通. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

4.3.3.2跨安全域VPC互通. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

4.3.3.3VPC访问外部网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36

4.3.3.4跨安全域VPC访问外部网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38

4.3.3.5跨安全域VPC互通集中式VAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40

4.3.3.6跨安全域VPC访问外部网络集中式VAS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

5部署推荐........................................................................................................................................45

5.1多DC场景方案设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

5.1.1典型组网. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45

5.1.2应用实践. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .48

5.2边缘DC场景方案设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

5.2.1典型组网. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49

5.2.2应用实践. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53

5.3大型DC多POD场景方案设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54

5.3.1典型组网. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54

5.3.2应用实践. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .56

A参考图片......................................................................................................错误未定义书签。

概述

本章节说明多DC、多POD的业务场景和客户诉求。

1.1 概念术语

1.2 业务场景

1.3 业务需求分析

1.4 SDN网络需求分析

1.1概念术语

DC Date Center是比较通用的数据中心概念从物理概念上看可以是一个小的机房/资源Module也可以是一个包含多个机房/资源Modu le。

Pod Point of Delivery一个独立的物理资源Multi-Pod之间的Pod距离不能太远Pod之间可以满足传统意义上的同城DC部署要求。

Site英文是站点的意思一套iMaster NCE-Fabric控制器纳管的范围 Site的管理范围更大一个Site可以包含多个Pod。

Multi-PodMulti-Pod适用于地域上距离较近的物理资源域管理域是被同一套iMaster NCE-Fabric控制器纳管的DC或者资源Module 当前方案重点是距离较近的两个Pod业务互通。

Multi-SiteMulti-Site是两个或者多个位于不同地域的Site可以是位于同城的近距离Site可以位于异地的远距离Site。管理层面上是多套iMaster NCE-Fabric控制器纳管的DC或者资源Module。

MDCMulti-Domain-Contro ller多数据中心多Domain控制器实现跨Fabric业务互通的自动化部署、支持灵活的安全策略控制。

Domain一个SDN管理域对应一套控制器的管理范围 Domain控制器即是iMasterNCE-Fabric控制器。

Transit Fabric在Multi-Site场景使用MDC支持将Domain控制器纳管的DCI网关上收将业务上有跨Fabric互通关系的Fabric GW放在一个Transit Fabric资源池中管理。

VPC Virtual Private Cloud面向租户是一个用户能够定义的虚拟网络。一个租户内可以包含一个或多个VPC。

Transit VPC互通VPC是相对业务VPC而言的一个逻辑概念Multi-Site场景使用Transit VPC来实现多个Site之间的业务VPC互通。

1.2业务场景

随着大数据、云计算、移动互联网的迅速发展随着国家新基建对“大数据中心”战略投资和布局数据中心建设日趋活跃。各企业随着业务的发展越来越多的应用部署在数据中心。而单个数据中心的规模有限不可能无限扩容业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需求需要建设多个数据中心来部署业务。

1.2.1两地三中心场景

在金融、运营商、政府等领域信息系统业务中断会导致巨大经济损失、影响品牌形象并可能导致重要数据丢失。因此保证业务连续性是信息系统建设的关键备份和容灾逐渐成为了普遍需求。 出于灾备的目的企业一般都会建设多个数据中心例如金融企业普遍采用“两地三中心”的建设方案 “两地三中心”指的是在同城建设双活主用数据中心在此基础上在异地增加一个灾备数据中心与同城双活实现数据同步。同城双活数据中心是指相同的两套业务系统部署在同城两个DC在应用处理层面上实现了完全冗余通过负载均衡GSLB将流量路由到不同数据中心的应用服务器两套业务系统同时在同城的两个数据中心运行 同时为用户提供服务。服务能力是双倍的并且互相实时灾备接管 当某个数据中心的业务系统出现问题时另一个数据中心的业务系统仍持续提供服务业务连续性和可靠性性得到了很大的提高对用户来说故障无感知。不同数据中心的子系统间需要跨DC互通相同子系统的安全策略需要一致对外提供相同服务形成双活。

异地的灾备中心是同城双活的两个主数据中心的备份中心用于备份主数据中心的数据、配置、业务等。当主用双中心出现自然灾害等原因发生故障时异地灾备中心可以快速恢复数据和应用保证业务正常运行从而减轻因灾难给用户带来的损失如图1-1所示。

图1-1两地三中心场景示意

1.2.2边缘DC场景

随着5G、物联网、大数据等技术的广泛推广和应用数据种类、数据规模和数据形式呈爆炸式增长为更好地支撑高密度、大带宽和低时延业务场景唯一有效的方式为在靠近用户的网络边缘侧构建业务平台提供存储、计算、 网络等资源将部分关键业务应用下沉到接入网络边缘。不同的业务对边缘云数据中心的下沉程度要求不同端到端时延要求<20ms的业务多数规划部署在接入机房和企业自有机房内端到端时延要求20~50ms的业务多数规划部署在汇聚机房和企业自有机房内端到端时延要求>50ms的业务对机房位置敏感度大幅降低站址的规划可以在较大地理范围内综合号]

另外企业增量建设或者企业承建小规模数据中心也是边缘DC的应用场景。边缘数据中心具有以下特点边缘DC部署非常靠近信息源具有属地化部署特点分布广泛具有小型化、分布式、数量多、贴近用户等特点。

当边缘DC的属地用户发起业务访问时根据就近服务原则边缘DC可以处理一部分本地化服务不再需要访问中心DC 降低了网络延时和传输压力。另一方面需要访问中心DC数据的场景核心数据在中心DC 中心DC通过骨干网将内容发送给边缘DC边缘DC再将内容发送给最终客户在这个过程中边缘DC和中心DC之间需要进行L2/L 3互通。如图1-2所示。

图1-2边缘DC场景示意

1.2.3大型DC多POD场景

大型数据中心按照业务功能定位和安全防护等要求 DC内划分为多个物理资源池每个资源池物理网络独立对应不同的POD不同类资源池互访通过安全设备进行访问控制。资源池内部的不同业务通过逻辑隔离共享物理网络。

如图1-3所示为大型DC多POD的一个场景举例数据中心内部划分为生产区、测试区、容灾区、互联网D MZ区、外联网D MZ区等不同资源池按照资源池物理隔离要求每个资源池部署在不同的POD中 POD间互访流量需要经过安全设备访问控制及交换核心设备的路由转发 Internet和Extranet网络访问生产区等内网区P OD要经过D MZ隔离区作为统一接入区。

图1-3 DC内多POD场景示意

1.3业务需求分析

1.3.1多DC互联需求分析

互联需求介绍

从业务场景中的介绍我们可以看出多个数据中心之间并不是孤立的不同的层面有不同互通需求多个数据中心之间互联要解决以下几个问题

 数据同步和数据备份需要存储互联

 跨数据中心部署HA集群内部的心跳或者虚机迁移需要大二层互通 业务间的互访需要跨数据中心三层互通

 不同数据中心前端网络 即数据中心的外联出口通过IP技术实现互联。图1-4跨数据中心互联示意

各类业务跨DC部署时集群节点间的互通要求参见表1-1 。

表1-1业务跨DC部署要求

互联技术介绍

1. 存储互联一般通过波分或者裸光纤

波分或者裸光纤DWDM或者Dark Fiber是物理链路直连此互联的方式的优点是独享式通道仅用于数据中心之间的流量交互可充分满足数据中心之间流量交互的高带宽和低延时需求而且可以承载多种协议的数据传输提供灵活的SAN/IP业务接入不论是IP SAN还是FC SAN都可以承载既支持二层网络互联也支持三层网络互联满足多业务传输需要不足之处就是需要新建或租用光纤资源增加数据中心的投入成本主要应用于同城站点之间。

2. 应用集群或者跨DC的虚机迁移需要跨DC的大二层网络大二层技术包括− VPLS是一种基于MP LS和以太网技术的二层VPN技术。VPLS的主要目的就是通过公网连接多个以太网使它们像一个LAN那样工作。在已有的公网/专网资源上封装二层VPN通道用以承载数据中心之间的数据交互和容灾业务的备份与恢复主要应用于云计算数据中心的互联场景。此互联方式的优点是无需新建互联平面只需要在当前的网络通道上叠加一层VPN通道以隔离于网络中现有的数据流量不足之处是部署实施较为复杂而且要有MPLS网络的支持需要租用运营商的MPLS网络或者有自建的MP LS网络。− VXLAN是一种先进的“MAC in IP”的Overlay技术允许承载在IP网络上通过VXL AN遂道在I P核心网提供L2 VP N服务。它可以基于现有的运营商各种专线网络或者因特网为分散的物理站点提供二层互联功能。这种方式成本低距离远易于扩展而且VXLAN支持水平分割防环机制 以及广播风暴抑制功能优点是不依赖于光纤资源或MP L S网络资源只要求两端三层IP可达即可方案灵活扩展性极强成本较低并且部署运维更简单不足之处是网络的质量受限于IP网络而且由于采用Overlay技术带宽利用率较低。