网络双网卡

YY游戏私有云建设历程虎牙信息刘亚丹YY游戏私有云建设历程虎牙信息刘亚丹个人简介9年互联网运维经历5年私有云IaaS和PaaS实践参与编写《自主实现SDN虚拟网络和企业私有云》虎牙信息-基础运维负责人大纲1需求背景2YY私有云1.
0现状32.
0平台方案选型4网络,存储,计算集成实践方案需求背景Web类应用特点:无状态,弹性伸缩,故障隔离页游特点:开服多,周期短,云化提高资源利用率和回收效率YY游戏运营平台:联运和独代游戏,具备一定的规模经济性页游和Web类应用适合虚拟化建设历程-YY私有云1.
0平台现状1.
0核心功能n云主机-本地存储n云网关(LVS+NAT)n云DB,云缓存n云存储(对象存储)n云监控Cloud1.
0的不足n租户网络未隔离n可控性差建设历程-基于OpenStack的1.
0平台网络架构at+vlan模式PrivoderNetwork公网模式:VM双网卡,eth0绑定电信、联通(Flat);eth1绑定内网IP(at+vlan)云网关模式:eth0绑定内网IP(at+vlan)典型网络配置支持建设历程-OpenStack上踩过的坑稳定性架构组件复杂代码质量不高可维护性安装部署复杂对运维要求极高无法平滑升级扩展性L3-Agent性能瓶颈Dnsmasq&KeystoneMQ等性能瓶颈建设历程-YY私有云2.
0-选型思路关键需求:提供性能,可扩展的VPC网络云管理平台自主可控基本策略:以开源软件为基础,主研发为核,专业商为关键补充虚拟计算:KVM虚拟存储:Ceph虚拟络:借助专业商的专门络硬件和控制器,实现VXLAN络建设历程-YY私有云2.
0-方案选型虚拟网络的灵魂:SDN控制器工作机制复杂,开发工作量巨大基于硬件的VXLAN和集中式组合关实现VPC,NAT,floatingIP,子网,路由等功能云管理平台实现对计算,存储,网络,以及云数据库等模块的调用,调度,监控和反馈建设历程-YY私有云2.
0-方案选型虚拟网络的灵魂:SDN控制器基本结构工作机制选型案:简单标准的北向接口复杂的南向接由商实现网络设备网络设备网络设备网络设备网络设备基础架构层SDN控制器控制层应用层网络服务业务应用系统南向控制协议北向API北向API北向API建设历程-2.
0Overlay网络模型核心交换机外部网络vFW1vRouter2VTEPvlanvRouter1vRouternVTEPvlanVTEPvlanvFW2vFWnvFWpublicsubifsubifvRouterpublicVxlanVxlanVxlanVxlanVxlansubifsubif1.
1.
1.
12.
2.
2.
23.
3.
3.
34.
4.
4.
4VTEPsubifSubifSubifVSI1VSI2VSInsubifSubifSubifVxlanT1_VMvlanvlanT1_VMT2_VMT2_VMvlanvlanTn_VMTn_VMTn_VMvlanvlanT1_VMT1_VMFirewallNAT+ACL接入Switch接入Switch接入SwitchHypervisor1Hypervisor2Hypervisorn基于硬件的VXLAN和集中式组合网关东西向流量转发南北向流量转发建设历程-云平台各层交互流程Cloud2.
0云平台SDN控制器(集群)RESTful接口HypervisorvSwitchVMVMOverlay、网关、策略路由接入交换机网关交换机HypervisorNAT、EIP配置VM、vSwitch配置VXLAN配置VLAN映射VNI配置核心接入NGFWn交互流程n云平台与控制器交互n云平台与宿主机交互n云平台与监控交互建设历程-虚拟网络模型-整体模型模型描述:三个网络nDatanet:TenantVPC,利用VxLAN虚拟化技术构建叠加网络nMGMTnet:组件内部通信、存储访问nCeph内部网络Internet/WANMGMTNetOSPF/BGP网络设备管理DataNetVxLANOverlayServiceNodeComputerNodeStorageNodeCeph内部网络VPCVxLANL3GW数据中心出口路由设备建设历程-网络架构-DataNet数据网络-架构描述SDNHybridSwitch构Controller集群集中控制采用核心层-接入层结构核心Switch:采用CLOS架构核心交换机,多级多平面无阻塞交换架构,双机高可用热部署接入层:40GE双归接入防火墙:旁挂核心Switch,采用主-被部署核心层接入层VxLAN接入VxLAN网关Internet/WANCLOSCSS计算节点Controller集群vSwitchVMVMVMvSwitchVMVMVMvSwitchVMVMVMvSwitchVMVMVM10GEBase-T40GEQSFPEth0Eth0Eth0Eth0建设历程-网络架构-MGMTNet管理网络-架构描述:通用L3Switch构建采用核心层-接入层结构n10GE接入n40GE汇聚与Datanet共用核心交换机,核心交换机用作数据中心出口设备接入层Switch使用40GE双归接入核心Switch建设历程-网络设备选型SDNHybridSwitch:n国内厂家:Huawei,H3C,锐捷,中兴,盛科n国外厂家:Cisco、AristaSDNController:nH3C:VCFControllernHuawei:AgileControllern云杉:NSPControllerNGFW:nH3C:M9000nHuawei:USG9500nHillstone:X7180设备组合:nH3C:VCFC+M9006+S12508AX-F+S6800nHuawei:AC+USG9520+CE12808+CE6850n云杉+Huawei:NSP+USG9520+CE12808+CE6850VM1VM2SpineSpineLEAF1LEAF2LEAF3LEAF4CSDNControllerNGFWNGFW演进路线:RiseCloud1.
0基于OpensackProviderNetwork混合网络千兆以太基础网络,VLAN隔离方式RiseCloud2.
0基于纯硬件VxLANFabric的Overlay网络方案集中式硬件L3VxLAN网关方式万兆以太基础网络,无阻塞Spine-Leaf结构RiseCloud2.
0Ext.
基于混合VxLANFabric的Overlay网络方案采用VGW服务器集群作为L3VxLAN网关真正具有弹性伸缩能力Cloud1.
0Cloud2.
0Cloud2.
0Ext集成方案-计算节点网络结构变化1.
02.
0KVMVirtioeth0vm01eth0vm02ovs-br0vnet0vnet1eth0guestHyperVisorhybrid-Switchport0trunkvlan_tag=2vlan_tag=1VETPvlanvxlanvlan=1vni=1001vlan=2vni=1002集成方案-虚拟存储方案存储选型Ceph存储类型块存储对象存储系统、数据盘均使用Ceph网络盘MySQL数据使用本地SSD硬盘、数据备份使用ceph网络盘Metadata数据通过挂载Ceph网络盘进行VM初始化配置集成方案-VM创建流程Cloud2.
0云平台控制器学习ARP,生成转发流表更新vlan_vxlan映射表北向创建vPort(IP/MAC)下发vlan_vxlan映射关系到Hypervisor对应的L2网元下发流表到接入层VTEP下发流表到L3GW云主机创建流程SDN-ControllerS12500(IPGW)S6800(VTEP)HypervisorARPPacket_in上送控制器流表转换为硬件MAC表项-二层网络建立流表转换为硬件主机路由表项-3层网络建立云主机发送免费ARP下发指令,配置网络,存储,启动VM运营保障上线和迭代部分业务测试功能,稳定性磨合关键组件质量保障集中式网关的性能,稳定性集群性能,稳定性,容量保障Thankyou!