YY游戏私有云建设历程虎牙信息刘亚丹YY游戏私有云建设历程虎牙信息刘亚丹个人简介9年互联网运维经历5年私有云IaaS和PaaS实践参与编写《自主实现SDN虚拟网络和企业私有云》虎牙信息-基础运维负责人大纲1需求背景2YY私有云1.
0现状32.
0平台方案选型4网络,存储,计算集成实践方案需求背景Web类应用特点:无状态,弹性伸缩,故障隔离页游特点:开服多,周期短,云化提高资源利用率和回收效率YY游戏运营平台:联运和独代游戏,具备一定的规模经济性页游和Web类应用适合虚拟化建设历程-YY私有云1.
0平台现状1.
0核心功能n云主机-本地存储n云网关(LVS+NAT)n云DB,云缓存n云存储(对象存储)n云监控Cloud1.
0的不足n租户网络未隔离n可控性差建设历程-基于OpenStack的1.
0平台网络架构at+vlan模式PrivoderNetwork公网模式:VM双网卡,eth0绑定电信、联通(Flat);eth1绑定内网IP(at+vlan)云网关模式:eth0绑定内网IP(at+vlan)典型网络配置支持建设历程-OpenStack上踩过的坑稳定性架构组件复杂代码质量不高可维护性安装部署复杂对运维要求极高无法平滑升级扩展性L3-Agent性能瓶颈Dnsmasq&KeystoneMQ等性能瓶颈建设历程-YY私有云2.
0-选型思路关键需求:提供性能,可扩展的VPC网络云管理平台自主可控基本策略:以开源软件为基础,主研发为核,专业商为关键补充虚拟计算:KVM虚拟存储:Ceph虚拟络:借助专业商的专门络硬件和控制器,实现VXLAN络建设历程-YY私有云2.
0-方案选型虚拟网络的灵魂:SDN控制器工作机制复杂,开发工作量巨大基于硬件的VXLAN和集中式组合关实现VPC,NAT,floatingIP,子网,路由等功能云管理平台实现对计算,存储,网络,以及云数据库等模块的调用,调度,监控和反馈建设历程-YY私有云2.
0-方案选型虚拟网络的灵魂:SDN控制器基本结构工作机制选型案:简单标准的北向接口复杂的南向接由商实现网络设备网络设备网络设备网络设备网络设备基础架构层SDN控制器控制层应用层网络服务业务应用系统南向控制协议北向API北向API北向API建设历程-2.
0Overlay网络模型核心交换机外部网络vFW1vRouter2VTEPvlanvRouter1vRouternVTEPvlanVTEPvlanvFW2vFWnvFWpublicsubifsubifvRouterpublicVxlanVxlanVxlanVxlanVxlansubifsubif1.
1.
1.
12.
2.
2.
23.
3.
3.
34.
4.
4.
4VTEPsubifSubifSubifVSI1VSI2VSInsubifSubifSubifVxlanT1_VMvlanvlanT1_VMT2_VMT2_VMvlanvlanTn_VMTn_VMTn_VMvlanvlanT1_VMT1_VMFirewallNAT+ACL接入Switch接入Switch接入SwitchHypervisor1Hypervisor2Hypervisorn基于硬件的VXLAN和集中式组合网关东西向流量转发南北向流量转发建设历程-云平台各层交互流程Cloud2.
0云平台SDN控制器(集群)RESTful接口HypervisorvSwitchVMVMOverlay、网关、策略路由接入交换机网关交换机HypervisorNAT、EIP配置VM、vSwitch配置VXLAN配置VLAN映射VNI配置核心接入NGFWn交互流程n云平台与控制器交互n云平台与宿主机交互n云平台与监控交互建设历程-虚拟网络模型-整体模型模型描述:三个网络nDatanet:TenantVPC,利用VxLAN虚拟化技术构建叠加网络nMGMTnet:组件内部通信、存储访问nCeph内部网络Internet/WANMGMTNetOSPF/BGP网络设备管理DataNetVxLANOverlayServiceNodeComputerNodeStorageNodeCeph内部网络VPCVxLANL3GW数据中心出口路由设备建设历程-网络架构-DataNet数据网络-架构描述SDNHybridSwitch构Controller集群集中控制采用核心层-接入层结构核心Switch:采用CLOS架构核心交换机,多级多平面无阻塞交换架构,双机高可用热部署接入层:40GE双归接入防火墙:旁挂核心Switch,采用主-被部署核心层接入层VxLAN接入VxLAN网关Internet/WANCLOSCSS计算节点Controller集群vSwitchVMVMVMvSwitchVMVMVMvSwitchVMVMVMvSwitchVMVMVM10GEBase-T40GEQSFPEth0Eth0Eth0Eth0建设历程-网络架构-MGMTNet管理网络-架构描述:通用L3Switch构建采用核心层-接入层结构n10GE接入n40GE汇聚与Datanet共用核心交换机,核心交换机用作数据中心出口设备接入层Switch使用40GE双归接入核心Switch建设历程-网络设备选型SDNHybridSwitch:n国内厂家:Huawei,H3C,锐捷,中兴,盛科n国外厂家:Cisco、AristaSDNController:nH3C:VCFControllernHuawei:AgileControllern云杉:NSPControllerNGFW:nH3C:M9000nHuawei:USG9500nHillstone:X7180设备组合:nH3C:VCFC+M9006+S12508AX-F+S6800nHuawei:AC+USG9520+CE12808+CE6850n云杉+Huawei:NSP+USG9520+CE12808+CE6850VM1VM2SpineSpineLEAF1LEAF2LEAF3LEAF4CSDNControllerNGFWNGFW演进路线:RiseCloud1.
0基于OpensackProviderNetwork混合网络千兆以太基础网络,VLAN隔离方式RiseCloud2.
0基于纯硬件VxLANFabric的Overlay网络方案集中式硬件L3VxLAN网关方式万兆以太基础网络,无阻塞Spine-Leaf结构RiseCloud2.
0Ext.
基于混合VxLANFabric的Overlay网络方案采用VGW服务器集群作为L3VxLAN网关真正具有弹性伸缩能力Cloud1.
0Cloud2.
0Cloud2.
0Ext集成方案-计算节点网络结构变化1.
02.
0KVMVirtioeth0vm01eth0vm02ovs-br0vnet0vnet1eth0guestHyperVisorhybrid-Switchport0trunkvlan_tag=2vlan_tag=1VETPvlanvxlanvlan=1vni=1001vlan=2vni=1002集成方案-虚拟存储方案存储选型Ceph存储类型块存储对象存储系统、数据盘均使用Ceph网络盘MySQL数据使用本地SSD硬盘、数据备份使用ceph网络盘Metadata数据通过挂载Ceph网络盘进行VM初始化配置集成方案-VM创建流程Cloud2.
0云平台控制器学习ARP,生成转发流表更新vlan_vxlan映射表北向创建vPort(IP/MAC)下发vlan_vxlan映射关系到Hypervisor对应的L2网元下发流表到接入层VTEP下发流表到L3GW云主机创建流程SDN-ControllerS12500(IPGW)S6800(VTEP)HypervisorARPPacket_in上送控制器流表转换为硬件MAC表项-二层网络建立流表转换为硬件主机路由表项-3层网络建立云主机发送免费ARP下发指令,配置网络,存储,启动VM运营保障上线和迭代部分业务测试功能,稳定性磨合关键组件质量保障集中式网关的性能,稳定性集群性能,稳定性,容量保障Thankyou!
博鳌云是一家以海外互联网基础业务为主的高新技术企业,运营全球高品质数据中心业务。自2008年开始为用户提供服务,距今11年,在国人商家中来说非常老牌。致力于为中国用户提供域名注册(国外接口)、免费虚拟主机、香港虚拟主机、VPS云主机和香港、台湾、马来西亚等地服务器租用服务,各类网络应用解決方案等领域的专业网络数据服务。商家支持支付宝、微信、银行转账等付款方式。目前香港有一款特价独立服务器正在促销,...
火数云怎么样?火数云主要提供数据中心基础服务、互联网业务解决方案,及专属服务器租用、云服务器、专属服务器托管、带宽租用等产品和服务。火数云提供洛阳、新乡、安徽、香港、美国等地骨干级机房优质资源,包括BGP国际多线网络,CN2点对点直连带宽以及国际顶尖品牌硬件。专注为个人开发者用户,中小型,大型企业用户提供一站式核心网络云端服务部署,促使用户云端部署化简为零,轻松快捷运用云计算!多年云计算领域服务经...
青云互联怎么样?青云互联美国洛杉矶cn2GIA云服务器低至19元/月起;香港安畅cn2云服务器低至19元/月起;日本cn2云主机低至35元/月起!青云互联是一家成立于2020年的主机服务商,致力于为用户提供高性价比稳定快速的主机托管服务。青云互联本站之前已经更新过很多相关文章介绍了,青云互联的机房有香港和洛杉矶,都有CN2 GIA线路、洛杉矶带高防,商家承诺试用7天,打死全额退款点击进入:青云互联...
双网卡为你推荐
stronglyios11桂林飞宇科技股份有限公司V1.2http://www.huajinsc.cn/阿片类药物:您需要知道什么支持ipad支持ipad国家标准苹果5南京医科大学合同管理系统ipadwifiipad wifi信号差怎么办ipad上网为什么我的ipad 显示无法连接到网络
东莞服务器租用 vps优惠码cnyvps 2019年感恩节 国外idc 谷歌香港 回程路由 12u机柜尺寸 线路工具 标准机柜尺寸 云图标 主机合租 789电视网 qq对话框 太原网通测速平台 安徽双线服务器 太原联通测速 免费的asp空间 smtp服务器地址 空间排行榜 删除域名 更多