YY游戏私有云建设历程虎牙信息刘亚丹YY游戏私有云建设历程虎牙信息刘亚丹个人简介9年互联网运维经历5年私有云IaaS和PaaS实践参与编写《自主实现SDN虚拟网络和企业私有云》虎牙信息-基础运维负责人大纲1需求背景2YY私有云1.
0现状32.
0平台方案选型4网络,存储,计算集成实践方案需求背景Web类应用特点:无状态,弹性伸缩,故障隔离页游特点:开服多,周期短,云化提高资源利用率和回收效率YY游戏运营平台:联运和独代游戏,具备一定的规模经济性页游和Web类应用适合虚拟化建设历程-YY私有云1.
0平台现状1.
0核心功能n云主机-本地存储n云网关(LVS+NAT)n云DB,云缓存n云存储(对象存储)n云监控Cloud1.
0的不足n租户网络未隔离n可控性差建设历程-基于OpenStack的1.
0平台网络架构at+vlan模式PrivoderNetwork公网模式:VM双网卡,eth0绑定电信、联通(Flat);eth1绑定内网IP(at+vlan)云网关模式:eth0绑定内网IP(at+vlan)典型网络配置支持建设历程-OpenStack上踩过的坑稳定性架构组件复杂代码质量不高可维护性安装部署复杂对运维要求极高无法平滑升级扩展性L3-Agent性能瓶颈Dnsmasq&KeystoneMQ等性能瓶颈建设历程-YY私有云2.
0-选型思路关键需求:提供性能,可扩展的VPC网络云管理平台自主可控基本策略:以开源软件为基础,主研发为核,专业商为关键补充虚拟计算:KVM虚拟存储:Ceph虚拟络:借助专业商的专门络硬件和控制器,实现VXLAN络建设历程-YY私有云2.
0-方案选型虚拟网络的灵魂:SDN控制器工作机制复杂,开发工作量巨大基于硬件的VXLAN和集中式组合关实现VPC,NAT,floatingIP,子网,路由等功能云管理平台实现对计算,存储,网络,以及云数据库等模块的调用,调度,监控和反馈建设历程-YY私有云2.
0-方案选型虚拟网络的灵魂:SDN控制器基本结构工作机制选型案:简单标准的北向接口复杂的南向接由商实现网络设备网络设备网络设备网络设备网络设备基础架构层SDN控制器控制层应用层网络服务业务应用系统南向控制协议北向API北向API北向API建设历程-2.
0Overlay网络模型核心交换机外部网络vFW1vRouter2VTEPvlanvRouter1vRouternVTEPvlanVTEPvlanvFW2vFWnvFWpublicsubifsubifvRouterpublicVxlanVxlanVxlanVxlanVxlansubifsubif1.
1.
1.
12.
2.
2.
23.
3.
3.
34.
4.
4.
4VTEPsubifSubifSubifVSI1VSI2VSInsubifSubifSubifVxlanT1_VMvlanvlanT1_VMT2_VMT2_VMvlanvlanTn_VMTn_VMTn_VMvlanvlanT1_VMT1_VMFirewallNAT+ACL接入Switch接入Switch接入SwitchHypervisor1Hypervisor2Hypervisorn基于硬件的VXLAN和集中式组合网关东西向流量转发南北向流量转发建设历程-云平台各层交互流程Cloud2.
0云平台SDN控制器(集群)RESTful接口HypervisorvSwitchVMVMOverlay、网关、策略路由接入交换机网关交换机HypervisorNAT、EIP配置VM、vSwitch配置VXLAN配置VLAN映射VNI配置核心接入NGFWn交互流程n云平台与控制器交互n云平台与宿主机交互n云平台与监控交互建设历程-虚拟网络模型-整体模型模型描述:三个网络nDatanet:TenantVPC,利用VxLAN虚拟化技术构建叠加网络nMGMTnet:组件内部通信、存储访问nCeph内部网络Internet/WANMGMTNetOSPF/BGP网络设备管理DataNetVxLANOverlayServiceNodeComputerNodeStorageNodeCeph内部网络VPCVxLANL3GW数据中心出口路由设备建设历程-网络架构-DataNet数据网络-架构描述SDNHybridSwitch构Controller集群集中控制采用核心层-接入层结构核心Switch:采用CLOS架构核心交换机,多级多平面无阻塞交换架构,双机高可用热部署接入层:40GE双归接入防火墙:旁挂核心Switch,采用主-被部署核心层接入层VxLAN接入VxLAN网关Internet/WANCLOSCSS计算节点Controller集群vSwitchVMVMVMvSwitchVMVMVMvSwitchVMVMVMvSwitchVMVMVM10GEBase-T40GEQSFPEth0Eth0Eth0Eth0建设历程-网络架构-MGMTNet管理网络-架构描述:通用L3Switch构建采用核心层-接入层结构n10GE接入n40GE汇聚与Datanet共用核心交换机,核心交换机用作数据中心出口设备接入层Switch使用40GE双归接入核心Switch建设历程-网络设备选型SDNHybridSwitch:n国内厂家:Huawei,H3C,锐捷,中兴,盛科n国外厂家:Cisco、AristaSDNController:nH3C:VCFControllernHuawei:AgileControllern云杉:NSPControllerNGFW:nH3C:M9000nHuawei:USG9500nHillstone:X7180设备组合:nH3C:VCFC+M9006+S12508AX-F+S6800nHuawei:AC+USG9520+CE12808+CE6850n云杉+Huawei:NSP+USG9520+CE12808+CE6850VM1VM2SpineSpineLEAF1LEAF2LEAF3LEAF4CSDNControllerNGFWNGFW演进路线:RiseCloud1.
0基于OpensackProviderNetwork混合网络千兆以太基础网络,VLAN隔离方式RiseCloud2.
0基于纯硬件VxLANFabric的Overlay网络方案集中式硬件L3VxLAN网关方式万兆以太基础网络,无阻塞Spine-Leaf结构RiseCloud2.
0Ext.
基于混合VxLANFabric的Overlay网络方案采用VGW服务器集群作为L3VxLAN网关真正具有弹性伸缩能力Cloud1.
0Cloud2.
0Cloud2.
0Ext集成方案-计算节点网络结构变化1.
02.
0KVMVirtioeth0vm01eth0vm02ovs-br0vnet0vnet1eth0guestHyperVisorhybrid-Switchport0trunkvlan_tag=2vlan_tag=1VETPvlanvxlanvlan=1vni=1001vlan=2vni=1002集成方案-虚拟存储方案存储选型Ceph存储类型块存储对象存储系统、数据盘均使用Ceph网络盘MySQL数据使用本地SSD硬盘、数据备份使用ceph网络盘Metadata数据通过挂载Ceph网络盘进行VM初始化配置集成方案-VM创建流程Cloud2.
0云平台控制器学习ARP,生成转发流表更新vlan_vxlan映射表北向创建vPort(IP/MAC)下发vlan_vxlan映射关系到Hypervisor对应的L2网元下发流表到接入层VTEP下发流表到L3GW云主机创建流程SDN-ControllerS12500(IPGW)S6800(VTEP)HypervisorARPPacket_in上送控制器流表转换为硬件MAC表项-二层网络建立流表转换为硬件主机路由表项-3层网络建立云主机发送免费ARP下发指令,配置网络,存储,启动VM运营保障上线和迭代部分业务测试功能,稳定性磨合关键组件质量保障集中式网关的性能,稳定性集群性能,稳定性,容量保障Thankyou!
恒创科技也有暑期的活动,其中香港服务器也有一定折扣,当然是针对新用户的,如果我们还没有注册过或者可以有办法注册到新用户的,可以买他们家的香港服务器活动价格,2M带宽香港云服务器317元。对于一般用途还是够用的。 活动链接:恒创暑期活动爆款活动均是针对新用户的。1、云服务器仅限首次购买恒创科技产品的新用户。1 核 1G 实例规格,单个账户限购 1台;其他活动机型,单个账户限购 3 台(必须在一个订单...
HostHatch在当地时间7月30日发布了一系列的促销套餐,涉及亚洲和欧美的多个地区机房,最低年付15美元起,一次买2年还能免费升级双倍资源。商家成立于2011年,提供基于KVM架构的VPS主机,数据中心包括中国香港、美国、英国、荷兰、印度、挪威、澳大利亚等国家的十几个地区机房。官方网站:https://hosthatch.com/NVMe VPS(香港/悉尼)1 CPU core (12.5%...
NameSilo是通过之前的感恩节优惠活动中认识到这家注册商的,于是今天早上花了点时间专门了解了NameSilo优惠码和商家的详细信息。该商家只销售域名,他们家的域名销售价格还是中规中矩的,没有像godaddy域名标价和使用优惠之后的价格悬殊很大,而且其特色就是该域名平台提供免费的域名停放、免费隐私保护等功能。namesilo新注册域名价格列表,NameSilo官方网站:www.namesilo....
双网卡为你推荐
Symbolbasiertefastreport2投资者适当性客户端系统uctuationchrome有人在认真做事变量itunes巧摄专业版使用指南支持ipadcss3圆角用CSS3怎么实现圆角边框?css3圆角怎样用css实现圆角矩形?勒索病毒win7补丁win7有针对勒索病毒的补丁吗
国外vps主机 申请免费域名 sugarhosts 12u机柜尺寸 河南m值兑换 php空间推荐 免费测手机号 重庆双线服务器托管 爱奇艺vip免费领取 免费网页空间 华为云服务登录 阿里云官方网站 监控服务器 卡巴斯基官网下载 97rb 阿里云邮箱个人版 网站防护 重庆联通服务器托管 googlevoice 512内存 更多