王磊@网易杭研院wanglei@corp.
netease.
com海量存储空间高效的数据访问:高并发、低延迟高可扩展性高可用性:7x24安全性和可靠性功能和接口丰富、简单易用有效应对系统(数据、模式、环境)变更和升级易维护:管理便捷,自动化程度高控制成本互联网应用的数据存储需求设计目标:为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用的用户数据存储和管理解决方案.
实现方案:分布式数据库+分布式文件系统分布式数据库(DDB):基于关系数据库集群解决结构化数据的海量存储和高效访问.
分布式文件系统(DFS):以文件为存储单位的非结构化数据存储解决方案.
网易海量数据存储平台简介基于水平Sharding的ScaleOut,表大小不受限.
多平台和多语言环境下的SQL访问接口.
支持常用的RDBMS功能:DDL:支持大多数常用语句,union和嵌套查询除外DML:表、视图、存储过程、触发器等用户管理和权限控制全局ID分配事务支持:节点内、跨节点、跨DDB.
支持MySQL和Oracle混合使用.
命令行和图形化管理工具.
DDB的功能特点DDB系统架构DDBSharding实现原理DBN1DBN2访问性能优化安全性问题监控和故障处理系统更新和升级系统扩容需要解决的问题去中心化,Client通过DBI直接访问DBN尽量避免分布式查询DBICacheMetaDataCacheDBNConnectionPoolDBNPreparedStatementCacheSQLSyntaxTreeCache优化排序操作:MergeSort优先内部游标基于Master-Slave的读负载均衡和读写分离DDB访问性能优化——系统设计优化访问认证用户名、口令认证和IP地址检查DDB认证+DBN(RDBMS)认证权限管理区分普通用户和管理员用户权限粒度控制到表的读、写和授权用户访问配额控制管理员权限细分:Schema配置、维护、监控统计、用户管理管理员操作日志其他:口令加密传输和保存只允许内网访问DDB系统安全DBN状态监视:ByMaster心跳监视和报警,故障时切换到StandbyNode.
Session自动监视、统计和报警SlowLog自动监视、统计和报警复制延迟和异常自动监视和报警QueryServer监视:ByMaster心跳监视和报警,动态调整和广播可用的QueryServer列表.
负载监视,动态调整和广播可用的QueryServer访问权值.
Master监视:ByMonitororZookeeper采用主从模式,故障时自动切换MetaData复制DDB状态监视和故障处理系统变更:产品升级、硬件升级、系统软件升级、DDB版本升级技术挑战:降低影响、避免误操作、时间可控、自动化、可回退应对策略硬件和系统软件升级:主备切换,逐步替换测试环境->线上环境:正确性验证和实施时间评估管理操作支持命令行方式执行,降低重复操作中的误操作计划任务:支持多任务、多模式、异常处理、详细日志和执行结果通知数据备份:Mirror+backup(snapshot)+BinlogDDB版本升级:Master和DBI升级,通信协议向下兼容应对系统变更和升级技术挑战降低对线上服务的影响灵活地扩充资源降低复杂度保证执行效率实现原理DDB扩容(1)实现方案方案一:DBN间数据导出导入优点:迁移效率较好,实现较简单,灵活性好缺点:停服时间长,容易导致数据不一致,删除数据的负面影响方案二:基于事务的批量数据迁移优点:不用停服,应用透明,灵活性好缺点:实现复杂,迁移效率低,对线上访问有一定影响.
方案三:基于复制的数据扩容优点:对应用透明,不需停服,效率高,对线上访问基本无影响.
缺点:操作较为复杂,只能实现成倍扩容,灵活性较差.
古德云(goodkvm)怎么样?古德云是一家成立于2020年的商家,原名(锤子云),古德云主要出售VPS服务器、独立服务器。古德云主打产品是香港cn2弹性云及美西cn2云服务器,采用的是kvm虚拟化构架,硬盘Raid10。目前,古德云香港沙田cn2机房及美国五星级机房云服务器,2核2G,40G系统盘+50G数据盘,仅35元/月起,性价比较高,可以入手!点击进入:古德云goodkvm官方网站地址古德...
ShockHosting商家在前面文章中有介绍过几次。ShockHosting商家成立于2013年的美国主机商,目前主要提供虚拟主机、VPS主机、独立服务器和域名注册等综合IDC业务,现有美国洛杉矶、新泽西、芝加哥、达拉斯、荷兰阿姆斯特丹、英国和澳大利亚悉尼七大数据中心。这次有新增日本东京机房。而且同时有推出5折优惠促销,而且即刻使用支付宝下单的话还可获赠10美金的账户信用额度,折扣相比之前的常规...
目前舍利云服务器的主要特色是适合seo和建站,性价比方面非常不错,舍利云的产品以BGP线路速度优质稳定而著称,对于产品的线路和带宽有着极其严格的讲究,这主要表现在其对母鸡的超售有严格的管控,与此同时舍利云也尽心尽力为用户提供完美服务。目前,香港cn2云服务器,5M/10M带宽,价格低至30元/月,可试用1天;;美国cera云服务器,原生ip,低至28元/月起。一、香港CN2云服务器香港CN2精品线...