网易海量数据存储平台

百度云服务器  时间:2021-01-18  阅读:()

王磊@网易杭研院wanglei@corp.
netease.
com海量存储空间高效的数据访问:高并发、低延迟高可扩展性高可用性:7x24安全性和可靠性功能和接口丰富、简单易用有效应对系统(数据、模式、环境)变更和升级易维护:管理便捷,自动化程度高控制成本互联网应用的数据存储需求设计目标:为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用的用户数据存储和管理解决方案.
实现方案:分布式数据库+分布式文件系统分布式数据库(DDB):基于关系数据库集群解决结构化数据的海量存储和高效访问.
分布式文件系统(DFS):以文件为存储单位的非结构化数据存储解决方案.

网易海量数据存储平台简介基于水平Sharding的ScaleOut,表大小不受限.
多平台和多语言环境下的SQL访问接口.
支持常用的RDBMS功能:DDL:支持大多数常用语句,union和嵌套查询除外DML:表、视图、存储过程、触发器等用户管理和权限控制全局ID分配事务支持:节点内、跨节点、跨DDB.
支持MySQL和Oracle混合使用.
命令行和图形化管理工具.

DDB的功能特点DDB系统架构DDBSharding实现原理DBN1DBN2访问性能优化安全性问题监控和故障处理系统更新和升级系统扩容需要解决的问题去中心化,Client通过DBI直接访问DBN尽量避免分布式查询DBICacheMetaDataCacheDBNConnectionPoolDBNPreparedStatementCacheSQLSyntaxTreeCache优化排序操作:MergeSort优先内部游标基于Master-Slave的读负载均衡和读写分离DDB访问性能优化——系统设计优化访问认证用户名、口令认证和IP地址检查DDB认证+DBN(RDBMS)认证权限管理区分普通用户和管理员用户权限粒度控制到表的读、写和授权用户访问配额控制管理员权限细分:Schema配置、维护、监控统计、用户管理管理员操作日志其他:口令加密传输和保存只允许内网访问DDB系统安全DBN状态监视:ByMaster心跳监视和报警,故障时切换到StandbyNode.
Session自动监视、统计和报警SlowLog自动监视、统计和报警复制延迟和异常自动监视和报警QueryServer监视:ByMaster心跳监视和报警,动态调整和广播可用的QueryServer列表.
负载监视,动态调整和广播可用的QueryServer访问权值.
Master监视:ByMonitororZookeeper采用主从模式,故障时自动切换MetaData复制DDB状态监视和故障处理系统变更:产品升级、硬件升级、系统软件升级、DDB版本升级技术挑战:降低影响、避免误操作、时间可控、自动化、可回退应对策略硬件和系统软件升级:主备切换,逐步替换测试环境->线上环境:正确性验证和实施时间评估管理操作支持命令行方式执行,降低重复操作中的误操作计划任务:支持多任务、多模式、异常处理、详细日志和执行结果通知数据备份:Mirror+backup(snapshot)+BinlogDDB版本升级:Master和DBI升级,通信协议向下兼容应对系统变更和升级技术挑战降低对线上服务的影响灵活地扩充资源降低复杂度保证执行效率实现原理DDB扩容(1)实现方案方案一:DBN间数据导出导入优点:迁移效率较好,实现较简单,灵活性好缺点:停服时间长,容易导致数据不一致,删除数据的负面影响方案二:基于事务的批量数据迁移优点:不用停服,应用透明,灵活性好缺点:实现复杂,迁移效率低,对线上访问有一定影响.
方案三:基于复制的数据扩容优点:对应用透明,不需停服,效率高,对线上访问基本无影响.
缺点:操作较为复杂,只能实现成倍扩容,灵活性较差.

CloudCone(12.95美元/月CN2 GT线路,KVM架构1 Gbps带宽

整理一下CloudCone商家之前推送的闪购VPS云服务器产品,数量有限,活动推出可能很快机器就售罄了,有需要美国便宜VPS云服务器的朋友可以关注一下。CloudCone怎么样?CloudCone服务器好不好?CloudCone值不值得购买?CloudCone是一家成立于2017年的美国服务器提供商,国外实力大厂,自己开发的主机系统面板,CloudCone主要销售美国洛杉矶云服务器产品,优势特点是...

创梦网络-江苏宿迁BGP云服务器100G高防资源,全程ceph集群存储,安全可靠,数据有保证,防护真实,现在购买7折促销,续费同价!

官方网站:点击访问创梦网络宿迁BGP高防活动方案:机房CPU内存硬盘带宽IP防护流量原价活动价开通方式宿迁BGP4vCPU4G40G+50G20Mbps1个100G不限流量299元/月 209.3元/月点击自助购买成都电信优化线路8vCPU8G40G+50G20Mbps1个100G不限流量399元/月 279.3元/月点击自助购买成都电信优化线路8vCPU16G40G+50G2...

RAKsmart新年钜惠:E3服务器秒杀$30/月起,新上韩国服务器,香港/日本/美国站群服务器,VPS月付$1.99起,GPU服务器,高防服务器_vps香港

RAKsmart发布了新年钜惠活动,即日起到2月28日,商家每天推出限量服务器秒杀,美国服务器每月30美元起,新上了韩国服务器、GPU服务器、香港/日本/美国常规+站群服务器、1-10Gbps不限流量大带宽服务器等大量库存;VPS主机全场提供7折优惠码,同时针对部分特惠套餐无码直购每月仅1.99美元,支持使用PayPal或者支付宝等方式付款,有中英文网页及客服支持。爆款秒杀10台/天可选精品网/大...

百度云服务器为你推荐
美国虚拟空间美国虚拟主机无限空间是什么意思?免费美国主机谁有免费空间?给我提供一个,主机屋的就不要了,美国主机也行,但是必须得稳定,谢谢网络服务器租用网络公司租用什么服务器好(想开个网络公司,租用服务器,但是不知道哪个好?什么价位?求高手指导。)国外空间租用租用美国空间域名服务商如何更换域名服务商网站服务器租用网站的服务器买哪里的最好,还有租用一年大概多少钱???急!!!网站域名空间哪个网站的域名空间的便宜?100m网站空间50M的网页内容买100M的网站空间够用了没?虚拟主机控制面板虚拟主机管理面板与网站后台有什么区别?www二级域名www是二级域名,w也是二级域名 权重一样高吗?
google镜像 分销主机 电影服务器 nerd 512m 好看的留言 火车票抢票攻略 ftp教程 北京双线 卡巴斯基破解版 上海服务器 yundun 英雄联盟台服官网 电信宽带测速软件 免备案jsp空间 好看的空间名字 好看的空间留言代码 电脑主机结构图 灵动:鬼影实录 灵动鬼影实录2 更多