网易海量数据存储平台

百度云服务器  时间:2021-01-18  阅读:()

王磊@网易杭研院wanglei@corp.
netease.
com海量存储空间高效的数据访问:高并发、低延迟高可扩展性高可用性:7x24安全性和可靠性功能和接口丰富、简单易用有效应对系统(数据、模式、环境)变更和升级易维护:管理便捷,自动化程度高控制成本互联网应用的数据存储需求设计目标:为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用的用户数据存储和管理解决方案.
实现方案:分布式数据库+分布式文件系统分布式数据库(DDB):基于关系数据库集群解决结构化数据的海量存储和高效访问.
分布式文件系统(DFS):以文件为存储单位的非结构化数据存储解决方案.

网易海量数据存储平台简介基于水平Sharding的ScaleOut,表大小不受限.
多平台和多语言环境下的SQL访问接口.
支持常用的RDBMS功能:DDL:支持大多数常用语句,union和嵌套查询除外DML:表、视图、存储过程、触发器等用户管理和权限控制全局ID分配事务支持:节点内、跨节点、跨DDB.
支持MySQL和Oracle混合使用.
命令行和图形化管理工具.

DDB的功能特点DDB系统架构DDBSharding实现原理DBN1DBN2访问性能优化安全性问题监控和故障处理系统更新和升级系统扩容需要解决的问题去中心化,Client通过DBI直接访问DBN尽量避免分布式查询DBICacheMetaDataCacheDBNConnectionPoolDBNPreparedStatementCacheSQLSyntaxTreeCache优化排序操作:MergeSort优先内部游标基于Master-Slave的读负载均衡和读写分离DDB访问性能优化——系统设计优化访问认证用户名、口令认证和IP地址检查DDB认证+DBN(RDBMS)认证权限管理区分普通用户和管理员用户权限粒度控制到表的读、写和授权用户访问配额控制管理员权限细分:Schema配置、维护、监控统计、用户管理管理员操作日志其他:口令加密传输和保存只允许内网访问DDB系统安全DBN状态监视:ByMaster心跳监视和报警,故障时切换到StandbyNode.
Session自动监视、统计和报警SlowLog自动监视、统计和报警复制延迟和异常自动监视和报警QueryServer监视:ByMaster心跳监视和报警,动态调整和广播可用的QueryServer列表.
负载监视,动态调整和广播可用的QueryServer访问权值.
Master监视:ByMonitororZookeeper采用主从模式,故障时自动切换MetaData复制DDB状态监视和故障处理系统变更:产品升级、硬件升级、系统软件升级、DDB版本升级技术挑战:降低影响、避免误操作、时间可控、自动化、可回退应对策略硬件和系统软件升级:主备切换,逐步替换测试环境->线上环境:正确性验证和实施时间评估管理操作支持命令行方式执行,降低重复操作中的误操作计划任务:支持多任务、多模式、异常处理、详细日志和执行结果通知数据备份:Mirror+backup(snapshot)+BinlogDDB版本升级:Master和DBI升级,通信协议向下兼容应对系统变更和升级技术挑战降低对线上服务的影响灵活地扩充资源降低复杂度保证执行效率实现原理DDB扩容(1)实现方案方案一:DBN间数据导出导入优点:迁移效率较好,实现较简单,灵活性好缺点:停服时间长,容易导致数据不一致,删除数据的负面影响方案二:基于事务的批量数据迁移优点:不用停服,应用透明,灵活性好缺点:实现复杂,迁移效率低,对线上访问有一定影响.
方案三:基于复制的数据扩容优点:对应用透明,不需停服,效率高,对线上访问基本无影响.
缺点:操作较为复杂,只能实现成倍扩容,灵活性较差.

青云互联-洛杉矶CN2弹性云限时五折,9.5元/月起,三网CN2gia回程,可选Windows,可自定义配置

官方网站:点击访问青云互联官网优惠码:五折优惠码:5LHbEhaS (一次性五折,可月付、季付、半年付、年付)活动方案:的套餐分为大带宽限流和小带宽不限流两种套餐,全部为KVM虚拟架构,而且配置都可以弹性设置1、洛杉矶cera机房三网回程cn2gia 洛杉矶cera机房                ...

CloudServer:$4/月KVM-2GB/50GB/5TB/三个数据中心

CloudServer是一家新的VPS主机商,成立了差不多9个月吧,提供基于KVM架构的VPS主机,支持Linux或者Windows操作系统,数据中心在美国纽约、洛杉矶和芝加哥机房,都是ColoCrossing的机器。目前商家在LEB提供了几款特价套餐,最低月付4美元(或者$23.88/年),购买更高级别套餐还能三个月费用使用6个月,等于前半年五折了。下面列出几款特别套餐配置信息。CPU:1cor...

Ftech:越南vps,2核/2G/20G SSD/1Gbps不限流量/可安装Windows系统,$12.5月

ftech怎么样?ftech是一家越南本土的主机商,成立于2011年,比较低调,国内知道的人比较少。FTECH.VN以极低的成本提供高质量服务的领先提供商之一。主营虚拟主机、VPS、独立服务器、域名等传统的IDC业务,数据中心分布在河内和胡志明市。其中,VPS提供1G的共享带宽,且不限流量,还可以安装Windows server2003/2008的系统。Ftech支持信用卡、Paypal等付款,但...

百度云服务器为你推荐
免费虚拟空间找个免费的虚拟主机空间,20M以上的免费网站空间哪里有永久免费的网站空间?合肥虚拟主机虚拟主机是干嘛的?买了虚拟主机是否要一台电脑?apache虚拟主机如何用Apache配置安全虚拟主机 - PHP进阶讨论天津虚拟主机在天津做个网站需要多少钱虚拟主机mysql虚拟主机支持mysql数据库,还需要额外购买mysql吗?云南虚拟主机大家觉得云南天成科技服务器租用给力吗?广西虚拟主机怎样建立虚拟机和本地计算机的桥接org域名org域名怎么样新网域名新网的网址是多少?域名多少钱?
下载虚拟主机 com域名 windows虚机 大硬盘 新世界机房 回程路由 免费博客空间 免费静态空间 eq2 浙江独立 国外在线代理 dux 天互数据 nerds 129邮箱 国外免费云空间 ssl加速 服务器防御 锐速 更多