网易海量数据存储平台

百度云服务器  时间:2021-01-18  阅读:()

王磊@网易杭研院wanglei@corp.
netease.
com海量存储空间高效的数据访问:高并发、低延迟高可扩展性高可用性:7x24安全性和可靠性功能和接口丰富、简单易用有效应对系统(数据、模式、环境)变更和升级易维护:管理便捷,自动化程度高控制成本互联网应用的数据存储需求设计目标:为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用的用户数据存储和管理解决方案.
实现方案:分布式数据库+分布式文件系统分布式数据库(DDB):基于关系数据库集群解决结构化数据的海量存储和高效访问.
分布式文件系统(DFS):以文件为存储单位的非结构化数据存储解决方案.

网易海量数据存储平台简介基于水平Sharding的ScaleOut,表大小不受限.
多平台和多语言环境下的SQL访问接口.
支持常用的RDBMS功能:DDL:支持大多数常用语句,union和嵌套查询除外DML:表、视图、存储过程、触发器等用户管理和权限控制全局ID分配事务支持:节点内、跨节点、跨DDB.
支持MySQL和Oracle混合使用.
命令行和图形化管理工具.

DDB的功能特点DDB系统架构DDBSharding实现原理DBN1DBN2访问性能优化安全性问题监控和故障处理系统更新和升级系统扩容需要解决的问题去中心化,Client通过DBI直接访问DBN尽量避免分布式查询DBICacheMetaDataCacheDBNConnectionPoolDBNPreparedStatementCacheSQLSyntaxTreeCache优化排序操作:MergeSort优先内部游标基于Master-Slave的读负载均衡和读写分离DDB访问性能优化——系统设计优化访问认证用户名、口令认证和IP地址检查DDB认证+DBN(RDBMS)认证权限管理区分普通用户和管理员用户权限粒度控制到表的读、写和授权用户访问配额控制管理员权限细分:Schema配置、维护、监控统计、用户管理管理员操作日志其他:口令加密传输和保存只允许内网访问DDB系统安全DBN状态监视:ByMaster心跳监视和报警,故障时切换到StandbyNode.
Session自动监视、统计和报警SlowLog自动监视、统计和报警复制延迟和异常自动监视和报警QueryServer监视:ByMaster心跳监视和报警,动态调整和广播可用的QueryServer列表.
负载监视,动态调整和广播可用的QueryServer访问权值.
Master监视:ByMonitororZookeeper采用主从模式,故障时自动切换MetaData复制DDB状态监视和故障处理系统变更:产品升级、硬件升级、系统软件升级、DDB版本升级技术挑战:降低影响、避免误操作、时间可控、自动化、可回退应对策略硬件和系统软件升级:主备切换,逐步替换测试环境->线上环境:正确性验证和实施时间评估管理操作支持命令行方式执行,降低重复操作中的误操作计划任务:支持多任务、多模式、异常处理、详细日志和执行结果通知数据备份:Mirror+backup(snapshot)+BinlogDDB版本升级:Master和DBI升级,通信协议向下兼容应对系统变更和升级技术挑战降低对线上服务的影响灵活地扩充资源降低复杂度保证执行效率实现原理DDB扩容(1)实现方案方案一:DBN间数据导出导入优点:迁移效率较好,实现较简单,灵活性好缺点:停服时间长,容易导致数据不一致,删除数据的负面影响方案二:基于事务的批量数据迁移优点:不用停服,应用透明,灵活性好缺点:实现复杂,迁移效率低,对线上访问有一定影响.
方案三:基于复制的数据扩容优点:对应用透明,不需停服,效率高,对线上访问基本无影响.
缺点:操作较为复杂,只能实现成倍扩容,灵活性较差.

Friendhosting全场VDS主机45折,虚拟主机4折,老用户续费9折

Friendhosting发布了今年黑色星期五促销活动,针对全场VDS主机提供45折优惠码,虚拟主机4折,老用户续费可获9折加送1个月使用时长,优惠后VDS最低仅€14.53/年起,商家支持PayPal、信用卡、支付宝等付款方式。这是一家成立于2009年的老牌保加利亚主机商,提供的产品包括虚拟主机、VPS/VDS和独立服务器租用等,数据中心可选美国、保加利亚、乌克兰、荷兰、拉脱维亚、捷克、瑞士和波...

UCloud年度大促活动可选香港云服务器低至年134元

由于行业需求和自媒体的倾向问题,对于我们个人站长建站的方向还是有一些需要改变的。传统的个人网站建站内容方向可能会因为自媒体的分流导致个人网站很多行业不再成为流量的主导。于是我们很多个人网站都在想办法进行重新更换行业,包括前几天也有和网友在考虑是不是换个其他行业做做。这不有重新注册域名重新更换。鉴于快速上手的考虑还是采用香港服务器,这不腾讯云和阿里云早已不是新账户,考虑到新注册UCLOUD账户还算比...

酷番云-618云上秒杀,香港1核2M 29/月,高防服务器20M 147/月 50M 450/月,续费同价!

官方网站:点击访问酷番云官网活动方案:优惠方案一(限时秒杀专场)有需要海外的可以看看,比较划算29月,建议年付划算,月付续费不同价,这个专区。国内节点可以看看,性能高IO为主, 比较少见。平常一般就100IO 左右。优惠方案二(高防专场)高防专区主要以高防为主,节点有宿迁,绍兴,成都,宁波等,节点挺多,都支持防火墙自助控制。续费同价以下专场。 优惠方案三(精选物理机)西南地区节点比较划算,赠送5...

百度云服务器为你推荐
网络域名注册域名要怎样申请企业虚拟主机企业虚拟主机现在具体是多少价位?网站域名一个网站要几个域名网站空间购买在哪里购买网站空间100m网站空间100M网站空间可以存多少张图片和多少文字?网站空间申请企业网站空间申请有哪些流程啊。、、。虚拟主机控制面板万网的虚拟主机控制面板指的是什么呢?虚拟主机软件哪种虚拟机软件好用长沙虚拟主机在长沙,哪个兼职网站最最可靠??沈阳虚拟主机为什么修改了虚拟机Vmware的TCP/IP配置以后就上不了网
双线主机租用 二级域名申请 国外免费域名网站 动态域名解析软件 阿云浏览器 国外php主机 seovip xen anylink 有奖调查 100m空间 hinet isp服务商 免费高速空间 空间技术网 smtp虚拟服务器 视频服务器是什么 外贸空间 国内域名 免费蓝钻 更多