《大数据技术原理与应用(第2版)》

厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn厦门大学计算机科学系2017年2月版本林子雨厦门大学计算机科学系E-mail:ziyulin@xmu.
edu.
cn主页:http://www.
cs.
xmu.
edu.
cn/linziyu第6章云数据库(PPT版本号:2017年2月版本)http://dblab.
xmu.
edu.
cn/post/bigdata温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字《大数据技术原理与应用(第2版)》《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn本章配套教学视频http://dblab.
xmu.
edu.
cn/post/bigdata-online-course/#lesson6《大数据技术原理与应用(第2版)》《第6章云数据库》在线视频观看地址《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn提纲6.
1云数据库概述6.
2云数据库产品6.
3云数据库系统架构6.
4AmazonAWS和云数据库6.
5微软云数据库SQLAzure6.
6云数据库实践欢迎访问《大数据技术原理与应用》教材官方网站:http://dblab.
xmu.
edu.
cn/post/bigdata本PPT是如下教材的配套讲义:《大数据技术原理与应用——概念、存储、处理、分析与应用》(2017年2月第2版)ISBN:978-7-115-44330-4厦门大学林子雨编著,人民邮电出版社《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
1云数据库概述6.
1.
1云计算是云数据库兴起的基础6.
1.
2云数据库概念6.
1.
3云数据库的特性6.
1.
4云数据库是个性化数据存储需求的理想选择6.
1.
5云数据库与其他数据库的关系《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
1.
1云计算是云数据库兴起的基础通过整合、管理、调配分布在网络各处的计算资源,通过互联网以统一界面,同时向大量的用户提供服务云计算概念云计算特点超大规模计算、虚拟化、高可靠性和安全性、通用性、动态扩展性、按需服务、降低成本云计算应用场景Google个人云服务企业应用实例:AnimotoAmazon云计算示意图《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
1.
2云数据库概念云数据库是部署和虚拟化在云计算环境中的数据库.
云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了数据库的存储能力,消除了人员、硬件、软件的重复配置,让软、硬件升级变得更加容易.
云数据库具有高可扩展性、高可用性、采用多租形式和支持资源有效分发等特点.

《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
1.
3云数据库的特性云数据库具有以下特性:(1)动态可扩展(2)高可用性(3)较低的使用代价(4)易用性(5)高性能(6)免维护(7)安全表6-2腾讯云数据库和自建数据库的比较自建数据库腾讯云数据库数据安全性开发者自行解决,成本高昂15种类型备份数据,保证数据安全服务可用性99.
99%高可靠性数据备份0花费,系统自动多时间点数据备份维护成本0成本,专业团队7x24小时帮助维护实例扩容一键式直接扩容,安全可靠资源利用率按需申请,资源利用率高达99.
9%技术支持专业团队一对一指导、QQ远程协助开发者《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
1.
4云数据库是个性化数据存储需求的理想选择企业类型不同,对于存储的需求也千差万别,而云数据库可以很好地满足不同企业的个性化存储需求:首先,云数据库可以满足大企业的海量数据存储需求其次,云数据库可以满足中小企业的低成本数据存储需求另外,云数据库可以满足企业动态变化的数据存储需求到底选择自建数据库还是选择云数据库,取决于企业自身的具体需求对于一些大型企业,目前通常采用自建数据库对于一些财力有限的中小企业而言,IT预算比较有限,云数据库这种前期零投入、后期免维护的数据库服务,可以很好满足它们的需求《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
1.
5云数据库与其他数据库的关系从数据模型的角度来说,云数据库并非一种全新的数据库技术,而只是以服务的方式提供数据库功能云数据库并没有专属于自己的数据模型,云数据库所采用的数据模型可以是关系数据库所使用的关系模型(微软的SQLAzure云数据库、阿里云RDS都采用了关系模型),也可以是NoSQL数据库所使用的非关系模型(AmazonDynamo云数据库采用的是"键/值"存储)同一个公司也可能提供采用不同数据模型的多种云数据库服务许多公司在开发云数据库时,后端数据库都是直接使用现有的各种关系数据库或NoSQL数据库产品《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
2云数据库产品6.
2.
1云数据库厂商概述6.
2.
2Amazon的云数据库产品6.
2.
3Google的云数据库产品6.
2.
4Microsoft的云数据库产品6.
2.
5其他云数据库产品《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
2.
1云数据库厂商概述表6-3云数据库产品企业产品AmazonDynamo、SimpleDB、RDSGoogleGoogleCloudSQLMicrosoftMicrosoftSQLAzureOracleOracleCloudYahoo!
PNUTSVerticaAnalyticDatabasev3.
0fortheCloudEnerpriseDBPostgresPlusintheCloud阿里阿里云RDS百度百度云数据库腾讯腾讯云数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
2.
2Amazon的云数据库产品Amazon是云数据库市场的先行者.
Amazon除了提供著名的S3存储服务和EC2计算服务以外,还提供基于云的数据库服务:AmazonRDS:云中的关系数据库AmazonSimpleDB:云中的键值数据库AmazonDynamoDB:云中的NoSQL数据库AmazonRedshift:云中的数据仓库AmazonElastiCache:云中的分布式内存缓存《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
2.
3Google的云数据库产品GoogleCloudSQL是谷歌公司推出的基于MySQL的云数据库使用CloudSQL,所有的事务都在云中,并由谷歌管理,用户不需要配置或者排查错误谷歌还提供导入或导出服务,方便用户将数据库带进或带出云谷歌使用用户非常熟悉的MySQL,带有JDBC支持(适用于基于Java的AppEngine应用)和DB-API支持(适用于基于Python的AppEngine应用)的传统MySQL数据库环境,因此,多数应用程序不需过多调试即可运行,数据格式对于大多数开发者和管理员来说也是非常熟悉的GoogleCloudSQL还有一个好处就是与GoogleAppEngine集成《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
2.
4Microsoft的云数据库产品SQLAzure具有以下特性:属于关系型数据库:支持使用TSQL(TransactStructuredQueryLanguage)来管理、创建和操作云数据库支持存储过程:它的数据类型、存储过程和传统的SQLServer具有很大的相似性,因此,应用可以在本地进行开发,然后部署到云平台上支持大量数据类型:包含了几乎所有典型的SQLServer2008的数据类型支持云中的事务:支持局部事务,但是不支持分布式事务《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3云数据库系统架构6.
3.
1UMP系统概述6.
3.
2UMP系统架构6.
3.
3UMP系统功能《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
1UMP系统概述总的来说,UMP系统架构设计遵循了以下原则:保持单一的系统对外入口,并且为系统内部维护单一的资源池消除单点故障,保证服务的高可用性保证系统具有良好的可伸缩,能够动态地增加、删减计算与存储节点保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据安全UMP系统是低成本和高性能的MySQL云数据库方案《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构UMP系统中的角色包括:Controller服务器Proxy服务器Agent服务器Web控制台日志分析服务器信息统计服务器愚公系统依赖的开源组件包括:MnesiaLVSRabbitMQZooKeeper《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构1.
MnesiaMnesia是一个分布式数据库管理系统Mnesia支持事务,支持透明的数据分片,利用两阶段锁实现分布式事务,可以线性扩展到至少50个节点Mnesia的数据库模式(schema)可在运行时动态重配置,表能被迁移或复制到多个节点来改进容错性Mnesia的这些特性,使其在开发云数据库时被用来提供分布式数据库服务《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构2.
RabbitMQRabbitMQ是一个工业级的消息队列产品(功能类似于IBM公司的消息队列产品IBMWebsphereMQ),作为消息传输中间件来使用,可以实现可靠的消息传送UMP集群中各个节点之间的通信,不需要建立专门的连接,都是通过读写队列消息来实现的《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构3.
Zookeeper在UMP系统中,Zookeeper主要发挥三个作用:作为全局的配置服务器提供分布式锁(选出一个集群的"总管")监控所有MySQL实例Zookeeper是高效和可靠的协同工作系统,提供分布式锁之类的基本服务(比如统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等),用于构建分布式应用,减轻分布式应用程序所承担的协调任务《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构4.
LVSLVS(LinuxVirtualServer)即Linux虚拟服务器,是一个虚拟的服务器集群系统UMP系统借助于LVS来实现集群内部的负载均衡LVS集群采用IP负载均衡技术和基于内容请求分发技术调度器是LVS集群系统的唯一入口点,调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构5.
Controller服务器Controller服务器向UMP集群提供各种管理服务,实现集群成员管理、元数据存储、MySQL实例管理、故障恢复、备份、迁移、扩容等功能Controller服务器上运行了一组Mnesia分布式数据库服务,其中存储了各种系统元数据,主要包括集群成员、用户的配置和状态信息,以及用户名到后端MySQL实例地址的映射关系(或称为"路由表")等当其它服务器组件需要获取用户数据时,可以向Controller服务器发送请求获取数据为了避免单点故障,保证系统的高可用性,UMP系统中部署了多台Controller服务器,然后,由Zookeeper的分布式锁功能来帮助选出一个"总管",负责各种系统任务的调度和监控《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构6.
Web控制台Web控制台向用户提供系统管理界面7.
Proxy服务器Proxy服务器向用户提供访问MySQL数据库的服务,它完全实现了MySQL协议,用户可以使用已有的MySQL客户端连接到Proxy服务器,Proxy服务器通过用户名获取到用户的认证信息、资源配额的限制(例如QPS、IOPS(I/OPerSecond)、最大连接数等),以及后台MySQL实例的地址,然后,用户的SQL查询请求会被转发到相应的MySQL实例上.
除了数据路由的基本功能外,Proxy服务器中还实现了很多重要的功能,主要包括屏蔽MySQL实例故障、读写分离、分库分表、资源隔离、记录用户访问日志等《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构8.
Agent服务器Agent服务器部署在运行MySQL进程的机器上,用来管理每台物理机上的MySQL实例,执行主从切换、创建、删除、备份、迁移等操作,同时,还负责收集和分析MySQL进程的统计信息、慢查询日志(SlowQueryLog)和bin-log9.
日志分析服务器日志分析服务器存储和分析Proxy服务器传入的用户访问日志,并支持实时查询一段时间内的慢日志和统计报表10.
信息统计服务器信息统计服务器定期将采集到的用户的连接数、QPS数值以及MySQL实例的进程状态用RRDtool进行统计,可以在Web界面上可视化展示统计结果,也可以把统计结果作为今后实现弹性的资源分配和自动化的MySQL实例迁移的依据11.
愚公系统愚公系统是一个全量复制结合bin-log分析进行增量复制的工具,可以实现在不停机的情况下动态扩容、缩容和迁移《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
2UMP系统架构《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能UMP系统是构建在一个大的集群之上的,通过多个组件的协同作业,整个系统实现了对用户透明的各种功能:容灾读写分离分库分表资源管理资源调度资源隔离数据安全《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能1.
容灾为了实现容灾,UMP系统会为每个用户创建两个MySQL实例,一个是主库,一个是从库主库和从库的状态是由Zookeeper负责维护的主从切换过程如下:Zookeeper探测到主库故障,通知Controller服务器Controller服务器启动主从切换时,会修改"路由表",即用户名到后端MySQL实例地址的映射关系把主库标记为不可用借助于消息中间件RabbitMQ通知所有Proxy服务器修改用户名到后端MySQL实例地址的映射关系全部过程对用户透明《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能宕机后的主库在进行恢复处理后需要再次上线,过程如下:在主库恢复时,会把从库的更新复制给自己当主库的数据库状态快要达到和从库一致的状态时,Controller服务器就会命令从库停止更新,进入不可写状态,禁止用户写入数据等到主库更新到和从库完全一致的状态时,Controller服务器就会发起主从切换操作,并在路由表中把主库标记为可用状态通知Proxy服务器把写操作切回主库上,用户写操作可以继续执行,之后再把从库修改为可写状态1.
容灾《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能2.
读写分离充分利用主从库实现用户读写操作的分离,实现负载均衡UMP系统实现了对于用户透明的读写分离功能,当整个功能被开启时,负责向用户提供访问MySQL数据库服务的Proxy服务器,就会对用户发起的SQL语句进行解析,如果属于写操作,就直接发送到主库,如果是读操作,就会被均衡地发送到主库和从库上执行《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能3.
分库分表UMP支持对用户透明的分库分表(shard/horizontalpartition)当采用分库分表时,系统处理用户查询的过程如下:首先,Proxy服务器解析用户SQL语句,提取出重写和分发SQL语句所需要的信息其次,对SQL语句进行重写,得到多个针对相应MySQL实例的子语句,然后把子语句分发到对应的MySQL实例上执行最后,接收来自各个MySQL实例的SQL语句执行结果,合并得到最终结果《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能4.
资源管理UMP系统采用资源池机制来管理数据库服务器上的CPU、内存、磁盘等计算资源,所有的计算资源都放在资源池内进行统一分配,资源池是为MySQL实例分配资源的基本单位整个集群中的所有服务器会根据其机型、所在机房等因素被划分多个资源池,每台服务器会被加入到相应的资源池中对于每个具体MySQL实例,管理员会根据应用部署在哪些机房、需要哪些计算资源等因素,为该MySQL实例具体指定主库和从库所在的资源池,然后,系统的实例管理服务会本着负载均衡的原则,从资源池中选择负载较轻的服务器来创建MySQL实例《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能5.
资源调度UMP系统中有三种规格的用户,分别是数据量和流量比较小的用户、中等规模用户以及需要分库分表的用户多个小规模用户可以共享同一个MySQL实例对于中等规模的用户,每个用户独占一个MySQL实例对于分库分表的用户,会占有多个独立的MySQL实例《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能6.
资源隔离表6-4UMP采用的两种资源隔离方式方法应用场合实现方式用Cgroup限制MySQL进程资源适用于多个MySQL实例共享同一台物理机的情况可以对用户的MySQL进程最大可以使用的CPU使用率、内存和IOPS等进行限制在Proxy服务器端限制QPS适用于多个用户共享同一个MySQL实例的情况Controller服务器监测用户的MySQL实例的资源消耗情况,如果明显超出配额,就通知Proxy服务器通过增加延迟的方法去限制用户的QPS,以减少用户对系统资源的消耗《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
3.
3UMP系统功能7.
数据安全UMP系统设计了多种机制来保证数据安全:SSL数据库连接:SSL(SecureSocketsLayer)是为网络通信提供安全及数据完整性的一种安全协议,它在传输层对网络连接进行加密.
Proxy服务器实现了完整的MySQL客户端/服务器协议,可以与客户端之间建立SSL数据库连接数据访问IP白名单:可以把允许访问云数据库的IP地址放入"白名单",只有白名单内的IP地址才能访问,其他IP地址的访问都会被拒绝,从而进一步保证账户安全记录用户操作日志:用户的所有操作记录都会被记录到日志分析服务器,通过检查用户操作记录,可以发现隐藏的安全漏洞SQL拦截:Proxy服务器可以根据要求拦截多种类型的SQL语句,比如全表扫描语句"select*"《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4AmazonAWS和云数据库6.
4.
1Amazon和云计算的渊源6.
4.
2AmazonAWS6.
4.
3AmazonAWS平台上的云数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
1Amazon和云计算的渊源AmazonWebServices业务相当于紧随其后的4大竞争对手的总和亚马逊在全球拥有12个区域性数据中心AmazonWebServices提供的多个亚马逊数据库都在与甲骨文(Oracle)激烈竞争,其中AmazonRDS有10万多个活跃用户亚马逊数据库Aurora,是AmazonWebServices历史上增长最快的服务2016年3月14日,亚马逊网络服务(AWS)十岁了亚马逊云计算平台满10岁彻底改变科技界《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
1Amazon和云计算的渊源ServerStorageServerStorageVisualizationInfrastructurePlatformApplicationInfrastructureasaServicePlatformasaServiceSoftwareasaServiceSaaSPaaSIaaS亚马逊的云服务提供了多达几十种服务,涵盖了IaaS、PaaS、SaaS这三层《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSAmazonAWS架构图《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSAWSGlobalInfrastructure(AWS全局基础设施)在全局基础设施中有3个很重要的概念.
第一个是Region(区域),每个Region是相互独立的,自成一套云服务体系,分布在全球各地.
目前全球有10个Region(比如北京)第二个是AvailabilityZone(可用区),每个Region又由数个可用区组成,每个可用区可以看做一个数据中心,相互之间通过光纤连接第三个是EdgeLocations(边缘节点).
全球目前有50多个边缘节点,是一个内容分发网络(CDN,ContentDistrubtionNetwork),可以降低内容分发的延迟,保证终端用户获取资源的速度《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSNetworking(网络)AWS提供的网络服务主要有:DirectConnect:支持企业自身的数据中心直接与AWS的数据中心直连,充分利用企业现有的资源VPNConnection:通过VPN连接AWS,保证数据的安全性VirtualPrivateCloud:私有云,从AWS云资源中分一块给你使用,进一步提高安全性Route53:亚马逊提供的高可用的可伸缩的云域名解析系统.
AmazonRoute53高效地将用户请求连接到AWS中运行的基础设施,例如AmazonEC2实例、ElasticLoadBalancing负载均衡器或AmazonS3存储桶《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSCompute(计算)亚马逊的计算核心,包括了众多的服务EC2:ElasticComputeCloud,亚马逊的虚拟机,支持Windows和Linux的多个版本,支持API创建和销毁,有多种型号可供选择,按需使用.
并且有自动扩展功能(5分钟即可新建一个虚拟机),有效解决应用程序性能问题ELB:ElasticLoadBalancing,亚马逊提供的负载均衡器,可以和EC2无缝配合使用,横跨多个可用区,可以自动检查实例的健康状况,自动剔除有问题的实例,保证应用程序的高可用性《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSStorage(存储)S3:SimpleStorageService,简单存储服务,是亚马逊对外提供的对象存储服务.
不限容量,单个对象大小可达5TB,可实现高达99.
999999999%的可用性EBS:ElasticBlockStorage,专门为AmazonEC2虚拟机设计的弹性块存储服务,AmazonEBS可以为AmazonEC2的虚拟机创建卷volumns.
EBS相当于一个分布式块设备,可以直接挂载在EC2实例上,用于替代EC2实例本地存储,从而增强EC2可靠性Glacier:主要用于较少使用的存储存档文件和备份文件,价格便宜量又足,安全性高《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSDatabase(数据库)亚马逊提供关系型数据库和NoSQL数据库,以及一些cache等数据库服务SimpleDB:基于云的键/值数据存储服务DynamoDB:DynamoDB是亚马逊自主研发的NoSQL数据库,性能高,容错性强,支持分布式RDS:RelationalDatabaseService,关系型数据库服务.
支持MySQL,SQLServer和Oracle等数据库AmazonElastiCache:数据库缓存服务《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSApplicationService(应用程序服务)CloudSearch:一个弹性的搜索引擎,可用于企业级搜索AmazonSQS:队列服务,存储和分发消息SimpleWorkflow:一个工作流框架CloudFront:世界范围的内容分发网络(CDN)EMR:ElasticMapReduce,一个Hadoop框架的实例,可用于大数据处理《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSDeployment&Admin(部署和管理)ElasticBeanStalk:一键式创建各种开发环境和运行时CloudFormation:采用JSON格式的模板文件来创建和管理一系列亚马逊云资源OpsWorks:OpsWorks允许用户将应用程序的部署模块化,可以实现对数据库、运行时、服务器软件等自动化设置和安装IAM:Identity&AccessManagement,认证和访问管理服务.
用户使用云服务最担心的事情之一就是安全问题.
亚马逊通过IAM提供了立体化的安全策略,保证用户在云上的资源绝对的安全《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWS总体而言,AmazonAWS的产品分为几个部分:计算类弹性计算云EC2:EC2提供了云中的虚拟机弹性MapReduce:将HadoopMapReduce搬到云环境中,大量EC2实例动态地成为执行大规模MapReduce计算任务的工作机存储类弹性块存储EBS简单消息存储SQSBlob对象存储S3NoSQL型数据库:SimpleDB和DynamoDB关系数据库RDS工具支持AWS支持多种开发语言,提供Java、Rupy、Python、PHP、Windows&.
NET以及Android和iOS的工具集工具集中包含各种语言的SDK,程序自动部署以及各种管理工具AWS通过CloudWatch系统提供丰富的监控功能《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSAmazonEC2架构相比传统的虚拟机托管,EC2的最大特点是允许用户根据需求动态调整运行的实例类型和数量,实现按需付费AmazonEC2平台主要包含如下部分:EC2实例(AMI)弹性块存储弹性负载均衡(自动缩放)《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSEC2存储EC2本地存储是实例自带的磁盘空间,但它并不是持久的,也就是说这个实例所在的节点出现故障时,相应的磁盘空间也会随之清空为了解决本地存储不可靠问题,EC2推出了EBSEBS通过卷来组织数据,每个EBS卷只能挂载到一个EC2实例EBS卷并不与实例绑定,而是与用户帐号绑定《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWSEBSS3服务对象系统管理员系统管理员/最终用户服务场景作为虚拟机硬盘,在虚拟机看来就像EBS就像本地的硬盘;当EC2实例失效时,EBS卷可以自动解除与该实例的关联,从而可以关联到新的实例用户可通过Http/RESTAPI存取文件网站可将静态文件存放到S3中,通过CDN网络分发到不同的区域中以提升性能可作为虚拟机EBS卷的备份或快照服务机制块设备,可格式化为任何OS可以识别的格式对象存储,桶--对象二级结构无需在其上建文件系统AmazonS3和EBS的区别《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWS在EC2中创建虚拟机实例时,会提示选择镜像(Images)的类型:S3-Hostedimages:镜像需从S3存储中拷贝到EC2实例的本地存储.
完成虚拟机镜像拷贝后启动EC2实例EBS-backedimages:虚拟机启动要快得多,当关闭虚拟机后,虚拟机的数据还在EBS上《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWS云平台负责根据客户的需求(并发数、吞吐量、数据存储空间等)来弹性地分配资源,然后将不用的资源收回AmazonAWS云管理平台运行过程任何一个SaaS在提供服务的时候,云平台都会通过4个阶段对服务进行资源的分配及调整:1.
首先启动服务,当有客户进行服务操作时,云平台会启动服务2.
启动后监控服务的需求情况3.
当无人访问时,停止服务4.
回收不被使用的资源AWS云管理平台《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
2AmazonAWS一个典型的Hadoop作业执行时,AWS具体的操作流程:消息平台首先发送服务启动的命令给启动控制器,由启动控制器首先将启动信息放在SimpleDB的缓冲区里分配EC2的计算资源,启动Hadoop等操作,将计算数据从S3中导入EC2,开始进行计算和分析监控控制器接收到监控信息后,对应用中所有的资源和错误进行监控,更新SimpleDB的缓冲区中的状态,并且根据用户的需要随时增减资源(计算节点和存储节点)关闭控制器在收到关闭消息后,会停止EC2、Hadoop等资源,将运算结果放入S3或者客户指定的存储目标,并发消息给结算控制器《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
3AmazonAWS平台上的云数据库时至今日,所有AmazonWebServices数据库服务都已走上正轨,成为亚马逊数十亿美元业务的组成部分.
这些数据库服务包括:AmazonRDS:云中的关系数据库AmazonSimpleDB:云中的键值数据库AmazonDynamoDB:云中的NoSQL数据库AmazonRedshift:云中的数据仓库AmazonElastiCache:云中的分布式内存缓存《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
3AmazonAWS平台上的云数据库SimpleDB是AWS上的第一个NoSQL数据库服务(键值数据库)记录由主键和多个属性组成可以把数据进行多副本存储,支持高并发读取更新操作只能针对主副本进行,但可以快速传播到其他副本,提供最终一致性SimpleDB更适合存储小型、碎片化的零散数据SimpleDBSimpleDB有单表限制.
SimpleDB数据模型由域、项目、属性和值组成,每个域最多只能保存10GB的数据,所以得自己分区以免超过此限制性能不稳定.
SimpleDB以简单为设计目标,SimpleDB并不需要用户指定主键,也不需要用户创建索引,会默认对所有属性创建索引.
然而这种简洁性也带来了一些副作用一致性问题.
SimpleDB设计时采用的是最终一致性模型缺陷如下:《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
3AmazonAWS平台上的云数据库AmazonDynamoDB采纳了SimpleDB中成功的托管服务形式及灵活的数据模型记录由主键和多个属性组成,这一点类似于SimpleDB与BigTable,这比简单的KV模型更易用提供了一致性读功能限制了系统的功能,只能通过主键去操作记录,不能进行批量更新,这使得系统可以保证可伸缩性及任何时候的高性能全面使用SSD来提升系统性能《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
4.
3AmazonAWS平台上的云数据库AmazonRDSAmazonRDS有超过10万活跃客户和多个数据库引擎可供选择,已成为云中运行关系数据库的新常态MySQLOracleSQLServerPostgreSQLMariaDBAurora借助AWS数据库迁移服务及其附带模式转换工具,客户可选择从本地部署向AWS迁移相同数据库引擎RDS可以建立3TB和3万的DB实例《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
5微软云数据库SQLAzureSQLAzure是微软的云关系型数据库,后端存储又称为"云SQLServer"构建在SQLServer之上,通过分布式技术提升传统关系数据库的可扩展性和容错能力一个逻辑数据库称为一个表格组表格组中所有划分主键相同的行集合称为行组(rowgroup)只支持同一个行组内的事务,同一个行组的数据逻辑上会分布到一台服务器,以此规避分布式事务通过主备复制将数据复制到多个副本,保证高可用性1.
逻辑模型图云SQLServer数据模型《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
5微软云数据库SQLAzure2.
物理模型在物理层面,每个有主键的表格组根据划分主键列有序地分成多个数据分区.
每个行组属于唯一分区分区是SQLAzure复制、迁移、负载均衡的基本单位.
每个分区包含多个副本(默认为3),每个副本存储在一台物理的SQLServer上SQLAzure保证每个分区的多个副本分布到不同的故障域.
每个分区有一个副本为主副本(Primary),其他副本为从副本(Secondary).
主副本处理所有的查询、更新事务,并以操作日志的形式,将事务同步到从副本,从副本接收主副本发送的事务日志并应用到本地数据库每台物理SQLServer数据库混合存放了来自不同逻辑分区的主副本和从副本《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
5微软云数据库SQLAzureSQLAzure分为四个主要部分:SQLServer实例、全局分区管理器、协议网关、分布式基础部件.
图云SQLServer的分层架构每个SQLServer实例是一个运行着SQLServer的物理进程.
每个物理数据库包含多个子数据库,它们之间相互隔离.
子数据库是一个分区,包含用户的数据以及schema信息全局分区管理器维护分区映射表信息协议网关负责将用户的数据库连接请求转发到相应的主分区上分布式基础部件(Fabric)用于维护机器上下线状态,检测服务器故障并为集群中的各种角色执行选取主节点操作3.
体系架构《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
5微软云数据库SQLAzure图SQLAzure的体系架构SQLAzure的体系架构中包含了一个虚拟机簇,可以根据工作负载的变化,动态增加或减少虚拟机的数量每台虚拟机SQLServerVM(virtualmachine)安装了SQLServer数据库管理系统,以关系模型存储数据通常,一个数据库会被散存储到3~5台SQLServerVM中3.
体系架构《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6云数据库实践6.
6.
1阿里云RDS简介6.
6.
2RDS中的概念6.
6.
3购买和使用RDS数据库6.
6.
4将本地数据库迁移到云端RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cnRDS是阿里云提供的关系型数据库服务,它将直接运行于物理服务器上的数据库实例租给用户,是专业管理的、高可靠的云端数据库服务RDS由专业数据库管理团队维护,还可以为用户提供数据备份、数据恢复、扩展升级等管理功能,相对于用户自建数据库而言,RDS具有专业、高可靠、高性能、灵活易用等优点,能够帮助用户解决费时费力的数据库管理任务,让用户将更多的时间聚焦在核心业务上RDS具有安全稳定、数据可靠、自动备份、管理透明、性能卓越,灵活扩容等优点,可以提供专业的数据库管理平台、专业的数据库优化建议以及完善的监控体系6.
6.
1阿里云RDS简介《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
2RDS中的概念RDS实例,是用户购买RDS服务的基本单位.
在实例中:可以创建多个数据库可以使用常见的数据库客户端连接、管理及使用数据可以通过RDS管理控制台或OPENAPI来创建、修改和删除数据库RDS数据库,是用户在一个实例下创建的逻辑单元一个实例可以创建多个数据库,在实例内数据库命名唯一,所有数据库都会共享该实例下的资源,如CPU、内存、磁盘容量等RDS不支持使用标准的SQL语句或客户端工具创建数据库,必须使用OPENAPI或RDS管理控制台进行操作《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
2RDS中的概念地域指的是用户所购买的RDS实例的服务器所处的地理位置RDS目前支持杭州、青岛、北京、深圳和香港五个地域,服务品质完全相同.
用户可以在购买RDS实例时指定地域,购买实例后暂不支持更改RDS可用区是指在同一地域下,电力、网络隔离的物理区域,可用区之间内网互通,可用区内网络延时更小,不同可用区之间故障隔离RDS可用区又分为单可用区和多可用区单可用区是指RDS实例的主备节点位于相同的可用区,它可以有效控制云产品间的网络延迟多可用区是指RDS实例的主备节点位于不同的可用区,当主节点所在可用区出现故障(如机房断电等),RDS进行主备切换后,会切换到备节点所在的可用区继续提供服务.
多可用区的RDS轻松实现了同城容灾《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
2RDS中的概念磁盘容量是用户购买RDS实例时,所选择购买的磁盘大小实例所占用的磁盘容量,除了存储表格数据外,还有实例正常运行所需要的空间,如系统数据库、数据库回滚日志、重做日志、索引等RDS连接数,是应用程序可以同时连接到RDS实例的连接数量任意连接到RDS实例的连接均计算在内,与应用程序或者网站能够支持的最大用户数无关用户在购买RDS实例时所选择的内存大小决定了该实例的最大连接数《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn进入阿里云首页,阿里云官网(http://www.
aliyun.
com/)使用支付宝账户登录阿里云,账户登录成功后,点击"云数据库RDS",即可进入云数据库RDS页面.
点击"立即购买",即可获得RDS服务.
新用户可以免费体验半年的RDS服务.
购买成功后,可以通过管理控制台对RDS实例进行使用购买RDS实例管理RDS管理RDS实例新建RDS账号新建RDS数据库连接RDS数据库操作RDS数据库6.
6.
3购买和使用RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库进入RDS页面后,点击"立即购买",即可跳到下图的购买页面如果已经购买阿里云服务器ECS(ElasticComputeService),若选择和ECS所在地域相同,ECS和RDS之间可以以内网方式访问1.
购买RDS实例《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库购买RDS实例成功后,可以通过管理控制台,查看已开通的产品与服务.
点击云数据库RDS进入管理界面如下图.
我们可以创建新实例、对已购买实例进行管理、续费和升级操作2.
管理RDS《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库点击已购买RDS实例的管理操作,可以查看该实例的基本信息如下图一个实例可以创建多个数据库,在实例内数据库命名唯一,所有数据库都会共享该实例下的资源3.
管理RDS实例《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库点击"创建新账号"按钮后,可创建新的RDS账号,并选定需绑定的数据库,以及输入账号密码和账号类型(读写权限)等信息MySQL实例支持最多创建50个账号,SQLServer实例支持最多创建20个账号创建完RDS账号后,还可以对RDS账号进行重置密码和修改操作4.
新建RDS账号《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库点击"数据库管理"按钮后,可查看数据库基本信息,并可对数据库进行创建、删除(需至少有1个数据库)的操作点击"增加数据库"后,在弹出的界面中填写数据库相关信息,提交后即可生效此外,RDS数据库还可以是自建数据库迁移来的或是从其他RDS实例中迁入的5.
新建RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库如果是在阿里云服务器ECS上连接RDS数据库,就选择内网模式;如果是在其他服务器上连接RDS使用,就选择外网模式,在控制台的右上角有切换方式从本地对云端的RDS数据库进行远程访问时使用外网模式,需要在"安全控制->白名单设置"位置填入本地机器的外网IP,从而让RDS数据库允许我们的本地机器访问6.
连接RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库使用客户端MySQL-Front访问使用数据库管理工具Navicat_MySQL使用MySQL命令登录命令格式如下:mysql-uuser_name-hyuqianli.
mysql.
rds.
aliyuncs.
com-P3306-pxxxx使用阿里云控制台iDBCloud访问RDS连接地址以及端口不需要再输入,只需在"用户名"中输入数据库的账号,在"密码"栏中输入数据库账号的密码,便可以登录RDS.
6.
连接RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
3购买和使用RDS数据库连接RDS数据库后,对数据库的操作与直接对本机MySQL数据库操作无异.
iDBCloud登录数据库后的界面如下图所示:在"iDBCloud登录数据库界面"(如右图)的顶端可以看到iDBCloud提供以下三种创建表的方法:可视化界面SQL窗口命令窗口7.
操作RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn假设我们有一个本地应用程序,它使用本地的MySQL数据库存取和管理数据.
现在,我们打算把本地MySQL数据库中的数据全部迁移到远程的阿里云RDS数据库中,本地应用程序不迁移(依然运行在本地),但是,我们希望本地应用程序使用云端的RDS数据库服务进行数据存取和管理.
为此,需要执行以下两步操作:第一步:把本地数据库迁移到云端的RDS数据库第二步:修改本地应用程序配置,使用RDS数据库服务6.
6.
4将本地数据库迁移到云端RDS数据库《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn6.
6.
4将本地数据库迁移到云端RDS数据库如何把本地数据库迁移到云端的RDS数据库第1步:在本地数据库中创建一个迁移账号第2步:设置迁移账号权限第3步:确认本地数据库中的配置文件是否正确,需要确认本地数据库中的MySQL配置文件my.
cnf第4步:登录本地数据库,通过命令查看是否为"ROW"模式第5步:在RDS管理控制台对应的实例页面,点击"将数据迁移至RDS"按钮,在弹出的页面中,填写待迁移的本地数据库连接地址、数据库连接端口、数据库账号、数据库密码,即可完成从本地迁移到云端《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn本章小结本章介绍了云数据库的相关知识.
云数据库是在云计算兴起的大背景下发展起来的,在云端为用户提供数据服务,用户不需要自己投资建设软硬件环境,只需要向云数据库服务供应商购买数据库服务,就可以方便、快捷、低成本地实现数据存储和管理功能云数据库具有动态可扩展、高可用性、低成本、易用性、大规模并行处理等突出优点,是大数据时代企业实现低成本的大规模数据存储的理想选择云数据库市场有很多代表性的产品可供选择.
Amazon是云数据库市场的先行者,谷歌和微软公司都开发了自己的云数据库产品,都在市场上形成了自己的影响力本章最后以阿里云RDS为例,介绍了云数据库的具体使用方法《大数据技术原理与应用(第2版)》厦门大学计算机科学系林子雨ziyulin@xmu.
edu.
cn附录:主讲教师林子雨简介单位:厦门大学计算机科学系E-mail:ziyulin@xmu.
edu.
cn个人网页:http://www.
cs.
xmu.
edu.
cn/linziyu数据库实验室网站:http://dblab.
xmu.
edu.
cn主讲教师:林子雨林子雨,男,1978年出生,博士(毕业于北京大学),现为厦门大学计算机科学系助理教授(讲师),曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长.
中国计算机学会数据库专业委员会委员,中国计算机学会信息系统专业委员会委员,荣获"2016中国大数据创新百人"称号.
中国高校首个"数字教师"提出者和建设者,厦门大学数据库实验室负责人,厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013年度厦门大学奖教金获得者.
主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网,并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文.
作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No.
61303004)、1项福建省自然科学青年基金项目(No.
2013J05099)和1项中央高校基本科研业务费项目(No.
2011121049),同时,作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题.
中国高校首个"数字教师"提出者和建设者,2009年至今,"数字教师"大平台累计向网络免费发布超过100万字高价值的研究和教学资料,累计网络访问量超过100万次.

打造了中国高校大数据教学知名品牌,编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》,并成为京东、当当网等网店畅销书籍;建设了国内高校首个大数据课程公共服务平台,为教师教学和学生学习大数据课程提供全方位、一站式服务,年访问量超过50万次.
具有丰富的政府和企业信息化培训经验,厦门大学管理学院EDP中心、浙江大学管理学院EDP中心、厦门大学继续教育学院、泉州市科技培训中心特邀培训讲师,曾给中国移动通信集团公司、福州马尾区政府、福建龙岩卷烟厂、福建省物联网科学研究院、石狮市物流协会、厦门市物流协会、浙江省中小企业家、四川泸州企业家、江苏沛县企业家等开展信息化培训,累计培训人数达3000人以上.