数据云存储_百度文库

云存储技术

基本概念

云存储在云计算(cloud computing概念上延伸和发展出来的一个新的概念。云计算是是分布式处理(Distributed Computing、并行处理(Parallel Computing和网格计算(Grid Computing的发展是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术 网络服务提供者可以在数秒之内处理数以千万计甚至亿计的信息达到和‖超级计算机‖同样强大的网络服务。 云存储的概念与云计算类似它是指通过集群应用、 网格技术或分布式文件系统等功能将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作共同对外提供数据存储和业务访问功能的一个系统。

如果这样解释还是难以理解那我们可以借用广域网和互联网的结构来解释云存储。

云状的网络结构

相信大家对局域网、广域网和互联网都已经非常了解了。在常见的局域网系统中我们为了能更好地使用局域网一般来讲使用者需要非常清楚地知道网络中每一个软硬件的型号和配置 比如采用什么型号交换机有多少个端口采用了什么路由器和防火墙分别是如何设置的。系统中有多少个服务器分别安装了什么操作系统和软件。各设备之间采用什么类型的连接线缆分配了什么xml:la ng=IP

地址和子网掩码。

但当我们使用广域网和互联网时我们只需要知道是什么样的接入网和用户名、密码就可以连接到广域网和互联网并不需要知道广域网和互联网中到底有多少台交换机、路由器、防火墙和服务器不需要知道数据是通过什么样的路由到达我们的电脑也不需要知道网络中的服务器分别安装了什么软件更不需要知道网络中各设备之间采用了什么样的连接线缆和端口。

广域网和互联网对于具体的使用者是完全透明的我们经常用一个云状的图形来表示广域网和互联网。虽然云状的图形中包含了许许多多的交换机、路由器、防火墙和服务器但对具体的广域网、互联网用户来讲这些都是不需要知道的。这个云状图形代表的是广域网和互联网带给大家的互联互通的网络服务无论我们在任何地方都可以通过一个网络接入线缆和一个用户、密码就可以接入广域网和互联网享受网络带给我们的服务。

参考云状的网络结构创建一个新型的云状结构的存储系统系统这个存储系统由多个存储设备组成通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作并通过一定的应用软件或应用接口对用户提供一定类型的存储服务和访问服务。

当我们使用某一个独立的存储设备时我们必须非常清楚这个存储设备是什么型号什么接口和传输协议必须清楚地知道存储系统中有多少块磁盘分别是什么型号、多大容量必须清楚存储设备和服务器之间采用什么样的连接线缆。为了保证数据安全和业务的连续

性我们还需要建立相应的数据备份系统和容灾系统。除此之外对存储设备进行定期地状态监控、维护、软硬件更新和升级也是必须的。 如果采用云存储那么上面所提到的一切对使用者来讲都不需要了。云状存储系统中的所有设备对使用者来讲都是完全透明的任何地方的任何一个经过授权的使用者都可以通过一根接入线缆与云存储连接对云存储进行数据访问。

云存储不是存储而是服务

就如同云状的广域网和互联网一样云存储对使用者来讲不是指某一个具体的设备而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储并不是使用某一个存储设备而是使用整个云存储系统带来的一种数据访问服务。所以严格来讲云存储不是存储而是一种服务。

云存储的核心是应用软件与存储设备相结合通过应用软件来实现存储设备向存储服务的转变。

云存储技术的到来

对于国内存储服务运营商而言最大的挑战来自于安全性和信任一方面需要依赖于更为强大的加密技术和安全技术的支持另一方面在更为庞大的免费存储市场上则需要良好的运作信誉及速度。许多的企业纷纷将目光转移到云储存。

谷歌亚马逊乃至百万中国大学生心目中的精神导师李开复博

士在自己成立创业项目时宣称创新工场将立足信息产业最热门领域如云计算等选择相关技术作为创业起点。那么云储存是什么呢

云存储在云计算(cloud computing概念上延伸和发展出来的一个新的概念。与云计算类似它是指通过集群应用、 网格技术或分布式文件系统等功能将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作共同对外提供数据存储和业务访问功能的一个系统。对于普通使用者来讲云存储并不是一个具体的设备而是使用整个云存储技术系统获得的数据访问服务。

云存储——崭新的存储市场

减少高昂的成本费用和对高容量、高安全性存储设施的需求是预计云存储技术服务将在未来保持持续的高速增长的一个主要原因。在这个市场上许多其他厂商推出了新的创新服务。我们已经看到一些基于云存储技术的民用解决方案这些解决方案将同时给中小型企业和大型企业带来云存储技术的经济性 同时它们还将用创新的方式来桥接本地存储与远程存储。这些解决方案可以克服远程存储的劣势并带来一系列独一无二的数据功能。

Amazon在两年前就推出的Elastic Compute Cloud EC2弹性计算云云存储技术产品 旨在为用户提供互联网服务形式同时提供更强的存储和计算功能。半年以前微软就已经推出了提供网络移动硬盘服务的Windows Live SkyDrive 。 IBM

也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。在中国也有不少技术型企业

也推出了基于云存储技术构建在高速分布式网络存储方案——如数据银行Dbank Cloud Storage Service该产品主要是采用特有的文件系统来保存多个类型的数据包括动态文件归档、私人目录、数据迁移、用于在线分发的媒体存储和数据仓库扩展主要服务与对安全性和稳定性有较高要求的商务人群。但是目前像纳米、 rayfile 、联想等分享性质的网盘存储产品目前则似乎占据了更多的市场份额浅析云存储的B lock与F ile及应用

你知道云存储技术有哪些种类吗你清楚云存储的适用范围吗本文将逐一为你揭开这些谜底。

云存储技术是为解决传统存储无法解决的问题而产生的并不是要完全取代传统的存储。存储方案的选择要根据数据的形态、数据量及数据读写的方式来做规划。每个存储方案都有它的优点与缺点。

云存储的种类及适合的应用

我们可以把云存储分成二类 Block Storage与F ile Storage 。 Block Storage会把单笔的数据写到不同的硬盘借以得到较大的单笔读写带宽适合用在数据库或是需要单笔数据快速读写的应用。它的优点是对单笔数据读写很快缺点是成本较高并且无法解决真正海量文件的储存像EqualLo gic 3PAR的产品属于这一类。

File Storage是基于文件级别的存储它是把一个文件放在一个硬盘上 即使文件太大拆分时也放在同一个硬盘上。它的缺点是对

单一文件的读写会受到单一硬盘效能的限制优点是对一个多文件、多人使用的系统总带宽可以随着存储节点的增加而扩展它的架构可以无限制的扩容并且成本低廉代表的厂商如Parasca le 。

那些应用适合Block Storage 

快速更改的单一文件系统

快速更改单一文件的例子包括数据库、共用的电子表单在这些例子中好几个人共享一个文件文件经常性地、频繁的更改。为了达到这样的目的系统必须具备很大的内存、很快的硬盘及快照等功能市场上有很多这样的产品可以选择。

针对单一文件大量写的高性能计算HP C

某些高性能计算有成千上百个使用端 同时读写单一个文件为了提高读写效能这些文件被分布到很多个节点这些节点需要紧密地协作才能保证数据的完整性这些应用由集群软件负责处理复杂的数据传输。例如石油探勘及财务数据模拟。

哪些应用适合File Storage 

File Storage适合应用的场合如下

1文件较大总读取带宽要求较高—例如网站、 IPTV

2 多个文件同时写入–例如监控

3长时间存放的文件–例如文件备份、存放或搜寻

这些应用有一些共通的特性

1文件的并发读取

2文件及文件系统本身较大

3文件使用期较长

4对成本控制要求较高

下面我们介绍一下典型的File Storage应用

文件及内容搜寻

大部分的情形数据久了之后使用的机会就比较少但为了可以查询不管是公司资料还是媒体内容查询的成本必须低于数据本身的价值这样才划得来。用户可以使用旧的甚至淘汰不用的服务器建立云存储存放这些旧的数据以供查询。

Tier-2 NAS

File Storage支持标准的网络协议对使用者来说就是一个NAS 用户在使用时几乎不需更动数据中心任何的应用端程序一些旧的数据可以迁移到这个云存储中我们可以把它作为Tier-2的NAS来使用。 Tier-2是指二级存储的意思。

多文件大量写入的应用

监控是大量数据写入的典型应用成千上万的摄像头将数据写到各自的文件中在一个云存储技术中有很多存储节点每个存储

节点可以提供多个摄像头写入在写的带宽不够时只要增加存储节点即可由于数据集中处理只需要一个管理人员便能管理整个监控系统。

数据大量读取的应用

数据挖掘及高性能计算是大量读取的标准应用这些应用需要很大的读取带宽这些带宽的要求往往不是现有一般的NAS可以提供的云存储技术可以把很多文件分散写到不同的存储节点 以便透过多个存储节点的并发得到最大的带宽。这里的高性能计算与Block S torage中说的不同点是这里的高性能计算所读取的不是单一文件而是从不同存储节点读取很多文件这是F ile Storage的强项。

多个使用端都希望读取同一个文件的应用

IP TV及网站的特质是一个文件同时供很多人读取为了应付大量及突如其来的读取需求云存储会复制多份文件 以满足应用端读取的需求。

结论

以上我简单了介绍云存储的种类及适合的应用有机会我再仔细介绍每一个应用。总之云存储技术是希望借由服务器便宜的成本及弹性的架构解决传统存储不能满足的问题客户可以根据数据的形态选择合适的存储方案。

简析云存储技术两种架构

云存储技术的概念始于Amazon提供的一项服务(S3 同时还伴随着其云计算产品(EC2。在Amazo n的S 3的服务背后它还管理着多个商品硬件设备并捆绑着相应的软件用于创建一个存储池。新兴的网络公司已经接受了这种产品并提出了云存储这个术语及其相应的概念。

云存储是一种架构而不是一种服务。你是否拥有或租赁了这种架构是一个次要问题。从根本上来看通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网的访问云存储技术很容易扩展云容量和性能。事实证明管理数百台服务器使得其感觉上去就像是一个单一的、大型的存储池设备是一项相当具有挑战性的工作。早期的供应商(如Amazon承担了这一重任并通过在线出租的形式来赢利。其它供应商(如Goo gle雇用了大量的工程师在其防火墙内部来实施这种管理并且定制存储节点以在其上运行应用程序。 由于摩尔定律(Moore’s Law压低了磁盘和CPU的商品价格云存储渐渐成为了数据中心中一项具有高度突破性的技术。

这十年来集群NAS系统已经出现了好转。本文综述了构建一个云存储或大规模可扩展的NAS系统的各种不同架构方法对于那些寻求构建私有云存储以满足其消费的企业IT管理者或是对于那些寻求构建公共云存储产品从而以服务的形式来提供存储的服务提供商来说这些方法与他们息息相关。架构方法分为两类一种是通过

服务来架构;另一种是通过软件或硬件设备来架构。

传统的系统利用紧耦合对称架构这种架构的设计旨在解决HP C(高性能计算、超级运算问题现在其正在向外扩展成为云存储从而满足快速呈现的市场需求。下一代架构已经采用了松弛耦合非对称架构集中元数据和控制操作这种架构并不非常适合高性能HPC但是这种设计旨在解决云部署的大容量存储需求。各种架构的摘要信息如下

紧耦合对称(TC S架构

构建TC S系统是为了解决单一文件性能所面临的挑战这种挑战限制了传统NAS系统的发展。HP C系统所具有的优势迅速压倒了存储 因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TC S架构的产品很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效几个不同行业的很多HP C客户已经采用了这种解决方案。这种解决方案很先进需要一定程度的技术经验才能安装和使用。

松弛耦合非对称(LC A架构

LC A系统采用不同的方法来向外扩展。它不是通过执行某个策略来使每个节点知道每个行动所执行的操作而是利用一个数据路径之外的中央元数据控制服务器。集中控制提供了很多好处允许进行新层次的扩展

•存储节点可以将重点放在提供读写服务的要求上而不需要来自网络节点的确认信息。

•节点可以利用不同的商品硬件CPU和存储配置而且仍然在云存储中发挥作用。

•用户可以通过利用硬件性能或虚拟化实例来调整云存储。 •消除节点之间共享的大量状态开销也可以消除用户计算机互联的需要如光纤通道或infiniband从而进一步降低成本。

•异构硬件的混合和匹配使用户能够在需要的时候在当前经济规模的基础上扩大存储 同时还能提供永久的数据可用性。

•拥有集中元数据意味着存储节点可以旋转地进行深层次应用程序归档而且在控制节点上元数据经常都是可用的。 云存储技术选择

虽然在可扩展的NAS平台上有很多选择但是通常来说他们表现为一种服务、一种硬件设备或一种软件解决方案每一种选择都有它们自身的优势和劣势

•服务模式最普遍的情况下 当你考虑云存储的时候你就会想到其所提供的服务产品。这种模式很容易开始其可扩展性几乎是瞬间的。根据定义你拥有一份异地数据的备份。然而带宽是有限的 因此要考虑你的恢复模型。你必须要满足你网络之外的数据的需求。

•HW模式这种部署位于防火墙背后并且其提供的吞吐量要比公共的内部网络好。购买整合的硬件存储解决方案非常方便而且如果厂商在安装/管理上做的好的话其往往伴随有机架和堆栈模型。但是这样你就会放弃某些摩尔定律的优势 因为你会受到硬件设备的限制。

•SW模式 SW模式具有HW模式所具有的优势。另外它还具有HW所没有的价格竞争优势。然而其安装/管理过程序要谨慎关注 因为安装某些SW的确非常困难或者可能需要其他条件来限制人们选择HW而选择SW。

伴随着大规模的数字化数据时代的到来在这个时代里企业使用Yo uTube来分发培训录像在这里没有必要将这些数字―资料‖放的到处都是。像以上这些企业正致力于内容的创建和分布基因组研究、医学影像等的要求会更加严格准确。 LC S架构的云存储非常适合这种类型的工作负载而且还提供了巨大的成本、性能和管理优势。