海量存储技术海量数据的存储技术属于大数据的关键技术吗

海量数据存储

海量数据作为一个专有名词成为热点，主要应归功于近来年来互联网、云计算、移动和物联网的迅猛发展。

无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据、数以亿计用户的互联网服务时时刻刻在产生局立案的交互，要处理的数据量实在是太大、增长太快了，据IDC2006年( Data Center)估计全世界的数据量已超过0.18ZB（1ZB=2^70B），而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多平均全世界每个人一块100多GB的硬盘的数据拥有量。

这种增长还在加速，预计2015年将达到近8ZB。

面对如此庞大的数据量，可想而知各个大型企业特别是以数据搜集为主的公司的数据量就可想而知了：“百度，数百个PB（1ZB=2^20PB）；Yahoo！100PB"。

为了要满足业务需求和减缓竞争压力对数据处理的实时性、有效性又提出了更高的要求，传统的常规的技术手段根本无法应对当前的形式。

在这种情况下，技术人员纷纷研发和采用了一批新的技术、主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。

海量数据的存储技术属于大数据的关键技术吗

非常多的，问答不能发link，不然我给你link了。

有譬如Hadoop等开源大数据项目的，编程语言的，以下就大数据底层技术说下。

简单以永洪科技的技术说下，有四方面，其实也代表了部分通用大数据底层技术： Z-Suite具有高性能的大数据分析能力，她完全摒弃了向上升级(Scale-Up)，全面支持横向扩展(Scale-Out)。

Z-Suite主要通过以下核心技术来支撑PB级的大数据： 跨粒度计算(In-DatabaseComputing) Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。

得益于跨粒度计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。

这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。

并行计算(MPP Computing) Z-Suite是基于MPP架构的商业智能，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。

Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC，她对网络条件也没有严苛的要求。

作为横向扩展的大数据，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。

列存储 (Column-Based) Z-Suite是列存储的。

基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O 的效率，从而大大提高查询性能。

另外，列存储能够更好地压缩数据，一般压缩比在5 -10倍之间，这样一来，数据占有空间降低到传统存储的1/5到1/10 。

良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。

内存计算 得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。

一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。

通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。

内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。