hdfsHDFS分布式文件系统具有哪些优点

hdfs 是将文件切分成多个数据块后,并行写入吗

你说的是多进程还是多线程？ 如果是多线程，可以考虑引入互斥锁（Mutex，Mutual Exclusive Lock）。

获得锁的线程可以完成“读-修改-写”的操作，然后释放锁给其它线程，没有获得锁的线程只能等待而不能访问共享数据，这样“读-修改-写”三步操作组成一个原子操作，要么都执行，要么都不执行，不会执行到中间被打断，也不会在其它处理器上并行做这个操作。

Mutex变量是非0即1的，可看作一种资源的可用数量，初始化时Mutex是1，表示有一个可用资源，加锁时获得该资源，将Mutex减到0，表示不再有可用资源，解锁时释放该资源，将Mutex重新加到1，表示又有了一个可用资源。

注意避免死锁就行了。

如果是多进程（多个不同的程序），可以考虑使用信号量（Semaphore），当然，也可用于同一进程的多线程。

真要具体讲的话，非一两句话可以了事，需要罗列代码，否则太理论化了。

建议楼主还是先在网上多看看吧。

分布式文件系统hdfs主要由哪些功能模块构成

HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。

文件和目录用NameNode上的inodes表示。

Inode记录了权限，修改和访问时间，命名空间，磁盘容量等属性。

文件内容会被分成不同的“大块”（典型分块策略是每块128M，不过用户可以对每个文件的分块大小进行选择）。

NameNode负责维护命名空间树以及与DataNode上文件分块的映射关系。

目前采用的设计结构是，没一个集群只有一个NameNode,一个NameNode可以对应多个DataNode以及成千上万的HDFS客户端。

一个DataNode可以同步执行多个应用任务。

Hbase与HDFS是个什么关系

hdfs只是一个存储空间，他的完整名字是分布式文件系统。

有名可知他的作用了。

hbase是一个内存数据库，简单点说hbase把表啊什么的存在hdfs上。

HDFS分布式文件系统具有哪些优点

HDFS分布式文件系统具有以下优点： 支持超大文件 支持超大文件。

超大文件在这里指的是几百M，几百GB，甚至几TB大小的文件。

一般来说hadoop的文件系统会存储TB级别或者PB级别的数据。

所以在企业的应用中，数据节点有可能有上千个。

检测和快速应对硬件故障 在集群的环境中，硬件故障是常见的问题。

因为有上千台服务器连接在一起，这样会导致高故障率。

因此故障检测和自动恢复是hdfs文件系统的一个设计目标。

流式数据访问 Hdfs的数据处理规模比较大，应用一次需要访问大量的数据，同时这些应用一般都是批量处理，而不是用户交互式处理。

应用程序能以流的形式访问数据集。

主要的是数据的吞吐量，而不是访问速度。

简化的一致性模型 大部分hdfs操作文件时，需要一次写入，多次读取。

在hdfs中，一个文件一旦经过创建、写入、关闭后，一般就不需要修改了。

这样简单的一致性模型，有利于提高吞吐量。

缺点 低延迟数据访问 低延迟数据。

如和用户进行交互的应用，需要数据在毫秒或秒的范围内得到响应。

由于hadoop针对高数据吞吐量做了优化，牺牲了获取数据的延迟，所以对于低延迟来说，不适合用hadoop来做。

大量的小文件 Hdfs支持超大的文件，是通过数据分布在数据节点，数据的元数据保存在名字节点上。

名字节点的内存大小，决定了hdfs文件系统可保存的文件数量。

虽然现在的系统内存都比较大，但大量的小文件还是会影响名字节点的性能。

多用户写入文件、修改文件 Hdfs的文件只能有一次写入，不支持写入，也不支持修改。

只有这样数据的吞吐量才能大。

不支持超强的事务 没有像关系型数据库那样，对事务有强有力的支持。