分布式文件系统分布式文件系统和分布式数据库有什么不同

分布式操作系统是什么？ 分布式数据处理是什么？

我语言能力差，还是直接把链接给你吧！ 分布式软件系统 /history/id=9423235 分布式数据处理 /view/220ebd.html 通俗得说，就是把一件工作 由几个人分工合作，速度就快了

网络文件系统NFS与分布式文件系统DFS究竟有什么区别

NFS server可以看作是一个FILE SERVER,它可以让你的PC通过网络将远端得NFS SERVER共享出来的档案MOUNT到自己的系统中，在CLIENT看来使用NFS的远端文件就象是在使用本地文件一样。

NFS协议从诞生到现在为止，已经有多个版本，如NFS V2（rfc1094）,NFS V3（rfc1813）（最新的版本是V4（rfc3010）。

二、各NFS协议版本的主要区别 V3相对V2的主要区别： 1、文件尺寸 V2最大只支持32BIT的文件大小(4G),而NFS V3新增加了支持64BIT文件大小的技术。

2、文件传输尺寸 V3没有限定传输尺寸，V2最多只能设定为8k，可以使用-rsize and -wsize 来进行设定。

3、完整的信息返回 V3增加和完善了许多错误和成功信息的返回，对于服务器的设置和管理能带来很大好处。

4、增加了对TCP传输协议的支持 V2只提供了对UDP协议的支持，在一些高要求的网络环境中有很大限制，V3增加了对TCP协议的支持 *5、异步写入特性 6、改进了SERVER的mount性能 7、有更好的I/O WRITES 性能。

9、更强网络运行效能，使得网络运作更为有效。

10、更强的灾难恢复功能

hdfs有哪些进程并说明其作用

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件modity hardware)上的分布式文件系统。

它和现有的分布式文件系统有很多共同点。

但同时，它和其他的分布式文件系统的区别也是很明显的。

HDFS是一个高度容错性的系统，适合部署在廉价的机器上。

HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。

HDFS是Apache Hadoop Core项目的一部分。

Hadoop分布式文件系统架构 1 NameNode（名称节点） 　　HDFS命名空间采用层次化（树状——译者注）的结构存放文件和目录。

2 映像和日志 　　Inode和定义metadata的系统文件块列表统称为Image(映像).NameNode将整个命名空间映像保存在RAM中。

而映像的持久化记录则保存在NameNode的本地文件系统中，该持久化记录被称为Checkpoint(检查点)。

NameNode还会记录HDFS中写入的操作，并将其存入一个记录文件，存放在本地文件系统中，这个记录文件被叫做Journal(日志)。

3 数据节点 　　DataNode上的每一个块(block)副本都由两个本地文件系统上的文件共同表示。

其中一个文件包含了块（block）本身所需包含的数据，另一个文件则记录了该块的元数据，包括块所含数据大小和文件生成时间戳。

数据文件的大小等于该块（block）的真实大小，而不是像传统的文件系统一样，需要用额外的存储空间凑成完整的块。

因此，如果一个块里只需要一半的空间存储数据，那么就只需要在本地系统上分配半块的存储空间即可。

4 HDFS客户端 　　用户应用程序通过HDFS客户端连接到HDFS文件系统，通过库文件可导出HDFS文件系统的接口。

像很多传统的文件系统一样，HDFS支持文件的读、写和删除操作，还支持对目录的创建和删除操作。

与传统的文件系统不同的是，HDFS提供一个API用以暴露文件块的位置。

这个功能允许应用程序。

5 检查点节点 　　HDFS中的NameNode节点，除了其主要职责是相应客户端请求以外，还能够有选择地扮演一到两个其他的角色，例如做检查点节点或者备份节点。

该角色是在节点启动的时候特有的。

6 备份节点 　　HDFS的备份节点是最近在加入系统的一项特色功能。

就像CheckpintNode一样，备份节点能够定期创建检查点，但是不同的是，备份节点一直保存在内存中，随着文件系统命名空间的映像更新和不断更新，并与NameNode的状态随时保持同步。

7 系统更新和文件系统快照 　　在软件更新的过程中，由于软件的bug或者人为操作的失误，文件系统损坏的几率会随之提升。

在HDFS中创建系统快照的目的，就在于把系统升级过程中可能对数据造成的隐患降到最低。

快照机制让系统管理员将当前系统状态持久化到文件系统中，这样以来，如果系统升级后出现了数据丢失或者损坏，便有机会进行回滚操作，将HDFS的命名空间和存储状态恢复到系统快照进行的时刻。

hadoop分布式文件系统具有怎样的特性

硬件错误 硬件错误是常态而不是异常。

HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。

我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。

因此错误检测和快速、自动的恢复是HDFS最核心的架构目标。

流式数据访问 运行在HDFS上的应用和普通的应用不同，需要流式访问它们的数据集。

HDFS的设计中更多的考虑到了数据批处理，而不是用户交互处理。

比之数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。

POSIX标准设置的很多硬性约束对HDFS应用系统不是必需的。

为了提高数据的吞吐量，在一些关键方面对POSIX的语义做了一些修改。

大规模数据集 运行在HDFS上的应用具有很大的数据集。

HDFS上的一个典型文件大小一般都在G字节至T字节。

因此，HDFS被调节以支持大文件存储。

它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。

一个单一的HDFS实例应该能支撑数以千万计的文件。

简单的一致性模型 HDFS应用需要一个“一次写入多次读取”的文件访问模型。

一个文件经过创建、写入和关闭之后就不需要改变。

这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。

Map/Reduce应用或者网络爬虫应用都非常适合这个模型。

目前还有计划在将来扩充这个模型，使之支持文件的附加写操作。

“移动计算比移动数据更划算” 一个应用请求的计算，离它操作的数据越近就越高效，在数据达到海量级别的时候更是如此。

因为这样就能降低网络阻塞的影响，提高系统数据的吞吐量。

将计算移动到数据附近，比之将数据移动到应用所在显然更好。

HDFS为应用提供了将它们自己移动到数据附近的接口。

异构软硬件平台间的可移植性 HDFS在设计的时候就考虑到平台的可移植性。

这种特性方便了HDFS作为大规模数据应用平台的推广。

什么是分布式文件系统

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。

分布式文件系统的设计基于客户机/服务器模式。

一个典型的网络可能包括多个供多用户访问的服务器。

另外，对等特性允许一些系统扮演客户机和服务器的双重角色。

分布式文件系统和分布式数据库有什么不同

分布式文件系统（dfs）和分布式数据库都支持存入，取出和删除。

但是分布式文件系统比较暴力，可以当做key/value的存取。

分布式数据库涉及精炼的数据，传统的分布式关系型数据库会定义数据元组的schema，存入取出删除的粒度较小。

分布式文件系统现在比较出名的有GFS（未开源），HDFS（Hadoop distributed file system）。

分布式数据库现在出名的有Hbase，oceanbase。

其中Hbase是基于HDFS，而oceanbase是自己内部实现的分布式文件系统，在此也可以说分布式数据库以分布式文件系统做基础存储。