计算机集群浅析如何搭建多台服务器集群

计算机集群时间:2021-09-01 阅读:()

配置hadoop集群是怎么配置的

在过去，大数据处理主要是采用标准化的刀片式服务器和存储区域网络（SAN）来满足网格和处理密集型工作负载。

然而随着数据量和用户数的大幅增长，基础设施的需求已经发生变化，硬件厂商必须建立创新体系，来满足大数据对包括存储刀片，SAS（串行连接SCSI）开关，外部SATA阵列和更大容量的机架单元的需求。

即寻求一种新的方法来存储和处理复杂的数据，Hadoop正是基于这样的目的应运而生的。

Hadoop的数据在集群上均衡分布，并通过复制副本来确保数据的可靠性和容错性。

因为数据和对数据处理的操作都是分布在服务器上，处理指令就可以直接地发送到存储数据的机器。

这样一个集群的每个服务器器上都需要存储和处理数据，因此必须对Hadoop集群的每个节点进行配置，以满足数据存储和处理要求。

Hadoop框架中最核心的设计是为海量数据提供存储的HDFS和对数据进行计算的MapReduce。

MapReduce的作业主要包括从磁盘或从网络读取数据，即IO密集工作，或者是计算数据，即CPU密集工作。

Hadoop集群的整体性能取决于CPU、内存、网络以及存储之间的性能平衡。

因此运营团队在选择机器配置时要针对不同的工作节点选择合适硬件类型。

一个基本的Hadoop集群中的节点主要有：Namenode负责协调集群中的数据存储，DataNode存储被拆分的数据块，Jobtracker协调数据计算任务，最后的节点类型是Secondarynamenode，帮助NameNode收集文件系统运行的状态信息。

在集群中，大部分的机器设备是作为Datanode和TaskTracker工作的。

Datanode/TaskTracker的硬件规格可以采用以下方案： 4个磁盘驱动器（单盘1-2T），支持JBOD 2个4核CPU,至少2-2.5GHz 16-24GB内存千兆以太网 Namenode提供整个HDFS文件系统的namespace管理，块管理等所有服务,因此需要更多的RAM，与集群中的数据块数量相对应，并且需要优化RAM的内存通道带宽，采用双通道或三通道以上内存。

硬件规格可以采用以下方案： 8-12个磁盘驱动器（单盘1-2T） 2个4核/8核CPU 16-72GB内存千兆/万兆以太网 Secondarynamenode在小型集群中可以和Namenode共用一台机器，较大的群集可以采用与Namenode相同的硬件。

考虑到关键节点的容错性，建议客户购买加固的服务器来运行的Namenodes和Jobtrackers，配有冗余电源和企业级RAID磁盘。

最好是有一个备用机，当 namenode或jobtracker 其中之一突然发生故障时可以替代使用。

目前市场上的硬件平台满足Datanode/TaskTracker节点配置需求的很多，，据了解深耕网络安全硬件平台多年的立华科技瞄准了Hadoop的发展前景，适时推出了专门针对NameNode的设备----双路至强处理器搭载12块硬盘的FX-3411，将计算与存储完美融合，四通道内存的最大容量可达到256GB，完全满足NameNode对于一个大的内存模型和沉重的参考数据缓存组合的需求。

同时在网络方面，FX-3411支持的2个PCI-E*8的网络扩展，网络吞吐达到80Gbps，更是远远满足节点对千兆以太网或万兆以太网的需求。

此外针对Datanode/TaskTracker等节点的配置需求，立华科技不仅推出了可支持单路至强E38核处理器和4块硬盘的标准品FX-3210，还有可以全面客制化的解决方案，以满足客户的不同需求。

Hadoop集群往往需要运行几十，几百或上千个节点，构建匹配其工作负载的硬件，可以为一个运营团队节省可观的成本，因此，需要精心的策划和慎重的选择。

什么是故障切换集群

什么是集群(Cluster)技术 Cluster集群技术可如下定义：一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。

此单一系统为客户工作站提供高可*性的服务。

大多数模式下，集群中所有的计算机拥有一个共同的名称，集群内任一系统上运行的服务可被所有的网络客户所使用。

Cluster必须可以协调管理各分离的组件的错误和失败，并可透明地向Cluster中加入组件。

一个Cluster包含多台(至少二台)拥有共享数据存储空间的服务器。

任何一台服务器运行一个应用时，应用数据被存储在共享的数据空间内。

每台服务器的操作系统和应用程序文件存储在其各自的本地储存空间上。

Cluster内各节点服务器通过一内部局域网相互通讯。

当一台节点服务器发生故障时，这台服务器上所运行的应用程序将在另一节点服务器上被自动接管。

当一个应用服务发生故障时，应用服务将被重新启动或被另一台服务器接管。

当以上的任一故障发生时，客户都将能很快连接到新的应用服务上.就是将多台计算机或是虚拟主机组织在一起，如同一台机器，共同完成一个应用。

用软件或是硬件都能实现，其目的主要有三：负载均衡、高可用性以及科学计算负载均衡是说将大量请求按预先设定好的权值分发到各个计算机上，适用于大访问量的应用高可用性是说多台计算机为一台或多台计算机做备份工作，一旦死机马上有另外一台或多台继续工作。

比如银行、电信的系统就要求每年99.99%无死机率，就要使用这个技术科学计算是指将复杂的计算拆成很多步，分散到不同的计算机进行计算达到省时的目的。

比如梦工厂在制作电脑动画时，或是进行大规模科学计算时最后，我要说的是这三种集群的配置方法不同，而且可以结合使用。

如何创建服务器集群，就是把几台服务器变成一台虚拟的服务器

展开全部集群顾名思义就是把很多台提供服务器的机器汇集到一块来完成某些数据的处理。

它把很多台服务器通过软件虚拟成一台机器，不管其中某一台服务器宕机了，其它的服务器都能接替它的工作，保证服务器不宕机，集群也大大减少了单个服务器的压力，延长服务器寿命。

什么是sqlserver的集群

由二台或更多物理上独立的服务器共同组成的“虚拟”服务器称之为集群服务器。

一项称做MicroSoft集群服务(MSCS)的微软服务可对集群服务器进行管理。

一个SQL Server集群是由二台或更多运行SQL Server的服务器（节点）组成的虚拟服务器。

如果集群中的一个节点发生故障，集群中的另一个节点就承担这个故障节点的责任。

　　认为一个SQL Server集群能够给集群中的两个节点带来负载平衡，这是一种常见的误解。

虽然这似乎很有用，但却是不正确的。

这也意味着集束SQL Server不能真正提高性能。

集束SQL Server只能提供故障转移功能。

故障转移就是当系统中的一台机器发生故障失去其功能时，另一台机器将接手运行它的SQL Server实例。

这种功能失效可能是由于硬件故障、服务故障、人工故障或各种其它原因。

为何要集束SQL Server环境？　　在实用性方面，集群SQL Server环境令人满意。

在进行故障转移时，将数据库实例由一台服务器转移到另一台服务器的时间非常短暂，一般只需要3至7秒钟。

虽然需要重建连接，但对数据库的终端用户而言，故障转移处理通常是透明的。

低廉的故障转移成本还可帮助你对集群中的节点进行维护，而不会造成服务器完全无法访问。

SQL Server集群类型　　一共有两种类型的SQL Server集群：主动/被动集群和主动/主动集群。

下面分别对它们进行说明（说明以两个节点的SQL Server集群为基础）。

主动/被动集群　　在这种类型的集群中，一次只有一个节点控制SQL Server资源。

另一个节点一直处于备用模式，等待故障发生。

进行故障转移时，备用的节点即取得SQL Server资源的控制权。

　　优点：由于服务器上只有一个实例在运行，所以在进行故障转移时，不需要另外的服务器来接管两个SQL Server实例，性能也不会因此降低。

　　缺点：由于虚拟服务器上只有一个SQL Server实例在运行，另一台服务器总是处理备用模式与空闲状态。

这意味着你并没有充分利用你购买的硬件。

主动/主动集群　　在这种类型的集群中，集群中的每个节点运行一个独立且主动的SQL Server实例。

发生节点故障时，另一个节点能够控制发生故障节点的SQL Server实例。

然后这个正常的节点将运行两个SQL Server实例——它自己的实例和发生故障的实例。

　　优点：通过这种配置，你能够充分利用你的硬件。

在这样的系统中，两个服务器都在运行，而不是只有一台服务器运行，而另一台处于等待故障发生的备用模式，因此你能够充分利用你购买的机器。

　　缺点：如果进行故障转移，一台服务器运行两个SQL Server实例，性能就会受到不利影响。

然而，性能降低总比虚拟服务器完全失灵要强得多。

这种配置的另一故障在于它要求购买的许可要比主动/被动集群多一些。

因为集群在运行两个主动SQL Server实例，这要求你购买两个单独的服务器许可。

在某些情况下，这也可能对你形成阻碍。

集群考虑　　在高实用性方面，集群SQL Server环境有一定的优势。

然而，高实用性也确实伴随某种折衷。

　　首先，建立一个集群SQL Server环境非常昂贵。

这是因为集群中的节点必须遵照集群节点的兼容性列表。

而且，还需要建立一个复杂的网络，机器的配置必须几乎相同，同时需要实现数据库文件磁盘子系统共享。

存储区网络(SAN)是建立这种子系统的不错选择，但SAN并非必要，而且十分昂贵。

另外，如果你正在运行一个主动/主动集群，你需要为集群中运行SQL Server实例的每台机器的处理器购买一个许可。

　　因为当地集群主要局限于同一地理区域，自然灾难可能会使集群完全失灵。

在那种情况下，你需要转移到灾难恢复站点进行继续操作。

你也可以建立地理分散的SQL Server集群，但这样的系统更加复杂与昂贵。