银河麒麟服务器操作系统Hadoop软件适配手册
银河麒麟服务器操作系统V4 hadoop软件适配手册
目 录
目 录. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .I
1概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
系统概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
环境概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
HADOOP软件简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
HDF S架构原理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
MAPREDUC E介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3
YARN介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
2 HADOOP软件适配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
解压HADOOP软件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
配置文件修改. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
配置HADOOP-ENV.SH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4
配置YARN-ENV.SH. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
配置CORE-SITE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
配置HDFS-SIZE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
配置MAPRED-SITE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
配置YARN-SITE.XML. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
配置SLAVES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
3格式化并启动集群. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
格式化NAMENODE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
启动NAMENODE和DATANODE守护进程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
启动RESOURCEMANAGER和NODEMANAGER守护进程. . . . . . . . . . . . . . . . .7
4执行WORDCO UN T测试用例. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
I
银河麒麟服务器操作系统V4 hadoop软件适配手册
1概述
系统概述
银河麒麟服务器操作系统主要面向军队综合电子信息系统、金融系统以及电力系统等国家关键行业的服务器应用领域突出高安全性、高可用性、高效数据处理、虚拟化等关键技术优势针对关键业务构建的丰富高效、安全可靠的功能特性兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产品 以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间件满足虚拟化、云计算和大数据时代服务器业务对操作系统在性能、安全性及可扩展性等方面的需求是一款具有高安全、高可用、高可靠、高性能的自主可控服务器操作系统。
环境概述
Ha do o p软件简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统Hadoop Distributed F ile System 简称HDFS。HDFS有高容错性的特点并且设计用来部署在低廉的low-cost硬件上而且它提供高吞吐量high thro ughp ut来访问应用程序的数据适合那些有着超大数据集large data set的应用程序。HDFS放宽了relax POSIX的要求 可以以流的形式访问streaming access文件系统中的数据。
Hadoop的框架最核心的设计就是 HDF S和Map Reduc e。HDF S为海量的数据提供了存储而MapReduce则为海量的数据提供了计算。
HD FS架构原理
HDFS是Hadoop分布式文件系统Hadoop Distributed F ile S ystem的缩写 为分布式计算存储提供了底层支持。采用J av a语言开发可以部署在多种普通的廉价机器上 以集群处理数量积达到大型主机处理性能。
2
银河麒麟服务器操作系统V4 hadoop软件适配手册
H DF S采用ma s te r/s la ve架构。一个HD F S集群包含一个单独的N ameN o d e和多个DataN o de。
N ameN ode作为ma ster服务 它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息包括文件信息、文件被分割成具体blo ck块的信息、 以及每一个b lock块归属的DataNode的信息。对于整个集群来说HDF S通过N ameNode对用户提供了一个单一的命名空间。
DataNode作为s lave服务在集群中可以存在多个。通常每一个DataNode都对应于一个物理节点。DataN o de负责管理节点上它们拥有的存储它将存储划分为多个block块 管理block块信息 同时周期性的将其所有的 block块信息发送给N ameN o de。
MapRe duce介绍
MapReduce是一种计算模型该模型可以将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务而这些任务的计算结果可以合并在一起来计算最终的结果。简而言之 Hadoop Mapreduce是一个易于编程并且能在大型集群上千节点快速地并行得处理大量数据的软件框架 以可靠容错的方式部署在商用机器上。MapReduce这个术语来自两个基本的数据转换操作 map过程和reduce过程。
ma pmap操作会将集合中的元素从一种形式转化成另一种形式在这种情况下 输入的键值对会被转换成零到多个键值对输出。其中输入和输出的键必须完全不同而输入和输出的值则可能完全不同。
reduc e
某个键的所有键值对都会被分发到同一个re d uc e操作中。确切的说这个键和这个键所对应的所有值都会被传递给同一个Reducer。 reduce
过程的目的是将值的集合转换成一个值例如求和或者求平均 或者转换成另一个集合。这个Reducer最终会产生一个键值对。需要说明的是如果j ob不需要reduce过程的话那么re d uc e过程也是可以不用的。
ta sk
Hadoop提供了一套基础设计来处理大多数困难的工作以保证任务可以成功执行比如Hadoop决定如果将提交的job分解为多个独立的map和reduc e任务
ta sk来执行 它就会对这些task进行调度并为其分配合适的资源决定将某个ta sk分配到集群中哪个位置如果可能通常是这个tas k所要处理的数据所在的位置这样可以最小化网络开销 。 Hadoop会监控每一个task确保其成功完
3
银河麒麟服务器操作系统V4 hadoop软件适配手册
成并重启一些失败的ta s k。
YARN介绍
YARN是Hadoop 2.0中的资源管理系统它的基本设计思想是将MRv1中的Job Tracker拆分成了两个独立的服务 一个全局的资源管理器Re sourc eManager和每个应用程序特有的ApplicationMaster。其中 Re sourceManager负责整个系统的资源管理和分配而App licationMaster负责单个应用程序的管理。
YARN 总体上仍然是master/slave结构 在整个资源管理框架中re sourc emanager为master nodemanager是slave。 Re sourcemanager负责对各个nademanger上资源进行统一管理和调度。当用户提交一个应用程序时需要提供一个用以跟踪和管理这个程序的App licationMaster 它负责向ResourceManager申请资源并要求NodeManger启动可以占用一定资源的任务。 由于不同的
App licatio nMaster被分布到不同的节点上 因此它们之间不会相互影响。
YARN的基本组成结构 YARN主要由ResourceManager、NodeManager、App licatio nMaster和Co ntainer等几个组件构成。
ResourceManager是Master上一个独立运行的进程 负责集群统一的资源管理、调度、分配等等 NodeManager是Slave上一个独立运行的进程 负责上报节点的状态 App Master和Container是运行在S lave上的组件 Container是yarn中分配资源的一个单位包涵内存、 CPU等等资源 yarn以Container为单位分配资源。
C lient向Resourc eManager提交的每一个应用程序都必须有一个App lic ationMaster它经过ResourceManager分配资源后运行于某一个Slave节点的Container中具体做事情的Task 同样也运行与某一个S lave节点的Co ntainer中。 RMNM AM乃至普通的C onta ine r之间的通信都是用RP C机制。
2 Hadoop软件适配
解压ha do o p软件
配置文件修改
配置hadoo p-env.sh
修改JAVA_HOME:
4
银河麒麟服务器操作系统V4 hadoop软件适配手册
配置yarn-env.sh
修改:
配置core-site.xml
内容如下
配置hdfs-size.xml
内容如下
5
银河麒麟服务器操作系统V4 hadoop软件适配手册
配置mapre d-site.xml
内容如下
配置yarn-s ite.xml
内容如下
6
银河麒麟服务器操作系统V4 hadoop软件适配手册
配置slave s
内容如下
3格式化并启动集群
格式化nameno de
启动na me n o de和data n o de守护进程
启动ResourceManager和NodeManager守护进程
4执行wordcount测试用例
7
星梦云怎么样?星梦云资质齐全,IDC/ISP均有,从星梦云这边租的服务器均可以备案,属于一手资源,高防机柜、大带宽、高防IP业务,一手整C IP段,四川电信,星梦云专注四川高防服务器,成都服务器,雅安服务器。星梦云目前夏日云服务器促销,四川100G高防4H4G10M月付仅60元;西南高防月付特价活动,续费同价,买到就是赚到!点击进入:星梦云官方网站地址1、成都电信年中活动机(成都电信优化线路,封锁...
Virmach 商家算是比较久且一直在低价便宜VPS方案中玩的不亦乐乎的商家,有很多同时期的商家纷纷关闭转让,也有的转型到中高端用户。而前一段时间也有分享过一次Virmach商家推出所谓的一次性便宜VPS主机,比如很低的价格半年时间,时间到服务器也就关闭。这不今天又看到商家有提供这样的产品。这次的活动产品包括圣何塞和水牛城两个机房,为期六个月,一次性付费用完将会取消,就这么特别的产品,适合短期玩玩...
webhosting24决定从7月1日开始对日本机房的VPS进行NVMe和流量大升级,几乎是翻倍了硬盘和流量,当然前提是价格依旧不变。目前来看,国内过去走的是NTT直连,服务器托管机房应该是CDN77*(也就是datapacket.com),加上高性能平台(AMD Ryzen 9 3900X+NVMe),这样的日本VPS还是有相当大的性价比的。官方网站:https://www.webhosting...