文件Linux下安装Hadoop完全分布式(Ubuntu12.10)

ubuntu12.10  时间:2021-03-12  阅读:()

精品文档

Linux下安装Hadoop完全分布式Ubuntu12. 10

Hadoop的安装非常简单可以在官网上下载到最近的几个版本最好使用稳定版。本例在3台机器集群安装。hadoop版本如下

工具/原料hadoop-0.20.2. tar.gz

Ubuntu12. 10

安装步骤

1

安装ubuntu

Ubuntu12. 10交换空间4G(内存2G) 。具体安装过程不赘述。

用户名统一为 hadoop;

组群:hadoop;

机器名 namenode(主节点) ,datanode1 (从节点

1) ,datanode2(从节点2) 。

在Ubuntu下创建hadoop用户组和用户(也可在安装系统时通过界面配置)

1.创建hadoop用户组;

$sudoaddgrouphadoop

记下这里为 hadoop用户设置的密码 后面使用

1/9

精品文档hadoop用户登录时需要用到。

.创建hadoop用户;

$sudoadduser-ingrouphadoophadoop

.给hadoop用户添加权限打开/etc/sudoers文件;

$sudogedit/etc/sudoers

.给hadoop用户赋予root用户同样的权限。

在rootALL=(ALL:ALL) ALL下添加如下内容hadoopALL=(ALL:ALL) ALL

在Ubuntu下安装JDK

配置环境变量

$ sudo gedit /etc/profile

在文件的末尾加上如下内容保存并关闭文件

# for javaexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0export JRE_HOME=${JAVA_HOME}/jreexport

CLASSPATH=. :${JAVA_HOME}/l ib:${JRE_HOME}/l ibexport

PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

使设置生效到此部JDK的配置就都完成了

$ source /etc/profile

2/9

精品文档

为保证正确性进行简单的测试

$ java -version

输出java version "1.8.0"

Java(TM) SE Runtime Environment (build 1.8.0)

Java HotSpot(TM) Server VM

修改默认JDKsudo update-alternatives --install /usr/bin/javajava /usr/lib/jvm/jdk1.8.0/bin/java00sudo update-alternatives--install /usr/bin/javacjavac /usr/lib/jvm/jdk1.8.0/bin/javac00sudo update-alternatives --install /usr/bin/jarjar /usr/lib/jvm/jdk1.8.0/bin/jar00

以下两句可选(最好执行) sudo update-alternatives --config javasudo update-alternatives --config javac

修改机器名(这步骤可以省略)

每当ubuntu安装成功时机器名都默认为 ubuntu 但为了以后集群中能够容易分辨各台服务器需要给每台机器取个不同的名字。机器名由/etc/hostname文件决定。

1.打开/etc/hostname文件;

3/9

精品文档

$sudogedit/etc/hostname

.将/etc/hostname文件中的ubuntu改为对应机器如主节点中修改为"namenode"。重启生效。

.修改/etc/hosts文件

$sudogedit/etc/hosts

改为如下所示并且将每台机器的IP设置为固定IP

安装ssh服务

这 里 的 ssh 不 是 指 三 大 框架:spring, struts,hibernate而是一种远程登录协议。ubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看

$sudops-ef|grepssh

如果只有ssh-agent就需要安装openssh-server了。

$sudoapt-getinstallsshopenssh-server

建立ssh无密码登录本机

首先要转换成hadoop用户执行以下命令

$sudosu-hadoopssh生成密钥有rsa和dsa两种生成方式默认情况下采用rsa方式。

1.创建ssh-key 这里我们采用rsa方式;

4/9

精品文档

$ssh-keygen-trsa-P""

请注意 ssh-kengen是用连字符连着的千万不要分开。 问题如下

按照您的步行的程中我在ssh -keygen -t rsa -P ""生的小入之後端示Bad escape character "ygen"(红字部分就是问题所在他将ssh-keygen分开了。 )

(注 回车后会在~/. ssh/下生成两个文件 id_rsa和id_rsa.pub这两个文件是成对出现的)

.创建授权文件authorized_keys

进入~/. ssh/目录下发现开始是没有authorized_keys文件的可以使用以下两种方法

(1)将id_rsa.pub追加到authorized_keys授权文件中;

$cd~/. ssh

$catid_rsa.pub>>authorized_keys

(2)复制id_rsa.pub为authorized_keys

$cp~/. ssh/id_rsa.pub~/. ssh/authorized_keys

.登录localhost;

$sshlocalhost

.执行退出命令(exit或CTRL+D) ;

安装hadoop

5/9

精品文档

1.假设hadoop-0. 20. 2. tar.gz在桌面将它复制到安装目录/usr/local/下;

$sudocphadoop-0. 20.2.tar.gz/usr/local/

.解压hadoop-0.20.2. tar.gz;

$cd/usr/local

$sudotar-zxvfhadoop-0. 20.2. tar.gz

.将解压出的文件夹改名为hadoop;

$sudomvhadoop-0. 20.2hadoop

.将该hadoop文件夹的属主用户设为hadoop

$sudochown-Rhadoop:hadoophadoop

.打开hadoop/conf/hadoop-env. sh文件;

$sudogedithadoop/conf/hadoop-env. sh

.配置conf/hadoop-env. sh(找到#exportJAVA_HOME=. . . ,去掉#然后加上本机jdk的路径) ;exportJAVA_HOME=/usr/l ib/jvm/java1.8.0

.打开conf/core-site.xml文件;

$sudogedithadoop/conf/core-site.xmlf s.default.namehdfs://namenode:9000

.打开conf/mapred-site.xml文件;

$sudogedithadoop/conf/mapred-site.xmlmapred. job. tracker

6/9

精品文档namenode:9001

.打开conf/hdfs-site.xml文件;

注意 datalog1 datalog2 data1 data2文件夹最好事先建好。

10. 打开 conf/masters 文件 添加作为secondarynamenode的主机名.

11.打开conf/slaves文件添加作为slave的主机名一行一个。

作者设置如下

运行hadoop

1.进入hadoop目录下格式化hdfs文件系统初次运行hadoop时一定要有该操作

$cd/usr/local/hadoop/

$bin/hadoopnamenode-format

.启动bin/start-all. sh

进入bin 目录下 $ ./start-all. sh关闭 同目录下./stop-all. sh

.检测hadoop是否启动成功

$ jps

.Web查看

注意事项

7/9

精品文档

集群中所有机器的登录用户名和所属组都要相同本文用户名为hadoop组群也为Hadoop。

每台机器的IP设置为固定IP主机名-ip需要在每一台机器里修改对应的hosts文件。

注意代码中的粗斜体为具体安装目录要和实际目录相同。

衰莫大于心死愁莫大于无志。

8/9

精品文档

感 谢 阅 读

9/9

快云科技,美国VPS 2H5G独享20M 仅售19.8/月  年付仅需148

快云科技已稳步运行进两年了 期间没出现过线路不稳 客户不满意等一系列问题 本司资质齐全 持有IDC ICP ISP等正规手续 有独特的网站设计理念 在前几天刚是参加过魔方系统举行的设计大赛拿获最佳设计奖第一名 本公司主营产品 香港弹性云服务器,美国vps和日本vps,香港物理机,国内高防物理机以及美国日本高防物理机 2020年的国庆推出过一款香港的回馈用户特惠机 已作为传家宝 稳定运行 马上又到了...

RAKsmart美国VPS上市,活动期间5折抢购仅$30,$1.99/月

RAKsmart机房将于7月1日~7月31日推出“年中大促”活动,多重惊喜供您选择;爆款I3-2120仅30美金秒杀、V4新品上市,活动期间5折抢购、爆款产品持续热卖、洛杉矶+硅谷+香港+日本站群恢复销售、G口不限流量产品超低价热卖。美国VPS、日本VPS及香港VPS享全场7折优惠;爆款VPS $ 1.99/月限量秒杀,10台/天,售完即止, VPS 7折优惠码:VPS-TP-disRAKsmar...

VoLLcloud:超便宜香港CMI大带宽vps-三网CMI直连-年付四免服务-低至4刀/月-奈飞

vollcloud LLC创立于2020年,是一家以互联网基础业务服务为主的 技术型企业,运营全球数据中心业务。致力于全球服务器租用、托管及云计算、DDOS安 全防护、数据实时存储、 高防服务器加速、域名、智能高防服务器、网络安全服务解决方案等领域的智 能化、规范化的体验服务。所有购买年付产品免费更换香港原生IP(支持解锁奈飞),商家承诺,支持3天内无条件退款(原路退回)!点击进入:vollclo...

ubuntu12.10为你推荐
外挂购买外挂什么意思美国互联网瘫痪美国是否有能力关闭全球互联网以及中国互联网,还有美国有没能力关闭某个网站,比如淘宝,天涯,网易等66smsm.comwww.zpwbj.com 这个网址是真的吗?我想知道它的真实性.......谢谢 我就剩50了,都给你了..............铂金血痕手上出现这种血痕是什么情况。有谁知道能告诉下吗? 怎么治疗!百度关键字在百度 输入任何关键词,可以搜出想要的内容,但是 搜索工具栏里面的字,却始终是同一个关键词, 如图干支论坛查天干地支邯郸纠风网邯郸市信访局地址猴山条约游猴山,观猴子莱姿蔓不蔓不枝的蔓是什么意思莱姿蔓请问法国的卡诗蔓比起卡地亚这种很昂贵的品牌,差别很大吗?
怎么注册域名 com域名价格 阿云浏览器 韩国电信 免费美国空间 太原网通测速平台 电信主机 多线空间 秒杀品 贵阳电信测速 可外链的相册 塔式服务器 文件传输 极域网 免费免备案cdn 台式电脑主机推荐 灵动鬼影实录 宽带测速电信 nnt平台 学生机机桶机机直播 更多