文件linux下安装hadoop完全分布式(ubuntu12.10)

ubuntu12.10  时间:2021-03-12  阅读:()

Linux下安装Hadoop完全分布式Ubuntu12.10

Hadoop 的安装非常简单 可以在官网上下载到最近的几个版本 最好使用稳定版。 本例在3台机器集群安装。 hadoop版本如下

工具/原料hadoop-0.20.2.tar.gz

Ubuntu12. 10

安装步骤

1

安装ubuntu

Ubuntu12. 10交换空间4G(内存2G) 。 具体安装过程不赘述。

用户名统一为 hadoop;

组群:hadoop;

机器名namenode(主节点),datanode1(从节点 1),datanode2(从节点2) 。

2

在Ubuntu下创建hadoop用户组和用户(也可在安装系统时通过界面配置)

1 .创建hadoop用户组;

$sudoaddgrouphadoop

记下这里为 hadoop 用户设置的密码后面使用 hadoop 用户登录时需要用到。

2.创建hadoop用户;

$sudoadduser-ingrouphadoophadoop

3.给hadoop用户添加权限 打开/etc/sudoers文件;

$sudogedit/etc/sudoers

4. 给hadoop用户赋予root用户同样的权限。

在rootALL=(ALL:ALL)ALL下添加如下内容hadoopALL=(ALL:ALL)ALL

3

在Ubuntu下安装JDK

配置环境变量

$ sudo gedit /etc/profile

在文件的末尾加上如下内容 保存并关闭文件

# for javaexport JAVA_HOME=/usr/lib/jvm/jdk1 .8.0export JRE_HOME=${JAVA_HOME} /jreexport CLASSPATH=. :${JAVA_HOME} /lib:${JRE_HOME} /libexport PATH=${JAVA_HOME}/bin:${JRE_HOME} /bin:$PATH使设置生效 到此部JDK的配置就都完成了

$ source /etc/profile

为保证正确性 进行简单的测试

$ java -version

输出javaversion 1 .8.0

Java(TM) SE Runtime Environment (build 1 .8.0)

Java HotSpot(TM) Server VM

修改默认JDKsudo update-alternatives --install /usr/bin/java java/usr/lib/jvm/jdk1 .8.0/bin/java 300sudo update-alternatives --install /usr/bin/javac javac/usr/lib/jvm/jdk1 .8.0/bin/javac 300sudo update-alternatives --install /usr/bin/jar jar/usr/lib/jvm/jdk1 .8.0/bin/jar 300

以下两句可选(最好执行) sudo update-alternatives --config javasudo update-alternatives --config javac

4

修改机器名(这步骤可以省略)

每当ubuntu安装成功时机器名都默认为 ubuntu  但为了以后集群中能够容易分辨各台服务器 需要给每台机器取个不同的名字。机器名由/etc/hostname文件决定。

1 .打开/etc/hostname文件;

$sudogedit/etc/hostname

2.将/etc/hostname文件中的ubuntu改为对应机器如主节点中修改为namenode。 重启生效。

3.修改/etc/hosts文件

$sudogedit/etc/hosts

改为如下所示 并且将每台机器的IP设置为固定IP

5

安装ssh服务

这里的 ssh不是指三大框架:spring,struts,hibernate 而是一种远程登录协议。ubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看

$sudops-ef|grepssh

如果只有 ssh-agent就需要安装openssh-server了。

$sudoapt-getinstallsshopenssh-server

6

建立ssh无密码登录本机

首先要转换成hadoop用户 执行以下命令

$sudosu-hadoopssh生成密钥有rsa和dsa两种生成方式 默认情况下采用rsa方式。

1 .创建ssh-key  这里我们采用rsa方式;

$ssh-keygen-trsa-P

请注意 ssh-kengen 是用连字符连着的千万不要分开。 问题如下

按照您的步行的程中我在ssh-keygen-t rsa -P生的小入之後端示Badescape character ygen(红字部分就是问题所在他将 ssh-keygen 分开了。 )

(注 回车后会在~/.ssh/下生成两个文件 id_rsa和id_rsa.pub这两个文件是成对出现的)

2.创建授权文件authorized_keys

进入~/.ssh/目录下 发现开始是没有authorized_keys文件的 可以使用以下两种方法

( 1) 将id_rsa.pub追加到authorized_keys授权文件中;

$cd~/.ssh

$catid_rsa.pub>>authorized_keys

(2) 复制 id_rsa.pub 为 authorized_keys

$cp~/.ssh/id_rsa.pub~/.ssh/authorized_keys

3.登录localhost;

$sshlocalhost

4. 执行退出命令(exit或CTRL+D) ;

7

安装hadoop

1 .假设 hadoop-0.20.2.tar.gz在桌面 将它复制到安装目录/usr/local/下;

$sudocphadoop-0.20.2.tar.gz/usr/local/

2.解压hadoop-0.20.2.tar.gz;

$cd/usr/local

$sudotar-zxvfhadoop-0.20.2.tar.gz

3.将解压出的文件夹改名为hadoop;

$sudomvhadoop-0.20.2hadoop

4.将该hadoop文件夹的属主用户设为hadoop

$sudochown-Rhadoop:hadoophadoop

5.打开hadoop/conf/hadoop-env.sh文件;

$sudogedithadoop/conf/hadoop-env.sh

6.配置 conf/hadoop-env.sh(找到#exportJAVA_HOME=. . . ,去掉# 然后加上本机jdk的路径) ;

exportJAVA_HOME=/usr/lib/jvm/java1 .8.0

7.打开conf/core-site.xml文件;

$sudogedithadoop/conf/core-site.xmlfs.default.namehdfs://namenode:9000

8.打开conf/mapred-site.xml文件;

$sudogedithadoop/conf/mapred-site.xmlmapred.job.trackernamenode:9001

9.打开conf/hdfs-site.xml文件;

注意 datalog1  datalog2 data1  data2文件夹最好事先建好。

10.打开conf/masters文件 添加作为secondarynamenode的主机名.

1 1 .打开conf/slaves文件 添加作为slave的主机名 一行一个。

作者设置如下

8

运行hadoop

1 .进入hadoop 目录下格式化hdfs文件系统 初次运行hadoop时一定要有该操作

$cd/usr/local/hadoop/

$bin/hadoopnamenode-format

2.启动bin/start-all.sh

进入bin 目录下 $ ./start-all.sh关闭 同目录下./stop-all.sh

3.检测hadoop是否启动成功

$ jps

4.Web查看

注意事项

集群中所有机器的登录用户名和所属组都要相同 本文用户名为hadoop 组群也为Hadoop。

每台机器的IP设置为固定IP主机名-ip需要在每一台机器里修改对应的hosts文件。

注意代码中的粗斜体为具体安装目录 要和实际目录相同。

忍耐和坚持虽是痛苦的事情 但却能渐渐地为你带来好处。 ――奥维德

萤光云(16元/月)高防云服务器自带50G防御

螢光云官網萤光云成立于2002年,是一家自有IDC的云厂商,主打高防云服务器产品。在国内有福州、北京、上海、台湾、香港CN2节点,还有华盛顿、河内、曼谷等海外节点。萤光云的高防云服务器自带50G防御,适合高防建站、游戏高防等业务。本次萤光云中秋云活动简单无套路,直接在原有价格上砍了一大刀,最低价格16元/月,而且有没有账户限制,新老客户都可以买,就是直接满满的诚意给大家送优惠了!官网首页:www....

BlueHost 周年庆典 - 美国/香港虚拟主机 美国SSD VPS低至月32元

我们对于BlueHost主机商还是比较熟悉的,早年我们还是全民使用虚拟主机的时候,大部分的外贸主机都会用到BlueHost无限虚拟主机方案,那时候他们商家只有一款虚拟主机方案。目前,商家国际款和国内款是有差异营销的,BlueHost国内有提供香港、美国、印度和欧洲机房。包括有提供虚拟主机、VPS和独立服务器。现在,BlueHost 商家周年活动,全场五折优惠。我们看看这次的活动有哪些值得选择的。 ...

香港 1核1G 29元/月 美国1核 2G 36元/月 快云科技

快云科技: 11.11钜惠 美国云机2H5G年付148仅有40台,云服务器全场7折,香港云服务器年付388仅不到五折 公司介绍:快云科技是成立于2020年的新进主机商,持有IDC/ICP/ISP等证件资质齐全主营产品有:香港弹性云服务器,美国vps和日本vps,香港物理机,国内高防物理机以及美国日本高防物理机官网地址:www.345idc.com活动截止日期为2021年11月13日此次促销活动提供...

ubuntu12.10为你推荐
急救知识纳入考试100%的大学生有学习现场急救知识的欲望吗怎么查询商标想要知道一个商标是否被注册,在哪里查到的比较权威?今日油条油条是怎样由来bbs.99nets.com怎么把电脑的IP设置和路由器一个网段杨丽晓博客杨丽晓哪一年出生的?www.1diaocha.com哪个网站做调查问卷可以赚钱 啊19ise.com欲火难耐看什么电影 19部性感至极的佳片woshiheida这个左下角水印woshiheida的gif出处在哪呢?急!!!!!www.cn12365.orgwww.12365china.net是可靠的网站吗?还是骗子拿出来忽悠人的鹤城勿扰黑龙江省的那个 城市是被叫做鹤城?
美国虚拟主机推荐 韩国vps俄罗斯美女 香港vps主机 重庆服务器托管 hawkhost 抢票工具 空间服务商 北京双线机房 北京双线 申请网页 大化网 nnt 密钥索引 镇江高防服务器 cdn加速技术 服务器是什么 次时代主机 8度空间论坛 灵动鬼影实录1 阿里通免费网络电话 更多