我使用的是完全分布运行模式。上一篇安装了JDK,本篇记录Hadoop的安装,版本2.7.2

(一)配置文件

1,先将hadoop安装包解压到module目录下

 2,配置hadoop-env.sh。vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh,添加java_home

3,配置:core-site.xml 

4,配置:hdfs-site.xml。

 5,配置yarn-env.sh。

 6,配置yarn-site.xml。

 7,配置mapred-env.sh。

 8,配置mapred-site.xml

 

 9,配置slaves

 10,将Hadoop添加到环境变量。向/etc/profile中添加,并source生效。

 

 

 (二)分发到集群

 1,把master上的安装目录,分发到slave1和slave2节点中

 2,将master的profile文件,分发到slave1和slave2节点中。记得要source一下profile才能生效

 

 

 (三)启动集群

1,集群是第一次启动,需要格式化NameNode

 2,启动HDFS

 3,启动yarn。注意resourmansger在哪个节点就在哪启动yarn

 

 

 (四)测试集群

1,在HDFS上创建目录

 2,上传数据到HDFS

 3,运行wordcount案例

4,查看结果

 

 下一篇,Hive安装

版权声明:本文为help-silence原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/help-silence/p/12518731.html