Hadoop集群搭建(七)~完全分布运行模式
我使用的是完全分布运行模式。上一篇安装了JDK,本篇记录Hadoop的安装,版本2.7.2
(一)配置文件
1,先将hadoop安装包解压到module目录下
2,配置hadoop-env.sh。vi /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh,添加java_home
3,配置:core-site.xml
4,配置:hdfs-site.xml。
5,配置yarn-env.sh。
6,配置yarn-site.xml。
7,配置mapred-env.sh。
8,配置mapred-site.xml
9,配置slaves
10,将Hadoop添加到环境变量。向/etc/profile中添加,并source生效。
(二)分发到集群
1,把master上的安装目录,分发到slave1和slave2节点中
2,将master的profile文件,分发到slave1和slave2节点中。记得要source一下profile才能生效
(三)启动集群
1,集群是第一次启动,需要格式化NameNode
2,启动HDFS
3,启动yarn。注意resourmansger在哪个节点就在哪启动yarn
(四)测试集群
1,在HDFS上创建目录
2,上传数据到HDFS
3,运行wordcount案例
4,查看结果
下一篇,Hive安装