Hadoop集群搭建

Hadoop 集群的安装配置大致包括以下步骤：
（1）步骤1：选定一台机器作为 Master；
（2）步骤2：在Master节点上安装Hadoop，并完成配置；
（3）步骤3：将Master节点上的“/export/server/hadoop”目录复制到其他Slave节点上；
（4）步骤4：在Master节点上开启Hadoop；

  1. tar -zxvf hadoop-3.3.1.tar.gz -C /export/server/

修改文件名

  1. cd /export/server/
  2. mv hadoop-3.3.1/ hadoop

bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。
etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。
include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。
lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。
libexec：各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。
sbin：Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。
share：Hadoop各个模块编译后的jar包所在的目录，官方自带示例。

设置hadoop运行时所需要的环境变量

  1. cd /export/server/hadoop/etc/hadoop/
  2. vim hadoop-env.sh

在54行添加java环境

  1. export JAVA_HOME=/export/server/jdk1.8.0_333

文件最后添加: 在第 439行下

  1. export HDFS_NAMENODE_USER=root
  2. export HDFS_DATANODE_USER=root
  3. export HDFS_SECONDARYNAMENODE_USER=root
  4. export YARN_RESOURCEMANAGER_USER=root
  5. export YARN_NODEMANAGER_USER=root

hadoop的核心配置文件

  1. cd /export/server/hadoop/etc/hadoop/
  2. vim core-site.xml

在文件的configuration的标签中添加以下内容:

  1. 	<property>
  2. 		<name>fs.defaultFS</name>
  3. 		<value>hdfs://Master.itcast.cn:8020</value>
  4. 	</property>
  6. 	<property>
  7. 		<name>hadoop.tmp.dir</name>
  8. 		<value>/export/data/hadoop</value>
  9. 	</property>
  11. 	<!-- 设置HDFS web UI用户身份 -->
  12. 	<property>
  13. 		<name>hadoop.http.staticuser.user</name>
  14. 		<value>root</value>
  15. 	</property>

HDFS的核心配置文件

  1. cd /export/server/hadoop/etc/hadoop/
  2. vim hdfs-site.xml

在文件的configuration的标签中添加以下内容:

  1. 	<!-- 指定secondarynamenode运行位置 -->
  2. 	<property>
  3. 		<name>dfs.namenode.secondary.http-address</name>
  4. 		<value>slave2.itcast.cn:50090</value>
  5. 	</property>

YARN的核心配置文件

  1. cd /export/server/hadoop/etc/hadoop/
  2. vim yarn-site.xml

在文件的configuration的标签中添加以下内容:

  1. 	<!-- 指定YARN的主角色（ResourceManager）的地址 -->
  2. 	<property>
  3. 		<name>yarn.resourcemanager.hostname</name>
  4. 		<value>slave1.itcast.cn</value>
  5. 	</property>
  7. 	<!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" -->
  8. 	<property>
  9. 		<name>yarn.nodemanager.aux-services</name>
  10. 		<value>mapreduce_shuffle</value>
  11. 	</property>
  13. 	<!-- 是否将对容器实施物理内存限制 -->
  14. 	<property>
  15. 		<name>yarn.nodemanager.pmem-check-enabled</name>
  16. 		<value>false</value>
  17. 	</property>
  19. 	<!-- 是否将对容器实施虚拟内存限制。 -->
  20. 	<property>
  21. 		<name>yarn.nodemanager.vmem-check-enabled</name>
  22. 		<value>false</value>
  23. 	</property>
  24. 	<!-- 开启日志聚集 -->
  25. 	<property>
  26. 		<name>yarn.log-aggregation-enable</name>
  27. 		<value>true</value>
  28. 	</property>
  30. 	<!-- 设置yarn历史服务器地址 -->
  31. 	<property>
  32. 		<name>yarn.log.server.url</name>
  33. 		<value>http://slave1.itcast.cn:19888/jobhistory/logs</value>
  34. 	</property>
  36. 	<!-- 保存的时间7天 -->
  37. 	<property>
  38. 		<name>yarn.log-aggregation.retain-seconds</name>
  39. 		<value>604800</value>
  40. 	</property>

MapReduce的核心配置文件

  1. cd /export/server/hadoop/etc/hadoop/
  2. vim mapred-site.xml

在文件的configuration的标签中添加以下内容:

  1. 	<property>
  2. 		<name>mapreduce.framework.name</name>
  3. 		<value>yarn</value>
  4. 	</property>
  6. 	<property>
  7. 		<name>yarn.app.mapreduce.am.env</name>
  8. 		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  9. 	</property>
  11. 	<property>
  12. 		<name>mapreduce.map.env</name>
  13. 		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  14. 	</property>
  16. 	<property>
  17. 		<name>mapreduce.reduce.env</name>
  18. 		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  19. 	</property>

workers文件里面记录的是集群主机名。主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器。

  1. cd /export/server/hadoop/etc/hadoop/
  2. vim workers

清空内容后, 添加以下内容:

  1. master.itcast.cn
  2. slave1.itcast.cn
  3. slave2.itcast.cn
  1. cd /export/server
  3. scp -r hadoop/ slave1:$PWD
  4. scp -r hadoop/ slave2:$PWD

3台机器都需要配置环境变量文件

  1. vim /etc/profile

设置hadoop环境变量

  1. #HADOOP_HOME
  2. export HADOOP_HOME=/export/server/hadoop
  3. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保持退出后刷新环境变量

  1. source /etc/profile

要启动Hadoop集群，需要启动HDFS和YARN两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

  1. hadoop namenode -format

格式化成功会有如下显示：

  1. /************************************************************
  2. SHUTDOWN_MSG: Shutting down NameNode at Master/192.168.88.181
  3. ************************************************************/

在主节点上使用以下命令启动HDFS NameNode：

  1. $HADOOP_HOME/bin/hdfs --daemon start namenode

在每个从节点上使用以下命令启动HDFS DataNode：

  1. $HADOOP_HOME/bin/hdfs --daemon start datanode

在slave2上使用以下命令启动HDFS SecondaryNameNode：

  1. $HADOOP_HOME/bin/hdfs --daemon start secondarynamenode

在slave1上使用以下命令启动YARN ResourceManager：

  1. $HADOOP_HOME/bin/yarn --daemon start resourcemanager

在每个从节点上使用以下命令启动YARN nodemanager：

  1. $HADOOP_HOME/bin/yarn --daemon start nodemanager

如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。

如果配置了etc/hadoop/workers和ssh免密登录，则可以使用程序脚本启动所有Hadoop两个集群的相关进程，在主节点所设定的机器上执行。
本集群的部署方式中hdfs的主节点位于master，yarn的主节点位于slave1
故在master节点执行：

  1. start-dfs.sh

在slave1节点执行：

  1. start-yarn.sh

停止集群：stop-dfs.sh、stop-yarn.sh

image

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：
NameNode http://rm_host:port/ 默认9870.
image

ResourceManager http://rm_host:port/ 默认 8088.
image

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。

  1. cd /export/server/hadoop/etc/hadoop
  2. vim mapred-site.xml

MR JobHistory Server管理的日志的存放位置

  1. 	 <property>
  2. 		<name>mapreduce.jobhistory.address</name>
  3. 		<value>slave1:10020</value>
  4. 	</property>
  6. 	<property>
  7. 		<name>mapreduce.jobhistory.webapp.address</name>
  8. 		<value>slave1:19888</value>
  9. 	</property>

查看历史服务器已经运行完的Mapreduce作业记录的web地址，需要启动该服务才行

  1. cd /export/server/hadoop/etc/hadoop
  2. scp -r mapred-site.xml slave1:$PWD
  3. scp –r mapred-site.xml slave2:$PWD

因为ResourceManager部署在slave1上，故在slave1执行以下命令：

  1. mapred --daemon start historyserver

如果关闭的话 用下述命令

  1. mapred --daemon stop historyserver

image

版权声明：本文为yuangyaa原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/yuangyaa/p/16811127.html