1）关闭防火墙

查看防火墙状态

  1. systemctl status firewalld.service

 

 关闭防火墙并关闭防火墙开机自启

sudo systemctl stop firewalld
sudo systemctl disable firewalld.service

 

2)设置静态ip

  1. vim /etc/sysconfig/network-scripts/ifcfg-ens33

 

  1. TYPE="Ethernet"
  2. PROXY_METHOD="none"
  3. BROWSER_ONLY="no"
  4. BOOTPROTO="static"　　#设置为静态ip
  5. DEFROUTE="yes"
  6. IPV4_FAILURE_FATAL="no"
  7. IPV6INIT="yes"
  8. IPV6_AUTOCONF="yes"
  9. IPV6_DEFROUTE="yes"
  10. IPV6_FAILURE_FATAL="no"
  11. IPV6_ADDR_GEN_MODE="stable-privacy"
  12. NAME="ens33"
  13. UUID="bbc612ba-5365-42a5-9794-38baddacc898"
  14. DEVICE="ens33"
  15. ONBOOT="yes"
  16. #IP 地址
  17. IPADDR=192.168.44.101
  18. #网关
  19. GATEWAY=192.168.44.2
  20. #域名解析器
  21. DNS1=192.168.44.2

 

3)配置主机与主机间的映射关系

  1. vim /etc/hosts

1）卸载现有JDK

  • 查询是否安装java软件
  1. rpm -qa | grep jdk

 

  • 卸载JDK
  1. rpm -e --nodeps java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
    rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.322.b06-1.el7_9.x86_64

2）安装JDK

  • 将已下载的JDK包拖入/opt/software目录下
  • 将导入的JDK解压到/opt/module目录下
  1. tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

 

  • 配置环境变量,在profile文件末尾添加JDK路径

 

  1. vim /etc/profile
    #JAVA_HOME
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    export PATH=$PATH:$JAVA_HOME/bin 
  • 让文件生效
  1. source /etc/profile
  • 查看JDK是否安装成功(控制台输出java version “1.8.0_144″则安装成功）
  1. java -version

ssh免密登录配置

1）Hadoop下载地址

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

2）将安装包放入/opt/software目录下

3）解压安装包到/opt/module目录下

  1. tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

 

4)将Hadoop添加到环境变量

  1. vim /etc/profile

 

 将以下内容添加到文件末尾

  1. #HADOOP_HOME
  2. export HADOOP_HOME=/opt/module/hadoop-2.7.2
  3. export PATH=$PATH:$HADOOP_HOME/bin
  4. export PATH=$PATH:$HADOOP_HOME/sbin

 

让文件生效

  1. source /etc/profile

 

5）查看是否安装成功

  1. hadoop version

1）核心配置文件

配置core-site.xml

  1. vim core-site.xml

 

在文件中编写如下配置

  1. <!-- 指定HDFS中NameNode的地址 -->
  2. <property>
  3.         <name>fs.defaultFS</name>
  4.       <value>hdfs://hadoop102:9000</value>
  5. </property>
  7. <!-- 指定Hadoop运行时产生文件的存储目录 -->
  8. <property>
  9.         <name>hadoop.tmp.dir</name>
  10.         <value>/opt/module/hadoop-2.7.2/data/tmp</value>
  11. </property>

 

2）HDFS配置文件

配置hdfs-site.xml

  1. vim hdfs-site.xml

 

在文件中编写如下配置

  1. <!-- 指定Hadoop辅助名称节点主机配置 -->
  2. <property>
  3.       <name>dfs.namenode.secondary.http-address</name>
  4.       <value>hadoop104:50090</value>
  5. </property>

 

3)YARN配置文件

配置yarn-site.xml

  1. vim yarn-site.xml

 

在文件中编写如下配置

  1. <!-- Reducer获取数据的方式 -->
  2. <property>
  3.         <name>yarn.nodemanager.aux-services</name>
  4.         <value>mapreduce_shuffle</value>
  5. </property>
  7. <!-- 指定YARN的ResourceManager的地址 -->
  8. <property>
  9.         <name>yarn.resourcemanager.hostname</name>
  10.         <value>hadoop103</value>
  11. </property>

 

4）MapReduce配置文件

配置mapred-site.xml

  1. vim mapred-site.xml

在文件中编写如下配置

  1. <!-- 指定MR运行在Yarn上 -->
  2. <property>
  3.         <name>mapreduce.framework.name</name>
  4.         <value>yarn</value>
  5. </property>

 

5）配置slaves

  1. vim slaves

在文件中增加如下内容：

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

  1. hadoop102
  2. hadoop103
  3. hadoop104

 

分发脚本

  1. xsync /opt/module/hadoop-2.7.2/
  • 集群第一次启动需要格式化NameNode
  1. hadoop namenode -format
  • 集群启动
  1. 在namenode节点主机上启动hdfs 
    start-dfs.sh
    在    ResourceManager节点主机上启动yarn
    start-yarn.sh

 

  • 查看是否成功启动
  1. [root@hadoop102 hadoop-2.7.2]$ jps
  2. 4166 NameNode
  3. 4482 Jps
  4. 4263 DataNode
    4520     NodeManager
  1. [root@hadoop103 hadoop-2.7.2]$ jps
  2. 3218 DataNode
  3. 3288 Jps
    3674     ResourceManager
    3567 NodeManager
  2. [root@hadoop104 hadoop-2.7.2]$ jps
  3. 3221 DataNode
  4. 3283 SecondaryNameNode
  5. 3364 Jps
    3258     NodeManager

 

  • web端查看

浏览器中输入：http://hadoop102:50070

 

 

 

 

版权声明：本文为有为青年原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/hxnp/p/16709076.html