Linux下配置hadoop环境配置

系统环境：centos7

jdk：jdk-8u291

hadoop：hadoop-3.3.0

http://archive.apache.org/dist/hadoop/core/

ssh：finalshell

一、jdk安装

cd 到跟目录下

cd /

新建文件安装目录

mkdir -p /export/server/

使用finalshell将jdk压缩包上传至/export/server/目录

切换到server目录

cd /export/server/

将压缩包解压到server下

tar -zxvf jdk-8u291-linux-x64.tar.gz

 

配置环境变量

vim /etc/profile

 

在文件最后面添加

export JAVA_HOME=/export/server/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin

保存退出

重新加载配置文件

source /etc/profile

查看是否配置文件成功

java -version

出现以下信息说明配置成功

二、hadoop安装

1、设置ssh免密登录

ssh-keygen

按回车 生成公钥、私钥

将生成的密钥发送到本机地址

ssh-copy-id localhost

2、关闭禁用防火墙

关闭防火墙

systemctl stop firewalld.service

禁用防火墙

systemctl disable firewalld.service

查看当前状态(出现dead表示成功)

systemctl status firewalld.service

3、配置Hadoop

（1）配置core-site.xml文件

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/export/server/hadoop-3.3.0/data/tmp</value>
</property>


<!-- 整合hive用户代理设置 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

（2）配置hdfs-site.xml文件

<!-- 设置hdfs中的namenode文件目录 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/export/server/hadoop-3.3.0/data/dfs/name</value>
<final>true</final>
</property>

<!-- 设置hdfs中的datanode文件目录 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/export/server/hadoop-3.3.0/data/dfs/data</value>
<final>true</final>
</property>

<!-- 设置数据块副本 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

（3）配置hadoop-env.sh文件

export JAVA_HOME=/export/server/jdk1.8.0_291

export HDFS_NAMENODE_USER=root
export HDFS_DATENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

（4）配置mapred-site.xml文件

<property>
<name>mapredure.frameword.name</name>
<value>yarn</value>
</property>

（5）配置yarn-site.xml 文件

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.200.138:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>192.168.200.138:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>192.168.200.138:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>192.168.200.138:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>192.168.200.138:8088</value>
</property>

（6）配置hadoop环境变量

vim /etc/profile

在文件最后面添加

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存退出

重新加载配置文件

source /etc/profile

查看是否配置文件成功

hadoop

三、查看hadoop网页

Linux服务ip:8088

 

Linux服务ip:9870

 

版权声明：本文为左叔原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/zuouncle/p/16067751.html