Hadoop安装和使用

Ubuntu 18.04 安装 Hadoop系统环境 – 简书 (jianshu.com)

创建Hadoop用户

# 创建用户 hadoop
sudo useradd -m hadoop -s /bin/bash

# 设置密码 hadoop
sudo passwd hadoop

#为hadoop用户添加管理员权限
sudo adduser hadoop sudo

更新apt和安装vim编辑器

sudo apt-get update
sudo apt-get install vim

安装SSH和配置SSH无密码登录

# ubuntu默认安装ssh的客户端，因此只用安装ssh服务端
sudo apt-get install openssh-server

# 安装以，登录本机，但是每次登录都需要密码认证
ssh localhost

# 下面配置SSH无密码登录，退出登录之后，利用ssh-keygen生成密钥，并将密钥加入授权
exit
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys

安装Java环境

• 官网下载[jdk1.8](Java SE Development Kit 8 — 下载 | Oracle 中国)，存放到相关的文件夹中，可以自定义存放的文件夹
• 执行以下命令，创建jvm目录存放JDK文件

cd /usr/lib
sudo mkdir jvm  

• 进入到jdk存放的文件夹，进行解压缩

cd ~
cd software
sudo tar -zxvf ./jdk-8u291-linux-x64.tar.gz -C /usr/lib/jvm

• 执行以下命令，配置环境变量

sudo gedit /etc/environment

• 将以下代码添加到末尾，具体的变化就是jdk的版本和你的安装目录

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291
export JRE_HOME=/usr/lib/jvm/jdk1.8.0_291/jre
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

• 使上面的命令生效

source /etc/environment

• 输入java -version，显示jdk版本说明恭喜你，环境变量配置正确
• 配置所有用户的环境变量（如果不配置，那么可能会重启之后无法显示java命令）

sudo gedit /etc/profile

• 将以下代码添加到末尾，唯一需要改变的是jdk的版本和你的安装目录

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291export JRE_HOME=/usr/lib/jvm/jdk1.8.0_291/jreexport CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

• 使上面的命令生效

source /etc/profile

• 使用以下命令重启Linux系统，重新验证 java -version 命令，显示版本即成功

reboot

安装单机Hadoop

• 下载[Apache Hadoop](Apache Hadoop)

• 安装Hadoop

sudo tar -zxf hadoop-3.2.2.tar.gz -C /usr/local# 将目录名修改为hadoopcd /usr/localsudo mv ./hadoop-3.2.2/ ./hadoop# 修改目录权限# sudo chown -R 当前用户名 ./hadoopsudo chown -R tang ./hadoop# 执行以下命令查看Hadoop版本cd /usr/local/hadoop/bin./hadoop version

• 显示以下结果说明配置成功了

• 运行Grep实例来检测一下Hadoop是否安装成功

cd /usr/local/hadoopmkdir inputcp ./etc/hadoop/*.xml ./input# 执行以下代码运行Grep实例(usr/local/hadoop目录下)./bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep ./input ./output \'dfs[a-z]+\'

• 最后，执行以下命令查看输出数据

cat ./output/*

• 配置hadoop环境变量

sudo gedit /etc/profilesource /etc/profile# 查看环境变量是否配置成功hadoop version

# profile文件配置，其中jdk和hadoop的位置取决于自己，不要直接复制export JAVA_HOME=//usr/lib/jvm/jdk1.8.0_291export JRE_HOME=/usr/lib/jvm/jdk1.8.0_291/jreexport CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexport HADOOP_HOME=/usr/local/hadoop

• 修改伪分布式配置文件