win10虚拟机搭建Hadoop集群(已完结)
1 在虚拟机安装 Ubuntu
2 安装网络工具
Ubuntu最小化安装没有 ifconfig命令
sudo apt-get install net-tools
3 Ubuntu修改网卡名字
修改网卡名字为eth0
sudo vim /etc/network/interfaces
reboot
4 修改主机名
sudo vim /etc/hosts
最后还要分别修改 /etc/hostname
reboot
5 修改IP地址
在虚拟机的虚拟机编辑选项->虚拟网络网络编辑器->nat模式->更改设置->根据自己主机的网络改子网
reboot
6 设置 DNS 解析
不需解析
7 修改 hosts 文件
sudo vim /etc/hosts
8 将yum源改为阿里云
8.1先备份
8.2打开文件设置
sudo vim /etc/apt/sources.list
8.3更新
sudo apt-get update
9 安装配置JDK
9.1 检查是否已经安装
下载JDK，将JDK拉到桌面
9.2 安装JDK包到下列文件
alien -ivh –prefix=/usr/apps jdk-8u201-linux-x64.rpm
9.3配置环境变量
sudo vim /etc/profile
10 克隆节点
如下图克隆出nobe3和nobe4
10.1修改新节点的IP
根据步骤七修改
10.2修改主机名
步骤四
10.3其他节点进行类似操作
11 配置免密登录
11.1 生成密钥对
ssh-keygen
11.2下载openssh-server
sudo apt-get install openssh-server
11.3将密钥对配置到node2 node3 和node4
12 添加Hadoop 用户
四个节点同时操作
sudo useradd hadoop
vsudo passwd hadoop
12.1为Hadoop用户添加sudo 权限
sudo vim /etc/sudoers
13 配置Hadoop
13.1安装文件上传工具
yum – y install lrzsz
13.2 在 /home/xue目录下新建apps文件夹，将源码压缩包上传到apps文件里
sudo mkdir /home/xue/apps
13.3解压
13.4 配置Hadoop环境变量
sudo vim /etc/profile
export HADOOP_HOME=/home/xu
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
13.5 将配置文件拷贝到node3,node4中
sudo scp /etc/profile node3:/etc/
13.6 同时操作所有节点，重新加载配置文件
source /etc/profile
13.7 配置各类 xml 文件
配置文件在所在目录 /home/xue/apps/hadoop-2.7.7/etc/hadoop
13.7.1 配置hadoop-env.sh
添加 JAVA_HOME=/usr/apps/javajdk1.8.0_181-amd64
13.7.2 配置 core-site.xml
13.7.3 配置 hdfs-site.xml
13.7.4 配置 mapred-site.xml.template
将 mapred-site.xml.template 修改 为 mapred-site.xml
13.7.5 配置 yarn-site.xml
13.7.6 修改slaves文件
13.8 把配置文件分发到各个节点
13.9 格式化 NameNode
hdfs namenode -format
13.10 测试安装
13.10.1 将hadoop主目录授权给当前用户(各节点都操作一次)
13.10.2 启动 HDFS
start-dfs.sh
13.10.3 启动 YARN
start-yarn.sh
14 完成最后步骤
14.1 网页管理界面
将node1,node2,node3,node4的IP地址添加到 windows 的 hosts 文件
14.2 登陆
在浏览器上登陆HDFS ，http://node2:50070