配置 hadoop+yarn+hbase+storm+kafka+spark+zookeeper 高可用集群，同时安装相关组建：JDK，MySQL，Hive，Flume

环境介绍

节点介绍

• 虚拟机数量：8 台

• 操作系统版本：CentOS-7-x86_64-Minimal-1611.iso

每台虚拟机的配置如下：

集群介绍

8节点Hadoop+Yarn+Spark+Hbase+Kafka+Storm+ZooKeeper高可用集群搭建：

集群详细规划：

软件版本介绍

• JDK版本： jdk-8u65-linux-x64.tar.gz

• hadoop版本： hadoop-2.7.6.tar.gz

• zookeeper版本： zookeeper-3.4.12.tar.gz

• hbase版本： hbase-1.2.6-bin.tar.gz

• Storm版本： apache-storm-1.1.3.tar.gz

• kafka版本： kafka_2.11-2.0.0.tgz

• MySQL版本： mysql-5.6.41-linux-glibc2.12-x86_64.tar.gz

• hive版本： apache-hive-2.3.3-bin.tar.gz

• Flume版本： apache-flume-1.8.0-bin.tar.gz

• Spark版本： spark-2.3.1-bin-hadoop2.7.tgz

前期准备

相关配置

每台主机节点都进行相同设置

新建用户 centos

千万注意：不要在root权限下配置集群

• 新建 centos 用户组

$> groupadd centos

• 1

• 新建用户 centos，并将该用户添加到用户组 centos

$> useradd centos -g centos

• 1

• 为 centos 用户设置密码

$> passwd centos

• 1

添加sudo权限

• 切换到root用户，修改 /etc/sudoers 文件

$> nano /etc/sudoers

添加如下语句：
## Allow root to run any commands anywhere
root    ALL=(ALL)	ALL
centos  ALL=(ALL)	ALL

• 1
• 2
• 3
• 4
• 5
• 6

更改用户名

• 进入 /etc/hostname 下，将原来的内容删除，添加新的用户名

$> sudo nano /etc/hostname

用户名：hadoop1，hadoop2.....

• 1
• 2
• 3

主机名与IP映射

• 进入 /etc/hosts，将原来的内容删除，添加主机节点之间的相互映射

$> sudo nano /etc/hosts

添加内容如下：
127.0.0.1       localhost 
59.68.29.79     hadoop1
10.230.203.11   hadoop2
10.230.203.12   hadoop3
10.230.203.13   hadoop4
10.230.203.14   hadoop5
10.230.203.15   hadoop6
10.230.203.16   hadoop7
10.230.203.17   hadoop8

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

显示当前文件的绝对路径

命令：pwd。形如 ~ 转换为 /home/centos。方便确定当前文件的路径

• 进入 /etc/profile 中进行配置

[centos@hadoop1 ~]$ sudo nano /etc/profile

在末尾添加：
export PS1=\'[\u@\h `pwd`]\$\'

// source /etc/profile 马上生效
[centos@hadoop1 /home/centos]$

• 1
• 2
• 3
• 4
• 5
• 6
• 7

ssh免密登录

hadoop1 和 hadoop2 是容灾节点(解决单点故障问题)，所以这两个主机除了能互相访问之外，还需要登录其他主机节点，可以免密登录

• 检查是否安装了ssh相关软件包(openssh-server + openssh-clients + openssh)

[centos@hadoop1 /home/centos]$ yum list installed | grep ssh

• 1

• 检查是否启动了sshd进程

[centos@hadoop1 /home/centos]$ ps -Af | grep sshd

• 1

• 在hadoop1~hadoop8主机节点的 ~(/home/centos) 目录下创建 .ssh 文件目录，并修改权限

[centos@hadoop1 /home/centos]$ mkdir .ssh
[centos@hadoop1 /home/centos]$ chmod 700 ~/.ssh

• 1
• 2

• 在hadoop1主机上生成秘钥对，追加公钥到~/.ssh/authorized_keys文件中，并修改authorized_keys文件的权限为644(centos系统)

//生成秘钥对
[centos@hadoop1 /home/centos]$ ssh-keygen -t rsa -P \'\' -f ~/.ssh/id_rsa

//进入 ~/.ssh 文件夹下
[centos@hadoop1 /home/centos]$ cd ~/.ssh

//追加公钥到~/.ssh/authorized_keys文件中
[centos@hadoop1 /home/centos/.ssh]$ cat id_rsa.pub >> authorized_keys

// 修改authorized_keys文件的权限为644
[centos@hadoop1 /home/centos/.ssh]$ chmod 644 authorized_keys

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

• 将hadoop1的公钥文件id_rsa.pub远程复制给其他7台主机节点，并放置在/home/centos/.ssh/authorized_keys下

//重名名
[centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop1.pub

[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop2:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop3:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop4:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop5:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop6:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop7:/home/centos/.ssh/authorized_keys
[centos@hadoop1 /home/centos/.ssh]$ scp id_rsa_hadoop1.pub centos@hadoop8:/home/centos/.ssh/authorized_keys

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10

• 在hadoop2主机上生成秘钥对。为了与hadoop1的公钥区分，重命名为 id_rsa_hadoop2.pub。追加公钥到~/.ssh/authorized_keys文件中，并分发给其他7台主机节点

//生成秘钥对
[centos@hadoop2 /home/centos]$ ssh-keygen -t rsa -P \'\' -f ~/.ssh/id_rsa

//重名名
[centos@hadoop2 /home/centos/.ssh]$ mv id_rsa.pub id_rsa_hadoop2.pub

//追加公钥到~/.ssh/authorized_keys文件中
[centos@hadoop1 /home/centos/.ssh]$ cat id_rsa_hadoop2.pub >> authorized_keys

//将authorized_keys分发给其他节点
[centos@hadoop1 /home/centos/.ssh]$ scp authorized_keys centos@hadoop:/home/centos/.ssh/

... 分发给其他节点

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

关闭防火墙

为了保证集群正常启动，先要关闭各台主机的防火墙，一些命令如下：

[cnetos 6.5之前的版本]
$>sudo service firewalld stop		//停止服务
$>sudo service firewalld start		//启动服务
$>sudo service firewalld status		//查看状态

[centos7]
$>sudo systemctl enable firewalld.service	//"开机启动"启用
$>sudo systemctl disable firewalld.service	//"开机自启"禁用
$>sudo systemctl start firewalld.service	//启动防火墙
$>sudo systemctl stop firewalld.service		//停止防火墙
$>sudo systemctl status firewalld.service	//查看防火墙状态

[开机自启]
$>sudo chkconfig firewalld	on				//"开启自启"启用
$>sudo chkconfig firewalld	off				//"开启自启"禁用

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

两个批处理脚本

提示：为了全局可用，脚本都放在 /usr/local/bin 目录下。只在hadoop1和hadoop2节点配置

//以本地用户身份创建xcall.sh
$>touch ~/xcall.sh       //centos

//将其复制到 /usr/local/bin 目录下
$>sudo mv xcall.sh /usr/local/bin

//修改权限
$>sudo chmod a+x xcall.sh

//添加脚本
$>sudo nano xcall.sh

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11

批分发指令脚本(xcall.sh)

#!/bin/bash

params=$@
i=1
for (( i=1 ; i <= 8 ; i = $i + 1 )) ; do
    echo ============= s$i $params =============
    ssh hadoop$i "$params"
done

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

批同步脚本(xsync.sh)：类似于 scp 指令

#!/bin/bash

if [[ $# -lt 1 ]] ; then echo no params ; exit ; fi

p=$1
#echo p=$p
dir=`dirname $p`
#echo dir=$dir
filename=`basename $p`
#echo filename=$filename
cd $dir
fullpath=`pwd -P .`
#echo fullpath=$fullpath

user=`whoami`
for (( i = 1 ; i <= 8 ; i = $i + 1 )) ; do
   echo ======= hadoop$i =======
   rsync -lr $p ${user}@hadoop$i:$fullpath
done ;

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19

集群环境搭建

安装JDK

• 准备JDK：jdk-8u65-linux-x64.tar.gz，将其上传到主机hadoop1的 /home/centos/localsoft 目录下，该目录用于存放所有需要安装的软件安装包

• 在根目录下(/)新建一个 soft 文件夹，并将该文件夹的用户组权限和用户权限改为 centos，该文件夹下为所有需要安装的软件

//创建soft文件夹
[centos@hadoop1 /home/centos]$ sudo mkdir /soft

//修改权限(centosmin0是自己的本机用户名)
[centos@hadoop1 /home/centos]$ sudo chown centos:centos /soft

• 1
• 2
• 3
• 4
• 5

• 解压 jdk-8u65-linux-x64.tar.gz 到 /soft 目录下，并创建符号链接

// 从 /home/centos/localsoft 下解压到 /soft
[centos@hadoop1 /home/centos/localsoft]$ tar -xzvf jdk-8u65-linux-x64.tar.gz -C /soft

// 创建符号链接
[centos@hadoop1 /soft]$ ln -s /soft/jdk1.8.0_65 jdk

• 1
• 2
• 3
• 4
• 5

• 在 /etc/profile 文件中配置环境变量，同时 source /etc/profile，使其立即生效

// 进入profile
[centos@hadoop1 /home/centos]$ sudo nano /etc/profile

// 环境变量
# jdk
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin

// source 立即生效
[centos@hadoop1 /home/centos]$ source /etc/profile

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10

• 检验是否安装配置成功

[centos@hadoop1 /home/centos]$ java -version

// 显示如下
java version "1.8.0_65"
Java(TM) SE Runtime Environment (build 1.8.0_65-b17)
Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode)

• 1
• 2
• 3
• 4
• 5
• 6

• 按照以上步骤配置其他主句(hadoop2~hadoop8)：可以使用批分发指令(xsync.sh分发文件给其他7台主机节点)

Hadoop安装配置(手动HA搭建)

1. hadoop安装配置

• 准备hadoop：hadoop-2.7.6.tar.gz，解压到 /soft 目录下，创建符号链接

// 从 /home/centos/localsoft 下解压到 /soft
[centos@hadoop1 /home/centos/localsoft]$ tar -xzvf hadoop-2.7.6.tar.gz -C /soft

// 创建符号链接
[centos@hadoop1 /soft]$ ln -s /soft/hadoop-2.7.6 hadoop

• 1
• 2
• 3
• 4
• 5

• 在 /etc/profile 下配置环境变量，source /etc/profile 立即生效，使用 hadoop version 检测是否安装成功

// 进入profile
[centos@hadoop1 /home/centos]$ sudo nano /etc/profile

// 环境变量
# hadoop
export HADOOP_HOME=/soft/hadoop
export PATH=$PATH:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin

// source 立即生效
[centos@hadoop1 /home/centos]$ source /etc/profilea

// 检测是否安装成功
[centos@hadoop1 /home/centos]$ hadoop version

显示如下：
Hadoop 2.7.6
Subversion https://shv@git-wip-us.apache.org/repos/asf/hadoop.git -r 085099c66cf28be31604560c376fa282e69282b8
Compiled by kshvachk on 2018-04-18T01:33Z
Compiled with protoc 2.5.0
From source with checksum 71e2695531cb3360ab74598755d036
This command was run using /soft/hadoop-2.7.6/share/hadoop/common/hadoop-common-2.7.6.jar

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21

提示： 现在的操作在hadoop1节点上，先不用在其他节点进行安装配置，等后续配置结束后再一起将配置传给其他节点，能大大节省工作量。

2. hadoop手动NameNode HA搭建

基于hadoop的原生NameNode HA搭建，后面会与zookeeper集群进行整合，实现自动容灾(Yarn+NameNode)

• 进入 /soft/hadoop/etc 目录，复制 hadoop 文件为：full，ha，pesudo，并创建指向ha的符号链接hadoop

[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop ha
[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop full
[centos@hadoop1 /soft/hadoop/etc]$ cp hadoop pesudo

// 创建符号链接
[centos@hadoop1 /soft/hadoop/etc]$ ln -s /soft/hadoop/etc/ha hadoop

• 1
• 2
• 3
• 4
• 5
• 6

• 进入 ha 目录下配置4个文件：core-site.xml；hdfs-site.xml；mapred-site.xml；yarn-site.xml

[core-site.xml]

<configuration>
     <property>
	   <name>fs.defaultFS</name>
	   <value>hdfs://mycluster</value>
     </property>
     <!--- 配置新的本地目录 -->
     <property>
	   <name>hadoop.tmp.dir</name>
	   <value>/home/centos/hadoop</value>
     </property>

     <property>
        <name>ipc.client.connect.max.retries</name>
	   <value>20</value>
     </property>

    <property>
	   <name>ipc.client.connect.retry.interval</name>
 	   <value>5000</value>
     </property>
</configuration>

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21

[hdfs-site.xml]

<configuration>
	<!-- 配置nameservice -->
<property>
	<name>dfs.nameservices</name>
	<value>mycluster</value>
</property>

<!-- myucluster下的名称节点两个id -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>

<!-- 配置每个nn的rpc地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>hadoop1:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>hadoop2:8020</value>
</property>

<!-- 配置webui端口 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>hadoop1:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>hadoop2:50070</value>
</property>

<!-- 名称节点共享编辑目录 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop3:8485;hadoop4:8485;hadoop5:8485;hadoop6:8485;hadoop7:8485;hadoop8:8485/mycluster</value>
</property>

<!-- java类，client使用它判断哪个节点是激活态 -->
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<