大数据平台搭建-hadoop集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：
- 虚拟服务器安装
- 基础环境安装
- zookeeper集群的搭建
- kafka集群的搭建
- hadoop/hbase集群的搭建
- spark集群的搭建
- flink集群的搭建
- elasticsearch集群的搭建
- alluxio集群的搭建
本文主要讲解hadoop和hbase的分布式搭建过程。
版本要求
- java版本：
1.8.0_181 - zookeeper版本:
zookeeper-3.4.10 - hadoop版本:
hadoop-2.7.6 - hbase版本：
hbase-1.2.6.1
前置条件
免密登录
见链接免密登录
java安装
见链接java安装
zookeeper安装
见链接zookeeper安装
服务器资源和分配
本文服务器列表如下：
192.168.220.200 bigdata1
192.168.220.201 bigdata2
192.168.220.202 bigdata3
192.168.220.203 bigdata4
192.168.220.204 bigdata5
其中选用bigdata1和bigdata2作为namenode,bigdata3、bigdat4、bigdata5作为dataNode，安装完成后各节点进程名如下：
| 主机名 | ip地址 | NameNode | ResourceManager | DFSZKFailoverController | DataNode | JournalNode | NodeManager |
| bigdata1 | 192.168.220.200 | Y | Y | Y | N | N | N |
| bigdata2 | 192.168.220.201 | Y | Y | Y | N | N | N |
| bigdata3 | 192.168.220.202 | N | N | N | Y | Y | Y |
| bigdata4 | 192.168.220.203 | N | N | N | Y | Y | Y |
| bigdata5 | 192.168.220.204 | N | N | N | Y | Y | Y |
下载解压安装
-
下载
从官网hadoop下载选择对应的版本，本文选择版本hadoop-2.7.6.tar.gz -
切换至主目录
cd ~ -
解压
tar -zxvf hadoop-2.7.6.tar.gz -
重名名
mv hadoop-2.7.6 hadoop
配置环境变量
编辑
vi ~/.bash_profile
配置完成后，结果如下：
# .bash_profile
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
# User specific environment and startup programs
export JAVA_HOME=/home/oracle/jdk
export SCALA_HOME=/home/oracle/scala
export KAFKA_HOME=/home/oracle/kafka
export SPARK_HOME=/home/oracle/spark
export HADOOP_HOME=/home/oracle/hadoop
export HADOOP_PID_DIR=/home/oracle/hadoop/pids
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="$HADOOP_OPTS-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export FLINK_HOME=/home/oracle/flink
export PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$FLINK_HOME/bin:/sbin:$PATH
export PATH JAVA_HOME SCALA_HOME KAFKA_HOME SPARK_HOME HADOOP_HOME FLINK_HOME
hadoop配置更改
hadoop相关的配置都在$HADOOP_HOME/etc/hadoop目录下,本文中
$HADOOP_HOME=/home/oracle/hadoop
hadoop集群搭建主要涉及如下配置文件的变更
hadoop-env.sh
路径：/home/oracle/hadoop/etc/hadoop/hadoop-env.sh
hadoop-env.sh文件只需要改动JAVA_HOME为具体的路径即可
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/home/oracle/jdk
core-site.xml
路径：/home/oracle/hadoop/etc/hadoop/core-site.xmlfs.defaultFS：用于指定NameNode URIha.zookeeper.quorum：用于指定zookeeper的地址
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/oracle/bigdata/hadoop/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>192.168.220.200:2181,192.168.220.200:2181,192.168.220.200:2181</value>
</property>
<property>
<name>ha.zookeeper.session-timeout.ms</name>
<value>60000</value>
</property>
</configuration>
hdfs-site.xml
路径：/home/oracle/hadoop/etc/hadoop/core-site.xmldfs.nameservices：需要和core-site.xml中的fs.defaultFS保持一致dfs.ha.namenodes.cluster：用于指定namenodes，逗号分隔，别名可以随便命名，本文中为nn1和nn2，需要注意的是下面的rpc和http地址需要和别名保持一致。
dfs.namenode.rpc-address.cluster.nn1
dfs.namenode.http-address.cluster.nn1
dfs.namenode.shared.edits.dir： 指定NameNode的元数据在JournalNode上的存放位置dfs.journalnode.edits.dir：指定JournalNode在本地磁盘存放数据的位置dfs.namenode.name.dir：指定namenode名称空间的存储地址dfs.datanode.data.dir：指定namenode名称空间的存储地址
hdfs-site.xml完整配置如下：
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>bigdata1:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>bigdata1:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>bigdata2:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>bigdata2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://bigdata3:8485;bigdata4:8485;bigdata5:8485/cluster</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/oracle/bigdata/hadoop/journal</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/oracle/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/oracle/bigdata/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/oracle/bigdata/hadoop/hdfs/data</value>
</property>
</configuration>
slaves
路径：/home/oracle/hadoop/etc/hadoop/slavesslavas配置文件如下：
bigdata3
bigdata4
bigdata5
mapred-site.xml
路径：/home/oracle/hadoop/etc/hadoop/mapred-site.xml
主要是指定资源调度框架为yarn。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
路径：/home/oracle/hadoop/etc/hadoop/yarn-site.xml
主要是设定yarn.resourcemanager的主机名。
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
创建文件目录
bigdata1节点上的配置更改完成后，同步到其他节点。
scp -r /home/oracle/hadoop oracle@bigdata2:/home/oracle
scp -r /home/oracle/hadoop oracle@bigdata3:/home/oracle
scp -r /home/oracle/hadoop oracle@bigdata4:/home/oracle
scp -r /home/oracle/hadoop oracle@bigdata5:/home/oracle
同步完成后，在所有节点(bigdata1-bigdata5)上创建文件目录，主要是配置上对应的文件夹。
mkdir -p /home/oracle/bigdata/hadoop/tmp
mkdir -p /home/oracle/bigdata/hadoop/journal
mkdir -p /home/oracle/bigdata/hadoop/hdfs/name
mkdir -p /home/oracle/bigdata/hadoop/hdfs/data
初始化和启动
由于namenode采用了ha,初始化和单namenode的启动有点不一样，具体过程如下。
启动journalnode
在bigdata1上执行，启动journalnode
/home/oracle/hadoop/sbin/hadoop-daemons.sh start journalnode
正常情况下，bigdata3、bigdata4、bigdata5会存在JournalNode的进程。
格式化zookeeper
在bigdata1上执行格式化zookeeper
/home/oracle/hadoop/bin/hdfs zkfc -formatZK
正常情况下，zookeeper根目录下会创建hadoop相关的目录。
格式化hadoop
在bigdata1上执行格式化hadoop namenode的命令
/home/oracle/hadoop/bin/hadoop namenode -format
主要是在服务器上初始化文件夹目录。
启动namenode
在bigdata1上启动namenode
/home/oracle/hadoop/sbin/hadoop-daemon.sh start namenode
正常情况下bigdata1存在NameNode的进程
同步
在bigdata2上同步namenode的相关信息并启动
/home/oracle/hadoop/bin/hdfs namenode -bootstrapStandby
/home/oracle/hadoop/sbin/hadoop-daemon.sh start namenode
正常情况下bigdata2也存在NameNode的进程
启动datanode和yarn
namenode启动完成后，其他进程的启动可以在bigdata1上分步执行
/home/oracle/hadoop/sbin/hadoop-daemons.sh start datanode
/home/oracle/hadoop/sbin/hadoop-daemons.sh start zkfc
/home/oracle/hadoop/sbin/start-yarn.sh
同时也可以直接执行，让hadoop脚本自动验证和启动相关进程。
/home/oracle/hadoop/sbin/start-dfs.sh
/home/oracle/hadoop/sbin/start-yarn.sh
验证
界面查看
hadoop
http://bigdata1:50070
yarn
http://bigdata1:8088/cluster
hdfs文件系统
hdfs dfs -ls hdfs://
mapreduce测试
hadoop jar /home/oracle/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar pi 2 5
关于作者
爱编程、爱钻研、爱分享、爱生活
关注分布式、高并发、数据挖掘