流式大数据计算实践(3)----高可用的Hadoop集群
一、前言
1、上文中我们已经搭建好了Hadoop和Zookeeper的集群,这一文来将Hadoop集群变得高可用
2、由于Hadoop集群是主从节点的模式,如果集群中的namenode主节点挂掉,那么集群就会瘫痪,所以我们要改造成HA模式(High Avaliable,高可用性)的集群,说白了就是设置一个备用的namenode节点,当线上使用的namenode挂掉后,会切换备用节点,让集群可以继续运行
二、HA模式配置
HA模式原理:比如设置两个namenode节点,一个active,一个standby(同时只能active一个namenode),集群运行中通过JournalNode来同步两个namenode节点的数据,通过Zookeeper来做节点维护,Zookeeper与节点之间存在一个心跳机制,当Zookeeper检测不到某个节点的心跳时,则认为节点挂掉了,就会启动切换机制
1、首先配置journalnode集群 通信的超时时间,如果机器配置不好的情况下,连接时间会比较长,所以加大超时时间,生产环境尽量设置越小越好,这样检测故障也会更加及时
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>60000</value> </property>
2、failover配置—-hdfs-site.xml配置
(1)配置集群id
(2)配置nodenode组的节点
(3、4)配置每个namenode节点的rpc地址
(5、6)配置每个namenode节点的控制台地址
(7)配置journalnode集群的访问地址,由于我这里只有两台虚拟机,所以都加上去了,生产环境下,尽量将journalnode和namenode分开在不同的机器,因为一般namenode节点挂了,很可能是因为namenode所在的物理机本身存在一些问题导致,放在一起又会导致journalnode节点也挂掉
(8)配置dfs客户端,用来判断哪个namenode是active的
(9、10)配置结束namenode的方式:当检测到namenode挂掉并进行备用节点切换时,要将之前的namenode彻底干掉,因为要防止namenode的“假死”,比如namenode所在的机器可能由于网络不好被认为挂掉而切换了备用节点,当原namenode机器网络恢复,就会造成两个namenode同时工作,导致数据混乱,这就是所谓的“脑裂现象”。为了防止这个现象,当检测到namenode挂掉,那么就直接SSH连接到这台机器上,并将namenode直接kill掉,第10条配置就要指定当初配置SSH生成的私钥目录
(11)配置journalnode的数据存放的文件夹(要记得去创建文件夹)
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.nameservices</name> <value>stormcluster</value> </property> <property> <name>dfs.ha.namenodes.stormcluster</name> <value>storm1,storm2</value> </property> <property> <name>dfs.namenode.rpc-address.stormcluster.storm1</name> <value>storm1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.stormcluster.storm2</name> <value>storm2:8020</value> </property> <property> <name>dfs.namenode.http-address.stormcluster.storm1</name> <value>storm1:50070</value> </property> <property> <name>dfs.namenode.http-address.stormcluster.storm2</name> <value>storm2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://storm1:8485;storm2:8485/stormcluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.stormcluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_rsa</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/work/hadoop/jn</value> </property>
3、failover配置—-core-site.xml配置
(1)将之前设置的defaultFS修改成我们刚刚配置的集群id
vim /work/soft/hadoop-2.6.4/etc/hadoop/core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://stormcluster</value> </property>
4、启动/停止journalnode
$HADOOP_PREFIX/sbin/hadoop-daemon.sh start journalnode
$HADOOP_PREFIX/sbin/hadoop-daemon.sh stop journalnode
5、启动后用jps命令看看journalnode节点是否存在
6、将第一个namenode进行格式化
hdfs namenode -format
7、将第二个namenode初始化作为备份
hdfs namenode -bootstrapStandby
8、将第一个namenode的journode进行初始化
hdfs namenode -initializeSharedEdits
9、将两台机器的namenode启动
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode
10、通过50070端口访问两台机的控制台,可以发现两个namenode都处于standby状态
11、执行命令手动切换active节点,将storm1激活,storm2变成备份,刷新控制台,可以发现storm1变成了active,storm2依然是standby
hdfs haadmin -failover storm2 storm1
12、配置zkfc自动化切换
(1)首先配置Zookeeper的超时时间,生产环境尽量设置小一些,及时判断是否宕机
vim /work/soft/hadoop-2.6.4/etc/hadoop/core-site.xml <property> <name>ha.zookeeper.session-timeout.ms</name> <value>30000</value> </property>
(2)启动Zookeeper集群
$ZOOKEEPER_HOME/bin/zkServer.sh start
(3)配置自动化切换和Zookeeper集群的地址
vim /work/soft/hadoop-2.6.4/etc/hadoop/hdfs-site.xml <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>storm1:2181,storm2:2181</value> </property>
(4)初始化Zookeeper集群
$HADOOP_PREFIX/bin/hdfs zkfc -formatZK
(5)进入Zookeeper命令行查看目录,可以看到多了一个hadoop-ha,说明配置正确
$ZOOKEEPER_HOME/bin/zkCli.sh
ls /
(6)我们把两台机的namenode都重启一下
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs stop namenode $HADOOP_PREFIX/sbin/hadoop-daemon.sh --script hdfs start namenode
(7)通过50070控制台可以看到两台都处于standby状态(如果namenode起不来,就格式化一下)
(8)启动zkfc
$HADOOP_PREFIX/sbin/hadoop-daemon.sh --script $HADOOP_PREFIX/bin/hdfs start zkfc
(9)用jps命令可以看到新的进程
(10)刷新50070控制台,可以发现有一台namenode已经变成了active
三、总结
1、到此我们的Hadoop集群已经搭建完毕,终于可以开始使用HBash了,要注意当前集群节点的启动顺序
zookeeper-->journalnode-->namenode-->zkfc-->datanode