Hadoop高可用配置过程（dudu）
前提：开启所有的虚拟机！！！！
第一步，停掉hadoop,linux命令窗口中停掉hdfs : stop-all.sh，
第二步，克隆，把克隆192.168.31.100给192.168.31.105，
操作是点击鼠标右键→一直下一步，修改一下虚拟机名称
第三步，在【105】启动虚拟机，打开105，在命令中修改参数
①配置hostname：sudo nano hostname /etc/hostname 将 改为是s105
②配置静态ip :sudo nano /etc/sysconfig/network-scripts/ifcfg-ens33 将最后改成105
③重启：roboot
剩下的都在101中操作
在【101】中
③修改hosts:sudo nano /etc/hosts 添加：
192.168.79.100 s100
192.168.79.101 s101
192.168.79.102 s102
192.168.79.103 s103
192.168.79.104 s104
192.168.79.105 s105
④分发，直接粘贴到命令行：
sudo scp /etc/hosts root@s102:/etc/
sudo scp /etc/hosts root@s103:/etc/
sudo scp /etc/hosts root@s104:/etc/
sudo scp /etc/hosts root@s105:/etc/
⑤创建ha目录，修改符号链接,在目录 /soft/hadoop/etc下进行，即cd /soft/hadoop/etc
cp -r full/ ha
ln -sfT ha hadoop
二、修改配置文件：在【101】中
1.core-site.xml,将下面代码复制进去
命令：nano /soft/hadoop/etc/hadoop core-site.xml
————————————–
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/centos/ha</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/centos/ha/journal</value> </property> </configuration>
View Code
2.hdfs-site.xml，将下面代码复制进去
命令：nano /soft/hadoop/etc/hadoop hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <!-- 声明名字服务 --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <!-- 声明两个节点名称 --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <!-- 声明节点名称指定的真实主机名 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>s101:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>s105:8020</value> </property> <!-- 声明节点名称指定的真实主机名web端口 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>s101:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>s105:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://s104:8485;s103:8485;s102:8485/mycluster</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> </configuration>
View Code
3、同步配置文件
scp -r /soft/hadoop/etc centos@s102:/soft/hadoop/
scp -r /soft/hadoop/etc centos@s103:/soft/hadoop/
scp -r /soft/hadoop/etc centos@s104:/soft/hadoop/
scp -r /soft/hadoop/etc centos@s105:/soft/hadoop/
4、修改符号链接
ssh s102 ln -sfT /soft/hadoop/etc/ha /soft/hadoop/etc/hadoop
ssh s103 ln -sfT /soft/hadoop/etc/ha /soft/hadoop/etc/hadoop
ssh s104 ln -sfT /soft/hadoop/etc/ha /soft/hadoop/etc/hadoop
ssh s105 ln -sfT /soft/hadoop/etc/ha /soft/hadoop/etc/hadoop
5、启动journalnode
hadoop-daemons.sh start journalnode
6、格式化文件系统
hdfs namenode -format
7、将s101的~/ha目录同步到s105节点
scp -r ~/ha centos@s105:~/
8、start-dfs.sh
9、将s101的namenode变为激活状态(active)
hdfs haadmin -transitionToActive nn1
10、检查进程
s101和s105：用jps命令
namenode