Hadoop大数据集群的搭建
1. 准备环境
centos7 hadoop2.10 jdk1.8
2. 配置信息：
【Name Node 1个节点】【Data Node 3个节点】 【2NN 1 个节点】 【Resource Manage 1个节点】【Name Manage 3个节点】
3. 准备jdk1.8环境变量并且配置环境变量。 准备hadoop环境变量，并且配置环境变量。
编辑 vi /etc/profile
export JAVA_HOME=/opt/java/jdk1.8.0_181 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:$PATH export HADOOP_HOME=/opt/hadoop/hadoop-2.10.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
完成后，运行 source /etc/profile 即可
执行命令： java -version
执行命令： hadoop -version
4. 指定hadoop机器的名称和ip，即：修改/etc/hosts文件
ping hadoop151 都是通的即可
————————————————– ————————————————– ————————————————– ————————————————– ————————————————–
1. 配置相关的配置文件：
【core-site.xml 、hdfs-site.xml、 mapred-site.xml 、 yarn-site.xml】【hadoop-env.sh、mapred-env.sh、yarn-env.sh】
【hadoop102 对应的 hadoop151】 【hadoop104对应的hadoop152】【hadoop103对应的hadoop153】
core-site.xml : 核心配置
hdfs-site.xml : hdfs 文件系统配置
mapred-site.xml : map reduce配置文件
yarn-site.xml : yarn资源调度配置文件
hadoop-env.sh ：hadoop环境变量配置
mapred-env.sh : map-reduce环境变量配置
yarn-env.sh: yarn的环境变量配置
配置 *-env.sh 配置的均为JAVA_HOME的jdk环境变量 【文件位于： /hadoop2.10/etc/hadoop/*-env.sh】
配置 core-site.xml
<configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop151:9000</value> </property> <!--指定Hadoop运行时产生文件的存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoop-2.10.0/data/tmp</value> </property> </configuration>
配置hdfs-site.xml
<configuration>
<!-- 指定HDFS的副本数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置,即：2NN配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop152:50090</value>
</property>
<!-- 配置前台访问页面 -->
<property>
<name>dfs.namenode.http.address</name>
<value>slave1:50070</value>
</property>
</configuration>
配置mapred-site.xml
<configuration> <!-- 指定MR运行在YARN上， MR：Manage Resource --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
配置yarn-site.xml.template
<configuration> <!-- Reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的ResourceManager的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop153</value> </property> </configuration>
2. 启动服务
所有主机执行命令：
hdfs namenode -format
所有主机执行命令：
hadoop-daemon.sh start datanode
只有secondarynamenode主机执行此命令，即 hadoop152 192.168.25.152
hadoop-daemon.sh start secondarynamenode
只有namenode节点主机执行此命令，即：hadoop151 192.168.25.151 hadoop-daemon.sh start namenode
访问页面：：：
http://192.168.25.151:50070/dfshealth.html#tab-datanode