配置文件官网：https://hadoop.apache.org/docs/r2.6.1/ （可以是其他版本）

1、配置JDK

需要配置JDK的有hadoop-env.xml mapred-env.xml yarn-env.xml

分别在对应 的 文件中添加或者更新Java_home路径，export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_231

2、配置core-site.xml 

<property>
<name>fs.defaultFS</name>
<value>hdfs://linux121:9000</value>
</property>
<!– 指定Hadoop运行时产生文件的存储目录 –>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>
</property>
更多配置见：https://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-common/core-default.xml
 

3、配置hdfs-site.xml

<!– 指定Hadoop辅助名称节点主机配置 –>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>linux123:50090</value>
</property>
<!–副本数量 –>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
更多配置见：https://hadoop.apache.org/docs/r2.6.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

4、mapred-site.xml

<!– 指定MR运行在Yarn上 –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!– 历史服务器端地址 –>
<property>
<name>mapreduce.jobhistory.address</name>
<value>linux121:10020</value>
</property>
<!– 历史服务器web端地址 –>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>linux121:19888</value>
</property>
更多配置见：https://hadoop.apache.org/docs/r2.6.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

5、配置yarn-site.xml

<!– 指定YARN的ResourceManager的地址 –>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>linux123</value>
</property>
<!– Reducer获取数据的方式 –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!– 日志保留时间设置7天 –>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://linux121:19888/jobhistory/logs</value>
</property>
更多配置见：https://hadoop.apache.org/docs/r2.6.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

6、从节点 

指定datanode从节点(修改slaves文件，每个节点配置信息占一行)，需要在etc目录下创建一个slaves文件，文件中添加从节点
如：

linux121
linux122
linux123

 

版权声明：本文为王一0226原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/goldenwangyi/p/16411829.html