集群配置

 

 

NameNode 和SecondaryNameNode不要安装在同一台服务器上

ResourceManager也很耗内存，不要和NameNode、SecondaryNameNode放在一台服务器上

配置文件

Hadoop配置文件分为默认配置文件和自定义配置文件

自定义配置文件:

核心全局配置文件

core-site.xml：

<– 指向NameNode的地址 –>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop102:8020</value>
</property>
<– 指定hadoop数据的存储目录 –>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.3.1/data</value>
</property>

 

 HDFS配置文件

配置hdfs-site.xml文件

<!– 定义namenode  web端的访问地址 –>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop102:9870</value>
</property>
<!– 定义secondarynamenode端访问地址 –>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop104:9868</value>
</property>

 

 YARN配置文件

yarn-site.xml

<!– 指定MR走shuffle –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!– 指定YARN的ResourceManager的地址 –>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop103</value>
</property>
<!– 环境变量的继承 –>
<property>

<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME,</value>
</property>

 

 MAPReduce的配置

配置mapred-site.xml文件

<!– 指定MapReduce程序运行在Yarn上 –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 然后将Hadoop xml分发到103 104

 

 

 

版权声明：本文为XIAOZHAOZHAO原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/zhaolei0419/p/16545404.html