Hadoop历史服务器

把运行过的job保存到历史服务器上
此配置只能查看job的运行情况和时间，不能查看日志信息

搭建历史服务器

在hadoop1上进行搭建

  • 修改配置文件mapred-site.xml
<!--历史服务器的内部地址-->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop1:10020</value>
</property>
<!--历史服务器的web地址-->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop1:19888</value>
</property>
  • 启动历史服务器
mapred --daemon start historyserver
  • web查看

配置日志的聚集

日志聚集：应用运行完成以后，将程序的日志在web上面显示

修改yarn-site.xml

<!--开启日志聚集功能-->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!--web查看日志的路径-->
<property>
	<name>yarn.log.server.url</name>
	<value>http://192.168.31.101:19888/jobhistory/logs</value>
</property>
<!--设置日志的存储时间-->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

web端访问

版权声明：本文为黎白昼原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/baizhoux/p/16250226.html