• 保存HDFS上所有文件的元数据!
  • 接受客户端的请求!
  • 接受DN上报的信息,给DN分配任务(维护副本数)!

元数据存储在fsiamge文件+edits文件中!

  • fsimage(元数据的快照文件)
  • edits(记录所有写操作的日志文件)

NN负责处理集群中所有客户端的请求和所有DN的请求!在一个集群中,通常NN需要一个高配置,保证NN可以及时处理客户端或DN的请求,一旦NN无法及时处理请求,HDFS就已经瘫痪!

edits文件的产生:
NN在启动之后,每次接受的写操作请求,都会将写命令记录到edits文件中,edits文件每间隔一定的时间和大小滚动!

fsimage文件的产生:
①第一次格式化NN时,此时会创建NN工作的目录,其次在目录中生成一个fsimage_000000000000文件

当NN在每次启动时,NN会将所有的edits文件和fsiamge文件加载到内存合并得到最新的元数据,将元数据持久化到磁盘生成新的fsimage文件

③如果启用了2nn,2nn也会辅助NN合并元数据,会将合并后的元数据发送到NN

版权声明:本文为sunbr原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/sunbr/p/13273837.html