1，Hadoop知识储备
Hadoop初学思维导图
1，Hadoop
··· Hadoop：
Hadoop的核心由HDFS和MapReduce组成。HDFS是分布式文件系统，是Hadoop生态圈的分布式数据存储基石；MapReduce是计算组件，会被Spark取代。
··· Hadoop生态圈：
Hadoop生态圈是一系列用来处理大数据的框架或组件，有Hadoop、Hive、Spark、HBase等。
2，HDFS
··· 组成：
HDFS采用主从结构，支持文件形式的数据；HDFS包括一个NameNode节点、若干个DataNode节点和一个Secondary NameNode节点，Hadoop2.2之后可以有多个NameNode节点。
··· NameNode：
NameNode作为主服务器，用来管理文件系统命名空间和客户端对文件的访问操作；NameNode是所有HDFS元数据的管理者，用户的数据不会经过NameNode；NameNode执行文件系统的命名空间，如打开、关闭、重命名文件或目录等，也负责数据块到具体DataNode的映射。存储文件的元数据，以及每个文件的块列表和块所在的DataNode。
··· DataNode：
DataNode管理存储的数据；从内部看，文件被分成若干个数据块，并保存在一组DataNode上；DataNode负责处理文件系统客户端的读写，并在NameNode的统一调度下进行数据库的创建、删除和复制工作。
··· Secondary NameNode：
用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。冷备份。
3，HDFS HA
··· 高可用HDFS，由于HDFS的NameNode存在单点故障，所以需要备份的NameNode。
1，备份的NameNode与活动的NameNode通过日志文件edit实现同步，并且同时只能有一个NameNode是active状态，active可以读写edit，standby只能读edit。热备份。
2，ZooKeeper 负责管理NameNode 的故障转移(状态切换)。每一个NameNode节点上都运行一个ZKFC进程(ZooKeeper的客户端)，ZKFC负责向ZooKeeper 发送本机NameNode 的健康状况。
版权声明：本文为shendeng23原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。