HDFS
1、What is HDFS？
HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
2、HDFS优\劣势
优点：
1）高容错性
（1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。
（2）某一个副本丢失以后，它可以自动恢复。
2）适合处理大数据
（1）数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
（2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。
3）可构建在廉价机器上，通过多副本机制，提高可靠性。
缺点：
1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
2）无法高效的对大量小文件进行存储。
（1）存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；
（2）小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。
3）不支持并发写入、文件随机修改
（1）一个文件只能有一个写，不允许多个线程同时写；
（2）仅支持数据append（追加），不支持文件的随机修改。
3、Namenode主要职责
NameNode（nn）：就是Master，它是一个主管、管理者。
（1）管理HDFS的名称空间；
（2）配置副本策略；
（3）管理数据块（Block）映射信息；
（4）处理客户端读写请求。
4、DataNode主要职责
DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。
（1）存储实际的数据块；
（2）执行数据块的读/写操作。
5、HDFS默认文件块大小及原因。
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。
原因：目前磁盘的传输速率普遍为100MB/s，寻址时间为传输时间的1%时，为最佳状态。寻址时间一般为10ms，传输时间=10ms/0.01=1s，block大小=1s*100MB/s=100MB，所以最佳的block大小为100MB，设定block大小为128MB传输为二进制时比较方便，而且也不会占用整个块的空间