集群时间同步

  为了使三台服务器的时间一致,而且服务器没有连接外网的话,需要进行集群时间同步。一般虚拟机的时间是同步的,所以这个过程我们不需要配置。

下面开始学习Hadoop_HDFS

   hdfs解决海量问题的存储问题,是一个文件系统。用来存储文件,通过目录树来定位文件,分布式的,适合一次写入,多次读出。

   优点:

        1, 高容错性,自动保存多个副本

        2,适合处理大数据(文件规模,数据规模)

        3,可构建在廉价的机器上

    缺点:

        1,不适合低延时数据访问

        2,无法高效的对大量小文件进行存储

        3,不支持并发写入,文件随机修改

HDFS组成:

    NameNode(nn) :是Master,是主管,管理者

      1、管理HDFS的名称空间

      2、配置副本策略

      3、管理数据快(Block)映射信息

      4、处理客户端读写请求

    DaraNode:是Slave。执行NameNode实际的操作

      1、存储实际的数据快

      2、执行数据快的读/写操作

    Client:客户端

      1、文件切分

      2、与NameNode交互,获取文件的位置信息

      3、与DataNode交互,读取或者写入数据

      4、提供一些命令来管理HDFS,比如NameNode的格式化

      5、通过一些命令来访问HDFS,比如对HDFS的增删改查

      

    Secondary NameNode:辅助回复NameNode,并非热备

版权声明:本文为XIAOZHAOZHAO原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/zhaolei0419/p/16578111.html