Hadoop学习
Hadoop入门
大数据：无法在一定时间内，通过常规的技术手段解决的信息资产。
Hadoop就是解决大数据存储、计算问题的框架
Hadoop生态圈（Hadoop是核心）
Hadoop的组成：
Hadoop1.x时，hdfs负责大数据的存储 mapreduce负责大数据的计算和资源调度
Hadoop2.x时，增加了yarn负责资源调度
Hadoop的架构：
hdfs架构：
namenode：负责存储文件的元数据（文件名、存储位置、文件属性）
datanode: 负责存储文件块数据、以及块数据的校验和
secondarynamenode : 每隔一段时间为namenode中的数据做备份
yarn架构：
resourcemanager:负责管理整个集群的资源调度
nodemanager:负责管理单个节点的资源
applicationmaster:单个任务
container:容器，相当于一台服务器，里头封装了内存、cup、磁盘、网络
Hadoop运行环境的搭建：
1）制作出一台模板虚拟机（安装操作系统(Centos7),配置该虚拟机的网络（ip,主机名）(关闭防火墙)）
2）以模板机为例克隆出三台虚拟机（修改网络配置）
3）安装jdk(hadoop的运行离不开jdk。Hadoop是用Java编写的，Hadoop天生支持Java语言的编写作业)，配置jdk环境变量
4）将Hadoop的压缩包上传到/opt/software/下
5）将Hadoop的压缩包解压并将解压的内容安装到/opt/module/下（tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/），配置Hadoop环境变量
Hadoop运行模式：
本地模式：文件存储在Linux本地
伪分布式：文件存储在hdfs，但是只有单台机器
完全分布式：文件存储在hdfs，多个机器组成的集群
集群的核心配置文件：
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
workers
配置完成后分发出去
集群的开启/停止方式:
start/stop-dfs.sh
start/stop-yarn.sh
单节点启动/停止方式：
hdfs –daemon start datanode/namenode/secondarynamenode
yarn –daemon start resourcemanager/nodemanager
群起集群：
第一次启动集群，需要将namenode进行初始化。生成新的集群id