Hadoop入门(1)——Hadoop概论
大数据
大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现里和流程优化能力的海量、高增长率和多样化的信息资产。通常都是 TB、PB、EB级别的数据。
大数据主要解决海量数据的采集、存储和分析计算问题。
大数据的特点（4V）：
- 大量（Volume）
- 高速（Velocity）
- 多样（Variety）
- 低价值密度（Value）
Hadoop概述
简介
Hadoop 是由Apache基金会所开发的分布式系统基础架构。
主要解决海量数据的存储和海量数据的分析计算。
官网地址：https://hadoop.apache.org/
通常说的Hadoop，一般指广义上的Hadoop，即Hadoop生态圈，包括Hbase、Hive、ZooKeeper等。
思想来源
Hadoop在谷歌大数据方面的三篇论文的基础上，推出三个开源架构：
- GFS（《The Google file system》）：Hadoop中的HDFS
- Map-Reduce（《MapReduce：Simplified Data Processing on Large Clusters》）：Hadoop中的MapReduce
- BigTable（《Bigtable：A Distributed Stprage System for Structured Data》）：HBase
论文下载
优势
- 高可靠性：
Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或者存储出现故障，也不会导致数据丢失。 - 高扩展性：
在集群间分配任务数据，可以方便的扩展数以千计的节点。 - 高效性：
在MapReduce的思想下，Hadoop是并行工作的，以加快处理速度。 - 高容错性：
能够自动将失败的任务重新分配。当某服务器上计算任务出错时，自动将此任务迁移到其他服务器上重新计算，不影响最终计算结果。
发展历史
Hadoop创始人Doug Cutting为了实现全文检索功能，在Lucene框架基础上进行升级，做出了微型版Nutch。
后来根据谷歌的三篇论文，加上谷歌公开的部分思想细节，Doug Cutting在Nutch中实现了DFS和MapReduce机制。Hadoop作为Lucene子项目Nutch一部分被引入Apache。
再后来，MapReduce和NDFS（Nutch Distributed File Syetem）被纳入Hadoop项目中，Hadoop正式诞生。标志着大数据时代来临。
Hadoop的名字来自于 Doug Cutting儿子玩具大象的名字。
发行版本
Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
- Apache版本最原始（最基础）的版本，对于入门学习最好。2006
- Cloudera内部集成了很多大数据框架，对应产品CDH。2008
- Hortonworks文档较好，对应产品HDP。2011
Hortonworks现在已经被Cloudera公司收购，推出新的品牌CDP。
Hadoop组成
- 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。
- 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。
- Hadoop3.x在组成上没有变化。
HDFS
Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。
- NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等，一个nn对应多个dn，nn类似于一本书的目录，dn类似于实际的章节。
- DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
- Secondary NameNode(2nn)：每隔一段时间对NameNode元数据备份，当nn异常时，进行恢复。
YARN
Yet Another Resource Negotiator，简称YARN，另一种资源协调者，是Hadoop的资源管理器。
YARN架构图：
其中：
- client客户端可以有多个
- 集群上可以运行多个ApplicationManager
- 每个NodeManager上可以有多个Container
YARN的组成：
- ResourceManager（简称 RM ）：
整个集群资源（内存、CPU等）的管理者 - NodeManager（简称 NM ）：
管理单个节点服务器的CPU、内存等。 - ApplicationMaster（简称 AM ）：
管理单个任务运行 - Container：
容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。每一个容器默认需要1-8G内存 + 1核CPU，如图上1个nm包含4G内存+2CPU，由于一个容器需要1CPU，所以一个nm最多只能分配两个container
AM任务的分配可以多任务，跨节点。
多任务指的是一个AM可以分配多个子任务去执行；
跨节点指的是同一AM分配的不同子任务可以在不同的NM中执行，不一定非要在AM所在的节点执行。
MapReduce
MapReduce将计算过程分为两个阶段：Map和Reduce。
- Map阶段并行处理输入数据
- Reduce阶段对map结果进行汇总
结构图：
三大组件关系
整体调用结构图：
工作流程
- HDFS存储数据
- 客户端发起请求，提交作业
- YARN分配资源，创建MapReduce任务
- 任务结果再入HDFS
- 作业结果返回客户端
大数据技术生态体系
其中：
- Sqoop：是一款开源的工具，主要用于在Hadoop、Hive与传统数据库（Mysql、Oracle）之间进行数据的传递，可以将一个关系型数据库中的数据导进HDFS中，也可以将HDFS的数据导入关系型数据库中
- Flume：是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据
- Kafka：是一种高吞吐量的分布式发布订阅消息系统
- Spark：是当前最流行的开源大数据内存计算框架，可以基于Hadoop上存储的大数据进行计算
- Flink：是当前最流行的开源大数据内存计算框架，用于实时计算的场景比较多
- Oozie：是一个管理Hadoop作业（job）的工作流程调度管理系统
- HBase：是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库
- Hive：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行执行。可以通过类似SQL语句来快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析
- ZooKeeper：是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等