|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Hadoop核心框架.V02|——|Hadoop.v01|课程大纲|
一、大数据解决的是什么问题
### --- 大数据技术解决的是什么问题？
~~~ 大数据技术解决的主要是海量数据的存储和计算。### --- Hadoop的广义和狭义之分
~~~ # 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：
~~~ HDFS：分布式文件系统--》存储：MapReduce:分布式离线计算框架--》
~~~ 计算；Yarn:资源调度框架广义的Hadoop:
~~~ # 广义Hadoop是不仅仅包含Hadoop框架，除了Hadoop框架之外还有一些辅助框架。
~~~ Flume：日志数据采集,Sqoop：关系型数据库数据的采集；
~~~ Hive:深度依赖Hadoop框架完成计算（sql），Hbase:大数据领域的数据库（mysql）
~~~ # Sqoop：数据的导出
~~~ # 广义Hadoop指的是一个生态圈。二、主要课程内容(颜祺)
### --- 主要课程内容(墨萧)
~~~ 第一部分：大数据简介(定义，特点，应用场景，发展趋势，职业发展路线)
~~~ 第二部分：Hadoop简介(历史，发展路线-版本变更，发行版(CDH))
~~~ 第三部分：Hadoop的重要组成(hdfs,mapreduce,yarn)
~~~ 第四部分：Apache Hadoop 完全分布式集群搭建()
~~~ 第五部分：HDFS 分布式文件系统(架构，原理，常用api,元数据管理，权限，日志采集的综合案例)
~~~ 第六部分：MapReduce分布式计算框架 (原理，常用的编程规范等，大量案例练习-分区，排序-快排-归并排序，压缩，自定义组件，综合案例)
~~~ 第七部分：Yarn 资源调度框架(架构，原理，三种资源调度策略)
~~~ 第八部分：Apche Hadoop核心源码剖析(nn，dn启动流程源码分析，nn高并发的支撑原理，hadoop3.0新特性)
~~~ 第九部分： 调优及二次开发示例(hdfs,mr,yarn调优，nn常见GC问题，完成二次开发编译源码)Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm’d both hands before the fire of life.It sinks, and I am ready to depart
——W.S.Landor
版权声明：本文为yanqi_vip原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。