1、数据仓库warehouse一般不做更改,只做查询

2、OLTP:联机事务处理,比如:转账

      OLAP:联机分析处理,比如:只做查询

3、hadoop的思想来源:

  GFS (Google的文件系统)即分布式文件系统

4、MapReduce计算模型的来源:

  Page Rank 即搜索排名

5、HBase数据库的来源:

  BigTable 大表

6、

7、

8、

9、             

10、Hadoop五大守护进程(jobtracker、tasktracker、namenode、datanode、secondarynamenode)的三种启动与关闭方式

第一种启动方式:

进入【 Hadoop-1.x / bin】目录,执行start-all.sh,JPS查看进程,全部启动成功。

查看start-all.sh 代码发现:

# start dfs daemons

“$bin”/start-dfs.sh –config$HADOOP_CONF_DIR

# start mapred daemons

“$bin”/start-mapred.sh –config$HADOOP_CONF_DIR

start-all.sh启动是依赖于,start-dfs.sh 和 start-mapred.sh 两个启动文件,需要注意的是它的执行顺序,是先执行,start-dfs.sh 之后再执行 start-mapred.sh

第二种启动方式:

进入【 Hadoop-1.x /bin 】目录,执行start-dfs.sh 后再执行 start-mapred.sh,JPS查看进程,全部启动成功。

查看start-dfs.sh和 start-mapred.sh代码发现:

【start-dfs.sh】

# start dfsdaemons

# startnamenode after datanodes, to minimize time namenode is up w/o data

# note:datanodes will log connection errors until namenode starts

“$bin”/hadoop-daemon.sh–config $HADOOP_CONF_DIR start namenode $nameStartOpt

“$bin”/hadoop-daemons.sh–config $HADOOP_CONF_DIR start datanode $dataStartOpt

“$bin”/hadoop-daemons.sh–config $HADOOP_CONF_DIR –hosts masters start secondarynamenode

【start-mapred.sh】

# start mapreddaemons

# startjobtracker first to minimize connection errors at startup

“$bin”/hadoop-daemon.sh–config $HADOOP_CONF_DIR start jobtracker

“$bin”/hadoop-daemons.sh–config $HADOOP_CONF_DIR start tasktracker

值得注意的是start-dfs.sh 和 start-mapred.sh 的启动是依赖于hadoop-daemon.sh  和 hadoop-daemons.sh文件进行启动的;

注意其顺序,启动顺序依次为namenode、datanode、secondarynamenode、jobtracker、tasktracker

第三种启动方式:

进入【 Hadoop-1.x /bin】目录,命令如下:

【$  ./hadoop-daemon.sh  namenode】

【$  ./hadoop-daemon.sh  datanode】

【$  ./hadoop-daemon.sh  secondarynamenode】

【$  ./hadoop-daemon.sh  jobtracker】

【$  ./hadoop-daemon.sh  tasktracker】

JPS查看进程,全部启动成功

 

第一种关闭方式:

调用stop-all.sh即可,原理同上

 

第二种关闭方式:

调用stop-mapred.sh再调用stop-dfs.sh 注意其执行顺序,原理同上

 

第三种关闭方式:

关闭顺序为:jobtracker、tasktracker、namenode、datanode、secondarynamenode

进入【 Hadoop-1.x /bin】目录,命令如下:

【$  ./hadoop-daemon.sh  namenode】

【$  ./hadoop-daemon.sh  datanode】

【$  ./hadoop-daemon.sh  secondarynamenode】

【$  ./hadoop-daemon.sh  jobtracker】

【$  ./hadoop-daemon.sh  tasktracker】

 

 

 

 

 

 

 

 

 

 

 

版权声明:本文为beiyi888原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/beiyi888/p/9637001.html