hadoop jar  x.jar  执行过程

 

1,job.waitforcompletion() 启动 Runjar 进程  -> Resourcemanage申请一个job ->返回一个 job相关资源提交路径和jobID  

2,Runjar 向指定路径提交相关资源,并将提交结果返回给ResourceManage。

3,ResourceManage将Job加入到任务队列。NodeManage通过心跳机制领取相关任务。

4,NodeManage会为任务产生一个容器Container,这个容器包含资源(cpu,内存,磁盘I/O,网络等);

5,启动mrappmaster。

1,mrAppmaster 注册到ResourceManage注册信息。返回相关资源所在那个节点。

2,在相关容器中启动Map任务进程被   称为YarnChild,mrAppmaster不断监控。

3,mrAppmaster启动ReduceTask  

4,mrAppmaster将运行信息返回给ResourceManage,注销自己,ResourceManage回收资源。 

 

mrAppmaster 和YarnChild 是动态产生的。

版权声明:本文为-xiangyang原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/-xiangyang/p/10636846.html