MapReduce提交到Yarn上大体执行流程

MapReduce提交到Yarn上大体执行流程

  1. 启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjar

  2. ResouceManager 会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster

  3. 由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTask任务运行结束.MRAppMasster进程会启动Reduce Task任务(yarnChild进程)

原创文章,作者:3628473679,如若转载,请注明出处:https://blog.ytso.com/tech/opensource/194226.html

(0)
上一篇 2021年11月16日 02:23
下一篇 2021年11月16日 02:24

相关推荐

发表回复

登录后才能评论