通过Parser将HiveQL转换成AST,通过Semantic Analyzer将AST转换为QB,通过Logical Plan Generator将QB转换成Operator Tree,通过Logical Optimizer对Operator Tree进行优化,通过Physical Plan Generator将Operator Tree转换为Tast Tree,最后通过Physical Optimizer对Task Tree进行优化
1、Parser:将HiveQL字符串转换为Parse Tree的形式
2、Semantic Analyzer:将Parse Tree转换为查询块QB,并填充元数据
3、Logical Plan Generator:转换成一系列的逻辑执行计划,也就是逻辑操作符构成的树 Operator Tree
4、Logical Optimizer:执行一些特定的优化算法并改写Operator Tree
5、Physical Plan Generator:将逻辑执行计划切分、改写成为物理执行计划(如M/R、Tez作业)
6、Physical Optimizer:优化物理执行计划,如Auto Map Join
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/9065.html