Hive Compiler过程详解大数据

Hive Compiler过程详解大数据

  通过Parser将HiveQL转换成AST,通过Semantic Analyzer将AST转换为QB,通过Logical Plan Generator将QB转换成Operator Tree,通过Logical Optimizer对Operator Tree进行优化,通过Physical Plan Generator将Operator Tree转换为Tast Tree,最后通过Physical Optimizer对Task Tree进行优化

1、Parser:将HiveQL字符串转换为Parse Tree的形式

2、Semantic Analyzer:将Parse Tree转换为查询块QB,并填充元数据

3、Logical Plan Generator:转换成一系列的逻辑执行计划,也就是逻辑操作符构成的树 Operator Tree

4、Logical Optimizer:执行一些特定的优化算法并改写Operator Tree

5、Physical Plan Generator:将逻辑执行计划切分、改写成为物理执行计划(如M/R、Tez作业)

6、Physical Optimizer:优化物理执行计划,如Auto Map Join

 

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/9065.html

(0)
上一篇 2021年7月19日 09:10
下一篇 2021年7月19日 09:10

相关推荐

发表回复

登录后才能评论