hive优化总结详解大数据

一、表设计

    合理分表

    合理设计表分区,静态分区、动态分区

二、扫描相关

    1、谓词下推(Predicate Push Down)

    2、列裁剪(Column Pruning)

        在读数据的时候,只关心感兴趣的列,而忽略其他列

        对于查询:select a,b from src where e < 10

        其中,src包含5个列(a、b、c、d、e),列c、d将会被忽略,只会读取a,b,e列

        选项默认为真,hive.optimize.cp=true

    3、分区剪裁(Partition Pruning)

        在查询的过程中减少不必要的分区

        对于下列查询:select * from t1 join (select * from t2) subq on (t1.c1 = subq.c2) where subq.prtn =100;

        会在子查询中就考虑subq.prtn =100条件,从而减少读入的分区数目

        选项默认为真,hive.optimize.pruner=true

三、关联JOIN相关

    1、JOIN操作左边为小表

        应该将条目少的表/子查询放在Join操作符的左边。

        原因是在Join操作的Reduce阶段,位于Join操作符左边的表的内容会被加载到内存,将条目少的表放在左边可以有效减少OOM(内存溢出)的几率

        原理就是关系数据库中驱动表与被驱动表

        如果是mapjoin,可以放在右边

    2、JOIN启动的job个数

        如果join的key相同,不管有多少个表,都会合并为一个Map-Reduce

        一个Map-Reduce(Tez)任务,而不是‘n’个

        在做outer join的时候也是一样

        insert over write table pv_users select pv.pageid,u.age from page_view pv join user u on (pv.userid=u.userid) join newuser x on (u.userid = x.userid)

    3、MapJoin

        join操作在map阶段完成,不再需要reduce,前提条件是需要的数据在map的过程可以访问到

        新版本,Hint已经去了,这里只是演示,应该尽可能使用mapjoin

        不会倾斜,默认64M来并发处理数据

        对表的大小有限制,通常来讲大于100M,就做不了了

        insert over write table pv_users select /*+MAPJOIN(pv)*/pv.pageid,u.age from page_view pv join user u on (pv.userid=u.userid);

 

        需要设置的相关数据hive.join.emit.inter-1,hive.mapjoin.size.key,hive.map-join.cache.numrows。

    4、join不支持不等值连接

        !=、<>、>、<在join的on条件中不支持

        select ……from ……

        join ……

        on (a.key!=b.key)

        因为如果用不等值号的话,它会查其他节点上的数据,那么其他查不到的,mapreduce是不支持这样的机制,所以hive是不支持不等值连接的

四、分组Group By相关

    1、Skew In Data

        主要关注的是数据倾斜

        hive.groupby.skewindata = true

        当选项设定为true,生成的查询计划会有两个MR Job。第一个MR Job中,Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中,从而达到负载均衡的目的

        第二个MR Job再根据预处理的数据结果按照Group By Key分布  到Reduce中(这个过程可以保证相同的Group By Key被分布到一个Reduce中),最后完成最终的聚合操作

 

        没法通过部分值推导出最终值的,如中位数和众数

五、合并小文件

    合并功能会增加任务运行时间

    合并操作的性能很大程度上取决与“单个reduce端输出文件大小”。Reduce端的输出越大,耗时越长

    合并操作会对每个Hive任务增加一次MapRedce任务

    原因:

        Hive在处理时,Client会从MetaStore中把文件的名字读到内存中,小文件过多会导致在SQL解析过程中,可能就根本就解析不出来

 

    通过合并Map和Reduce的结果文件来消除小文件影响。需要设定的参数:

    hive.merge.mapfiles=true,是否合并Map输入文件默认为true。

    hive.merge.mapredfiles=false,设定是否合并Reduce输出文件,默认为false。

    hive.merge.size.per.task=256*1000*1000,设定合并文件的大小,默认为256000000。

六、多作业

    共享中间结果集

    多作业共用输入或输出,如下场景

        每日几千个作业访问大日志表trackinfo

        访问多个表的相同统计存在于很多作业里面

    常用复杂或低效统计统计给出,以避免上层作业过多计算

七、参数调优

    有时会起到很好效果

 

 

原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/9064.html

(0)
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论