hive distict 和 count 操作reducer只有一个的问题

select count(distinct *) from table;

这样写会生成一个job 只有一个reducer执行,可以改为如下:

select count(*) from (

select distinct * from table) t;

这样生成两个job,可有多个reducer执行,效率提升

原创文章,作者:3628473679,如若转载,请注明出处:https://blog.ytso.com/191385.html

(0)
上一篇 2021年11月14日
下一篇 2021年11月14日

相关推荐

发表回复

登录后才能评论