SPARK任务是不是数据倾斜的示例分析

本篇文章给大家分享的是有关SPARK任务是不是数据倾斜的示例分析，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。

健身前后对比

健身回来的路上，看到微信群里聊技术，一群有问了一个神奇的问题，具体可以看如下截图：

哥们给出的结论是repartition导致的数据倾斜，我给他详细的回复了说明了不是数据倾斜。那么接下来，我们就仔细分析一下原因。

为了大家更彻底的了解这块内容，文章底部也录制了一个小视频。

那哥们数是repartition导致的数据倾斜原因，是由于前三行数据输入和输出都是好几百兆，而后面的都是只有几个MB的输入，0B输出，所以下结论是数据倾斜。

浪尖纠正他是错的原因是数据倾斜往往指的是同一个stage内部：有的task数据量大，有的task数据量小，task间数据量大小差距比较大，而这个明显不是。这个是executor的页面，可以看complete task列，会发现前三行占据了几乎所有task执行，完成的task数是其余的十几二十倍。这个就是导致前三行输入输出数据量比较大的原因。

数据本地性是导致这个问题的根本原因。由于数据本地性task调度会优先调度到数据所在的executor机器，假如机器executor存在执行中的task会等待一个时间，在这个时间内task执行完，新task会直接调度到该executor上。如此往复，导致executor处理的task差距比较大。

官网给出了关于spark调度task的时候数据本地性降级的等待时间配置。

很简单，将3s设置为0s，然后结果就是task不会等待数据本性降级，就立即调度执行。

其实，根源还是kafka 创建topic的时候 partition数目没有够。单个parition的吞吐量是可以达到数万qps，但是结合业务逻辑，不同的数据输出位置，吞吐量会急剧下降，所以topic分区数，应该根据处理逻辑和落地位置，磁盘数，综合考虑设置。

以上就是SPARK任务是不是数据倾斜的示例分析，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。