在Spark的reduceByKey操作时会触发Shuffle的过程，在Shuffle之前，会有本地的聚合过程产生MapPartitionsRDD，接着具体Shuffle会产生ShuffledRDD,之后做全局的聚合生成结果MapPartitionsRDD
原创文章，作者：ItWorker，如若转载，请注明出处：https://blog.ytso.com/185704.html
赞 (0)
分布式系统「伸缩性」大招之——「弹性架构」详解
上一篇
2021年11月4日
Spark 数据倾斜及其解决方案
下一篇
2021年11月4日