本篇文章为大家展示了如何用spark分析网吧同行朋友思路，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
在mysql库中有2.5kw网吧轨迹数据，需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上(如:a和b在19号十分钟前后出现在了A网吧，又在21号十分钟前后出现在了B网吧，再在22号十分钟前后出现在了D网吧)就需要保留他们的身份ID和一起上下网的次数。2.5kw轨迹中有8k+网吧请问有什么思路吗？
如果flink有更好的处理方式也可以。
使用用一个mysql的连接器，但是这东西需要配置一个分区列。
直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列)，是不是有问题？今天测试了一下。两个网吧，3w多数据，两个小时没跑完。。(我们是先用连接器抽出数据，按照网吧分组计算单次然后聚合筛选3次及以上的)网吧数据从几条到几万条不等。
分区列的问题解决：
-
可以采用时间戳(long型)分区，会造成多余的一次shuffle。 -
自定义jdbcRDD，我记得以前分享过网上也有资料，这样就可以自定义分区策略了。 数据还是要有明显的分区列的。 -
增加自增ID列。
上述内容就是如何用spark分析网吧同行朋友思路，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注亿速云行业资讯频道。
原创文章，作者：3628473679，如若转载，请注明出处：https://blog.ytso.com/223229.html