数据分析

摘要    主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level…

   一：kafka官文API中只提供了消费者和生产者的API，但对于创建TOPIC的API没有介绍。项目中需要整合kafka的admin功能时候，就没有参考的…

使用kafka connector 功能实现一个数据从kafka到MySQL的sinkTask 一：实现JdbcSinkConnector类    public…

一：spark的组件构成             1：每一个application有自己的executor的进…

spark作业提交流程   在运行Spar应用程序时，会将Spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下： ./bin/…

上一篇主要介绍spark的application的提交流程，下面介绍spark job的提交；以collect job为例，如上节描述，spark-submit类中runMain方…

spark的任务调度      在上次我们讲了 Spark Job的提交，我们提到，当rdd触发action操作之后，会调用Spa…

上节说到job提交时候进入了taskScheduler.submitTasks(newTaskSet(tasks.toArray, stage.id, stage.latestIn…

Flink介绍： 很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目， 在 2014 被 Apac…

Flink 安装（集群模式）：    1：下载安装flink的安装包，注意hadoop的版本兼容问题      2：解压…