数据中台

使用kafka connector 功能实现一个数据从kafka到MySQL的sinkTask 一：实现JdbcSinkConnector类    public…

一：spark的组件构成             1：每一个application有自己的executor的进…

spark作业提交流程   在运行Spar应用程序时，会将Spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下： ./bin/…

上一篇主要介绍spark的application的提交流程，下面介绍spark job的提交；以collect job为例，如上节描述，spark-submit类中runMain方…

spark的任务调度      在上次我们讲了 Spark Job的提交，我们提到，当rdd触发action操作之后，会调用Spa…

上节说到job提交时候进入了taskScheduler.submitTasks(newTaskSet(tasks.toArray, stage.id, stage.latestIn…

Flink介绍： 很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目， 在 2014 被 Apac…

Flink 安装（集群模式）：    1：下载安装flink的安装包，注意hadoop的版本兼容问题      2：解压…

Flink的运行模式    flink的运行模式有local模式，cluster，yarn等模式;flink集群层次结构    这一节我们主…

Flink流处理的容错机制          批处理系统比较容易实现容错机制，由于文件可以重复访问，当某个任务…