数据采集

spark作业提交流程   在运行Spar应用程序时，会将Spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下： ./bin/…

上一篇主要介绍spark的application的提交流程，下面介绍spark job的提交；以collect job为例，如上节描述，spark-submit类中runMain方…

spark的任务调度      在上次我们讲了 Spark Job的提交，我们提到，当rdd触发action操作之后，会调用Spa…

上节说到job提交时候进入了taskScheduler.submitTasks(newTaskSet(tasks.toArray, stage.id, stage.latestIn…

Flink介绍： 很多人可能都是在 2015 年才听到 Flink 这个词，其实早在 2008 年，Flink 的前身已经是柏林理工大学一个研究性项目， 在 2014 被 Apac…

Flink 安装（集群模式）：    1：下载安装flink的安装包，注意hadoop的版本兼容问题      2：解压…

Flink的运行模式    flink的运行模式有local模式，cluster，yarn等模式;flink集群层次结构    这一节我们主…

Flink流处理的容错机制          批处理系统比较容易实现容错机制，由于文件可以重复访问，当某个任务…

      推荐系统的应用遍及电商网站，基本上的电商网站几乎都有推荐系统，比如一些电影网站，当你看一部恐怖片后，网站会推荐一些口味比较相似的恐怖片，还…

      观察者模式：有时被称作发布/订阅模式，观察者模式定义了一种一对多的依赖关系，让多个观察者对象同时监听某一个主题对象。这…