区块链

一：kafka文件存储机制 存储分为以下4个层次步骤： topic中partition存储分布 partiton中文件存储方式 partiton中segment文件存储结构 在pa…

本文转发自Jason’s Blog，原文链接　http://www.jasongj.com/2015/04/24/KafkaColumn2 摘要 　　Kafka在0.8以前的版本中…

摘要    主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level…

   一：kafka官文API中只提供了消费者和生产者的API，但对于创建TOPIC的API没有介绍。项目中需要整合kafka的admin功能时候，就没有参考的…

使用kafka connector 功能实现一个数据从kafka到MySQL的sinkTask 一：实现JdbcSinkConnector类    public…

一：spark的组件构成             1：每一个application有自己的executor的进…

spark作业提交流程   在运行Spar应用程序时，会将Spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下： ./bin/…

上一篇主要介绍spark的application的提交流程，下面介绍spark job的提交；以collect job为例，如上节描述，spark-submit类中runMain方…

spark的任务调度      在上次我们讲了 Spark Job的提交，我们提到，当rdd触发action操作之后，会调用Spa…

上节说到job提交时候进入了taskScheduler.submitTasks(newTaskSet(tasks.toArray, stage.id, stage.latestIn…