区块链

1.      SparkContext提供了一个取消job的api class SparkContext(config…

原文链接：https://databricks.com/blog/2015/05/28/tuning-java-garbage-collection-for-spark-appli…

1.1 Demo 以一个Spark-Sql的例子开始： public class TestSparkSql { public static void main(String[] a…

前面章节讲解了Spark-SQL中的核心流程，接下来主要讲解如何将sql语句转化为UnResolved Logical Plan(包含UnresolvedRelation、 Unr…

Analyzer主要职责就是将通过Sql Parser未能Resolved的Logical Plan给Resolved掉。 lazy val analyzed: LogicalPl…

Optimizer的主要职责是将Analyzer给Resolved的Logical Plan根据不同的优化策略Batch，来对语法树进行优化，优化逻辑计划节点(Logical Pl…

前面描述的主要是逻辑计划，即sql如何被解析成logicalplan，以及logicalplan如何被analyzer以及optimzer，接下来主要介绍逻辑计划如何被翻译成物理计…

在SparkPlan中插入Shuffle的操作，如果前后2个SparkPlan的outputPartitioning不一样的话，则中间需要插入Shuffle的动作，比分说聚合函数，…

SparkPlan如何执行呢，SparkPlan是如何转变为RDD[Row]的呢？首先看一段代码： SQLContext sqlContext = new SQLContext(j…

Codegen，动态字节码技术，那么什么是动态字节码技术呢？先看来一段代码，假设SparkPlan为Sort case class Sort( sortOrder: Seq[Sor…