数据分析

1.1 Demo 以一个Spark-Sql的例子开始： public class TestSparkSql { public static void main(String[] a…

前面章节讲解了Spark-SQL中的核心流程，接下来主要讲解如何将sql语句转化为UnResolved Logical Plan(包含UnresolvedRelation、 Unr…

Analyzer主要职责就是将通过Sql Parser未能Resolved的Logical Plan给Resolved掉。 lazy val analyzed: LogicalPl…

Optimizer的主要职责是将Analyzer给Resolved的Logical Plan根据不同的优化策略Batch，来对语法树进行优化，优化逻辑计划节点(Logical Pl…

前面描述的主要是逻辑计划，即sql如何被解析成logicalplan，以及logicalplan如何被analyzer以及optimzer，接下来主要介绍逻辑计划如何被翻译成物理计…

在SparkPlan中插入Shuffle的操作，如果前后2个SparkPlan的outputPartitioning不一样的话，则中间需要插入Shuffle的动作，比分说聚合函数，…

SparkPlan如何执行呢，SparkPlan是如何转变为RDD[Row]的呢？首先看一段代码： SQLContext sqlContext = new SQLContext(j…

Codegen，动态字节码技术，那么什么是动态字节码技术呢？先看来一段代码，假设SparkPlan为Sort case class Sort( sortOrder: Seq[Sor…

本文转载自：http://www.mongoing.com/tj/mongodb_shanghai_spark 介绍 按照官方的定义，Spark 是一个通用，快速，适用于大规模数据…

1.HashPartitioner分区怎么用源码解析? 2.RangePartitioner分区怎么用源码解析? 3.定位分区ID怎么用源码解析?    &nb…