数据分析

SparkSQL—实战应用   数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M…

Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spa…

Shuffle过程 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的…

Spark 介绍（基于内存计算的大数据并行计算框架）    Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个…

Spark算子总结（带案例）   spark算子大致上可分三大类算子： 　　1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数…

Spark Shuffle原理解析   一：到底什么是Shuffle？         &…

Spark SQL讲解   Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型Schem…

Spark内存管理之钨丝计划 1. 钨丝计划的产生的原因 2. 钨丝计划内幕详解  一：“钨丝计划”产生的本质原因 1， Spark作为一个一体化多元…

Hadoop与Spark之间的比较   Hadoop框架的主要模块包括如下： Hadoop Common Hadoop分布式文件系统(HDFS) Hadoop YARN …

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）   铺垫 在hadoop中一个独立的计算，例如在一个迭代过程中，除…