数据湖

Spark编程模型（RDD编程模型）   下图给出了rdd 编程模型，并将下例中用 到的四个算子映射到四种算子类型。spark 程序工作在两个空间中：spark rdd空…

Spark Streaming中的操作函数讲解   根据根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主…

Spark MLlib回归算法——线性回归、逻辑回归、SVM和ALS   1、线性回归： （1）模型的建立： 回归正则化方法（Lasso，Ridg…

Spark算子实战应用   数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M Datase …

SparkSQL—实战应用   数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M…

Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spa…

Shuffle过程 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的…

Spark 介绍（基于内存计算的大数据并行计算框架）    Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个…

Spark算子总结（带案例）   spark算子大致上可分三大类算子： 　　1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数…

Spark Shuffle原理解析   一：到底什么是Shuffle？         &…