区块链

Spark MLlib回归算法——线性回归、逻辑回归、SVM和ALS   1、线性回归： （1）模型的建立： 回归正则化方法（Lasso，Ridg…

Spark算子实战应用   数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M Datase …

SparkSQL—实战应用   数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M…

Spark内存管理机制 Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spa…

Shuffle过程 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的…

Spark 介绍（基于内存计算的大数据并行计算框架）    Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个…

Spark算子总结（带案例）   spark算子大致上可分三大类算子： 　　1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数…

Spark Shuffle原理解析   一：到底什么是Shuffle？         &…

Spark SQL讲解   Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型Schem…

Spark内存管理之钨丝计划 1. 钨丝计划的产生的原因 2. 钨丝计划内幕详解  一：“钨丝计划”产生的本质原因 1， Spark作为一个一体化多元…