数据中台

Shuffle过程 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的…

Spark 介绍（基于内存计算的大数据并行计算框架）    Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个…

Spark算子总结（带案例）   spark算子大致上可分三大类算子： 　　1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数…

Spark Shuffle原理解析   一：到底什么是Shuffle？         &…

Spark SQL讲解   Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型Schem…

Spark内存管理之钨丝计划 1. 钨丝计划的产生的原因 2. 钨丝计划内幕详解  一：“钨丝计划”产生的本质原因 1， Spark作为一个一体化多元…

Hadoop与Spark之间的比较   Hadoop框架的主要模块包括如下： Hadoop Common Hadoop分布式文件系统(HDFS) Hadoop YARN …

Spark的核心RDD（Resilient Distributed Datasets弹性分布式数据集）   铺垫 在hadoop中一个独立的计算，例如在一个迭代过程中，除…

Lifetime-Based Memory Management for Distributed Data Processing Systems 　　　　　　　　（Deca：Dec…

图像识别中的深度学习     来源：《中国计算机学会通讯》第8期《专题》 作者：王晓刚 深度学习发展历史 深度学习是近十年来人工智能领域取得的重要突破。它在语音…