Spark 简介

==> 什么是 Spark

    —> Spark 是一个针对大规模数据处理的快速通用引擎

    —> Spark 是 MapReduce 的替代方案，而且兼容 HDFS, Hive, 可容入Hadoop 的生态系统，弥补 MapReduce 的不足

==> Spark 核心    RDD (Resilient Distributed Datasets  弹性分布式数据集)

    —> RDD 可简单理解为： 一个提供了很多操作接口的数据集合，分布式存储于集群环境中的存储设备中（内存或硬盘），其中包括容错，并行处理等功能

==> Spark 特点

    —> 快

        —- 优点：与Mapreduce 相比，Spark 基于内存运算，运算速度要快100倍，基于硬盘计算，运算速度要快 10 倍

        —- 缺点：没有对内存进行管理，把所有的内存管理都交给应用程序，以弥补MapReduce的不足，

                        容易出现 OOM（out  of  memory）, 可使用 Java  Heap  Dump  工具分析 Java 程序的内存溢出

    —> 易用 

        —- Spark 支持 Java ，Python, Scala 的 API 

        —- 支持80多种算法

        —- 支持交互式，可以在shell 中使用Spark 验证解决问题的方法

    —> 通用（生态圈）

        —- 批处理

        —- 交互式查询   （Spark  SQL）

        —- 实时流处理    （Spark Streaming）

        —- 机器学习        ( Spark  MLlib )

        —- 图计算            ( GraphX )

        —- 与 Hadoop 很好的融合， 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop（配置Hive on Spark 还不成熟）

    —> 兼容性    可以非常方便的与其它开源产品进行融合

        —- 可以使用 Hadoop 的  YARN 和 Apache  Mesos 作为它的资源管理调度器

        —-  可以处理所有 Hadoop 支持的数据：HDFS， HBase，  Cassandra 等

        —- 不需要做任何的数据迁移就可以使用 Spark 的强大处理能力

        —- 可以不依赖第三方的资源管理和调度器，实现 Standalone 作为它的内置的资源管理和调试框架，降低部署的复杂性

        —-  提供了在 EC2 上部署 Standalone 的Spark 集群工具

==> Spark 生太圈

    —> Spark Core

    —> Spark SQL

    —> Spark Streaming

    —> Spark MLLib: 机器学习

    —> Spark GraphX: 图计算