spark分布式集群安装

spark-0.x

spark-1.x(主流：Spark-1.3 和 Spark-1.6)

spark-2.x(最新 Spark-2.4)

下载地址：http://spark.apache.org/downloads.html（官网）

其他镜像网站：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/

                                   https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/  

                                   https://www.apache.org/dyn/closer.lua/spark/  

注意这里我选择是：spark-2.3.0-bin-hadoop2.7.tgz。

Server

Master

Worker

②解压，并放置到统一管理的目录下（注意这个目录一定要有读写的权限）：tar zxvf spark-2.3.2-bin-hadoop2.7.tgz -C /application/

③进入相应的spark的conf目录：cd $SPARK_HOME/conf：
   [user01@hostname01 ~]$ mv spark-env.sh.template spark-env.sh
   [user01@hostname01 conf]$ vim  spark-env.sh(加入以下配置)
       export JAVA_HOME=/application/jdk1.8.0_73

       export SPARK_MASTER_HOST=hostname01

       export SPARK_MASTER_PORT=7077

④修改$SPARK_HOME/conf/slaves(在其中加入集群的从节点的主机或者IP，这里我将hostname02、hostname03当做从节点)
       hostname02
       hostname03
注意：这里的配置，不要用任何多余的空格和空行！！！

⑤将spark安装包copy到集群的其他节点上
scp -r  /application/spark-2.3.2-bin-hadoop2.7   hostname02: /application
scp -r  /application/spark-2.3.2-bin-hadoop2.7   hostname03: /application
注意：由于这里集群的节点不是很多，所以在分发安装包的时候，可以手动输入密码，个人建议还是配置一下ssh面秘钥登录。
转载：https://blog.csdn.net/furzoom/article/details/79139570

⑥配置spark的环境变量：（注意这里需要所有的集群节点都要配置，当然配置的地方，根据不同要求而定）
我这里配置在/etc/profile :  (由于提前做了sudo的权限设置，所以在普通用户下依然可以修改/etc/profile)
       export SPARK_HOME=/application/spark-2.3.2-bin-hadoop2.7
       PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin  #注意这里的bin和sbin都要配置

⑦最终启动集群：
  [user01@hostname01 ~]$ /application/spark-2.3.2-bin-hadoop2.7/sbin/start-all.sh
切记：如果集群有hadoop集群，那么在hadoop的sbin目录下也有start-all.sh的命令，所以这里只能使用全路径