spark

1）解压spark安装包到/usr/local/src/目录，并改名为spark

master机器：

[root@master ~]# tar -zxvf /opt/software/spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/src

[root@master ~]# mv /usr/local/src/spark-2.0.0-bin-hadoop2.6 /usr/local/src/spark

 

2）将spark目录权限赋给hadoop用户

master机器：

[root@master ~]# chown -R hadoop:hadoop /usr/local/src/spark

 

3）修改spark配置

master机器：

在/usr/local/src/spark/conf下把spark-env.sh.template改名为spark-env.sh，并配置

[root@master ~]# su – hadoop

上一次登录：二 8月 25 16:42:33 CST 2020pts/0 上

[hadoop@master ~]$ cd /usr/local/src/spark/conf/

[hadoop@master conf]$ cp spark-env.sh.template spark-env.sh

[hadoop@master conf]$ vi spark-env.sh

#打开文档后输入i进入插入模式，在文档末尾添加如下配置

export JAVA_HOME=/usr/local/src/java

export HADOOP_HOME=/usr/local/src/hadoop

export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop

export SCALA_HOME=/usr/local/src/scala

export SPARK_MASTER_HOST=master

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=1G

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

[hadoop@master conf]$ cp slaves.template slaves

[hadoop@master conf]$ vi slaves

#打开文档后输入i进入插入模式，在文档末尾删除localhost项 

然后在文档末尾添加如下配置

master

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

 

三：启动spark

1）进入spark的sbin目录

master机器：

[hadoop@master conf]$ cd /usr/local/src/spark/sbin/

 

2）启动spark

master机器：

[hadoop@master sbin]$ ./start-all.sh

starting org.apache.spark.deploy.master.Master, logging to /usr/local/src/spark/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-master.out

master: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/src/spark/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-master.out

#  注意：此处的start-all.sh与hadoop的start-all.sh命令虽然一样，但是启动的进程是不同的，在使用这条命令时需要留意启动的是hadoop还是spark。

 

3）用jps命令查看进程状态

master机器：

[hadoop@master sbin]$ jps

37621 Jps

36873 Master

37023 Worker

可以看见spark的进程Master、Worker已经启动了

 

4）进入spark shell

master机器：

[hadoop@master sbin]$ cd ../bin/

[hadoop@master bin]$ ./spark-shell

 

5）退出spark shell

master机器：

scala> :q

 

6）关闭spark进程

master机器：

[hadoop@master bin]$ cd ../sbin/

[hadoop@master sbin]$ ./stop-all.sh

master: stopping org.apache.spark.deploy.worker.Worker

stopping org.apache.spark.deploy.master.Master

 

注意：此处的stop-all.sh与hadoop的stop-all.sh命令虽然一样，但是关闭的进程是不同的，在使用这条命令时需要留意关闭的是hadoop还是spark。