Spark 实践 – 客户端使用spark-submit提交

一、客户端提交spark应用程序

        是指在spark集群之外的机器，提交spark应用程序到spark集群运行。

二、spark-submit提交程序语法

        使用spark-submit工具提交Spark应用程序的语法：

./bin/spark-submit /

  –class <main-class> /

  –master <master-url> /

  –deploy-mode <deploy-mode> /

  –conf <key>=<value> /

  … # other options

  <application-jar> /

  [application-arguments]

–class 应用程序的入口类名；

–master spark 集群的url；

–deploy-mode 部署方式；

–conf 应用程序的sparkContext配置选项；

–application-jar 外部依赖；

–application-arguments 应用程序参数； 

三、在客户端使用spark-submit提交spark应用程序时需要注意的事项

        1）、客户端机器与spark集群必须互相知道，即相互ping得通；

        2）、如果应用程序中用到了本地文件，那么集群中的worker机器都必须有该文件，否则会报找不到文件；

        3）、windows客户端，如果应用程序中用到本地文件，那么无法提交到linux环境下的spark集群；