贴几个spark提交任务的小脚本详解大数据

spark单个master节点的提交方式

spark-submit --master spark://hadoop-namenode-02:7077 / 
--class com.dinpay.bdp.rcp.service.HzRuleBackendStat / 
--deploy-mode cluster / 
--conf spark.default.parallelism=10 / 
--driver-memory 512m --driver-cores 1 / 
--executor-memory 4g --executor-cores 4 / 
--total-executor-cores 8 / 
hdfs://bi/home/zhidun/Rcp-RuleEngine-Hz-0.0.1-SNAPSHOT.jar

 

spark的HA模式的提交方式

 spark-submit --master spark://fk-risk-spark-01:7077,fk-risk-spark-02:7077 / 
  --class com.dinpay.bdp.rcp.service.StreamingStat / 
  --deploy-mode cluster --supervise / 
  --driver-memory 2g --driver-cores 1 / 
  --executor-memory 8g --executor-cores 6 / 
  --total-executor-cores 24 / 
  hdfs://bi/home/dinpay/spark-normal-task-v1.0.0.jar

 

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/9046.html

(0)
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论