Spark 参数传递问题解析

一 . sparkconf  这个需要在代码里面写,在代码里面写了,那么就不能更改了,即便你在外面传递了一个参数,最终也会在代码里面生效,它的优先级最高

二 . sparksubmit / spark-shell  等脚本,一般在这里面传递,针对我这个应用的参数

三 . 配置文件  在conf 目录下,注意如果需要让参数生效,得template  去掉: 默认的,全局的

这三个地方都可以设置参数,如果说,我们对同样一个参数进行设置,最终是哪个地方生效

这三个地方的优先级是: sparkconf > sparksubmit > 配置文件

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/190600.html

(0)
上一篇 2021年11月14日
下一篇 2021年11月14日

相关推荐

发表回复

登录后才能评论