windows 基于docker下的 spark 开发环境搭建

docker toolbox

https://www.docker.com/products/docker-toolbox

spark

https://hub.docker.com/r/singularities/spark/~/dockerfile/

# start-hadoop-namenode

# hadoop fs -mkdir /user

# hadoop fs -mkdir /user/root/

# hadoop fs -put ./README.md /user/root

# start-spark

# start-spark worker [master]

# spark-shell

# spark-shell –master spark://a60b8c8f9653:7077

scala> val lines = sc.textFile(“file:///usr/local/spark-2.1.0/README.md”)

scala> val lines = sc.textFile(“hdfs:///usr/local/spark-2.1.0/README.md”)

lines: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD[1] at textFile at <console>:24

scala> lines.count()

res0: Long = 104

scala> lines.saveAsTextFile(“hdfs:///user/root/README2.md”)  // 保存到hdfs

原创文章,作者:carmelaweatherly,如若转载,请注明出处:https://blog.ytso.com/194349.html

(0)
上一篇 2021年11月16日
下一篇 2021年11月16日

相关推荐

发表回复

登录后才能评论