Spark SQL读取MySQL的dept和hive的emp表,做join和分组查询,后写到json

val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://hadoop000:3306").option("dbtable", "hive.dept").option("user", "root").option("password", "123456").load()
jdbcDF.createOrReplaceTempView("dept")
val hiveDF = sql("SELECT * FROM emp")
val sqlDF = sql("SELECT * FROM emp e JOIN dept d ON e.deptno = d.deptno").show

sqlDF.write.format("json").save("file:///empJoinDept.json")

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/tech/opensource/194647.html

(0)
上一篇 2021年11月16日 07:06
下一篇 2021年11月16日 07:06

相关推荐

发表回复

登录后才能评论