Spark

SQL和Python有两个完全不同的目的，因为—— SQL 用于编写针对关系数据库的查询。 Python 是一种脚本语言，用于创建应用程序或运行科学和数学模…

Presto、Spark SQL、Hive的比较 1.Presto Presto只有计算分析能力但可以连接多种数据源，包括Hive，Oracle，MySQL，Kafka，Mongo…

Mongo Spark Connector Spark SQL The following code snippets can be found in SparkSQL.scala…

大数据学习路线 一、大数据处理流程         1.1 数据收集         1.2 数据存储         1.3 数据分析         1.4 数据应用     …

这里分享一些自己学习过程中觉得不错的资料和开发工具。

receive 方法其实是大量的case，分别对应处理不同的场景     case msg: RegisterWorkerResponse     case SendHeartbe…

结构: 命令 + 选项 + 文件 + 参数基础选项：优先级：代码中配置【程序特有】 > 参数选项【运行模式、程序名称、资源选项】 > 配置文件【公共配置】 &#8211…

背景: 　　CDH集群的HDFS HA已配置完毕，Hive也相应进行了Update Hive Metastore NameNode，Hive的业务sql脚本都正常运行。 　　在使用…

简介 Spark 是用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 中的高级 API，以及支持用于数据分析的通用计算图的优化引擎。它还支持一…

上传 spark-3.1.2-bin-hadoop3.2.tgz 到 /export/software/ # 解压安装cd /export/software/tar -zxf sp…