数据分析

hive中常见的高级查询包括：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看or…

Hive shell 命令。 　　连接 hive shell 　　直接输入 hive 　　1、显示表 　　hive> show tables;  　　OK&nbsp…

MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像…

   yarn是什么？为什么会产生yarn，它解决了什么问题？ 答：yarn是作业调度和集群资源管理的一个框架。 首先对之前的Hadoop 和 MRv1 简单介…

HDFS入门 欢迎关注我的个人博客：http://www.cnblogs.com/yjd_hycf_space 更多大数据以及编程相关的精彩文章 为什么我们需要HDFS …

HDFS shell命令   FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的…

Spark编程模型（RDD编程模型）   下图给出了rdd 编程模型，并将下例中用 到的四个算子映射到四种算子类型。spark 程序工作在两个空间中：spark rdd空…

Spark Streaming中的操作函数讲解   根据根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主…

Spark MLlib回归算法——线性回归、逻辑回归、SVM和ALS   1、线性回归： （1）模型的建立： 回归正则化方法（Lasso，Ridg…

Spark算子实战应用   数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M Datase …