数据采集

22.combineByKey   def combineByKey[C](createCombiner: V => C,     m…

26.coalesce coalesce顾名思义为合并，就是把多个分区的RDD合并成少量分区的RDD，这样可以减少任务调度的时间，但是请记住：合并之后不能保证结果RDD中的每个分区…

31.union 将2个rdd合并在一起。 def union(other: RDD[T]): RDD[T] = withScope {   if (partitione…

36.zip 将2个rdd相同位置的元素组成KV对 /**  * Zips this RDD with another one, returning key-value …

HBase shell 命令。   进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使…

一：order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗…

hive中常见的高级查询包括：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看or…

Hive shell 命令。 　　连接 hive shell 　　直接输入 hive 　　1、显示表 　　hive> show tables;  　　OK&nbsp…

MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像…

   yarn是什么？为什么会产生yarn，它解决了什么问题？ 答：yarn是作业调度和集群资源管理的一个框架。 首先对之前的Hadoop 和 MRv1 简单介…