数据中台

在map和reduce阶段进行排序时，比较的是k2。v2是不参与排序比较的。如果要想让v2也进行排序，需要把k2和v2组装成新的类，作为k2，才能参与比较。 例子:   …

 分组：相同key的value进行分组  例子：如下输入输出，右边的第一列没有重复值，第二列取得是当第一列相同时第二例取最大值     &n…

深入了解Combiners编程(相当于Map端的Reduce) 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer…

Shuffle过程：数据从map端传输到reduce端的过程~ Map端 每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达…

1.hadoop的压缩codec     Codec为压缩，解压缩的算法实现。 在Hadoop中，codec由CompressionCode的实现来表示。下面…

数据去重：       原理(理解)：Mapreduce程序首先应该确认<k3,v3>,根据<k3,v3>确定<k2,v…

源数据：Child–Parent表 Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Marry Lucy Ben Jack Ali…

多表关联： 准备数据 ******************************************** 工厂表： Factory　 Addressed BeijingRed…

     HDFS API提供了一种二进制文件支持，直接将<key,value>对序列化到文件中，该文件格式是不能直接查看的，可以通过ha…

hadoop项目地址:http://hadoop.apache.org/  NameNode、DataNode详解    (一)分布式文件系统概述 数…