区块链

一、MapJoin-DistributedCache 应用      1、mapreduce join 介绍 在各种实际业务场景中，按照某个关键字对两…

一、mapreduce多job串联    1、需求    一个稍复杂点的处理逻辑往往需要多个 mapreduce 程序串联处理，多 job …

mapreduce三大组件：Combiner/Sort/Partitioner  默认组件：排序，分区（不设置，系统有默认值） 一、mapreduce中的Combiner…

一、mapreduce入门   1、什么是mapreduce      首先让我们来重温一下 hadoop 的四大组件：HDFS：分布式存储…

前言 　　前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。 一、作业的默认配置 　　MapRedu…

前言 　　前面的一篇给大家写了一些MapReduce的一些程序，像去重、词频统计、统计分数、共现次数等。这一篇给大家介绍的是关于Combiner优化操作。 一、Combiner概述…

一、统计好友对数（去重） 1.1、数据准备 joe, jon joe , kia joe, bob joe ,ali kia, joe kia ,jim kia, dee dee …

前言 　　上一篇我们分析了一个MapReduce在执行中的一些细节问题，这一篇分享的是MapReduce并行处理的基本过程和原理。 　　Mapreduce是一个分布式运算程序的编程…

前言 　　刚才发生了悲伤的一幕，本来这篇博客马上就要写好的，花了我一晚上的时间。但是刚才电脑没有插电源就没有了。很难受！想哭，但是没有办法继续站起来。 　　前面的一篇博文中介绍了什…

前言 　　前面以前把关于HDFS集群的所有知识给讲解完了，接下来给大家分享的是MapReduce这个Hadoop的并行计算框架。 一、背景 1）爆炸性增长的Web规模数据量 　　 …