区块链

7.10 压缩/解压缩案例 7.10.1 对数据流的压缩和解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩…

 7.9 找博客共同好友案例 1）需求： 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B…

7.8 倒排索引（多job串联） 0）需求：有大量的文本（文档、网页），需要建立搜索索引 xyg pingping xyg ss xyg ss a.txt xyg pingping…

7.6 过滤日志及自定义日志输出路径（自定义OutputFormat） 1）需求 过滤输入的log日志中是否包含xyg （1）包含xyg的网站输出到e:/xyg.log …

7.5 小文件处理（自定义InputFormat） 1）需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解…

大数据技术之MapReduce中多表合并案例 1）需求： 订单数据表t_order： id pid amount 1001 01 1 1002 02 2 1003 03 3 &nb…

大数据技术之辅助排序和二次排序案例（GroupingComparator） 1）需求 有如下订单数据 订单id 商品id 成交金额 0000001 Pdt_01 222.8 000…

7.1 WordCount案例 7.1.1 需求1：统计一堆文件中单词出现的个数（WordCount案例） 0）需求：在一堆给定的文本文件中统计输出每一个单词出现的总次数…

7.2 流量汇总程序案例 7.2.1 需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 1）需求： 统计每一个手机号耗费的总上行流量、下行流量、总…

一 MapReduce入门 1.1 MapReduce定义 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapred…