数据分析

问题分析求工资比公司平均工资要高的员工姓名及工资，需要得到公司的平均工资和所有员工工资，通过比较得出工资比平均工资高的员工姓名及工资。这个问题可以分两个作业进行解决，先求出公司的平…

问题分析求工资比上司高的员工姓名及工资，需要得到上司工资及上司所有下属员工，通过比较他们工资高低得到比上司工资高的员工。在Mapper阶段输出经理数据和员工对应经理表数据，其中经理…

问题分析求各个城市员工的总工资，需要得到各个城市所有员工的工资，通过对各个城市所有员工工资求和得到总工资。首先和测试例子1类似在Mapper的Setup阶段缓存部门对应所在城市数据…

问题分析求每个部门最早进入公司员工姓名，需要得到各部门所有员工的进入公司日期，通过比较获取最早进入公司员工姓名。首先和问题1类似在Mapper的Setup阶段缓存部门数据，然后Ma…

准备测试数据 测试数据包括两个文件dept（部门）和emp（员工），其中各字段用逗号分隔： dept文件内容： 10,ACCOUNTING,NEW YORK 20,RES…

问题分析求各个部门的人数和平均工资，需要得到各部门工资总数和部门人数，通过两者相除获取各部门平均工资。首先和问题1类似在Mapper的Setup阶段缓存部门数据，然后在Mapper…

问题分析MapReduce中的join分为好几种，比如有最常见的 reduce side join、map side join和semi join 等。reduce join 在s…

在本例中，我们仍然采用上一例中的数据文件。之所以存在reduce side join，是因为在map阶段不能获取所有需要的join字段，即：同一个key对应的字段可能位于不同map…

    Job job = new Job(conf, “MaxTemperature”);    job…

1：最简单的过程： 　　Map – Reduce 2：定制了partitioner以将map的结果写到相应的分区，以供对应的reducer下载： 　　Map &#821…