区块链
-
使用MapReduce列出工资最高的头三名员工姓名及其工资详解大数据
问题分析求工资最高的头三名员工姓名及工资,可以通过冒泡法得到。在Mapper阶段输出经理数据和员工对应经理表数据,其中经理数据key为0值、value为”员工姓名,员工工资”;最后…
-
使用MapReduce列出名字以J开头的员工姓名及其所属部门名称详解大数据
问题分析求名字以J开头的员工姓名机器所属部门名称,只需判断员工姓名是否以J开头。首先和问题1类似在Mapper的Setup阶段缓存部门数据,然后在Mapper阶段判断员工姓名是否以…
-
使用MapReduce列出工资比公司平均工资要高的员工姓名及其工资详解大数据
问题分析求工资比公司平均工资要高的员工姓名及工资,需要得到公司的平均工资和所有员工工资,通过比较得出工资比平均工资高的员工姓名及工资。这个问题可以分两个作业进行解决,先求出公司的平…
-
使用MapReduce列出工资比上司高的员工姓名及其工资详解大数据
问题分析求工资比上司高的员工姓名及工资,需要得到上司工资及上司所有下属员工,通过比较他们工资高低得到比上司工资高的员工。在Mapper阶段输出经理数据和员工对应经理表数据,其中经理…
-
使用MapReduce求各个城市的员工的总工资详解大数据
问题分析求各个城市员工的总工资,需要得到各个城市所有员工的工资,通过对各个城市所有员工工资求和得到总工资。首先和测试例子1类似在Mapper的Setup阶段缓存部门对应所在城市数据…
-
使用MapReduce求每个部门最早进入公司的员工姓名详解大数据
问题分析求每个部门最早进入公司员工姓名,需要得到各部门所有员工的进入公司日期,通过比较获取最早进入公司员工姓名。首先和问题1类似在Mapper的Setup阶段缓存部门数据,然后Ma…
-
基于MapReduce的员工和部门应用案例详解大数据
准备测试数据 测试数据包括两个文件dept(部门)和emp(员工),其中各字段用逗号分隔: dept文件内容: 10,ACCOUNTING,NEW YORK 20,RES…
-
使用MapReduce求各个部门的人数和平均工资详解大数据
问题分析求各个部门的人数和平均工资,需要得到各部门工资总数和部门人数,通过两者相除获取各部门平均工资。首先和问题1类似在Mapper的Setup阶段缓存部门数据,然后在Mapper…
-
使用MapReduce求各个部门的总工资详解大数据
问题分析MapReduce中的join分为好几种,比如有最常见的 reduce side join、map side join和semi join 等。reduce join 在s…
-
hadoop join之map side join详解大数据
在本例中,我们仍然采用上一例中的数据文件。之所以存在reduce side join,是因为在map阶段不能获取所有需要的join字段,即:同一个key对应的字段可能位于不同map…