区块链

前言 　　从今天起，我将一步一步的分享大数据相关的知识，其实很多程序员感觉大数据很难学，其实并不是你想象的这样，只要自己想学，还有什么难得呢？ 　　学习Hadoop有一个8020原…

  在关系型数据库中Join是非常常见的操作，各种优化手段已经到了极致。在海量数据的环境下，不可避免的也会碰到这种类型的需求，例如在数据分析时需要从不同的数据源…

1、MapReduce计数器是什么？   计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况…

我们继续通过项目强化掌握Combiner和Partitioner优化Hadoop性能 1、项目介绍   本项目我们使用明星搜索指数数据，分别统计出搜索指数最高的男明星和女…

上一篇文章我们了解了MapReduce优化方面的知识，现在我们通过简单的项目，学会如何优化MapReduce性能 1、项目介绍   我们使用简单的成绩数据集，统计出0~2…

  Combiner和Partitioner是用来优化MapReduce的，可以提高MapReduce的运行效率。下面我们来具体学习这两个组件 Combiner &nbs…

  互联网时代的到来，使得名人的形象变得更加鲜活，也拉近了明星和粉丝之间的距离。歌星、影星、体育明星、作家等名人通过互联网能够轻易实现和粉丝的互动，赚钱也变得前所未有的简…

    针对前面介绍的输入格式，MapReduce也有相应的输出格式。默认情况下只有一个 Reduce，输出只有一个文件，默认文件名为 part-r-…

数据在HDFS和关系型数据库之间的迁移，主要有以下两种方式   1、按照数据库要求的文件格式生成文件，然后由数据库提供的导入工具进行导入   2、采用JDBC的…

前面我们所写mr程序的输入都是文本文件，但真正工作中我们难免会碰到需要处理其它格式的情况，下面以处理excel数据为例 1、项目需求     有刘超与…