区块链
-
MapReduce输入格式详解大数据
文件是 MapReduce 任务数据的初始存储地。正常情况下，输入文件一般是存储在 HDFS 里面。这些文件的格式可以是任意的：我们可以使用基于行的日志文件， 也可以使用二进制…
-
Hadoop作业调度器详解大数据
随着 MapReduce 的流行，其开源实现 Hadoop 也变得越来越受推崇。在 Hadoop 系统中，有一个组件非常重要，那就是调度器。调度器是一个可插拔的模块，用户可以根…
-
MapReduce 运行机制详解大数据
Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。 一个…
-
初步掌握MapReduce的架构及原理详解大数据
目录 1、MapReduce定义 2、MapReduce来源 3、MapReduce特点 4、MapReduce实例 5、MapReduce编程模型 6、M…
-
hadoop小文件合并详解大数据
1、背景 在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射…
-
hadoop自带的writable类型详解大数据
Hadoop 中，并没有使用Java自带的基本类型类(Integer、Float等)，而是使用自己开发的类。Hadoop 自带有很多序列化类型，大致分为以下两种： 实现了Writa…
-
hadoop文件的序列化详解大数据
目录 1、为什么要序列化？ 2、什么是序列化？ …
-
利用Java API通过路径过滤上传多文件至HDFS详解大数据
在本地文件上传至HDFS过程中，很多情况下一个目录包含很多个文件，而我们需要对这些文件进行筛选，选出符合我们要求的文件，上传至HDFS。这时就需要我们用到文件模式。 在项目开始…
-
熟练掌握HDFS的Java API接口访问详解大数据
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataN…
-
熟练掌握HDFS的Shell访问详解大数据
HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， H…