数据分析

　　Hadoop中的MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个机器组成的大型集群上，并且以一种可靠容错并行处理TB级别的数据集。 　　一个…

目录 　　1、MapReduce定义 　　2、MapReduce来源 　　3、MapReduce特点 　　4、MapReduce实例 　　5、MapReduce编程模型 　　6、M…

1、背景 　　在实际项目中，输入数据往往是由许多小文件组成，这里的小文件是指小于HDFS系统Block大小的文件（默认128M）， 然而每一个存储在HDFS中的文件、目录和块都映射…

Hadoop 中，并没有使用Java自带的基本类型类(Integer、Float等)，而是使用自己开发的类。Hadoop 自带有很多序列化类型，大致分为以下两种： 实现了Writa…

目录     1、为什么要序列化？     2、什么是序列化？    …

　　在本地文件上传至HDFS过程中，很多情况下一个目录包含很多个文件，而我们需要对这些文件进行筛选，选出符合我们要求的文件，上传至HDFS。这时就需要我们用到文件模式。 在项目开始…

    HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataN…

  HDFS设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量文件（可以存储TB级的文件）。HDFS将这些文件分割之后，存储在不同的DataNode上， H…

目录 HDFS 是做什么的 HDFS 从何而来 为什么选择 HDFS 存储数据 HDFS 如何存储数据 HDFS 如何读取文件 HDFS 如何写入文件 HDFS 副本存放策略 Ha…

一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系…