数据湖
-
HDFS详解（2）——HDFS中的读写数据流大数据
1.文件的读取 在客户端执行读取操作时，客户端和HDFS交互过程以及NameNode和各DataNode之间的数据流是怎样的？下面将围绕图1进行具体讲解。 图 …
-
Hadoop配置参数详解大数据
Hadoop的配置文件解释 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定…
-
Hadoop生态系统详解大数据
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 &…
-
Hadoop 项目及结构详解大数据
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avr…
-
Hadoop体系结构详解大数据
HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。…
-
MapReduce工作机制详解大数据
MapReduce任务执行总流程 以下图5 是MapReduce作业详细的执行流程图。 &nbs…
-
HDFS详解（1）大数据
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目，是Hadoop主要应用的一个分布式文件系统。实际上，Hadoop中有一个综合…
-
HDFS详解（3）——HDFS文件结构大数据
HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。 注意，这里主要介绍的是Hadoop …
-
Hadoop shell详解大数据
常用管理命令 Hadoop管理员的常用命令。 启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关…
-
HDFS的shell操作详解大数据
既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对 HDFS 的操作…