区块链

以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。         &…

现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avr…

HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。…

MapReduce任务执行总流程 以下图5 是MapReduce作业详细的执行流程图。        &nbs…

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目，是Hadoop主要应用的一个分布式文件系统。实际上，Hadoop中有一个综合…

HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。 注意，这里主要介绍的是Hadoop …

常用管理命令   Hadoop管理员的常用命令。  启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关…

既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对 HDFS 的操作…

  海量数据分页，已经无法使用数据库自带的分页机制，比如MySQL 的 Limit ，这会导致严重的性能问题， 经过生产环境大数据量千万级数据量分页实现的 的总结，目前为…

hadoop2.7.2集群搭建 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录，修改hadoop-env.s…