数据分析

HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。…

MapReduce任务执行总流程 以下图5 是MapReduce作业详细的执行流程图。        &nbs…

HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目，是Hadoop主要应用的一个分布式文件系统。实际上，Hadoop中有一个综合…

HDFS中的NameNode、DataNode、Secondery NameNode是如何在磁盘上组织和存储持久化数据的？下面将分别进行介绍。 注意，这里主要介绍的是Hadoop …

常用管理命令   Hadoop管理员的常用命令。  启动Hadoop 进入HADOOP_HOME目录。 执行sh bin/start-all.sh 关…

既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对 HDFS 的操作…

  海量数据分页，已经无法使用数据库自带的分页机制，比如MySQL 的 Limit ，这会导致严重的性能问题， 经过生产环境大数据量千万级数据量分页实现的 的总结，目前为…

hadoop2.7.2集群搭建 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.7.2/etc/hadoop目录，修改hadoop-env.s…

hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop-2.5.0-cdh5.3.6/etc/hadoop目录，修改ha…

此笔记仅用于作者记录复习使用，如有错误地方欢迎留言指正，作者感激不尽，如有转载请指明出处 Hbase基础 Hbase基础 Hbase定义 行存储 v s 列存储 Hbase数据模型…