数据中台

本教程详细指导大家如何开启并设置用户权限。MongoDB默认是没有开启用户权限的，如果直接在公网服务器上如此搭建MongoDB，那么所有人都可以直接访问并修改数据库数据了。 其实M…

本博文介绍了MongoDB，并详细指引读者在Ubuntu下MongoDB的安装和使用。本教程在Ubuntu14.04下测试通过。 一、MongoDB介绍 MongoDB 是一个是一…

1、使用插件——Hadoop-Eclipse-Plugin 此方法需要借助Eclipse，插件的安装及使用请参考博文。 借助Eclipse只能进行简单的HDFS操作，如查看，删除，…

这里我们先说一下MapReduce V1的局限性： JobTracker单点瓶颈。MapReduce中的JobTracker负责作业的分发、管理和调度，同时还必须和集群中所有的节点…

1.文件的读取 在客户端执行读取操作时，客户端和HDFS交互过程以及NameNode和各DataNode之间的数据流是怎样的？下面将围绕图1进行具体讲解。 　　　　　　　　　　图 …

Hadoop的配置文件解释 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息，比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定…

以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。         &…

现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avr…

HDFS和Mapreduce是Hadoop的两大核心。整个Hadoop的体系结构主要是通过HDFS来实现分布式存储的底层支持，MapReduce来实现分布式并行任务处理的程序支持。…

MapReduce任务执行总流程 以下图5 是MapReduce作业详细的执行流程图。        &nbs…