大数据
-
高可用Hadoop平台－实战尾声篇详解大数据
1.概述 今天这篇博客就是《高可用Hadoop平台》的尾声篇了，从搭建安装到入门运行 Hadoop 版的 HelloWorld（WordCount 可以称的上是 Hadoop 版的 HelloWorld ），在到开发中需要用到的各个套件以及对套件的安装…
-
高可用Hadoop平台－答疑篇详解大数据
1.概述 这篇博客不涉及到具体的编码，只是解答最近一些朋友心中的疑惑。最近，一些朋友和网友纷纷私密我，我总结了一下，疑问大致包含以下几点： 我学 Hadoop 后能从事什么岗位？ 在遇到问题，我该如何去寻求解…
-
Hadoop2源码分析－准备篇详解大数据
1.概述 我们已经能够搭建一个高可用的Hadoop平台了，也熟悉并掌握了一个项目在Hadoop平台下的开发流程，基于Hadoop的一些套件我们也能够使用，并且能利用这些套件进行一些任务的开发。在Hadoop的应用级别上，我…
-
Hadoop2源码分析－Hadoop V2初识详解大数据
1.概述 在完成分析Hadoop2源码的准备工作后，我们进入到后续的源码学习阶段。本篇博客给大家分享，让大家对Hadoop V2有个初步认识，博客的目录内容如下所示： Hadoop的渊源 Hadoop V2部分项目图 各个包的功能介…
-
Hadoop2源码分析－MapReduce篇详解大数据
1.概述 前面我们已经对Hadoop有了一个初步认识，接下来我们开始学习Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天为大家分享的是mapreduce部分，其内容目录如下所示： MapReduce …
-
Hadoop2源码分析－序列化篇详解大数据
1.概述 上一篇我们了解了MapReduce的相关流程，包含MapReduce V2的重构思路，新的设计架构，与MapReduce V1的区别等内容，今天我们在来学习下在Hadoop V2中的序列化的相关内容，其目录如下所示： 序列化的由来 …
-
Hadoop2源码分析－RPC机制初识详解大数据
1.概述 上一篇博客，讲述Hadoop V2的序列化机制，这为我们学习Hadoop V2的RPC机制奠定了基础。RPC的内容涵盖的信息有点多，包含Hadoop的序列化机制，RPC，代理，NIO等。若对Hadoop序列化不了解的同学，可以参考…
-
高可用Hadoop平台－Flume NG实战图解篇详解大数据
1.概述 今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容： Flume NG简述 单点Flume NG搭建、运行 高可用Flume NG搭建 Failover测试 截图预览 下…
-
Hadoop2源码分析－RPC探索实战详解大数据
1.概述 在《Hadoop2源码分析－RPC机制初识》博客中，我们对RPC机制有了初步的认识和了解，下面我们对Hadoop V2的RPC机制做进一步探索，在研究Hadoop V2的RPC机制，我们需要掌握相关的Java基础知识，如：Java NI…
-
高可用Hadoop平台－应用JAR部署详解大数据
1.概述 今天在观察集群时，发现NN节点的负载过高，虽然对NN节点的资源进行了调整，同时对NN节点上的应用程序进行重新打包调整，负载问题暂时得到缓解。但是，我想了想，这样也不是长久之计。通过这个问题，我重…