Hadoop2源码分析-Hadoop V2初识详解大数据

1.概述

  在完成分析Hadoop2源码的准备工作后,我们进入到后续的源码学习阶段。本篇博客给大家分享,让大家对Hadoop V2有个初步认识,博客的目录内容如下所示:

  • Hadoop的渊源
  • Hadoop V2部分项目图
  • 各个包的功能介绍

  本篇文章的源码是基于Hadoop-2.6.0来分析,其他版本的Hadoop的源码可以此作为参考分析。

2.Hadoop的渊源

  其实,早年Google的核心竞争力是它的计算平台,Google对外公布的论文有一下内容:

  • GoogleCluster 
  • Chubby 
  • GFS
  • BigTable 
  • MapReduce 

  可见MapReduce并不是Hadoop所独有的功能,之后Apache基金会得到类似的项目,这些项目有隶属于Hadoop项目,分别是:

  • ZooKeeper(Chubby)
  • HDFS(GFS)
  • HBase(BigTable)
  • MapReduce(Hadoop 这里是HDFS和MapReduce的统称)

  类似于这种思想的开源项目还有很多,如:Yahoo用Pig来处理巨大数据,Facebook用Hive来进行用户行为分析等。Hadoop的两大核心功能分别为HDFS和MapReduce,MapReduce是一个适合做离线计算的框架,它依赖于HDFS,HDFS作为一个分布式文件存储系统,是所有这些项目的基础支撑。下图为HDFS的支撑图,如下图所示:

  Hadoop2源码分析-Hadoop V2初识详解大数据

3.Hadoop V2部分项目图

  Hadoop包与包之间依赖的关系较为复杂,究其原因为HDFS提供了一个分布式文件存储系统,该系统提供庞大的API,使得分布式文件系统底层的实现,依赖于某些高层的功能,这些功能互相引用,形成网状的依赖关系。举个例子,如conf包,它用于读取系统配置文件,依赖于fs包,主要是读取相应的配置文件时,需要使用到文件系统,而部分文件系统的功能都被抽象在fs包中。下图时Hadoop V2项目的核心部分依赖包,如下图所示:

Hadoop2源码分析-Hadoop V2初识详解大数据

  后面的章节,主要给大家分享以下几个部分,如:mapreduce,fs,hdfs,ipc,io,yarn。

4.各个包的功能介绍

  下面对上图列出来的各个包做下介绍说明,各个包的功能如下所示:

  • tools:提供命令行工具,如DistCp,archive等等。
  • mapreduce v2:Hadoop V2版本对Map/Reduce的实现。
  • filecache:让HDFS拥有本地缓存,以便加快MR的数据访问速度。
  • hdfs v2:Hadoop V2的分布式文件系统实现。
  • fs:文件系统的抽象包,为支持多种文件系统(有可能还有其他的文件系统)规范统一的文件访问接口。
  • ipc:依赖 io 提供的编码和解码功能。
  • io:编码和解码数据,以便在网络中传输。
  • net:对网络功能进行封装,如Socket。
  • conf:配置系统的参数。
  • util:工具类。
  • ha:配置高可用的集群,使集群拥有两个NameNode(active和standby)。
  • yarn:Hadoop V2 版本新添加的特性,用于资源调度和管理。

5.总结

  Hadoop V2在底层设计上对比Hadoop V1是有区别的,新增HA,使得Hadoop V1中存在的单点问题得到了很好得解决;Hadoop V2新增Yarn系统,使得集群得资源管理和调度更加得完美,大大减少ResourceManager的资源消耗,并且让监测每一个 Job 子任务 (tasks) 状态的程序分布式化了,更安全、更优美。同时,使得多种计算框架可以运行在一个集群中。

6.结束语

  这篇文章就和大家分享到这里,如果大家在研究和学习的过程中有什么疑问,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/9945.html

(0)
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论