hadoop的HA

1. 为什么要搭建HA？

  在hadoop2.x之前，在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，必须等到 NameNode 重新启动，之后才能对外提供服务，这个方式在生成环境中是绝对不允许出现的。
  HDFS 的 HA：通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

2. HA的工作原理？

解释（数据一致以及持久化问题）：

• 当hdfs客户端连接namenode时，namenode启动时，会向JN集群提交edtis log（操作记录日志）。
• 此时在JN集群中，当有一半的集群服务成功的接收到了消息，然后返回给namenode，这就表示edits log上传成功。
• 此时NameNode（standBy），需要从JN集群取回元数据信息，然后整合新的fsimage，然后推送回NameNode（active）
• 在NameNode（standBy）向JN索要数据的时候，首先在JN中会查看是否有宕机的机器，采用过半机制（当集群中有部分服务器宕机时，此时集群会将大部分可以使用的机器作为主，其他的机器全部停止服务），去向备机（standBy）提供对外的数据传输。
• 在解决block 块信息时，此时datanode会向两台namenode都发送block 块信息。
  解释（解决主备切换问题）：
• 此时需要使用到另外一个集群zookeeper，zookeeper集群是一个高可用的集群，它的实现机制是，首先是一个服务器提供对外的服务，其他的机器是备机，当主机坏了的时候，此时zookeeper集群中采取投票机制（逻辑时钟,ID号，以及数据的更新程度），选出新的主。
• 此时ZKFC务控制线程一直手抓住了zookeeper集群，另一只手抓住了NameNode。
  • 抓住NameNode（active）的服务控制，监控NameNode（active）的状态，实时的向zookeeper集群汇报。
  • 住NameNode（standBy）的服务控制，接收zookeeper集群发送的信息，如果发送过来的信息，表示主NameNode已停止服务，立刻调用服务控制中的回调函数，让NameNode（standBy）变成主机继续提供服务。
•  以上的作用是一个和keeplive相同的作用，使用zookeeper不同之处在于，如果服务控制处出现进程的异常退出时，此时通过zookeeper集群会将备机改为active状态，此时主机可能还是active，就造成了两台active的NameNode。在zookeeper中是这样解决的：当有一个服务控制进程异常退出后，他会有一只无形的手去连接另外一台NameNode，并且在可控的范围内，将其变成主（active），而将自己无法控制的那台NameNode，变成备机。
  

  3. HA的集群搭建？

  搭建集群前的准备：https://blog.51cto.com/14048416/2341450
  zookeeper集群的搭建：https://blog.51cto.com/14048416/2336178

  1）集群的规划

  

  2）具体安装步骤：

  1）上传安装包 hadoop-2.6.5-centos-6.7.tar.gz

  2）解压到对应的安装目录

  [hadoop@hadoop01 ~]$tar -zxvf hadoop-2.6.5-centos-6.7.tar.gz -C /home/hadoop/apps/

  3）修改配置文件

  hadoo-env.sh:
  加入：export JAVA_HOME= /usr/local/jdk1.8.0_73

core-site.xml：

<configuration>
<!-- 指定 hdfs 的 nameservice 为 myha01 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://myha01/</value>
</property>
<!-- 指定 hadoop 工作目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
</property>
<!-- 指定 zookeeper 集群访问地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>

hdfs-site.xml：

<configuration>
<!-- 指定副本数 -->
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>
<!--指定 hdfs 的 nameservice 为 myha01，需要和 core-site.xml 中保持一致-->
<property>
 <name>dfs.nameservices</name>
 <value>myha01</value>
</property>
<!-- myha01 下面有两个 NameNode，分别是 nn1，nn2 -->
<property>
 <name>dfs.ha.namenodes.myha01</name>
 <value>nn1,nn2</value>
</property>
<!-- nn1 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.myha01.nn1</name>
 <value>hadoop01:9000</value>
</property>
<!-- nn1 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.myha01.nn1</name>
 <value>hadoop01:50070</value>
</property>
<!-- nn2 的 RPC 通信地址 -->
<property>
 <name>dfs.namenode.rpc-address.myha01.nn2</name>
 <value>hadoop02:9000</value>
</property>
<!-- nn2 的 http 通信地址 -->
<property>
 <name>dfs.namenode.http-address.myha01.nn2</name>
 <value>hadoop02:50070</value>
</property>
<!-- 指定 NameNode 的 edits 元数据在 JournalNode 上的存放位置 -->
<property>
 <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/myha01</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/home/hadoop/data/journaldata</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
 <name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<!-- 此处配置在安装的时候切记检查不要换行-->
<property>
 <name>dfs.client.failover.proxy.provider.myha01</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPr
oxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
 <name>dfs.ha.fencing.methods</name>
 <value>
 sshfence
 shell(/bin/true)
 </value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 -->
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
 <name>dfs.ha.fencing.ssh.connect-timeout</name>
 <value>30000</value>
</property>
</configuration>

mapred-site.xml：

<configuration>
<!-- 指定 mr 框架为 yarn 方式 -->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>
<!-- 设置 mapreduce 的历史服务器地址和端口号 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop02:10020</value>
</property>
<!-- mapreduce 历史服务器的 web 访问地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop02:19888</value>
</property>
</configuration>

yarn-site.xml：

<configuration>
<!-- 开启 RM 高可用 -->
<property>
 <name>yarn.resourcemanager.ha.enabled</name>
 <value>true</value>
</property>
<!-- 指定 RM 的 cluster id -->
<property>
 <name>yarn.resourcemanager.cluster-id</name>
 <value>yrc</value>
</property>
<!-- 指定 RM 的名字 -->
<property>
 <name>yarn.resourcemanager.ha.rm-ids</name>
 <value>rm1,rm2</value>
</property>
<!-- 分别指定 RM 的地址 -->
<property>
 <name>yarn.resourcemanager.hostname.rm1</name>
 <value>hadoop01</value>
</property>
<property>
 <name>yarn.resourcemanager.hostname.rm2</name>
 <value>hadoop02</value>
</property>
<!-- 指定 zk 集群地址 -->
<property>
 <name>yarn.resourcemanager.zk-address</name>
 <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
<!-- 要运行 MapReduce 程序必须配置的附属服务 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
<!-- 开启 YARN 集群的日志聚合功能 -->
<property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
</property>
<!-- YARN 集群的聚合日志最长保留时长 -->
<property>
 <name>yarn.log-aggregation.retain-seconds</name>
 <value>86400</value>
</property>
<!-- 启用自动恢复 -->
<property>
 <name>yarn.resourcemanager.recovery.enabled</name>
 <value>true</value>
</property>
<!-- 制定 resourcemanager 的状态信息存储在 zookeeper 集群上-->
<property>
 <name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

slaves：

hadoop01
hadoop02
hadoop03

4）分发安装包到其他机器

[hadoop@hadoop01 apps]$scp -r hadoop-2.6.5 hadoop@hadoop02:$PWD
[hadoop@hadoop01 apps]$scp -r hadoop-2.6.5 hadoop@hadoop03:$PWD

5）分别配置环境变量

[hadoop@hadoop01 apps]$ vi ~/.bashrc
添加两行：

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[hadoop@hadoop01 apps]$ source ~/.bashrc

6）集群初始化操作

先启动 zookeeper 集群：
启动：zkServer.sh start
检查启动是否正常：zkServer.sh status
启动 journalnode 进程：
[hadoop@hadoop01 ~]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop02 ~]$ hadoop-daemon.sh start journalnode
[hadoop@hadoop03 ~]$ hadoop-daemon.sh start journalnode
然后用 jps 命令查看是否各个 datanode 节点上都启动了 journalnode 进程
在第一个 namenode 上执行格式化操作：
[hadoop@hadoop01 ~]$ hadoop namenode -format

然后会在 core-site.xml 中配置的临时目录中生成一些集群的信息把他拷贝的第二个 namenode 的相同目录下
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata/</value>
两个 namenode 节点该目录中的数据结构是一致的
[hadoop@hadoop01 ~]$ scp -r ~/data/hadoopdata/ hadoop03:~/data
或者在另一个namenode节点上使用：hadoop namenode -bootstrapStandby
格式化 ZKFC（在一台集群上格式化即可）：
[hadoop@hadoop01 ~]$ hdfs zkfc -formatZK
启动 HDFS：
[hadoop@hadoop01 ~]$ start-dfs.sh
启动 YARN：
[hadoop@hadoop01 ~]$ start-yarn.sh
若备用节点的 resourcemanager 没有启动起来，则手动启动起来：
[hadoop@hadoop02 ~]$ yarn-daemon.sh start resourcemanager

7）补充：

查看各主节点的状态
HDFS:
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2

YARN:
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

4. HA的集群搭建后测试

1.手动杀死active的namenode，看看集群的状况
2.手动杀死active的resourcemanager，看看集群的状况
3.在上传文件时，杀死namenode，查看集群状况
4.在执行任务时，杀死resourcemanager，查看集群状态