1. 云图网首页
  2. 技术专区
  3. 编程笔记

Hadoop——HA模式搭建详解编程语言

• 编程笔记

在增加了JN，ZKFC，ZK角色，取消SNN角色之后，按照以下规划搭建一个HA模式的分布式Hadoop集群。
在这里插入图片描述

配置：

core-site.xml 
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://mycluster</value> 
</property> 
#配置zookeeper启动在什么结点 
<property> 
<name>ha.zookeeper.quorum</name> 
<value>node02:2181,node03:2181,node04:2181</value> 
</property> 
hdfs-site.xml 
#以下是HA nameservices一对多，逻辑到物理节点的映射拍配置 
#mycluster -> nn1, nn2 ->  (nn1 -> node01:8020) (nn2 -> node02:8020) 
#以下的所有出现的 "mycluster" 与在core-site.xml中配置的fs.defaultFS同名 
<property> 
<name>dfs.nameservices</name> 
<value>mycluster</value> 
</property> 
<property> 
<name>dfs.ha.namenodes.mycluster</name> 
<value>nn1,nn2</value> 
</property> 
<property> 
<name>dfs.namenode.rpc-address.mycluster.nn1</name> 
<value>node01:8020</value> 
</property> 
<property> 
<name>dfs.namenode.rpc-address.mycluster.nn2</name> 
<value>node02:8020</value> 
</property> 
<property> 
<name>dfs.namenode.http-address.mycluster.nn1</name> 
<value>node01:50070</value> 
</property> 
<property> 
<name>dfs.namenode.http-address.mycluster.nn2</name> 
<value>node02:50070</value> 
</property> 
#以下是JN在哪里启动，数据存储路径 
<property> 
<name>dfs.namenode.shared.edits.dir</name> 
<value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value> 
</property> 
<property> 
<name>dfs.journalnode.edits.dir</name> 
<value>/var/bigdata/hadoop/ha/dfs/jn</value> 
</property> 
#HA角色切换的代理类和实现方法，我们用的ssh免密 
<property> 
<name>dfs.client.failover.proxy.provider.mycluster</name> 
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property> 
<property> 
<name>dfs.ha.fencing.methods</name> 
<value>sshfence</value> 
</property> 
<property> 
<name>dfs.ha.fencing.ssh.private-key-files</name> 
<value>/root/.ssh/id_dsa</value> 
</property> 
#开启自动化：启动zkfc，以后启动nn的时候会在同机一起启动zkfc；如果配置为false，则zkfc不会跟着nn一起启动 
<property> 
<name>dfs.ha.automatic-failover.enabled</name> 
<value>true</value> 
</property> 
#由于dfs.namenode.name.dir和dfs.datanode.data.dir的配置目录之前用过了，现在换一个目录 
<property> 
<name>dfs.namenode.name.dir</name> 
<value>/var/bigdata/hadoop/ha/dfs/name</value> 
</property> 
<property> 
<name>dfs.datanode.data.dir</name> 
<value>/var/bigdata/hadoop/ha/dfs/data</value> 
</property>

注意，HA模式是要用到Zookeeper的，所以要提前装好Zookeeper。并且HA模式下，每一个NN会启动对应的ZKFC，而ZKFC会控制自己的NN和check其他NN的状态，这就要求ZKFC与NN之间的连接也是要ssh免密的。

下面是具体操作

1）NN之间需要互相免密登录，之前的配置只能让node01免密登录node02，现在让node02也能免密登录node01，也就是让node01拥有node02的公钥

node02中:  
cd ~/.ssh 
ssh-keygen -t dsa -P '' -f ./id_dsa 
cat id_dsa.pub >> authorized_keys 
scp ./id_dsa.pub  node01:`pwd`/node02.pub 
node01中: 
cd ~/.ssh 
cat node02.pub >> authorized_keys

2)Zookeeper 集群搭建，需要当前环境支持java，所以需要JDK，我们部署在node02，03，04

node02: 
tar xf zook....tar.gz 
mv zoo...    /opt/bigdata 
cd /opt/bigdata/zoo.... 
cd conf 
cp zoo_sample.cfg  zoo.cfg 
vi zoo.cfg 
改为datadir=/var/bigdata/hadoop/zk 
#最后新增三行 这里的.1 .2 .3的数字是zk的权重 
#也就是给node02的zk赋权重1，给node03的zk赋权重2，给node03的zk赋权重3 
#2888和3888分别是zk无主状态时和有主状态时连接的端口号 
server.1=node02:2888:3888 
server.2=node03:2888:3888 
server.3=node04:2888:3888 
#创建zk的数据目录 
mkdir /var/bigdata/hadoop/zk 
#将刚才配置的本机的zk权重写入当前目录的myid文件里，注意这个文件规定只能叫myid 
echo 1 >  /var/bigdata/hadoop/zk/myid  
vi /etc/profile 
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin 
source /etc/profile 
cd /opt/bigdata 
#给node03和node04分发zookeeper 
scp -r ./zookeeper-3.4.6  node03:`pwd` 
scp -r ./zookeeper-3.4.6  node04:`pwd` 
node03: 
mkdir /var/bigdata/hadoop/zk 
#将刚才配置的本机的zk权重写入当前目录的myid文件里 
echo 2 >  /var/bigdata/hadoop/zk/myid 
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin 
source /etc/profile 
node04: 
mkdir /var/bigdata/hadoop/zk 
#将刚才配置的本机的zk权重写入当前目录的myid文件里 
echo 3 >  /var/bigdata/hadoop/zk/myid 
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.4.6 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin 
source /etc/profile 
node02~node04: 
zkServer.sh start

3）按照配置hadoop的core和hdfs
4）分发配置

node01:  
cd $HADDOP_HOME/etc/hadoop 
scp core-site.xml hdfs-site.xml  node02:`pwd` 
scp core-site.xml hdfs-site.xml  node03:`pwd` 
scp core-site.xml hdfs-site.xml  node04:`pwd`

5）初始化：

1）先启动JN   hadoop-daemon.sh start journalnode （node01 02 03都启动） 
2）任意选择一个NN 做格式化：hdfs namenode -format   <只有第一次搭建做，以后不用做>，其他NN步坐 
3)启动这个格式化的NN ，以备另外一台同步  hadoop-daemon.sh start namenode  
4)在另外一台机器中： hdfs namenode -bootstrapStandby（将格式化的那个NN的数据同步过来） 
5)在第一台nn格式化zk：   hdfs zkfc  -formatZK     <只有第一次搭建做，以后不用做>  这句话其实就是在zookeeper里创建了一个目录 
6) start-dfs.sh

这时分别登录node01:50070和node02:50070会发现集群已正常启动，且node01为Active，node02为Standby
在这里插入图片描述
在这里插入图片描述
也可以在02，03，04随便一台启动Zookeeper，使用zkCli.sh，然后输入ls /hadoop-ha/mycluster会发现多了一个ActiveStandbyElectorLock文件，表示已经有一个NN抢到锁了，使用get /hadoop-ha/mycluster/ActiveStandbyElectorLock查看这个文件，会观察到，确实是node01抢到了锁，所以node01变成了Active。注意：在Zookeeper中使用上述命令，一定要写完整路径名，不然会提示无法找到该结点

以后启动集群，要先在node02, 03, 04上使用zkServer.sh start，再在node01使用start-dfs. sh，就可以成功启动集群。

———————————————————–

今后在企业里，肯定不可能用root用户做操作，所以接下来，我们创建一个新用户，以后都用这个用户来操作Hadoop。

以下操作除特别指明，在四个节点中全部都要做一遍 
node01~node04: 
#在root用户下，假设我们给用户起名叫god 
useradd god 
passwd god 
#我们将hadoop文件相关的两个目录权限赋予god用户 
chown -R god /opt/bigdata/hadoop-2.6.5 #这是hadoop的安装目录 
chorn -R god /var/bigdata/hadoop #这是之前在前面博客中配置的，存放hadoop数据的目录 
#在god用户中，节点间的互相访问也需要免密登录，所以还要配置免密。 
su god 
ssh localhost 
node01~node02: 
cd /home/god/.ssh 
ssh-keygen -t dsa -P '' -f ./id_dsa 
node01: 
ssh-copy-id -i id_dsa node01 
ssh-copy-id -i id_dsa node02 
ssh-copy-id -i id_dsa node03 
ssh-copy-id -i id_dsa node04 
node02: 
cd /home/god/.ssh 
ssh-copy-id -i id_dsa node01 
ssh-copy-id -i id_dsa node02 
#最后别忘了我们之前在hdfs-site.xml中配置过fencing使用的密钥，现在要改为god用户的密钥了 
node01: 
在hdfs-site.xml中，将fencing配置改为如下 
<property> 
<name>dfs.ha.fencing.ssh.private-key-files</name> 
<value>/home/god/.ssh/id_dsa</value> 
</property> 
分发给各机 
scp hdfs-site.xml node02:`pwd` 
scp hdfs-site.xml node03:`pwd` 
scp hdfs-site.xml node04:`pwd` 
这就配置成功了，接下来在node01中用god用户start-dfs.sh启动hadoop即可 
需要注意的是，我们并没有将zookeeper的权限也给god，所以现在在node02~04里使用god用户是无法启动zookeeper的，如果想启动zookeeper，只需要像前面一样将zookeeper的目录权限赋给god即可

注意：Linux的超级管理员是root，而对于Hadoop集群来说，谁启动Hadoop谁就是超级管理员。在Linux中，文件权限对root用户来说形同虚设，root用户可以在任意位置操作文件及目录。而在Hadoop中，如果当前是god用户启动的Hadoop，接下来如果是root用户在linux中使用如hdfs dfs -mkdir /user/abc这样的命令(user是之前由god用户所创)，是不被允许的，因为root不是Hadoop的超级管理员，god才是。

我将在下一篇博客中介绍如何使用IDEA+Maven的方式开发Hadoop项目

原创文章，作者：Maggie-Hunter，如若转载，请注明出处：https://blog.ytso.com/20596.html

赞 (0)
0
上一篇 2021年7月19日
下一篇 2021年7月19日

相关推荐

发表回复

登录后才能评论