Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

关于NameNode高可靠需要配置的文件有core-site.xml和hdfs-site.xml 
关于ResourceManager高可靠需要配置的文件有yarn-site.xml 

逻辑结构: 

Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析 

NameNode-HA工作原理: 
在一个典型的HA集群中,最好有2台独立的机器的来配置NameNode角色,无论在任何时候,集群中只能有一个NameNode作为Active状态,而另一个是Standby状态,Active状态的NameNode负责集群中所有的客户端操作,这么设置的目的,其实HDFS底层的机制是有关系的,同一时刻一个文件,只允许一个写入方占用,如果出现多个,那么文件偏移量便会混乱,从而导致数据格式不可用,当然状态为Standby的NameNode这时候仅仅扮演一个Slave的角色,以便于在任何时候Active的NameNode挂掉时,能够第一时间,接替它的任务,成为主NameNode,达到一个热备份的效果,在HA架构里面SecondaryNameNode这个冷备角色已经不存在了,为了保持从NameNode时时的与主NameNode的元数据保持一致,他们之间交互通过一系列守护的轻量级进程JournalNode,当任何修改操作在主NameNode上执行时,它同时也会记录修改log到至少半数以上的JornalNode中,这时状态为Standby的NameNode监测到JournalNode里面的同步log发生变化了会读取JornalNode里面的修改log,然后同步到自己的的目录镜像树里面,当发生故障时,Active的NameNode挂掉后,Standby的NameNode会在它成为Active NameNode前,读取所有的JournalNode里面的修改日志,这样就能高可靠的保证与挂掉的NameNode的目录镜像树一致,然后无缝的接替它的职责,维护来自客户端请求,从而达到一个高可用的目的。 

为了达到快速容错的掌握全局的目的,Standby角色也会接受来自DataNode角色汇报的块信息,前面只是介绍了NameNode容错的工作原理,下面介绍下,当引入Zookeeper之后,为啥可以NameNode-HA可以达到无人值守,自动切换的容错。 

在主备切换上Zookeeper可以干的事: 
(1)失败探测   在每个NameNode启动时,会在Zookeeper上注册一个持久化的节点,当这个NameNode宕机时,它的会话就会终止,Zookeeper发现之后,就会通知备用的NameNode,Hi,老兄,你该上岗了。 
(2)选举机制, Zookeeper提供了一个简单的独占锁,获取Master的功能,如果那个NameNode发现自己得到这个锁,那就预示着,这个NameNode将被激活为Active状态 

当然,实际工作中Hadoop提供了ZKFailoverController角色,在每个NameNode的节点上,简称zkfc,它的主要职责如下: 

(1)健康监测,zkfc会周期性的向它监控的NameNode发送健康探测命令,从而来确定某个NameNode是否处于健康状态,如果机器宕机,心跳失败,那么zkfc就会标记它处于一个不健康的状态 
(2)会话管理, 如果NameNode是健康的,zkfc就会在zookeeper中保持一个打开的会话,如果NameNode同时还是Active状态的,那么zkfc还会在Zookeeper中占有一个类型为短暂类型的znode,当这个NameNode挂掉时, 
这个znode将会被删除,然后备用的NameNode,将会得到这把锁,升级为主NameNode,同时标记状态为Active,当宕机的NameNode,重新启动时,它会再次注册zookeper,发现已经有znode锁了,便会自动变为Standby状态,如此往复循环,保证高可靠,需要注意,目前仅仅支持最多配置2个NameNode。 
(3)master选举,如上所述,通过在zookeeper中维持一个短暂类型的znode,来实现抢占式的锁机制,从而判断那个NameNode为Active状态。 
 


hdfs-site.xml里面 

Xml代码  Hadoop2.7.1配置NameNode+ResourceManager高可用原理分析

  1. xml version=“1.0” encoding=“UTF-8”?>  

  2. xml-stylesheet type=“text/xsl” href=“configuration.xsl”?>  

  3.   

  4. << span=””>configuration>  

  5.   

  6.   

  7.   

  8.   

  9. << span=””>property>      

  10.    << span=””>name>dfs.replicationname>      

  11.    << span=””>value>1value>      

  12.  property>      

  13.    

  14.   

  15.   

  16.    << span=””>property>  

  17.        << span=””>name>yarn.resourcemanager.ha.enabledname>  

  18.         << span=””>value>truevalue>  

  19.    property>  

  20.   

  21.   

  22.   

  23.          

  24.    << span=””>property>  

  25.        << span=””>name>yarn.resourcemanager.cluster-idname>  

  26.         << span=””>value>ns1value>  

  27.    property>  

  28.   

  29.   

  30.  << span=””>property>  

  31.           

  32.        << span=””>name>yarn.resourcemanager.ha.rm-idsname>  

  33.         << span=””>value>h2,h3value>  

  34.    property>  

  35.   

  36.   

  37.           

  38.    << span=””>property>  

  39.         << span=””>name>yarn.resourcemanager.ha.automatic-failover.recover.enabledname>  

  40.         << span=””>value>truevalue>  

  41.    property>  

  42.   

  43.   

  44.     

  45.   

  46.      << span=””>property>  

  47.        << span=””>name>yarn.resourcemanager.recovery.enabledname>   

  48.         << span=””>value>truevalue>   

  49.    property>   

  50.   

  51.   

  52.           

  53.    << span=””>property>  

  54.        << span=””>name>yarn.resourcemanager.hostname.h2name>  

  55.         << span=””>value>h2value>  

  56.    property>  

  57.   

  58.        

  59.    << span=””>property>  

  60.        << span=””>name>yarn.resourcemanager.hostname.h3name>  

  61.         << span=””>value>h3value>  

  62.    property>  

  63.   

  64.   

  65.   

  66.     << span=””>property>  

  67.        << span=””>name>yarn.resourcemanager.store.classname>  

  68.        << span=””>value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStorevalue>  

  69.     property>  

  70.   

  71.   

  72.         

  73.     << span=””>property>  

  74.        << span=””>name>yarn.resourcemanager.zk-addressname>  

  75.        << span=””>value>h2:2181,h3:2181,h4:2181value>  

  76.     property>  

  77.   

  78.   

  79.        

  80.     << span=””>property>  

  81.        << span=””>name>yarn.resourcemanager.scheduler.address.h2name>  

  82.         << span=””>value>h2:8030value>  

  83.     property>  

  84.   

  85.   

  86.  << span=””>property>  

  87.        << span=””>name>yarn.resourcemanager.scheduler.address.h3name>  

  88.        << span=””>value>h3:8030value>  

  89.     property>  

  90.   

  91.   

  92.         

  93.     << span=””>property>  

  94.         << span=””>name>yarn.resourcemanager.resource-tracker.address.h2name>  

  95.        << span=””>value>h2:8031value>  

  96.     property>  

  97.   

  98.     << span=””>property>  

  99.        << span=””>name>yarn.resourcemanager.resource-tracker.address.h3name>  

  100.        << span=””>value>h3:8031value>  

  101.     property>  

  102.   

  103.   

  104.         

  105.     << span=””>property>  

  106.        << span=””>name>yarn.resourcemanager.address.h2name>  

  107.        << span=””>value>h2:8032value>  

  108.     property>  

  109.     << span=””>property>  

  110.        << span=””>name>yarn.resourcemanager.address.h3name>  

  111.        << span=””>value>h3:8032value>  

  112.    property>      

  113.   

  114.   

  115.           

  116.     << span=””>property>  

  117.        << span=””>name>yarn.resourcemanager.admin.address.h2name>  

  118.        << span=””>value>h2:8033value>  

  119.     property>  

  120.   

  121.     << span=””>property>  

  122.        << span=””>name>yarn.resourcemanager.admin.address.h3name>  

  123.         << span=””>value>h3:8033value>  

  124.     property>  

  125.   

  126.   

  127.        

  128.     << span=””>property>  

  129.        << span=””>name>yarn.resourcemanager.webapp.address.h2name>  

  130.        << span=””>value>h2:8088value>  

  131.     property>  

  132.   

  133.     << span=””>property>  

  134.        << span=””>name>yarn.resourcemanager.webapp.address.h3name>  

  135.        << span=””>value>h3:8088value>  

  136.     property>  

  137.   

  138.   

  139.   << span=””>property>    

  140.     << span=””>name>yarn.resourcemanager.scheduler.classname>    

  141.     << span=””>value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulervalue>    

  142.   property>   

  143.   

  144.   

  145.   

  146.   

  147.   

  148.   << span=””>property>    

  149.     << span=””>name>yarn.nodemanager.aux-servicesname>    

  150.     << span=””>value>mapreduce_shufflevalue>    

  151.   property>    

  152.   

  153.   << span=””>property>    

  154.     << span=””>name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>    

  155.     << span=””>value>org.apache.hadoop.mapred.ShuffleHandlervalue>    

  156.   property>    

  157.   

  158.   << span=””>property>      

  159.     << span=””>description>Classpath for typical applications.description>      

  160.     << span=””>name>yarn.application.classpathname>      

  161.     << span=””>value>$HADOOP_CONF_DIR    

  162.     ,$HADOOP_COMMON_HOME/share/hadoop/common/*    

  163.     ,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*    

  164.     ,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*    

  165.     ,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*    

  166.     ,$YARN_HOME/share/hadoop/yarn/*value>      

  167.   property>     

  168.     

  169.     

  170.   << span=””>property>    

  171.     << span=””>name>yarn.nodemanager.resource.memory-mbname>    

  172.     << span=””>value>5632value>    

  173.   property>    

  174.   

  175.  << span=””>property>  

  176.     << span=””>name>yarn.scheduler.minimum-allocation-mbname>  

  177.     << span=””>value>1408value>  

  178.   property>  

  179.   

  180.   

  181.  << span=””>property>  

  182.     << span=””>name>yarn.scheduler.maximum-allocation-mbname>  

  183.     << span=””>value>5632value>  

  184.   property>  

  185. configuration>  


启动方式:假设你是新的集群,如果不是,请参考文末的官网url链接 
1,先在集群中启动N/2+1个JornalNode进程,写ssh脚本执行命令:hadoop-daemon.sh start journalnode 
2 ,然后在第一台NameNode上应执行hdfs namenode -format格式化集群 
3,然后在第二台NameNode上执行hdfs namenode -bootstrapStandby同步第一台NameNode元数据 
4,在第一台NameNode上执行命令hdfs zkfc -formatZK格式化zookeeper 
5,第一台NameNode上启动zkfc执行命令:hadoop-daemon.sh start zkfc 
6,在第二台NameNode上启动zkfc执行命令:hadoop-daemon.sh start zkfc 
7,执行start-dfs.sh启动所有的NameNode,DataNode,JournalNode(注意如果已经启动就会跳过) 
8,执分别访问两台机器的50070端口,查看NameNode状态,其中一个为Active,一个为Standby即为正常 
9,测试容错,找到状态为Active的NameNode的pid进程,并kill掉,查看standby是否会自动晋级为active,如果 
一切安装完毕,则会自动切换,如果没切换,注意查看zkfc和namenode的log 

 

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/191696.html

(0)
上一篇 2021年11月14日
下一篇 2021年11月14日

相关推荐

发表回复

登录后才能评论