hadoop及hbase集群增加节点

一、hadoop扩容

1、配置各节点hosts文件，加入新加入的两个节点的IP和主机名

新添加的节点添加下面内容

192.168.11.131    master1

192.168.11.132    master2

192.168.11.133    slave1

192.168.11.134    slave2

192.168.11.135    slave3

新节点互相加入对方的主机名解析

老的节点添加下面内容

192.168.11.136    slave4

192.168.11.137    slave5

2、准备工作

参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置 为新添加的节点做以下操作：

配置主机名

关闭防火墙和selinux

配置yum源

配置时间同步（作为ntp服务客户端）

创建组和用户

创建目录

无密码登陆

配置java环境

3、修改hadoop配置文件并拷贝hadoop文件

登录master1节点

$ cd /data1/usr/hadoop-2.7.3/etc/hadoop

$ vi slaves

添加新加入的节点信息

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done

拷贝hadoop文件到新节点

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr

$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr

4、清空日志

登录到新添加的服务器

$ cd /data1/usr/hadoop-2.7.3/logs

$ rm *.log.*

$ rm *.out.*

$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done

删除其他项目和文件

对比datanode老的节点，把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。

5、启动服务

分别登陆新节点，启动datanode

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./hadoop-daemon.sh start datanode

登陆master1节点，刷新datanode列表

$ cd /data1/usr/hadoop-2.7.3/bin

$ ./hdfs dfsadmin -refreshNodes

查看列表信息

$ ./hdfs dfsadmin -report

8、对hdfs负载均衡

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./start-balancer.sh 

如果你的集群有单独的balance节点，带宽又足够大的话，可以考虑做balance优化，因为按照默认配置的话，balance的过程会持续很长一段时间。具体的优化方法可以参考我转载的另一篇博客：优化Hadoop Balancer平衡的速度。

启动yarn

$ cd /data1/usr/hadoop-2.7.3/sbin

$ ./yarn-daemon.sh start nodemanager   

   

查看集群情况

$ cd /data1/usr/hadoop-2.7.3/bin

$ yarn rmadmin -refreshNodes

$ ./yarn node -list

9、如有添加journalnode节点的需要还需要添加journalnode服务，不过本次变更没有添加，添加步骤如下

修改JournalNode地址，必须保证奇数个

vim /data1/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>

 <name>dfs.namenode.shared.edits.dir</name>

 <value>qjournal://slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mycluster</value>

</property>

二、hbase扩容

1、登陆master1，修改配置文件

$ cd /data1/usr/hbase-1.2.4/conf

$ vi regionservers 

添加新节点主机

slave4

slave5

$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done

登陆新节点，创建目录，修改权限

2、拷贝hbase文件到新节点

登陆master1节点

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data 

$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data

清理日志

$ cd /data1/usr/hbase-1.2.4/logs

$ rm *.out.*

$ >hbase-hduser-master-master1.log

$ >hbase-hduser-master-master1.out

3、登陆新节点，启动服务

$ cd /data1/usr/hbase-1.2.4/bin

$ ./hbase-daemon.sh start regionserver

$ ./hbase shell

status