分布式系统的一个优势就是动态可伸缩性,如果增删节点需要重启那肯定是不行的。后来研究了一下,发现的确是不需要重启集群,直接在新增的节点上分别启动以下进程即可。
以hadoop、spark和hbase为例:
一、hadoop增加datanode节点
因为1.x版本和2.x版本有比较大的差异,我这里是以2.7为例。
在namenode节点上,将hadoop-2.7复制到新节点上,并在新节点上删除data和logs目录中的文件。
1、增加hdfs数据节点datanode
在此节点上启动hdfs:
./sbin/hadoop-daemon.sh start datanode # (后台模式)
或
./bin/hdfs datanode # (控制台模式)
2、下次自动启动,
修改集群里机器的所有$HADOOP_HOME/etc/hadoop/slaves配置文件,添加新节点。
3、刷新节点信息:
./bin/hdfs dfsadmin -refreshNodes
4、查看hdfs节点状态:即有多少个节点
./bin/hdfs dfsadmin -report
5、启动后可以均衡数据,使用命令
./sbin/start-balancer.sh
如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低工作效率:
查看hdfs节点状态:
hdfsdfsadmin –report
1048576(=1Mb/s)
104857600(=100Mb/s)
hdfsdfsadmin -setBalancerBandwidth 104857600
#设置不同节点之间复制数据的带宽是受限的,默认是1MB/s
start-balancer.sh -threshold 1
#设置如果某个datanode的磁盘里使用率比平均水平高出1%,Blocks向其他低于平均水平的datanode中传送, 也就是每个节点使用率相差不超过1%。
或者:
start-balancer.sh
stop-balancer.sh
6、卸载节点
卸载节点一般不建议直接停掉,需要先将其排除在集群之外,
编辑配置文件:$HADOOP_HOME/etc/hadoop/hdfs-core.xml
<property>
<name>dfs.hosts</name>
<value>.../etc/hadoop/datanode-allow.list</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>.../etc/hadoop/datanode-deny.list</value>
</property>
在datanode-deny.list中 加入要卸载的节点名称
刷新节点信息:
./bin/hdfs dfsdmin -refreshNodes # 会看到节点变成Dead和Decommissioned状态
最后再停止节点:
./sbin/hadoop-daemon.sh stop datanode
7、增加NodeManager任务节点
####启动:
./sbin/yarn-daemon.sh start nodemanager # (后台模式)
或
./bin/yarn nodemanager # (控制台模式)
####停止:
./sbin/yarn-daemon.sh stop nodemanager
8、关闭namenode节点的安全模式
./bin/hadoop dfsadmin -safemode leave
二、spark新增worker节点
1、增加一个节点就是在该节点执行:
./sbin/start-slave.sh spark://<master>:7077
就完成了新节点的注册和加入集群。
2、新增节点启动验证
执行jps命令,slave可以看到Worker进程
3、查看Spark UI
看到Workers中有新增节点
4、停止节点:
./sbin/stop-slave.sh
之后在master的管理端会显示这个节点已经“死掉”了。然而这条信息会一直显示到重启master为止。
5、希望下次自动启动这个新节点,
把这个节点名称加入到$SPARK_HOME/conf/slaves文件里。
三、hbase新增RegionServer
1、启动HRegionServer进程
hbase-daemon.shstart regionserver
2、启动HquorumPeer进程
hbase-daemon.shstart zookeeper
3、查看集群状态
hbase shell中输入status
4、负载均衡:
hbase shell中输入:balance_switch true
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/193361.html