Hadoop维护实战-设置hdfs副本数 dfs.replication

Hadoop维护实战 设置hdfs副本数 dfs.replication

有个临时应用,使用临时调配的机器,机器磁盘差别数十倍。

在使用hadoop存储数据时导致小磁盘机器使用率达80%多,而大磁盘机器使用不过才10%多一点。

明显的hadoop集群各datanode空间使用率很不均衡,需要重新balance。于是想到了hdfs的均衡器balancer。

sbin/start-balancer.sh -threshold 10

但是在执行hdfs的balancer时会自动退出,不执行,也没有发现Error或者Warning。

但在out文件中可以看到一些信息:

balancer已经计算出要移动的数据量,但是就是没有移动,只是提示:

No block has been moved for 5 iterations. Exiting…

原来hadoop balancer在进行转移block的时候是会判断的:

 * <p>The balancer automatically exits when any of the following five  

 * conditions is satisfied: 

 * <ol> 

 * <li>The cluster is balanced; 

 * <li>No block can be moved; 

 * <li>No block has been moved for five consecutive(连续) iterations; 

 * <li>An IOException occurs while communicating with the namenode; 

 * <li>Another balancer is running. 

 * </ol> 

 * 下面5种情况会导致Balance操作的失败 

 * 1、整个集群已经达到平衡状态 

 * 2、经过计算发现没有可以被移动的block块 

 * 3、在连续5次的迭代中,没有block块被移动 

 * 4、当datanode节点与namenode节点通信的时候,发生IO异常 

 * 5、已经存在一个Balance操作 

显然是第三点问题了,log里显示执行了5次迭代但都每移动,应该是多副本的原因,迭代的block在大磁盘机器上都已经存在,那边都已经存在了,所以balancer移动进程就退出了。

不能执行均衡器了,那只有减少副本数了。

修改hdfs的副本数,首先想到的是修改hdfs-site.xml中的dfs.replication参数,默认为3,开始时设置成了2,现在索性修改为1,然后重启datanode命令:sbin/hadoop-daemon.sh start datanode

但似乎没有起作用,数据量没有变化,按理说应该大量数据减少才对啊。这又是为什么呢?

首先 dfs.replication这个参数是个client参数,即node level参数。需要在每台datanode上设置。

一个文件,上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数,对已经上传了的文件也不会起作用。可以在上传文件的同时指定创建的副本数。

如果你只有3个datanode,但是你却指定副本数为4,是不会生效的,因为每个datanode上只能存放一个副本。

啊,原来是这样,那就看下现在HDFS的副本数,并把它们都修改执行下,是不是有相应的hadoop shell命令呢?

Hadoop Commands和FileSystem Shell

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/CommandsManual.html

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html

执行 hadoop fsck /  查看整个目录的备份数分布,输出结果如下:

        Default replication factor  2

        Average block replication 2.38

修改hdfs文件备份系数:hadoop dfs -setrep [-R] <path> 如果有-R将修改子目录文件的性质。

hadoop dfs -setrep -w 1 -R /user/hadoop/dir1 就是把目录下所有文件备份系数设置为1.

这个需要一些时间,感觉会扫描所有指定目录下的文件。

修改完已经存储的文件后,记得要修改以后放入的数据副本数,这个就要看client端了,如果client端有设置,一定要修改。

上面的都执行后如果还是不均衡,此时可以再执行hdfs的均衡器balancer。

个人感觉以上的只是出现问题时的一个解决方案,期望不要出现这样的问题,毕竟数据量大了操作会有很大的影响的。

我们应该对dfs.replication的数值做出很好的规划,尽量避免需要降低该数值的情况出现。

原创文章,作者:carmelaweatherly,如若转载,请注明出处:https://blog.ytso.com/196391.html

(0)
上一篇 2021年11月16日
下一篇 2021年11月16日

相关推荐

发表回复

登录后才能评论