Hadoop内核调整

【vm.swappiness】

设置为0,指示内核不交换应用数据到磁盘。

如果磁盘正在执行其他I/O操作,将Hadoop守护进程的数据交换到磁盘可能导致操作超时从而有可能失败。对于HBase来说,由于HBase的Server必须保持与ZooKeeper通信,否则它们会被标记为失败。

【vm.overcommit_memory】

考虑java子任务分叉时,在exec前的瞬间所占的内存将使用两倍内存。将vm.overcommit_memory的值设置为1,并相应地调整vm.overcommit_ratio参数。

原创文章,作者:carmelaweatherly,如若转载,请注明出处:https://blog.ytso.com/193547.html

(0)
上一篇 2021年11月15日
下一篇 2021年11月15日

相关推荐

发表回复

登录后才能评论