【总结】hadoop-2.6.0-cdh5.9.0版本中Capacity Scheduler特点总结

特点:

1、分层队列:支持队列分层能够保证一个组织的子队列能够在允许其他队列使用资源之前共享资源,提供更多控制和预测性

2、容量保证:分配给队列一小部分容量,一定意义上说,这部分容量由队列掌控。提交到队列的所有应用程序将可以访问分配给队列的容量。 管理员可以为分配给每个队列的容量配置软限制和可选的硬限制。

3、安全保证:每个队列有严格的访问控制列表,访问控制列表控制用户能够提交应用一个独立的队列中。同时,安全保证用户不能查看或修改其他用户提交的应用,支持每个队列和系统管理员角色。

4、弹性:空闲资源可以分配到任何超出容量的队列。如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一旦该队列有新的应用程序提交,则其他队列释放的资源会归还给该队列

5、多租户:提供一套限制,防止当个应用、用户、队列垄断一个队列或者集群的资源。防止集群不堪重负

6、可操作性:

支持运行时修改配置,在运行时修改队列的定义和属性,比如容量和访问控制列表等。管理员以安全的方式尽量减少对用户的干扰。

管理员可以在运行时停止队列,保证已存在的应用运行完成,不允许行的应用提交到队列中,如果一个队列处于STOPPED状态,新应用不能够提交到队列或该队列的子队列中。现有应用继续执行直至完成,这样能够以优雅的方式将队列中的应用清空。管理员可以重启停止的队列

7、基于资源的调度:支持资源密集型应用程序,应用可以选择性指定比默认更高的资源。目前支持memory作为资源需求

原创文章,作者:Maggie-Hunter,如若转载,请注明出处:https://blog.ytso.com/194688.html

(0)
上一篇 2021年11月16日
下一篇 2021年11月16日

相关推荐

发表回复

登录后才能评论