手动弹性,顾名思义,客户需要手动设置弹性资源的扩容和缩容。具体来说,公司的数据中台团队在每天的凌晨12点到6点执行ETL,完成大数据量的离线导入,ETL负载存在两个阶跃式的增长。在手动弹性的帮助下,DWS在12点时会定时准备好弹性VW 1以消费第一阶段的负载增长,而在凌晨4点又由于负载再次增加,仍会定时准备弹性VW 2来满足第二阶段的负载突发。数据导入大约持续到6点,DWS会定时回收2个手动弹性VW。在此过程中,客户只需要额外为零点到6点这段时间额外付费,无需要对主VW进行资源超配,降低成本。
手动弹性不仅可以应对周期性负载突发情况,而且也可以扩展计算资源以实现计算加速。例如,在周期性跑批作业的场景下,固定资源池也可以胜任,但是作业整体完成时间会变长。手动弹性提供额外的计算资源,近线性地加速作业完成时间。
在集群列表中,单击集群名称,进入“集群详情”页面,点击“添加增删计划”并设置合理的弹性计划。如图6所示,我们需要设置计划类型和集群名称。我们提供一次性增删计划和周期性增删计划两种方式,其中一次性增删计划,创建完成时间和开始删除时间不是必选项(如果未设置,则立刻创建,删除需要手动删除)。在周期性增删计划中,创建完成时间和删除时间必须设置,支持设置每周或者每月的弹性计划,也支持多个时间段的弹性计划。设置完成后,DWS管理面会按照预期设置的时间进行弹性VW的创建和删除。
原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/316836.html