云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

云端资源价格

预留实例:长期持有,批发路线,价格最便宜。

按需实例:即买即用,零售路线,价格最贵。

这两种资源,基于不同区域/价格的六家云厂商价格对比,连同原始数据文档我们已经打包成了一份电子文档,有兴趣的可以文末加小F获取。

可被抢占实例,中文世界一般叫竞价实例。不同云厂商有不同的名字。

AWS:EC2 Spot Instances

Google Cloud:Preemptible VMs

阿里云:竞价实例

Azure:LowPriority VMs

腾讯云:竞价实例

华为云:竞价计费型实例

作为云资源中的低成本战斗机,最低可达到按需实例价格的10%。超便宜!!

所以,这也是为什么《全球半导体行业上云格局一览和十个上云实践问题的过来人解答》里芯片设计公司eSilicon和Astera Labs的CEO强推:不用会死!!(有点夸张了。。)

可被抢占实例,即竞价实例有四个特点:

第一、 便宜是真便宜。

第二、 不是人人都能用好。

第三、 不是你想要啥就有,不是你想用的时候就能用。

第四、 或迟或早,最终一定会被抢走。

对云厂商来说,可以闲置资源变废为宝

对用户来说,有最低到一折的便宜资源可用,缺点不少,但有利必有弊。

AWS、阿里云、Azure、Google Cloud、华为云、腾讯云,六家云厂商都已经推出了各自的竞价实例。名字略有不同,基本原理都是类似的。从最早2009年被AWS推出市场,到现在已经超过十年了,而最新华为云的竞价实例推出时间还不满一年。

我们整理了一份:六家云厂商竞价实例《完全用户使用指南》

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

重点一:竞价实例的价格

六家云厂商的价格:三家固定,三家可变。

固定的都是按需计费模式价格的20%,可变的都能最高达到按需实例价格的10%。其中,腾讯云的情况有点特殊,现在执行的是当前阶段特殊策略,以后应该会变成可变价格

Azure的固定价格有点不同,对Linux提供80%的折扣,对Windows提供60%的折扣。

整体来说,竞价实例的价格大约在按需实例的三分之一左右。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

这里的折扣仅针对实例的vCPU和内存价格有折扣。其他资源(包括系统盘、数据盘、网络带宽)的价格与按需实例的价格保持一致,没有折扣。

单独说说可变价格。

大体上来说,每家云厂商都有既定的资源总量。

优先级第一的肯定是预留实例,用户已经提前付过钱了,可能是按月,也可以是按年,无论如何都是不能动的。

其次就是按需实例,这个上下浮动性就非常大,可能某个时间段大家用得很多,也可能正好没什么人在用。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

于是剩下的没有被使用的资源就被云厂商拿出来低价售卖(毕竟哪怕放着不开机也是在烧钱),什么时候按前面两种方式有用户买了,这些被低价卖的资源就会被云厂商收回去。

这些便宜的闲置资源怎么定价呢?

第一步:我们假设有一个起点,大家围着一个既定规模的闲置资源池,每个人提出各自的资源需求,出一个价。

第二步:
各个云厂商根据各自的价格系统定出一个市场价格。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

这个价格的制定机制基本是黑箱。我们姑且猜测是根据各自云厂商手头的闲置资源数量以及各个买家的出价,结合自身合理利润需求得出的一个结果吧。

来自以色列一家技术机构的Tsafrir等人研究了AWS的Spot价格,包括历史价格,得出的结论是亚马逊使用的是随机预设价格来定价。墨尔本大学的Rajkumar Buyya等人分析了AWS上的spot instances,发现价格模型符合混合高斯分布。

第三步:
根据这个市场价格一刀切,出价高于市场价格的买家就获得了你申请的资源,低于市场价格的就下次再来吧。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

这里有个重点:只要你申请到了资源,价格是以市场价格来计算的,跟出价无关。同一时间,所有买家都按同一个价格在使用资源。

关于市场价格,AWS以前是允许超过按需实例资源的价格的:像下图中间那根线是按需实例价格,彩色线条是波动的市场价格,波峰都远远超过按需实例价格。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

2017年底,AWS开始调整成竞价实例市场价格最多达到同样按需实例资源的价格

一般云厂商都会建议你的出价越高越好,因为这会使你拿到资源的可能性变高。但是,如果所有买家都按照这个策略出价,市场价格理论上会水涨船高。

重点二:竞价实例的回收

六家云厂商的资源回收的原因主要有两种:市场价格大于用户出价和库存不足

云厂商会动态检测当前的市场价格和库存,一旦库存不足,或者你的出价小于市场价格,你使用的资源就会被系统回收。当然,值得一提的是,各家云厂商在中断回收资源之前会有30秒-5分钟不等的警告时间

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

这,就非常尴尬了。

对于纯手动操作进行资源调度的人来说,这么短的时间基本没法完成任务关闭/转移/部署到新资源上这一系列动作。

如果没有正确地处理业务的关闭和退出,则有可能造成数据的丢失。这意味着如果不能正确地自动化管理,这些云厂商提供的提醒机制就不能发挥他们应有的作用。进而使得我们能运行在这些可抢占实例上的业务类型更加稀少。

顺便提醒一下:实例停止后,数据不会自动保存。

资源的回收顺序。

可变价格一般都是从出价最低的实例开始终止抢占式实例。如果多个抢占式实例的出价相同,则随机确定实例的终止顺序。

假设原始定价是5元。

如果5分钟后,市场价格提高到5.5元。

原来出价高于5元,但低于5.5元的人手上的资源就自动被回收了。

同时也会有新的出价高于5.5元的人开始使用资源。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

如果5分钟后,市场价格降低到4元。

原来的人都可以继续使用,新加进来的都是出价高于4元的人。

这种情况可能是因为闲置资源池整体变大了。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

Google有独特的想法,通常会抢占最近启动的实例,并且会避免单个客户抢占过多实例。乍一听有点难以接受,但从长远来看,这个策略有助于最大限度地减少在集群中丢失工作的情况。

不过,也只有Google规定了用户最大可用时间为24小时

阿里云则提供了用户至少1小时的保护期:即在创建后第一个小时内,不会因为市场供需关系而回收实例,这一小时内使用价格也是不变的

AWS在2015年开始提供Spot Block Instance。这种竞价实例有固定预留时间(1-6个小时中的任意时长),在预留时间内不会被AWS主动收回,但是其申请时候的价格仍然是不断变化的。

Spot Block Instance的价格是按需实例的55%到70%,低峰时期还能再打个5%的折扣到50%。比普通竞价实例要贵。

重点三:竞价实例的正确使用姿势

不像预留实例和按需实例一样直接,竞价实例的市场驱动机制在实施和理解角度比较复杂。

另外,整体竞价资源的供给和需求同时不确定,用户在使用的时候必须考虑不稳定的价格波动和实际有多少资源可用性。

所以针对竞价实例,需要调整一下我们的使用姿势:

1.混合使用竞价实例、按需实例和预留实例。

这其实跟混合云模式有相同的思路。《真假混合云?论混合云的三种打开方式

本地资源相当于预留实例,是固定的资源。而根据需求,弹性扩展到云的资源就包括了按需实例和竞价实例。竞价实例有价格优势,但其可被抢占性决定了不是什么时候都适用。

利用自动化和分析平台,混合使用三种实例可以在运行大量工作负载的同时,保证低成本和SLA。

2.避免在竞价实例上运行不能中断的任务,而运行对错误容忍度高和使用灵活的应用,比如大数据,容器化的工作任务,高性能计算HPC,无状态的web服务器,渲染、CI/CD和其他测试和开发工作负载。

3.把需要比较长时间的大型工作任务拆分成大量小的、异步的短时间工作任务,尽可能利用低成本的竞价资源来运行,减少被中断的可能性。

4. 充分利用竞价实例的价格浮动特性,在适当的时间购买可被抢占实例,降低计算成本,并在整体成本下降的前提下,提升业务在该时间周期内的吞吐量。比如在晚上或周末这种非高峰时段运行大型抢占式虚拟机集群。

5.支持断点续算的智能调度模式参考《CTO说 | 非容器化应用怎么玩多云?Kubernetes不管我们管啊》第4条。

6.合理使用云厂商提供的工具。AWS的Spot Instance Advisor 可以帮用户确定中断可能性最低的池,提供与按需费率相比可节省的成本信息。在选择实例时,用户可以权衡应用程序对中断的容错能力和自身的成本节省目标。中断率越低,Spot 实例的运行时间可能就越长。跨全区域和示例类型的平均中断频率为 <5%。中国区目前只有香港。

云资源中的低成本战斗机——竞价实例,AWS、阿里云等六家云厂商完全用户使用指南

另外,Google也提供了一个参考数据,从历史数据中观察到,每个项目每天的抢占率在 5% 至 15% 之间不等(取 7 天的平均值),根据时间和地区,偶尔会出现更高的情况。

原创文章,作者:奋斗,如若转载,请注明出处:https://blog.ytso.com/211830.html

(0)
上一篇 2021年12月14日
下一篇 2021年12月14日

相关推荐

发表回复

登录后才能评论