对话天翼云江峰：“死磕”对象存储的用户成本

作者 | 王德清

出品 | 雷锋网产业组

随着互联网以及移动互联网的兴起，非结构化数据呈现指数级增长，存储容量成为了大多数生成和使用大量非结构化数据的用户和企业面临的首要挑战。

用户或者企业必须购买更多的存储基础设施，并将其堆叠在现有基础设施之上。这种方法在非结构化数据线性增长的情况下有效，但对于处理当今指数级增长的数据来说，既繁琐又低效。

而对象存储通过分布式系统，将节点部署在任何需要的地方，都可以边收集数据边执行分析，而不必通过网络发送所有原始的非结构化数据进行处理。这一高效而低成本的特性，使得对象存储迅速取代了存储区域网络(SAN)和网络连接存储(NAS)，成为了存储界的新网红。

实际上，早在1996年，美国卡内基梅隆大学就将对象存储作为一个研究项目提出来。随后，加州大学伯克利分校也有推出类似的项目。2002年，Filepool公司推出了基于内容可寻址技术的Centera系统，算是比较早期的对象存储系统。

2006年，当亚马逊推出AWS S3（Simple Storage Service）存储服务后，正式将对象存储作为一项云存储服务，引入云计算领域，从此开启了对象存储的黄金时代。

但在国内，对象存储则起步较晚，领头者也是凤毛麟角，作为云计算领域的国家队，天翼云于2013年走上了自主研发的道路，并在2015年实现了“跨区域复制”这一业内领先的能力。

此后，更是发挥了中国电信带宽优势，打造了一个强一致性的国家级存储网络，让用户可实现就近访问和读写数据，大幅提升用户体验，并且提高开发者的效率。并攻克“广域网环境下如何确保稳定性”的技术难点，降低了网络波动对存储系统的影响，提升服务稳定性。

就在2018年6月，天翼云和云上贵州已于6月底正式签署《基础设施协议》，这标志着自2018年2月28日中国内地的iCloud业务由云上贵州负责运营后，中国电信天翼云将和云上贵州共同为iCloud提供云存储服务，该笔签约是业内目前最大的云计算存储类订单。

契机之下，雷锋网与中国电信首席专家江峰进行了一次深度对话，还原天翼云打造“国家级存储网络”的历程。

从12年的路标看未来

2009年，中国电信正式启动“翼云计划” ，也就是天翼云的前身。

2012年8月，中国电信对外发布了云计算战略及解决方案，成为国内首家发力云计算的电信运营商。而彼时，天翼云对外提供的云服务还不是今天的OOS对象存储服务。

“2012年，我们从集团调到云计算公司的时候，大家其实还不知道什么是对象存储，只知道存储就是磁盘阵列软件系统。”

江峰对雷锋网回忆到，虽是这样说，站在2012年路标时的他也隐隐的感觉到，对象存储是未来的一个发展方向。

但就在一年前，中国电信集团已经为云计算公司集采了一批商用存储，而这批设备使用的是CSRP规范，虽然也是S3的一种，但实际上却是中国电信自己造的一稿规范，而基于这个规范开发的云产品上市之后，却发现CSRP规范没人用。

右二为江峰

而为了给用户一个好的体验，江峰团队决定将上层调度先规划好，底层引擎仍然使用各家的产品，能满足基本的可用要求即可。

然而在实践中发现，如果需要良好的性能，就要将它的产品拆开，要将上层的接口直接访问底层引擎上。

“厂商知道这样的性能好，但是他们不愿意暴露底层引擎接口。但厂家在引擎之上再封装一套接口给我，性能就不行了。”

摆在他们面前只有两条路了，要么维持现状继续下去，要么自主研发，完全做一套自己的存储引擎。

“那个时候我们花了很多的时间去纠结到底要不要自己做，还是拿一套开源的修改一下，因为自己做还是很难的一件事情。”

最终经过不断论证之后，天翼云存储团队决定了自己研发，而且还决定了不基于任何开源。

一行行代码敲下来，就在2014年，一款设计最大容量为256PB的OOS V4.0版本面世了。这是第一代分布式存储引擎。

“当时我们认为256PB这一容量上限，可以满足10年的需求。”江峰回忆到。

然而，就在OOS v4.0面世没多久，需求就已经超过了1000PB，而且要求在一个集群里搞定。面对这一情况，天翼云存储团队从头开始研发，将数据结构全部进行调整，对于数据容量上限，也不再去设立目标。

不久之后，OOS v5.0版本也投入使用，不仅仅做到了数据结构层面没有了容量上限的，并且还实现了全国范围内的异地冗余，虽然不是强一致性的，但也是国内首个可以实现异地冗余的对象存储产品。

瞄准一个特性“死磕”

“从我们团队这么多年的经验来说，对象存储需要瞄准一个特性一直做下去，这个特性就是：低成本。”江峰对雷锋网(公众号：雷锋网)说到。

为了低成本这个特性，江峰这个团队可谓是较劲脑汁。

在OOS V4.0开发之时，为了减少用户存储容量浪费，在保证数据稳定的前提下，他们为存储的数据提供动态冗余算法，会根据用户数据的具体情况，来决定是采用纠删码还是多副本更节省用户的存储空间。

通过动态冗余算法，天翼云可以一直将用户存储容量浪费减小到最低限度，既能保证数据的持久性还能为客户降低成本。

软件层面将成本降低之后，江峰又将目光瞄向了硬件层面。他发现，要想增加单磁盘容量，就要增加介质的磁密度。但受限于物理工艺，再要增加磁密度会变得越来越难了。而磁盘厂商在这样的情况下，研发了叠瓦式磁盘，将密度再次提高。

熟悉的朋友比较清楚，叠瓦式磁盘(SMR)增加了容量，降低了成本，但这种技术应用也带来了问题与挑战。磁道重叠后必须顺序写入，否则会对相邻磁道的数据造成损坏。正因为如此，目前业内常用的磁盘文件系统，例如EXT/XFS等，由于需要随机的修改数据从而无法运行在SMR磁盘上，这对SMR的应用带来了不小的困难。

因此，SMR技术一直都被业内大多数企业“嫌弃”并不使用，而这也正是希捷和西数这两家硬盘企业所头疼的地方，并没有相关的生态去支持他们这个产品，也就导致了这种磁盘并没有文件系统可以使用。但在那时，微软Azure等极个别国际云计算巨头却规模商用SMR磁盘。

这一切都被江峰看在眼里，因此在SMR磁盘上市的第一时间就联系相关服务器和磁盘供应商，开始了对SMR磁盘的测试。

经过测试后，他们发现虽然SMR磁盘的应用存在诸多技术挑战，但通过行业领先厂商的产品趋势可以看到未来硬盘的发展方向，SMR技术将成为主流，即使未来会有诸如HAMR等进一步提升磁密度的技术出现，只要写数据宽度大于读数据宽度，SMR技术就会一直存在。

因此天翼云OOS的研发团队从2015年起就坚定不移的对Host Managed SMR进行自主研发。在软件层做了大量的优化、消除，解决了技术提升带来的负面影响，突破了SMR的技术局限性，体现叠瓦式存储给单碟存储容量提升带来的优势，既能够提高单机存储容量的上限，又可以避免带来读写效率、读写性能上的瓶颈。

同时，结合OOS的特点，天翼云设计了可以兼容SMR磁盘的一套类似文件系统的Key-Value存储系统——KVDisker。结合对象存储的特性，KVDisker能够有效降低SMR技术引用带来的问题与风险，将技术与应用完美融合，天翼云开创了将SMR磁盘有效应用于云存储服务领域的先河，此举也将天翼云对象存储成本降低了20%以上。

值得一提的是，KVDisker也是天翼云存储团队完全自主研发，不基于任何已有文件系统(如EXT/XFS)及任何支持SMR的开源软件，实现直接读写磁盘的技术。

在2015年，规模使用了SMR硬盘之后，江峰又将目光瞄向了服务器上，结合中国电信的实际情况之后，江峰向中国电信集团提出，要定制可以容纳60个盘的服务器，而相比于其他厂商，大多厂商的服务器只能容纳20多个盘而已。

容纳60个磁盘的服务器，并只采用一路CPU，而通过这样的方式，天翼云存储团队再将采购成本降低了50%以上，在实际使用中，服务器的CPU利用率也只有20%。

“之前跟互联网公司相比，很多人都会觉得成本方面，对于天翼云来说是一个劣势，通过我们不断优化之后，我们在成本方面具备了与互联网公司同样的优势。”

而在这之后，如何将自己的优势放大，则也成为了江峰接下来考虑的重要方向。

如何做一个“国家级存储网络”

“2015年之后，我就在想中国电信的优势究竟是什么？中国电信的优势就是有网络，别人做分布式存储都是建一个个资源池，看起来是把资源池连起来了，但实际上这些资源池只是在管理上连接起来了，数据平面没有打通。”

在2016年一个知名的云计算大会上，江峰提出，要利用中国电信的带宽资源，将国内的所有资源池连接起来，做成一个国家级存储网络。

我们在前文中提到，在OOS v5.0时，中国电信就已经实现了异地冗余，但是弱一致性的，也就是说，你在北京写入数据之后，需要过一段时间才能备份到上海或者其他地方。

而现在，江峰所提出的国家级存储网络要实现的是强一致性的，用户可实现就近访问和读写数据，大幅提升用户体验，并且提高开发者的效率，不用再担心用户在哪，要把资源建在哪里。

“国家级存储网络”事实上就是把全国的云存储OOS资源池用高速网络互连起来，对外呈现为一个统一的云存储资源池，无论用户通过哪个物理资源池访问OOS，看到的都是同一个视图。

“国家级存储网络”的核心技术在于以下三点：

• 一是如何高效管理数量众多、规模巨大的资源池集群，这本身就是一个复杂的系统工程；

• 二是如何让每个用户从不同的资源池看到同一个视图，这不仅要求资源池之间具备“高速通道”，还要求OOS本身在扩展性、效率方面有精巧的设计；

• 三是如何在相隔数千公里的多个资源池之间，既保证数据的一致性，又提供极低的延迟。

就在天翼云将资源池跨广域网部署之后，他们发现广域网环境经常会发生网络抖动的情况，而这一情况不解决的话，服务稳定性很难保证。此外，江峰还发现，在广域网环境中，TCP网络都不可靠，当数据跨越千里传输的时候，你可能发出123，但经过光网长距离传输，对方则有概率收到的是321，还不报错。

后来经过研究发现，IPv4协议有一个弱点，校验位不足的情况下会出现概率性的错误，但彻底解决这个问题并不是一件易事。

对此，内部多次开会进行了沟通，最后，中国电信云计算分公司现任总经理胡志强，提出了一个要求：必须要自主研发。

最终，江峰带领团队通过不断努力，终于攻克了“广域网环境下如何确保稳定性”的技术难点，降低了网络波动对存储系统的影响，提升了服务的稳定性。同时，基于全局元数据环技术，实现了跨地域的分布式架构“虚拟存储网络”和“业务场景敏感的数据交付”模型。

从那时起，中国电信的存储网络OOS就拥有了资源统一，就近访问，多站点多活等功能，满足用户在强一致性和最终一致性间进行灵活选择。

不仅如此，天翼云存储团队在此基础之上针对部分政企客户推出了高级特性，不仅保证其数据的安全，同时也降低其存储成本。

就在这一网络建成之后，天翼云存储也获得了当时业内最大的一笔云存储订单：为云上贵州运营的iCloud提供底层云存储服务。

云上贵州项目组合影

而其所看重的，正是天翼云可以实现全国各地都可以实现就近服务，这也使得，iCloud访问同步速度更快，体验大幅提升。

独立之后，仍需苦练内功

天翼云存储网络上的数据早已经超过EB，在可用性上，已经实现了数十个月内每周的服务可用性超99.995%。而这也正是天翼云不断坚持自主研发所取得的成果。

中国电信刚刚发布的财报显示，2020年中国电信全网云计算收入达138亿元，不光在以市场份额驳斥了运营商做不好云计算的理论。同时，中国电信是全球运营商中，第一家真正实现核心的IT系统去IOE的运营商，通过自主研发构建了云网数智，全栈自研的体系，将技术能力转化为数字化平台推向市场。

此前，一纸任命书也正式官宣，中国电信要成立天翼云科技公司，这意味着天翼云将开始独立运作，摆脱国企的体制限制，将有更大的自主权，可以自主提升员工的薪酬水平，以灵活激励机制吸引人才。

而这必然会将天翼云的目前的劣势进一步填补，继续苦练“内功”，在此之下，天翼云未来可期。

。