海量数据奔涌,存储巨头希捷如何解题?

海量数据奔涌,存储巨头希捷如何解题?

谁能想到,硬朗、稳重了四十年的希捷也开始卖萌玩梗,紧跟潮流了。

对于李雪琴的“世界有尽头”,希捷表示“数据没有尽头”。

在没有尽头的数据里,希捷又出什么新动作?

近日,在“Let’s Rethink Data”希捷科技Datasphere峰会上,希捷发布了对象存储软件CORTX以及CORTX开源社区,以及Lyve Drive Rack,这一基于CORTX软件平台,开放灵活、可作为融合基础架构部署的参考架构。

当硬汉变得柔情,希捷可能比你想象的更懂企业所苦所需。

应数据之景

在了解希捷的最新产品之前,我们不妨回顾下如今的数据现状。

其一,数据在以一种不可阻挡的势头增长。

IDC预测,未来两年企业数据将以每年42.2%的速度增长。到2025年,全球数据圈将增至175ZB(1ZB约为1万亿GB),而中国预计将以48.6ZB的数据量成为全球最大数据圈。

其二,大部分数据并未得被企业消化吸收。

IDC统计,在可用的企业数据中,仅32%被投入使用,剩余的68%并未得到利用。与此同时,在创建的175ZB中,仅有17ZB得以被存储,剩余90%的数据未得到存储。

人人都知数据是不可或缺的生产要素,但如何用这要素做出一桌好菜,百业心心念念,却未有完美正解。有效地获取、存储、分析以及变现数据,一直被上下求索。

微观来看,眼下最要紧的不外乎两点:

一则,面对物联网、人工智能、5G带来的海量数据,企业对超大规模数据存储与治理的需求与日俱增;

二则,这些数据中,20%为结构化数据,80%为非结构化数据。视频、音频、图片等非结构数据的占比大幅提升,成为数据治理之踵。

数据成本和价值成为风暴的核心,数据管理、数据运营成为破题的关键。

IDC调研显示,只有10%的企业全面实施了数据运营,但事实证明,数据运营结合其它数据管理解决方案,能够显著改善业务效果,包括提高客户忠诚度、收入、利润、节约成本以及其它许多裨益。

数据的存储和运营可以往何处行进?存储巨头希捷给出了答案。

解数据之怠

BAT、谷歌、Facebook等互联网巨头是海量数据的最早发源地之一,也是最早对海量数据存储产生需求、从中获得商业回报之流。

高居行业头部,这类公司财力、人力和技术实力俱佳。本身就是软件公司,拥有独立的数据算法与架构优化工程师团队,可以通过系统软件调优,快速地采用大容量硬盘,享受到数据中心TCO降低的益处。但对大多数中小企业和传统企业来讲,他们既没有足够的资金,也没有精力和技术。

CORTX正是基于这样的背景,应运而生。

CORTX有哪些本领?

存储量是最基本的需求,CORTX尤为擅长大规模数据存储。

CORTX是对象存储平台,这种存储方式主要是解决海量图片、文档、音视频等非结构数据的存储。

但这并不意味着CORTX受限于硬盘,混用不同容量点硬盘同时,CORTX的性能和兼容性并不为所累。

换言之,CORTX软件不仅可以使用不同代数、不同结构、甚至不同容量点实现利旧的最大化,还能针对用户的硬件进行定制化配置。

要知道,对于小容量硬盘的随机读写等性能需求,在对象存储使用环境中并不利于解决I/O模式,但百万行代码的CORTX,脱胎于全新的设计理念,可方便地集成其他第三方组件。

成本是最关心的诉求,CORTX增大容量、增长寿命,降低总成本。

公有云超大规模存储基础架构依靠大容量设备的成本效率来降低存储成本,降低成本的途径之一,就是通过新技术增加硬盘容量。

希捷使用热辅助磁记录HAMR技术——通过在磁记录过程中使用激光加热来降低介质的矫顽力,借助HAMR技术提高单碟存储密度,进而降低总体拥有成本。

通过使用CORTX,结合高密度存储硬件,对比使用传统的Ceph,在11个9的可用性的前提下,通过CORTX每TB可以降低一半的造价。

除此之外,HAMR能够增加可用区域的数据存储量(磁密度),让硬盘产品长久不衰。希捷官方资料显示,HAMR的年写入量已经达到3.2PB,达到普通企业级CMR 硬盘写入量500TB/年的6倍以上。

企业对存储快速、简单、高效、安全的期待,CORTX一个不落。

怎么做到更快?CORTX平台支持下,数据是可以直接写入磁盘的,从而跳过了繁琐而复杂的文件系统,直接访问和解锁每个驱动器。

如何扩展?CORTX元数据是通过键值的形式来管理,可以非常方便地进行横向扩展。

另外,针对人工智能和机器学习等数据主流应用领域,CORTX有针对性地进行调优,通过希捷内置的内存介质,用户可直接在CORTX上对数据进行标注,并实时、高效检索。

多副本+纠删码以及监控是CORTX保护数据的阀门。

CORTX的多副本,简单易用,可靠性极高,而多层纠删码,可在更大规模数据存储的场景下实现数据的高可用性。在对象存储实际生产环境中,对于热数据会使用多副本策略来冗余,冷数据则使用纠删码。

而且,希捷的自动化监控和监控管理也能加固数据安全。

Lyve Drive Rack作为一个开放、灵活的融合存储基础架构,可为用户提供成熟的参考架构,用于部署CORTX并构建自己的大容量私有云。也可以根据用户做定制化的配置,针对企业实际应用中对随机读写性能以及小块文件IO优化上进行个性化调优。

Lyve Drive Rack集成的芯片,对纠删码配置内存做了优化,节约了内存消耗带来的成本。目前Lyve Drive Rack的机箱容量由1.34PB起。

如果说以上是CORTX客观上的解题实力,那么开源就是希捷主观上的解题战略。

前文所言,传统企业没有优化数据中心之能,希捷重磅推出的CORTX软件目的并非盈利,而是希望通过其软件、兼容、开源之利,让大容量硬盘不再只是巨头的囊中物,降低企业成本,让其不再囿于反复权衡数据成本和价值。

CORTX所有的功能和路线图都由开源社区驱动,用户可从GitHub直接下载,并进行协作开发。

而且,CORTX全段开源,用户可以方便地添加自己所需特性,另外,CORTX和所有主流公有云厂家所使用的对象存储软件完全兼容。

不捆绑用户是存储巨头希捷特有的大气与胸径,CORTX软件并非和希捷硬件绑定,客户可以随意选择硬件,免于供应商锁定之忧。

事实上,在CORTX产品发布前,已经不乏尝鲜者,纷纷给出五星好评。

法国原子能和提点能源委员会(CEA)测试CORTX开发版本多年,对CORTX的使用体验颇有感触:对于超大规模数据存储,高效且灵活,可与存储工具和不同类型的存储接口配合。CORTX和CORTX社区也俘获了英特尔和WekaIO等一众巨头的芳心。

其实,对于开源生态,希捷并非盲目推陈出新,长期战略是希捷的初衷,其内部对于CORTX已经有五年规划,生态内伙伴可放心进入希捷的开源怀抱。

幕后英雄

自1979年成立,如今四十一周岁的希捷已是全球最大的硬盘、磁盘和读写磁头制造商,产品覆盖全球几千个城市,为数十亿人提供便捷数据服务。

40多年征途中,性能和容量是希捷不变的目标,通过HAMR以及MACH.2技术创新不断打破密度、容量和性能的边界,通过CORTX和数据存储系统实现海量数据硬盘普惠,降低企业成本。

数字化转型时代,市场需要奋勇向前的企业,也需要为企业降本增效,解除后顾之忧的后勤主管。

指数增长的数据洪流面前,需要世界顶尖的存储厂商提供容量更大,性能更强,稳定性、安全性更好的存储产品去积极应对数据挑战。

时代选择了希捷,希捷也在无形中成就了时代。 雷锋网(公众号:雷锋网)雷锋网雷锋网

原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/81903.html

(0)
上一篇 2021年8月12日 13:00
下一篇 2021年8月12日 13:10

相关推荐

发表回复

登录后才能评论