过去 10 年,随着互联网技术的快速发展,数据库呈现井喷式发展,出现了各式各样的产品,如文件存储数据库、列存储数据库、NewSQL 数据库。之所有如此,归结于数据量不断快速膨胀,传统数据库在大数据上的处理性能不能满足需求等。企业和开发者趋于去针对不同应用类型开发不同的数据库,来满足对特定数据处理的需求。
阿里巴巴在多种场景下同样有不同的数据存储技术实践,比如:
海量数据场景下的 OLAP 列式数据库 —— HiStore
HiStore 是一款基于独特的知识网格技术的列式数据库,定位于海量数据高压缩比列式存储,是低存储成本,低维护成本,海量数据 OLAP 存储引擎;有效的解决了海量数据存储的成本问题,以及在百亿数据场景下支持实时高效的多维度自由组合的检索。适用场景:
日志/事件管理系统:调用链路日志跟踪,消息轨迹分析,系统/网络安全审计记录;
通信行业:话单分析,用户行为分析等;
大数据量的分析应用:网页/在线分析,移动分析,客户行为分析,营销和广告数据;
数据仓库/数据集市:实时展示统计分析后数据,便于用户根据统计结果做决策;
对数据存储成本敏感,查询有实时性要求的场景应考虑HiStore;
物联网:保存大量物理节点的采集上报,状态等信息,用于后期统计处理;
历史评价数据,历史订单数据等。
高性能时间序列数据库 —— HiTSDB
HiTSDB 是阿里自主研发的面向物联网及相关领域的高性能时间序列数据库产品,支持每秒1000万时序数据点写入;具备PB级别的数据存储能力,提供高效压缩算法,整体存储成本降低90%;提供时序数据插值计算,降精度计算,时间纬度聚合计算,空间纬度聚合计算的能力。主要解决以下问题。
大规模的物联网设备的时序数据高并发写入;
低成本的存储;
灵活高效的数据分析能力。
在线海量数据处理分布式数据库 —— Lindorm
Lindorm 是新一代面向在线海量数据处理的分布式数据库,目前公布的资料不多。在 10 月 11 日- 14 日杭州云栖大会的“互联网新型数据库专场”上,阿里将公布 Lindorm 更多技术详情。届时,阿里的技术专家将通过分享这些多种场景下的数据存储技术实践,帮助企业更好地理解各种数据存储技术的特点,针对自己的业务发展对数据存储技术进行选择和组合。
原创文章,作者:ItWorker,如若转载,请注明出处:https://blog.ytso.com/112666.html