GBase 8a数据库简单查询类内存配置方案

GBase 8a数据库简单查询类应用场景可以电信行业的话单查询业务举例。

针对该类型场景的内存评估,主要依赖于热数据的比例和数据量。热数据的总量即为内存需求量。

以某运营商的云话单为例,以月表方式存储6+1个月的历史数据:每天的数据量为600GB;一个月的总数据量为600GB/天*30天/月=18T,全数据生命周期内的总数据量为 600GB/天*30天/月*7个月=126T;

云话单查询主要以当月数据查询为主,可定义当月的话单数据即为热数据,假设话单查询的字段个数只占总字段个数的 1/3,则热数据的总量约为 18TB/3=6TB,即在最理想情况下 GBase 集群需要 6TB 的内存缓存全部热数据。GBase集群的列存储特性所具备的高压缩比、智能索引,以及配合高性能的磁盘IO,可以在减少对大内存的依赖的情况下,满足高性能的查询要求。

根据项目经验,内存缓存 50%左右的热数据即可满足云话单的查询性能要求。即 GBase 集群的总体内存需求为 6TB*50%=3TB,按照数据库服务器内存利用率为 60%~80%计算,推荐GBase 集群的总内存为 3TB/0.8=3.75TB;假设集群的节点个数为 15,则每 GBase 集群节点的内存配置为 3750GB/15=250GB。

注:如果服务器内存有限,且应用场景对性能要求不高,可以参考 2.1硬件配置建议中的内存参数配置,控制每个节点最大使用内存数量。

原创文章,作者:kirin,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/317631.html

(0)
上一篇 56分钟前
下一篇 51分钟前

相关推荐

发表回复

登录后才能评论