大数据
-
GaussDB（DWS）架构知识整理
1、GaussDB 多：超大集群：Shared-Nothing架构+独创的大规模集群通讯技术，最大支持1024节点，支持在线扩容。 快： 并行计算架构：充分利用集群中所有资源，提供极致分析性能，且随着集群规模扩展性能线性增长。 行…
-
GaussDB(DWS)如何查看作业运行信息
用户反馈，出现连接数告警，作业并发数高，超过资源池限制，与实际配置不符。经过了解，用户使用pgxc_stat_activity视图进行作业并发数判断。 该视图显示用户查询相关信息，是以连接线程为基础来进行统计的，因而使…
-
重新挂载Cgroup(解决GaussDB(DWS)创建资源池失败问题)
现有局点遇到，无法创建资源池的问题，报错Cgroup加载失败 进入集群后，观察gs_cgroup的状态，通过gs_cgroup -P观察gs_cgroup的状态，如下所示： 根因在于：欧拉系统存在一定问题，导致操作系统内核cgroup功能会有…
-
GaussDB的相关知识汇总
1、逻辑集群 物理集群： 用户自己创建的集群，用户在创建表前必须先创建逻辑集群。 逻辑集群： 调用gs_lcctl工具来创建或使用FI界面逻辑集群功能模块创建。 弹性逻辑集群： 逻辑集群之外的DN自动生成，不需要用户手…
-
GaussDB(DWS)性能调优
最初，华为的数据库公布出来的型号系列有三款，分别是 100、200 和 300 ，统一的命名都是 GaussDB 。 GaussDB 100 ，以 OLTP 为方向，最初和招商银行联合研发，然后推广，在 2020年6月，将会开源单机版本； GaussDB…
-
GaussDB(DWS)性能调优：函数下推
1.前言 DWS作为MPP架构的数仓产品，其性能优势主要在分布式计算上。默认情况下，DWS为了保证结果的正确性，自定义函数默认属性是不下推的，这会导致计算不下推，从而导致比较验证的性能问题。本文主要描述下函数在…
-
GaussDB(DWS)性能调优：性能问题闭环总结（一）——关联慢
主要从四个方面来分析， 一、关联慢 1、关联倾斜优化 业务问题 如下图所示，SQL执行性能瓶颈在于关联（发生数据倾斜），导致执行时间达到16min（该案例并非去HANA过程中发生的，而是从别处拿来讲解的案例） 分析思…
-
GaussDB(DWS)性能调优：性能问题闭环总结（二）——表扫描慢
上一篇中已经介绍了关联慢的部分，本篇重点介绍表扫描慢这一部分 二、表扫描慢 1、因数据倾斜导致表扫描慢情况下修改分布列 业务问题 该案例并非业务问题，仅讲解使用 分析思路 众所周知，在数据仓库类型的数据库中…
-
GaussDB(DWS)性能调优：性能问题闭环总结（三）——聚合慢 + SQL未向量化执行
本篇重点介绍剩下的两部分：聚合慢+SQL未向量化执行。 三、聚合慢 1、聚合倾斜情况下开启聚合重分布增强 业务问题 SQL语句执行慢，查看语句执行计划，发现性能瓶颈位于聚合处 分析思路 具体案例待补充 2、调整聚合…
-
GaussDB(DWS)性能调优：窗口函数聚合慢分析及提前聚合改进案例
1、问题描述 SQL语句存在窗口函数对数据进行聚合，出现聚合慢成为瓶颈的现象。 2、原始SQL explain performance WITH TMP AS ( SELECT PERIOD_ID ,TARGET AS LGST_CYCLE_GOAL ,ATTAIN_RATE_GOAL AS LGST_CYCLE_ATTA…
