大数据
-
GaussDB(DWS)运维 -- 索引合理性审视
1. 冗余索引 参见《GaussDB(DWS)运维 -- SQL操作 -- 查找冗余索引》。根据提示对冗余索引做对应的处理 2. 未访问索引 索引热度查询，如果idxscan_num=0，表示索引没有被访问过；如果is_colstore= true，表是索引对…
-
GaussDB(DWS)性能调优：大宽表关联MERGE性能优化
【前言】 本优化针对的场景需满足以下约束 MERGE语句中因为update比较很大，导致的MERGE操作在整体操作中的耗时占比较大 MERGE目标表不存在并发更新操作，更新操作包括MERGE、UPDATE、INSERT、DELETE、TRUNCATE、EX…
-
GaussDB(DWS)性能调优：不等值关联优化-2
核心逻辑：不等值关联转等值关联 使用场景：本案例适合满足以下条件的场景 大表A不等值关联小表B B的等值关联字段为主键 1.【原始语句】 SELECT T.CREATE_INVOICE_USER, T.PERIOD_ID, T.AP_INVOICE_ID, T.AP_INVOIC…
-
GaussDB(DWS)性能调优：不等值关联优化-1
核心逻辑：不等值关联转等值关联 使用场景：本案例适合满足以下条件的场景 大表A不等值关联小表B 表A和表B满足关联条件的结果集较小，即大表A之后很少一部分数据才满足关联条件 1.【原始语句】 INSERT INTO dmcon.d…
-
GaussDB(DWS)性能调优：row_number()的PARTITION BY列倾斜场景的性能优化
【背景】 如下SQL性能慢 SELECT T.ORDER_LINE_ID, T.ERP_ORDER_LINE_ID, T.DELIVERY_LINE_ID, T.SHIP_BATCH, T.PL_NO, T.ASD, T.ATA, T.RN, 'N' AS DEL_FLAG, CURRENT_TIMESTAMP(0) DW_LAST_UPDATE_DATE, T.LAST_UP…
-
Gaussdb（dw）【防过载检查项】
1. GUC参数检查 目的：针对不同版本建议设定不同的参数值，当前先检查出来，后续diagnosis会给出建议值 https://bbs.huaweicloud.com/blogs/423750 1. 2. 大表检查 目的：识别大表，建议客户整改，避免磁盘过载 8.1…
-
GaussDB(DWS)性能调优：NOT IN转NOT EXISTS的等价条件解析
1. NOT IN 执行性能差的原因 默认配置下NOT IN必然后NestLoop的执行方式，执行方式比较低效 DROP TABLE t1; DROP TABLE t2; CREATE TABLE t1(c1 int, c2 int); CREATE TABLE t2(c1 int, c2 int); INSERT INTO t1 VA…
-
GaussDB(DWS)性能调优：列存表scan性能优化
1.问题背景 某局点出现如下业务场景：从存量清单表中，根据条码，合同号等条件，查询明细数据，表总数据量有3亿。一次业务请求包含10个并发的查询语句，需要1秒内返回结果集。但是多次优化之后并发性能依旧长达4s左…
-
GaussDB(DWS)运维 -- 可视化权限视图
DWS有比较完善的权限管理体系，但是权限信息一般存储在各个对象系统表的acl字段，这些字段可读性比较差，本文通过解析系统表提供一个易读的对象权限视图 CREATE OR REPLACE VIEW public.dfm_object_acl AS WITH REC…
-
GaussDB(DWS)性能调优系列基础篇一：万物之始analyze统计信息
1. 前言 适用版本：【8.1.1及以上】 本文简单介绍一下什么是统计信息、统计信息记录了什么、为什么要收集统计信息、怎么收集统计信息以及什么时候收集统计信息。 2. WHY：为什么需要统计信息 2.1 query执行流程 下…
