大数据
-
GaussDB(DWS)迁移-upsert支持
GaussDB(DWS)从8.1.1版本开始支持UPSERT功能,8.1.1版本之前建议使用如下的UDF实现UPSERT — upStr为拼接的update语句 — inStr…
-
GaussDB(DWS)迁移 – oracle兼容 — dayof
CREATE OR REPLACE FUNCTION public.dayof(pg_catalog.date) RETURNS integer LANGUAGE sql STAB…
-
GaussDB(DWS)迁移 – oracle兼容 — weekof
CREATE OR REPLACE FUNCTION public.weekof(pg_catalog.timestamptz) RETURNS integer LANGUAGE …
-
GaussDB(DWS)分布式计算的倾斜优化
数据倾斜问题是分布式架构的重要难题,它破坏了MPP架构中各个节点对等的要求,导致单节点(倾斜节点)所存储或者计算的数据量远大于其他节点,造成以下危害: 存储上的倾斜会严重限制系统容…
-
GaussDB(DWS)运维 — SQL操作 — 查找冗余索引
【简介】 索引是常见的查询性能优化手段,但索引本身也需要占用一定的磁盘空间,同时也会降低数据入库的性能。通过学习和了解GaussDB(DWS)的btree索引和cbtree的机制,…
-
GaussDB(DWS)常见操作的锁冲突矩阵
GaussDB(DWS)中表级锁的持锁单位是事物,语句触发持锁动作之后,会一直持有锁,一直到触发锁的语句所在的事物提交 GaussDB(DWS)中执行语句的方式默认是autocom…
-
GaussDB(DWS)运维 — 一键式锁等待和分布式死锁检测
锁是GaussDB(DWS)实现并发管理的关键要素,GaussDB(DWS)锁类别有表级锁、分区级锁(和表级锁一致)、事务锁、咨询锁等,当前业务最常用的是表级锁、分区级锁(和表级锁…
-
GaussDB(DWS)运维 — 常见问题分析 — 更新/删除报错
【报错信息】 并发更新(UPDATE/DELETE/MERGE)同一个表的时候,有时候会触发以下两种报错 ERROR: concurrent update under Strea…
-
GaussDB(DWS)迁移 -数据迁移 – 使用Spark的scala接口往GaussDB(DWS)导入数据失败分析
【问题场景】 某局点使用Spark的scala接口从hive往GaussDB(DWS)进行大批量数据导入的时候,必然出现下面的报错导致数据导入任务失败 导数脚本如下: scala&…
-
GaussDB(DWS)运维 — SQL操作 — 查找所有包含主键&唯一索引的表信息
SELECTn.nspname AS schemaname, –schema名称c1.relname AS tablename, — 表名c2.relnam…