技术专区
-
GaussDB(DWS)网络调度与隔离管控能力
一、常见的调度算法 QoS（Quality of Service）即服务质量，是一种调度控制机制，是网络设计和运维的重要技术。在带宽资源有限情况下，针对不同用户/业务采用不同的调度策略，为任务提供端到端的服务质量保证。QoS…
-
GaussDB(DWS)性能调优：HashAgg策略优化
【问题背景】 GROUP BY是业务中常见的SQL操作，DWS使用HashAgg算子承载GROUP BY计算逻辑。在不同场景下具体实现行为会有一些差别，主要有以下三种形式。 以如下表定义为例 CREATE TABLE t1(a int, b int, c int) DI…
-
GaussDB DW 技术干货汇总
弹性资源池 DWS存算分离版本（DWS 3.0）存在两个核心逻辑概念：固定资源池和弹性资源池。 固定资源池：根据业务需要，部署多个固定VW（Virtual Warehouse），又称主VW。不同业务绑定不同的VW，并提供业务间的负载隔…
-
TopSQL注意事项
TopSQL不记录白名单和内部语句，但可正常记录超户下发的语句信息，可记录定时任务。 query和perf级别的topsql监控主要差异点在于query_plan字段，相比于query级别的算子信息，perf级别的query_plan字段增加算子的实…
-
GaussDB DW【技术干货】 手动弹性
手动弹性，顾名思义，客户需要手动设置弹性资源的扩容和缩容。具体来说，公司的数据中台团队在每天的凌晨12点到6点执行ETL，完成大数据量的离线导入，ETL负载存在两个阶跃式的增长。在手动弹性的帮助下，DWS在12点…
-
GaussDB DW 手动弹性VW的使用方式
客户提交的作业具体到哪个VW执行，依赖于创建时的配置。具体来说： 如果在创建时勾选了绑定具体的用户，则作业将会以用户绑定方式路由。 如果在创建时勾选了绑定主逻辑集群，我们将这种配置创建出来的弹性VW称之为…
-
GaussDB DW DDL设置
在凌晨12点到6点，这两个用户将会提交大量的数据导入负载，如果完全在主VW执行，将会花费大量时间，影响其他业务执行。数据中台团队可以在“集群详情”页面中执行“添加增删计划”，设置周期性增删计划。周期类型选择每…
-
GaussDB DW算子级TopSQL监控
在SQL执行过程中，有些用户更希望能对算子执行进度进行监控，对于长时间运行的SQL，能够看出哪个算子执行时间长，通过算子执行时间和已处理行数等信息，确定是否需要查杀SQL，此时需要将RESOURCE_TRACK_LEVEL参数设…
-
GaussDB DW路由策略
我们支持的路由策略有三种： 路由策略none：主VW作业不会卸载到弹性VW上； 路由策略dedicated：主VW作业可以卸载专用弹性VW； 路由策略elastic：主VW作业可以卸载到专用和公用弹性VW。 我们仍然以数据中台团队为例…
-
【安装】XX局点安装集群时，安装日志提示超时报错
某局点安装集群初始化集群报错，且重复多次卸载安装均出现问题 查看gs_install日志可以看到是pssh远程分发执行LocalQuery脚本报错。 可以看到对应的实例在节点上已经被拉起 且节点上拉起实例的LocalQuery进程已经结…
