GaussDB DW 国网常见问题

1. CDM作业超时
–总结常见的超时现象和处理方法
1）参数配置

配置连接，高级属性

5分钟超时报错连接属性配置
2）truncate等锁超时

https://blog.csdn.net/turbo_zone/article/details/84036511

CDM作业入库的时候报了违反唯一约束truncate掉，重新抽取
3）后台压力

后台压力报错杀掉执行时间很长且占用io的sql
4）hive侧配置

MetaStore的内存配置的小，后台不断在FullGC
Hive: MetaStore

调整前：-Xms1024M -Xmx4069M -XX:NewSize=512M -XX:MaxNewSize=609M
调整后：-Xms4096M -Xmx8192M -XX:NewSize=2048M -XX:MaxNewSize=2048M

2. 磁盘空间使用率高，定位到大表
–总结整理处理方法
–数据倾斜
1）查看磁盘使用率

超过90%   pg_namespace    pg_class  pg_database

84%
2）sql语句查看全表倾斜
SELECT * FROM pgxc_get_table_skewness Where totalsize > 100*1024*1024 and skewratio > 0.05 ORDER BY totalsize DESC;

SELECT * FROM pgxc_get_table_skewness ORDER BY totalsize DESC
3）查看单表倾斜
–方法一：用管理员用户连接集群，执行以下SQL语句：
select table_skewness(‘schemaname.tablename’);
–方法二：用管理员用户连接集群，执行以下SQL语句：
select table_distribution(‘schemaname’,’tablename’);                ？

SELECT a.count,b.node_name FROM (SELECT count(*) AS count,xc_node_id FROM table_name GROUP BY xc_node_id) a, pgxc_node b WHERE a.xc_node_id=b.node_id ORDER BY a.count desc;

导入新表
3. 主备切换
–定位主备切换的原因和应急方法

故障

cm_ctl start -n 2 -D  /srv/BigData/mppdb/data2/master2

cm_ctl stop -n 2 -D  /srv/BigData/mppdb/data2/master2   故障

恢复

cm_ctl start -n 2 -D  /srv/BigData/mppdb/data2/master2    故障

top   看时间

2020-11-08 02:38:52 看主备倒换时间

4. DWS页面odbc/jdbc驱动无法下载
–如何正确配置hosts？
–其他情况
5. 账户被锁
–应急方法
https://support.huaweicloud.com/trouble-dws/dws_09_0030.html
–被锁的原因：查看审计日志
select * from pg_query_audit(‘2020-11-17 8:00:00′,’2020-11-17 10:00:00′) where type =’login_failed’;
6. 审计日志
DWS页面上设置：
https://support.huaweicloud.com/mgtg-dws/dws_01_0075.html
https://support.huaweicloud.com/mgtg-dws/dws_01_0142.html
–pgxc_query_audit  ：查看所有CN节点审计日志。
–开关
audit_enabled（总开关）
audit_system_object（默认12295，不审计表，12303可以审计表）
audit_resource_policy（on表示空间优先，国网cn日志目录太小，建议空间优先）
audit_space_limit  一般1g