postgresql
-
解决sqoop从postgresql拉数据,报错TCP/IP连接的问题
问题： sqoop从postgresql拉数据，在执行到mapreduce时报错Connection refused. Check that the hostname and po…
-
sqoop读取postgresql数据库表格导入到hdfs中的实现
最近再学习spark streaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。 首先…
-
解决sqoop import 导入到hive后数据量变多的问题
使用sqoop import 命令从postgresql导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。 导入语句为： sqoop import –conn…
-
sqoop 实现将postgresql表导入hive表
使用sqoop导入数据至hive常用语句 直接导入hive表 sqoop import –connect jdbc:postgresql://ip/db_name –usern…
-
postgresql流复制原理以及流复制和逻辑复制的区别说明
流复制的原理： 物理复制也叫流复制，流复制的原理是主库把WAL发送给备库，备库接收WAL后，进行重放。 逻辑复制的原理： 逻辑复制也是基于WAL文件，在逻辑复制中把主库称为源端库，…
-
PostgreSQL 流复制异步转同步的操作
非常重要的synchronous_commit参数 流复制的同步方式，有主库配置文件postgresql.conf，中的synchronous_commit控制着。所以理解该参数的…
-
Postgresql 检查数据库主从复制进度的操作
如何查看主从复制的状态，且备库应用落后了多少字节 这些信息要在主库中查询 查看流复制的信息可以使用主库上的视图 select pid,state,client_addr,sync_…
-
PostgreSQL流复制参数max_wal_senders的用法说明
环境： PostgreSQL 9.2.4 主机:192.25.10.76 从机:192.25.10.71 做postgresql的流复制主从时，会遇到调整max_wal_senge…
-
在postgresql数据库中创建只读用户的操作
在pg数据库中创建只读用户可以采用如下方法。大体实现就是将特定schema的相关权限赋予只读用户。 –创建用户 CREATE USER readonly WITH ENCRYPT…
-
postgresql中wal_level的三个参数用法说明
wal_level中有三个主要的参数：minimal、archive和hot_standby 1、minimal是默认的值，它仅写入崩溃或者突发关机时所需要的信息（不建议使用）。 …