大数据

最近再学习spark streaming做实时计算这方面内容，过程中需要从后台数据库导出数据到hdfs中，经过调研发现需要使用sqoop进行操作，本次操作环境是Linux下。 首先确保环境安装了Hadoop和sqoop，安装只需要下载 ，解…

使用sqoop import 命令从postgresql导入数据到hive中，发现数据行数变多了，但是任务没有跑错，非常奇怪。 导入语句为： sqoop import --connect jdbc:postgresql://*.*.*.*:5432/database_name --username name111…

使用sqoop导入数据至hive常用语句 直接导入hive表 sqoop import --connect jdbc:postgresql://ip/db_name --username user_name --table table_name --hive-import -m 5 内部执行实际分三部，1.将数据导入hdfs（可…

流复制的原理： 物理复制也叫流复制，流复制的原理是主库把WAL发送给备库，备库接收WAL后，进行重放。 逻辑复制的原理： 逻辑复制也是基于WAL文件，在逻辑复制中把主库称为源端库，备库称为目标端数据库，源端数据…

非常重要的synchronous_commit参数 流复制的同步方式，有主库配置文件postgresql.conf，中的synchronous_commit控制着。所以理解该参数的配置十分重要。 单实例环境 参数值 说明 优点 缺点 on 或 local 当事务提交…

如何查看主从复制的状态，且备库应用落后了多少字节 这些信息要在主库中查询 查看流复制的信息可以使用主库上的视图 select pid,state,client_addr,sync_priority,sync_state from pg_stat_replication; pg_stat_re…

环境： PostgreSQL 9.2.4 主机:192.25.10.76 从机:192.25.10.71 做postgresql的流复制主从时，会遇到调整max_wal_sengers这个参数，官方文档对这个参数做了一个简要的说明(9.2.4比早先版本多了几句话并做了一些微调…

在pg数据库中创建只读用户可以采用如下方法。大体实现就是将特定schema的相关权限赋予只读用户。 --创建用户 CREATE USER readonly WITH ENCRYPTED PASSWORD '123456'; --设置用户默认开启只读事务 ALTER USER read…

wal_level中有三个主要的参数：minimal、archive和hot_standby 1、minimal是默认的值，它仅写入崩溃或者突发关机时所需要的信息（不建议使用）。 2、archive是增加wal归档所需的日志（最常用）。 3、hot_standby是…

结束进程两种方式： SELECT pg_cancel_backend(PID) 取消后台操作，回滚未提交事物 (select); SELECT pg_terminate_backend(PID) 中断session，回滚未提交事物(select、update、delete、drop); SELECT * FROM pg_st…