PostgreSQL备份与恢复（第二章）

1、数据库处于归档模式
​
2、备份：
a）产生压缩的tar包，-Ft参数指定：
pg_basebackup -D bk1 -Ft -z -P此备份花的时间比较长，但是节省空间。
b）产生跟源文件一样的格式，即原样格式，-Fp参数指定：
pg_basebackup -D bk2 -Fp -P此备份方式很快，但是不节省空间。
​
3、恢复：
a）关闭数据库或者kill服务器主进程模拟主机断电
pg_ctl stop
b）删除data目录下所有的文件，（如果是删除这个data目录，则下一次创建该目录时要求该目录的权限是750，否则启动数据库时会报错）：
rm –rf $PGDATA/*
c）使用tar包进行恢复：
tar -zvxf bk1/base.tar.gz -C /usr/local/pg12.2/data
tar -zvxf bk1/pw_wal.tar.gz -C /usr/local/pg12.2/data/pg_wal 
d）或者使用原样文件备份进行恢复：
cp –rf bk2/* $PGDATA
e）在postgres.conf文件中添加如下2行：
restore_command = 'cp /home/postgres/arch/%f %p' recovery_target_timeline = 'latest'
f）在$PGDATA目录下touch一个空文件，告诉pg需要做recovery：touch recovery.signal
g）启动数据库：pg_ctl start
h）登录数据库，执行函数(否则pg数据库处于只读状态)：
select pg_wal_replay_resume();
g）验证数据的完整性：
testdb=# select count(*) from t1; 
count 524288

默认情况下，恢复将会一直恢复到WAL日志的末尾。在recovery_target、recovery_target_lsn、recovery_target_name、recovery_target_time和recovery_target_xid中，最多只能使用一个，如果在配置文件中使用了多个，将使用最后一个。
recovery_target = 'immediate'：这个参数指定恢复应该在达到一个一致状态后尽快结束，即尽早结束。在从一个在线备份中恢复时，这意味着备份结束的那个点。
recovery_target_name (string)：指定（pg_create_restore_point()所创建）的已命名的恢复点，进行恢复。
recovery_target_time (timestamp)：这个参数指定按时间戳恢复。
recovery_target_xid (string)：这个参数指定按事务ID进行恢复。
recovery_target_lsn (pg_lsn)：这个参数指定按继续进行的预写日志位置的LSN进行恢复。
recovery_target_inclusive (boolean)：指定我们是否仅在指定的恢复目标之后停止（true），
或者仅在恢复目标之前停止（false）。适用于recovery_target_lsn、recovery_target_time或者recovery_target_xid被指定的情况。这个设置分别控制事务是否有准确的目标WAL位置(LAN)、提交时间或事务ID将被包括在该恢复中。默认值为true。
recovery_target_timeline(string)：指定恢复到一个特定的时间线中。默认值是沿着基础备份建立时的当前时间线恢复。将这个参数设置为latest会恢复到该归档中能找到的最新的时间线。
recovery_target_action (enum)：指定在达到恢复目标时服务器应该立刻采取的动作，包括pause（暂停）、promote（接受连接）、shutdown（停止服务器），其中pause为默认动作。

1）命名的还原点
recovery_target_name = 'first-pt'
指pg_create_restore_point(text)创建的还原点，如果数据库中有多个重复命名的还原点，遇到第一个则停止。因为它不需要abort或chepoint判断结束点，不需要判断参数recovery_target_inclusive的。
2）目标时间还原点
recovery_target_time = '2020-02-27 06:53:42'
指WAL中记录recordXtime(xl_xact_commit_compact->xact_time)；如果在同一个时间点有多个事务回滚或提交：
其值为false则恢复到这个时间点第一个回滚或提交的事务（含）其值为true则恢复到这个时间点最后一个回滚或提交的事务（含）如果时间点上刚好只有1个事务回滚或提交：那么其值为true和false一样, 恢复将处理到这个事务包含的wal信息（含）如果时间点没有匹配的事务提交或回滚信息：那么其值true和false一样, 恢复将处理到这个时间后的下一个事务回滚或提交的wal信息
3）ID事务还原点
recovery_target_xid，指WalRecord->xl_xid，可以配合recovery_target_inclusive使用，但是recovery_target_inclusive只影响日志的输出，并不影响恢复进程截至点的选择，截止于这个xid的wal位置。也就是说无论如何都包含了这个事务的wal信息的recovery。
这里需要特别注意xid的信息体现在结束时，而不是分配xid时。所以恢复到xid=100提交回滚点，可能xid=102已经先提交了。那么包含xid=102的wal信息会被recovery。
结论：PITR技术对于7*24小时支撑是至关重要的，但是如果数据库非常小，增大pg_dump备份的频率可能更方便，但对于大数据库就需要了。

先以pg_basebackup的方法完成一个基础备份，参考指令如下：
mkdir /home/postgres/bk/`date +%F`
pg_basebackup -F t –D /home/postgres/bk/`date +%F`

如果要压缩，则加一个参数-z 即可：
pg_basebackup -F t -z -D /home/postgres/bk/`date +%F`

1、生成的备份文件如下：
[postgres@PostgreSQL01]$ ls -l t ls bk/2021-07-11/
base.tar pg_wal.tar

2、继续插入数据：
testdb=# insert into t1 select * from t1; testdb=# select count(*) from t1;
count
   - 1048576

3、创建存储点：
testdb# select pg_create_restore_point('first_pt');
2021-07-11 02:07:05.782 EST [3684] LOG: restore point 'first_pt' created at 0/260001E0 2021-07-11 02:07:05.782 EST [3684] STATEMENT: select pg_create_restore_point('first_pt'); pg_create_restore_point
   - 0/260001E0
​
4、删除表：
testdb=# drop table test_copy;
​
5、切换日志，同时查看归档文件的名字：
testdb=# select pg_walfile_name(pg_switch_wal()); 
pg_walfile_name 00000001000000000000002A
​
6、关闭数据库pg_ctl stop -m fast
​
7、删除$PGDATA目录下的所有文件：
rm -rf $PGDATA/*
​
8、恢复数据库：
tar -vxf /home/postgres/bk/2021-07-11/base.tar -C $PGDATA
​
9、修改postgresql.conf文件，添加如下一行：restore_command = 'cp /home/postgres/arch/%f %p' recovery_target_name = 'first_pt'
​
10、在$PGDATA目录下创建空文件recovery.signal，这一步是关键，恢复完成后会自动删除。​
touch recovery.signal
​
11、启动数据库：pg_ctl start
​
12、登录数据库执行函数：psql
postgres=# select pg_wal_replay_resume();
​
13、验证数据完整性：
检查发现copy_test表恢复回来了。

1、使用pg_basebackup或者快照对数据库进行备份。

2、查询当前的事务号（XID）：
SELECT CAST(txid_current() AS text); txid_current
  954

3、创建新的表：
testdb=# create table t6_956 as select * from t1; testdb=# create table t6_957 as select * from t1;
​
4、切换几个日志：
testdb=# select pg_switch_wal();
  pg_switch_wal - 0/56040D10

5、关闭数据库：
pg_ctl stop -D /datadir

6、删除$PGDATA目录下的所有文件：
rm -rf /datadir

7、恢复备份的数据库（这里用了快照备份的数据库）：
tar -zvxf /root/pgdatadir.tgz -C /datadir

8、编辑postgresql.conf文件，添加如下两行：
restore_command = 'cp /home/postgres/arch/%f %p' recovery_target_xid ='954'

9、创建recovery.signal文件：
touch recovery.signal

10、启动数据库：
pg_ctl start -D /datadir

11、执行pg_wal_replay_resume()函数：
postgres=# select pg_wal_replay_resume(); pg_wal_replay_resume
  - (1 row)

12、验证数据的完整性：
在此事务号以后创建的表都没有了，已经恢复成功。

root用户操作：

1、创建一个文件：
dd if=/dev/zero of=/var/local/pgdisk bs=1M count=2000
​
2、链接上一个loop设备：
losetup /dev/loop2 /var/local/pgdisk
​
3、创建卷组
vgcreate VG_PG /dev/loop2
​
4、创建逻辑卷
lvcreate -L 800M -n lv_datadir VG_PG
​
5、创建文件系统
mkfs.ext4 /dev/VG_PG/lv_datadir
​
6、创建挂接点mkdir -p /datadir
​
7、挂接：
mount /dev/VG_PG/lv_datadir /datadir
​
8、删除没有必要的目录rmdir /datadir/lost+found
​
9、修改权限
chown postgres:postgres /datadir
​
10、把pg数据库的所有数据复制到datadir（postgres用户操作）
cp -a $PGDATA/* /datadir
​
11、启动PG数据库
pg_ctl -D /datadir start
​
12、创建快照备份需要的逻辑卷
lvcreate -s -n lv_datadirbackup -L 500M /dev/VG_PG/lv_datadir
​
13、创建快照文件系统挂接点mkdir /root/snapshot
​
14、挂接快照文件系统
mount /dev/VG_PG/lv_datadirbackup /root/snapshot
​
15、进入快照文件系统查看当前的内容，就可以看到PG数据库所有的数据文件。
cd /root/snapshot 
ls
backup_label.old pg_dynshmem pg_multixact pg_snapshots pg_tblspc pg_xact postmaster.pid
base  pg_hba.conf pg_notify pg_stat pg_twophase postgresql.auto.conf serverlog
​
16、基于快照做备份
tar -czf /root/pgdatadir.tgz .
​
17、备份结束后卸载快照文件系统cd
umount /root/snapshot
​
18、如果不需要，删除快照逻辑卷
lvremove VG_PG/lv_datadirbackup -f
​
19、使用快照备份做恢复
（postgres用户）

pg_ctl -D /datadir stop
​
(root 用户)
rm -rf /datadir/* chmod 755 /root
（postgres用户）
tar -zvxf /root/pgdatadir.tgz -C /datadir/
​
20、创建recovery.signal，否则只会恢复到快照备份的状态，如果创建了则会恢复到最新状态，看来这个文件是提醒pg要做recovery，这一步是关键：
touch recovery.signal
​
21、编辑postgressql.conf添加如下2行：
restore_command = 'cp /home/postgres/arch/%f %p' recovery_target_timeline = 'latest'
​
22、启动数据库
pg_ctl -D /datadir start
​
23、验证数据的完整性：
发现快照备份后的的事务能够恢复回来。

pg_basebackup -D bk2 -Fp
pg_basebackup: error: could not send replication command 'TIMELINE_HISTORY': ERROR: could not open file 'pg_wal/0000000A.history': No such file or directory
解决方法：随便找了一个日志改名为0000000A.history即可正常备份。