GBase 8s数据库核心系统国产化迁移改造方案(下)

三、数据及业务的迁移

GBase 8s提供平滑迁移整体解决方案,可使替换过程中GBase 8s数据库应用上线过程风险总体可控、系统运行平滑。整个过程分为三个阶段:

第一阶段,需要在完成全量备份恢复的基础上,通过数据同步工具实现当前主源数据库向备用GBase 8s数据库的实时数据同步;

第一阶段平稳运行一段时间后,数据库侧进行主、备份角色互换后进入第二阶段:由GBase 8s集群数据库支撑业务系统运行,业务数据实时向源数据库同步;

最后阶段,原数据库系统割接下线,完成平滑迁移过程。

GBase 8s数据库核心系统国产化迁移改造方案(下)

接下来需要通过对全量、增量数据的迁移、迁移前后数据的比对方式等技术难点进行提前规划。

1、全量数据迁移方案评估及要点

迁移全量数据,其迁移的时间窗口很大程度的决定全量迁移是一次性还是分批迁移。主要有以下几个方面的因素影响,需要重点考虑:

  • 源数据库迁移数据量【需要实测以评估源库内数据的压缩比】;
  • 业务允许的停机时间窗口【此过程中源库需要处于只读状态,且负载要轻,往往是硬约束条件】;
  • 源数据库数据导出性能【需要实测已确定能力】;
  • 迁移工具服务器台数、IO性能、与8s集群网络带宽【迁移环境制约因素】;
  • 8s集群节点的加载性能【IO性能和网络带宽综合考虑】。

对于迁移时间窗口的预估,需按照如下的公式进行估算:

迁移整体时间 = 源库导出时间 + GBase 8s加载时间 + 数据校验时间

2、数据迁移需要还需要注意:

  • 源库数据导出的性能需要实测;
  • 评估万兆带宽的使用率时要给出一定的冗余度,一般计算需要乘以1/2系数;
  • 整体时间窗口按照导出和加载串行方式评估,保证一定冗余度应对突发情况,而实际执行时可以按照多并发方式设计迁移的实际执行方式。

四、数据校对:

数据校对采用的方法是通过比对原系统和迁移系统对相同数据的加工结果,通过结果是否一致来推断过程是否迁移的正确。

数据校对常用方法:

  • 总量校对:count值、sum值、avg值对比;
  • 分量校对:对表内各维度进行group by后对这个维度的一个指标值进行count、sum、avg核对;
  • 错误对比:在发现不一致的表时,将对比的表拉到一个环境上进行详细分析,如进行minus运算,找出差数据再进一步分析;
  • 校对报告:校对报告是校对工作输出物,对数据一致性问题进行记录和分析,对之前解决的问题进行追溯,形成数据校对工作常见问题的知识体系。

二十余年,GBase数据库不断提高兼容性、打磨工具、积累行业实战经验。只为让客户迁移时,不用再担心出现改代码改到崩溃,上线后出事故等情况,GBase 8s数据库未来将一直致力于让迁移变成“风险可控、业务不中断、用户无感知”的升级。

原创文章,作者:kirin,如若转载,请注明出处:https://blog.ytso.com/tech/bigdata/317657.html

(0)
上一篇 38分钟前
下一篇 37分钟前

相关推荐

发表回复

登录后才能评论