数据迁移如何保证前后一致性?

数据迁移后,如何保证迁移前后数据的一致性?在实际操作过程中,很多时候只能检查表的记录数,无法确保前后数据一致

参与16

4 同行回答

guoxilin guoxilin 高级非功能测试专家 某科技公司
我们之前对于跨库数据迁移前后一致性比对;比如从mysql迁移到hbase,1)方法1:每一条记录先生成md5,然后源库源表最大行数加上最后一行md5值;与目标库目标表 最大行数加上最后一行md5值 比对;一样则认为迁移前后数据一致,此种方法的优点的比较快;但是如果存在差异则没法知道到底是迁...显示全部

我们之前对于跨库数据迁移前后一致性比对;比如从mysql迁移到hbase,
1)方法1:每一条记录先生成md5,然后源库源表最大行数加上最后一行md5值;与目标库目标表 最大行数加上最后一行md5值 比对;一样则认为迁移前后数据一致,此种方法的优点的比较快;但是如果存在差异则没法知道到底是迁移的哪一条记录存在差异。
2)方法2:采用spark或flink,利用流式处理;首先第一个算子从源库源表一批数据,第二算子根据第一个算子获取源库原表记录主键key到目标库目标表找是否存在对应主键key值记录;不存在则说明数据丢失,记录到日志,存在则继续下一步全字段比对,这种方法比较慢;但是可以通过调整好每批次的数据量和算子处理的最大线程数来加快处理速度

收起
互联网服务 · 2022-03-31
浏览1121
anikikong anikikong 课题专家组 数据库运维工程师 中国民生银行
写个工具,对源和目标数据做比对。不仅仅是数据量相同,还可以通过一些统计值在计算,甚至可以一行行比对md5值什么的。我们用了恩墨mvd工具,之前提了很多需求,不过现在还不是特别成熟,很多没有实现。...显示全部

写个工具,对源和目标数据做比对。不仅仅是数据量相同,还可以通过一些统计值在计算,甚至可以一行行比对md5值什么的。

我们用了恩墨mvd工具,之前提了很多需求,不过现在还不是特别成熟,很多没有实现。

收起
银行 · 2022-03-29
浏览1147
  • zhmwang  zhmwang
    请问一下 对于数据校验 咱们这边有什么特殊需求吗?
    2022-04-17
zwz99999 zwz99999 系统工程师 dcits
这种情况一般需要去验证,如果采用存储层次的迁移,一般会保证一致性的;而且在迁移有条件的化停应用迁移是最好的显示全部

这种情况一般需要去验证,如果采用存储层次的迁移,一般会保证一致性的;而且在迁移有条件的化停应用迁移是最好的

收起
系统集成 · 2022-03-21
浏览1184
hanfeng_twt hanfeng_twt 数据库架构师 SphereEx
数据迁移后,前后环境处于静态切面,做数据对比是比较简单的。操作上可有几种方式:1.自研-数据可通过SQL语句完成简单的数据对比,如记录条目数,多维度统计报告进行比对。2.自研-过程可针对迁移过程中的日志的方式,通过代码提取对比。这种方式对目标库无影响。3.外部工具有些外部...显示全部

数据迁移后,前后环境处于静态切面,做数据对比是比较简单的。操作上可有几种方式:
1.自研-数据
可通过SQL语句完成简单的数据对比,如记录条目数,多维度统计报告进行比对。
2.自研-过程
可针对迁移过程中的日志的方式,通过代码提取对比。这种方式对目标库无影响。
3.外部工具
有些外部产品也支持数据比对,如DSG的super sync等

问题:数据比对的核心问题是效率,需找到一种平衡。

收起
金融其它 · 2022-03-30
浏览1147

提问者

王明发
数据库工程师 上金技术
评论15

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2022-03-21
  • 关注会员:5 人
  • 问题浏览:2302
  • 最近回答:2022-03-31
  • X社区推广