从oracle迁移到新的数据库后,如何比较两端数据内容的一致性?有没有工具?

从oracle迁移到新的数据库后,如何比较两端数据内容的一致性?有没有工具?

4回答

hanfeng_twthanfeng_twt  数据库架构师 , 大型金融单位
aixchinaw446892064bjc96333赞同了此回答
数据迁移后,前后环境处于静态切面,做数据对比是比较简单的。操作上可有几种方式: 1.自研-数据 可通过SQL语句完成简单的数据对比,如记录条目数,多维度统计报告进行比对。 2.自研-过程 可针对迁移过程中的日志的方式,通过代码提取对比。这种方式对目标库无影响。 3.外部工...显示全部

数据迁移后,前后环境处于静态切面,做数据对比是比较简单的。操作上可有几种方式:
1.自研-数据
可通过SQL语句完成简单的数据对比,如记录条目数,多维度统计报告进行比对。
2.自研-过程
可针对迁移过程中的日志的方式,通过代码提取对比。这种方式对目标库无影响。
3.外部工具
有些外部产品也支持数据比对,如DSG的super sync等

问题:数据比对的核心问题是效率,需找到一种平衡。

收起
 2022-03-30
浏览415
庆功庆功  联合创始人 , 六卫科技
bjc96333赞同了此回答
目前HVR产品能够完成数据实时校验与比对。 实时比较根据从数据流任意一侧选择的数据,将HVR事务文件中的更改与任何检测到的差异合并。然后,不管同步的变化如何,HVR都可以给出两个系统是否同步的确切答案二次复核式比较用于验证数据库是否同步,而不管它们是否正在使用HVR或任...显示全部

目前HVR产品能够完成数据实时校验与比对。
实时比较

根据从数据流任意一侧选择的数据,将HVR事务文件中的更改与任何检测到的差异合并。然后,不管同步的变化如何,HVR都可以给出两个系统是否同步的确切答案

二次复核式比较
用于验证数据库是否同步,而不管它们是否正在使用HVR或任何其他复制工 具进行复制交付的数据不仅 准确 且 时效性高
无需 花费大量时间来尝试 识别 错误并重新运行集成作业。在 几分钟 内发现并 修复 错误。

收起
 2022-05-19
匿名用户匿名用户
bjc96333赞同了此回答
目前市面上的同步工具基本都具有数据比对功能,ORACLE 的 veridate,dsg,dp应该都有,阿里腾讯等公有云上迁移上云的工具也有比对功能,但如果数据量比较大的话,比对时间可能就较长显示全部

目前市面上的同步工具基本都具有数据比对功能,ORACLE 的 veridate,dsg,dp应该都有,阿里腾讯等公有云上迁移上云的工具也有比对功能,但如果数据量比较大的话,比对时间可能就较长

收起
 2022-04-24
浏览340
zhmwangzhmwang  PD , OceanBase数据库
bjc96333赞同了此回答
其实方式有很多:最简单的就是:全量数据对比,目前OceanBase的OMS工具可以支持,很多大厂也有类似的能力。但是传统数据库的数据量百亿记录的校验 对任何一种工具都是一种挑战。另外在数据切割过程当中, 可以做count(),sum(), 甚至抽样的方式实现。在ANT内部,其实增量的数据校...显示全部

其实方式有很多:
最简单的就是:全量数据对比,目前OceanBase的OMS工具可以支持,很多大厂也有类似的能力。
但是传统数据库的数据量百亿记录的校验 对任何一种工具都是一种挑战。
另外在数据切割过程当中, 可以做count(),sum(), 甚至抽样的方式实现。

在ANT内部,其实增量的数据校验已经有非常成熟的经验,这个能力近期也会集成进OMS。
后期可以关注一下。

收起
 2022-04-17
浏览359

分布式关系型数据库选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2022-03-29
  • 关注会员:6 人
  • 问题浏览:945
  • 最近回答:2022-05-19