oracle数据库迁移到mysql数据库怎么避免迁移过程中流程节点数据及状态丢失和怎么验证数据完整性?

场景:A业务系统现在需要升级,将oracle数据迁移到mysql

          问题:A系统中有流程类交易需要各节点审批,

                   1、怎么避免迁移过程中流程节点数据及状态丢失?

                   2、怎么验证数据完整性?

参与4

1同行回答

冯帅冯帅数据库管理员贝壳金服
流程节点数据是指你们有多个数据库吗? 分库的意思吗? 没太懂。当数据迁移完成以后,如何确保数据的正确迁移,没有遗漏和错误是一个很难的问题,这里的难不是实现起来困难,而是把它自动化,然后节省人力有点难,因为两者的数据类型不同,数据量偏大,写一些脚本去做检查效果不大我们的数据...显示全部

流程节点数据是指你们有多个数据库吗? 分库的意思吗? 没太懂。


当数据迁移完成以后,如何确保数据的正确迁移,没有遗漏和错误是一个很难的问题,这里的难不是实现起来困难,而是把它自动化,然后节省人力有点难,因为两者的数据类型不同,数据量偏大,写一些脚本去做检查效果不大

我们的数据校检工作主要分为在导入的过程中的log和警告,在load的时候SHOW WARNINGS和errors,在使用python、ogg、kettle等工具时详细的去看每个errors信息。

迁移或增量操作完成以后,用最简单的count(*)去检查,在mysql和oracle上检查进行比对。如果数据量一致,再进行数据内容的验证。由于数据量太大,只进行了抽样检测.人工的手动检验如果没有问题了,可以使用应用程序对生产数据库的副本进行测试,在备库上进行应用程序的测试。近而进行再一次的验检。 另外推荐的一种方式就是使用etl工具配置好mysql和oracle的数据源,分别对数据进行抽取,然后生成cube。进行多纬度的报表展现。数据是否有偏差 可以一目了然的看的很清楚。
数据的完整性验证是十分重要的,千万不要怕验证到错误后还要好长时候去抽取同步的操作,因为一旦没有验证到错误,数据进行了使用,一旦乱掉,后果将更严重。

收起
融资租赁 · 2017-04-18
浏览1522

提问者

陈锐
项目经理打杂
擅长领域: 系统运维服务器中间件

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-04-18
  • 关注会员:2 人
  • 问题浏览:5066
  • 最近回答:2017-04-18
  • X社区推广