数据迁移如何保证前后一致性？

我们之前对于跨库数据迁移前后一致性比对；比如从mysql迁移到hbase，
1）方法1：每一条记录先生成md5，然后源库源表最大行数加上最后一行md5值；与目标库目标表 最大行数加上最后一行md5值 比对；一样则认为迁移前后数据一致，此种方法的优点的比较快；但是如果存在差异则没法知道到底是迁移的哪一条记录存在差异。
2）方法2：采用spark或flink，利用流式处理；首先第一个算子从源库源表一批数据，第二算子根据第一个算子获取源库原表记录主键key到目标库目标表找是否存在对应主键key值记录；不存在则说明数据丢失，记录到日志，存在则继续下一步全字段比对，这种方法比较慢；但是可以通过调整好每批次的数据量和算子处理的最大线程数来加快处理速度

写个工具，对源和目标数据做比对。不仅仅是数据量相同，还可以通过一些统计值在计算，甚至可以一行行比对md5值什么的。

我们用了恩墨mvd工具，之前提了很多需求，不过现在还不是特别成熟，很多没有实现。

这种情况一般需要去验证，如果采用存储层次的迁移，一般会保证一致性的；而且在迁移有条件的化停应用迁移是最好的

数据迁移后，前后环境处于静态切面，做数据对比是比较简单的。操作上可有几种方式：
1.自研-数据
可通过SQL语句完成简单的数据对比，如记录条目数，多维度统计报告进行比对。
2.自研-过程
可针对迁移过程中的日志的方式，通过代码提取对比。这种方式对目标库无影响。
3.外部工具
有些外部产品也支持数据比对，如DSG的super sync等

问题：数据比对的核心问题是效率，需找到一种平衡。