关于大数据量表的全量复制与增量复制

感谢各位专家解答收起

回复 10# freebile

已经回答了 :) 可以尝试一下收起

回复 8# macrozeng


    我一朋友的生产环境就是这样的，但是一直没找到相关的配置方法，开pmr 给ibm，ibm也没给出方法；

环境也没有使用ETL工具，单纯使用sql复制

曾哥能给点资料吗:)

新开了一个主题

   http://www.db2china.net/club/thread-30079-1-1.html收起

回复 7# wp28556259


    新开了一个主题，源表的delete是程序进行的收起

应该可以实现， replication 里面有一些办法来过滤复制和 transaction
例如类似：
update IBMSNAP_SUBS_MEMBR SET UOW_CD_PREDICATES = 'IBMSNAP_OPERATION <>"D"' WHERE APPLY_QUAL = 'apply_qual'
这样就可以过滤掉 DELETE 操作

当然也可以用 ETL 工具来实现，这其实就是典型的数据清洗过程 :)收起

回复 6# freebile


    然后每天同步完数据把源表一删，轻松实现增量。。？收起

回复 3# macrozeng


    曾哥，sql复制能实现如下需求吗？

capture 源 ：数据库sample 中表 table1
apply ：数据库sample1 中表 table2

1、源表table1  insert update 都能复制到目标表table2中
2 、若table1 delete 一条数据，table2中的数据并不delete，也可以说是delete不复制收起

ETL 除了进行常规的E、T、L等操作外, 还有一个重要的任务就是进行数据质量验证, 如果在db2中使用
SET INTEGRITY IMMEDIATE CHECKED 进行数据验证的话, 资源消耗很大！收起

另外可否采用mqt , 但 refresh MQT  table算作Internal  updates. 归档日志很频繁, 造成系统负担收起

可以考虑用 SQL 或者 Q replication 来做，自动判断增量数据。也可以使用 event publishing/CDC  配合 datastage 来实现复杂的 ETL 需求收起