系统集成
实时同步ETL方案求解！
环境：生产系统：informix
分析系统：oracle
目前每天需将生产数据同步到分析系统中，以前在不强调实时性的情况下，基本是每天做一次同步，将当天数据通过导出文件然后入库的方法，
但是随着实时性的要求提高，目前想做到每5分钟或者每10分钟同步一次，请问有没有比较好的ETL解决方案？
数据量约为每天24G，每小时2G因为大约有12小时生产系统是没用的！
分析系统：oracle
目前每天需将生产数据同步到分析系统中，以前在不强调实时性的情况下，基本是每天做一次同步，将当天数据通过导出文件然后入库的方法，
但是随着实时性的要求提高，目前想做到每5分钟或者每10分钟同步一次，请问有没有比较好的ETL解决方案？
数据量约为每天24G，每小时2G因为大约有12小时生产系统是没用的！
11同行回答
OGG吧收起
浏览2091
ETL工具，一般还带有很强的数据处理功能，从你的描述上看，只是用了数据加载这部分，如果需要实时的话，只需要选用一些 复制产品， SQL replication， Q replication， CDC，来完成实时复制，就可以了。
这些复制产品，一般可以完成一些简单的数据转换， 比如对源表某一列，做表达式计算，过滤行等，然后复制到目标表。收起
这些复制产品，一般可以完成一些简单的数据转换， 比如对源表某一列，做表达式计算，过滤行等，然后复制到目标表。收起
浏览2123
realtime? CDC maybe the only way,It work with informix,but others?not sure.
db2 have 'row change timestamp',add a 'generated always for each row on update as row change timestamp implicitly hidden' column.ETL can use this filter data.but i haven't using informix XX years收起
db2 have 'row change timestamp',add a 'generated always for each row on update as row change timestamp implicitly hidden' column.ETL can use this filter data.but i haven't using informix XX years收起
浏览2136
如果在系统繁忙阶段使用ETL直接抽取数据会造成原系统性能下降，这个或许是源系统无法接受的吧？可以考虑Change Data Capture，读取源系统的日志，然后同步过来。反对采用report工具直接查询的方式，会被人骂死的。收起
浏览2145
回复 jimmy 首先，谢谢jimmy的回复。目前抽取之后没有问题，数据处理也不存在问题，我们都有办法解决， ...heraleign 发表于 2013-6-6 14:30
一种是缩短数据同步的间隔时间，每5分钟同步一次；另外的可以采用WEBSERVICE或者PWX、CDC、OGG等工具来实现...