ETL工具主要负责数据抽取包括增量抽取。CDC工具(change data capture) 数据同步,请问他俩有什么本质区别。为何 不能通过etl代替cdc。
收起通常情况下是不能的,原因是ETL抽数据的时候,本质是去做查询(个人经验),CDC或者OGG或者去其他一些类似的工具,在同步过程中 是基于日志去做的,不能的原因是1、很多ETL工具没有设计同步这个功能,2有部分ETL设计了同步EL这个功能,要用ETL去做同步的话,数据库的负载会非常的高(通常ETL做E的时候,是靠SQL脚本、存储过程或者日志等功能实现的,基于你编写的脚本,如果基于这些完成的话,同步时间越短,查询次数越多,数据库负载就会越大,同步间隔时间太长的话没有太大意义) 3、通常ETL工具的强项在于任务编写而不是任务调度,对于同步这样需要大量任务调度的情况下并不是很适合,4、就算刚刚3点ETL工具都可以完美解决、实际上对上CDC、OGG一类的产品也没有太大优势, 就像CDC、OGG也可以完成抽取、清洗和载入的ETL过程,但是最终项目落地的时候选择是有区别的, 因为ETL和异构同步在设计理念上是有不一致的。
个人意见,可能存在偏差