企业现状:数据存在于多个业务系统数据库中,无法实现同时展示不同业务系统中的全部数据,且这些系统都是不同数据库产品,数据环境复杂,数据流通和共享的效果较差。而使用传统的ETL工具对数据抽取转换的效率又比较低,希望大家分享下成熟的解决方案。
收起其实大多数通信厂商都会面临相同的数据环境,我们目前采用的是建立ODS数据仓库,然后制定规范,各业务系统的数据汇聚后,进行数据规范转换,对于传统数据库,采用CDC同步,进系统后按规范进行清洗转换,对于数据文件,采用Kafka进行清洗,目前来看,效果不错,希望有帮助。