企业现状:数据存在于多个业务系统数据库中,无法实现同时展示不同业务系统中的全部数据,且这些系统都是不同数据库产品,数据环境复杂,数据流通和共享的效果较差。而使用传统的ETL工具对数据抽取转换的效率又比较低,希望大家分享下成熟的解决方案。
可以考虑用一下阿里开源的datax数据同步框架,支持异构数据库之间的数据同步
对于这种复杂环境,没什么好办法,ETL是必须的一环。之后可以考虑规范化各业务线数据平台设计,尽量同源。减少不必要的麻烦。
这个问题有三个方向,一是 建立统一的数据平台,做数据的加工整合方便以后展示二是 业务系统的整合三是 如果方便的话,尽量统一使用相同的数据库
其实大多数通信厂商都会面临相同的数据环境,我们目前采用的是建立ODS数据仓库,然后制定规范,各业务系统的数据汇聚后,进行数据规范转换,对于传统数据库,采用CDC同步,进系统后按规范进行清洗转换,对于数据文件,采用Kafka进行清洗,目前来看,效果不错,希望有帮助。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30