公司的数据仓库项目做重大迁移,db2彻底退服,上Oracle exadata,配置库变mysql(单机pcserver)。由于数据仓库项目的稳定性,公司开发决定放弃10年前的ETL工具,不再升级并支持新功能。数据仓库的ETL工具主要实现的数据装载(支持多种关系型数据库,校验、清洗、文件压缩等)、数据抽取(支持多种关系型数据库)、数据传送(支持各种协议)。因为以前都用的公司自己的etl工具,所以对其他产品都没什么了解,只很浅的应用过Kettle,从自己查找的资料上来看,etl工具的性能,易用性,稳定性差距还是很大的。都有哪些在数据仓库项目上应用的开源成熟ETL工具?我看很多都是基于java的,也有Ruby和Go的(不过好像都是在大数据上应用),py现在很流行,有py的吗?数据仓库和大数据项目现在都数据交换频繁,有ETL工具是兼容两者的吗?请各位大佬指点。
这个问题需要平衡,适用的就是最好的。
如果你们EDW 规模小,业务逻辑处理并不是很复杂,源数据质量比较好且结构规范,可以尝试 Kettle 等开源。
但如果从长远考虑,还是建议使用企业级的ETL工具。将来迁移和整合相对来说比较成熟,很多落地的案例可用来直接参考。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30