公司数据仓库项目做重大迁移,欢迎推荐在数据仓库项目上应用成熟的开源ETL工具?

公司的数据仓库项目做重大迁移,db2彻底退服,上Oracle exadata,配置库变mysql(单机pcserver)。由于数据仓库项目的稳定性,公司开发决定放弃10年前的ETL工具,不再升级并支持新功能。数据仓库的ETL工具主要实现的数据装载(支持多种关系型数据库,校验、清洗、文件压缩等)、数据抽取(...显示全部

公司的数据仓库项目做重大迁移,db2彻底退服,上Oracle exadata,配置库变mysql(单机pcserver)。由于数据仓库项目的稳定性,公司开发决定放弃10年前的ETL工具,不再升级并支持新功能。
数据仓库的ETL工具主要实现的数据装载(支持多种关系型数据库,校验、清洗、文件压缩等)、数据抽取(支持多种关系型数据库)、数据传送(支持各种协议)。
因为以前都用的公司自己的etl工具,所以对其他产品都没什么了解,只很浅的应用过Kettle,从自己查找的资料上来看,etl工具的性能,易用性,稳定性差距还是很大的。都有哪些在数据仓库项目上应用的开源成熟ETL工具?我看很多都是基于java的,也有Ruby和Go的(不过好像都是在大数据上应用),py现在很流行,有py的吗?数据仓库和大数据项目现在都数据交换频繁,有ETL工具是兼容两者的吗?
请各位大佬指点。

收起
参与14

查看其它 2 个回答leo_wyn的回答

leo_wynleo_wyn商业智能工程师Security

这个问题需要平衡,适用的就是最好的。 

如果你们EDW 规模小,业务逻辑处理并不是很复杂,源数据质量比较好且结构规范,可以尝试 Kettle 等开源。

但如果从长远考虑,还是建议使用企业级的ETL工具。将来迁移和整合相对来说比较成熟,很多落地的案例可用来直接参考。

系统集成 · 2020-04-28
浏览2811

回答者

leo_wyn
商业智能工程师Security

leo_wyn 最近回答过的问题

回答状态

  • 发布时间:2020-04-28
  • 关注会员:5 人
  • 回答浏览:2811
  • X社区推广