公司数据仓库项目做重大迁移,欢迎推荐在数据仓库项目上应用成熟的开源ETL工具?

公司的数据仓库项目做重大迁移,db2彻底退服,上Oracle exadata,配置库变mysql(单机pcserver)。由于数据仓库项目的稳定性,公司开发决定放弃10年前的ETL工具,不再升级并支持新功能。
数据仓库的ETL工具主要实现的数据装载(支持多种关系型数据库,校验、清洗、文件压缩等)、数据抽取(支持多种关系型数据库)、数据传送(支持各种协议)。
因为以前都用的公司自己的etl工具,所以对其他产品都没什么了解,只很浅的应用过Kettle,从自己查找的资料上来看,etl工具的性能,易用性,稳定性差距还是很大的。都有哪些在数据仓库项目上应用的开源成熟ETL工具?我看很多都是基于java的,也有Ruby和Go的(不过好像都是在大数据上应用),py现在很流行,有py的吗?数据仓库和大数据项目现在都数据交换频繁,有ETL工具是兼容两者的吗?
请各位大佬指点。

3回答

BI程序者BI程序者  产品经理 , 都邦保险
ydz110大天使之剑俞好龙等赞同了此回答
个人比较推荐kettle,主要kettle也支持集群。 另外hadoop平台的mapreduce也可以作为ETL工具使用。显示全部

个人比较推荐kettle,主要kettle也支持集群。

另外hadoop平台的mapreduce也可以作为ETL工具使用。

收起
 2019-05-28
浏览2240
leo_wynleo_wyn  商业智能工程师 , Security
这个问题需要平衡,适用的就是最好的。  如果你们EDW 规模小,业务逻辑处理并不是很复杂,源数据质量比较好且结构规范,可以尝试 Kettle 等开源。 但如果从长远考虑,还是建议使用企业级的ETL工具。将来迁移和整合相对来说比较成熟,很多落地的案例可用来直接参考。...显示全部

这个问题需要平衡,适用的就是最好的。 

如果你们EDW 规模小,业务逻辑处理并不是很复杂,源数据质量比较好且结构规范,可以尝试 Kettle 等开源。

但如果从长远考虑,还是建议使用企业级的ETL工具。将来迁移和整合相对来说比较成熟,很多落地的案例可用来直接参考。

收起
 2020-04-28
浏览802
jxufejxufe  其它 , jxcl
都有钱上exadata,还用什么开源,informatic了解一下显示全部

都有钱上exadata,还用什么开源,informatic了解一下

收起
 2019-05-28
浏览2200

提问者

beyondmch系统运维工程师, 福建新大陆软件有限公司

分布式关系型数据库选型优先顺序调查

发表您的选型观点,参与即得50金币。

问题状态

  • 发布时间:2019-05-28
  • 关注会员:5 人
  • 问题浏览:4569
  • 最近回答:2020-04-28