ETL Kettle 工具 提数效率低并且慢?

背景:目前使用kettle 工具从源数据库 抽取数据到 目标数据库,但是提数效率很慢。
请问:影响到提数慢的原因有哪些?我觉得可以从硬件和软件角度来看。

 1、硬件:涉及到服务器,server 2012 ,内存32G
 2、软件:oracle数据库,kettle 工具都在一台服务器上。
 
 1.1 目前的状态是服务器上装了3个数据库实例,内存占用了80%以上,有时候90%以上,大部分的内存占用都被3个实例的数据库吃掉了,如何能降低数据库吃掉的内存那?这个已经严重影响到kettle提数了。
 1.2 kettle 工具本身是利用内存来换取提取时间的把?  现在kettle一旦启动,kettle上并发的job一下子就把剩余内存吃没了,内存瞬间沾满到99%,所以大部分job都不跑数据了,都停滞了。

问题: 1、基于以上问题,请大家给个合理化建议,是否需要降低物理内存来换取kettle的提数效率那?

  如果降低oracle数据库的内存会不会也会受到影响?以及如何降低物理内存的方式?
  2、是不是只能在继续优化SQL了那? 即便是优化sql,在物理内存只剩下10%都不到的背景下是不是也不是起到决定作用了那?
  3、提数效率和表空间大小有关系嘛? 表空间已经到达了98%了。
  3、我觉得最关键的问题应该解决什么才能提升kettle提数效率那?

比较急,大家帮个忙哈。万分感谢。

参与6

1同行回答

ytskfzjytskfzj  售前技术支持 , 北京圣博润高新技术股份有限公司
...作为一个集成商,我遇到这样的问题只会升级硬件、添加设备。。。这比去做优化成本低多了显示全部

...作为一个集成商,我遇到这样的问题只会升级硬件、添加设备。。。这比去做优化成本低多了

收起
系统集成 · 2017-10-23
  • 好吧,从你的角度我可以理解,但是从客户的角度,他们不舍得花钱,哈哈。太穷了这边的客户。
    2017-10-24

提问者

jdw_cognos
数据仓库工程师IBM
擅长领域: 商业智能大数据cognos

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2017-10-21
  • 关注会员:2 人
  • 问题浏览:2652
  • 最近回答:2017-10-23
  • X社区推广