ETL kettle 工具 提数比较慢?

背景介绍:使用ETL 工具kettle 进行提数,连接源库使用的是DBLINK。提数过程中会形成3个日志1、通过bat文件自动提数会产生一个日志2、kettle资源库的日志表产生的日志问题:现在发现提数越来越慢,当然和数据量的增加有关系,全量提数;而且经常报一些IO,连接不上数据库等;以下是回...显示全部

背景介绍:
使用ETL 工具kettle 进行提数,连接源库使用的是DBLINK。提数过程中会形成3个日志
1、通过bat文件自动提数会产生一个日志
2、kettle资源库的日志表产生的日志

问题:
现在发现提数越来越慢,当然和数据量的增加有关系,全量提数;
而且经常报一些IO,连接不上数据库等;
以下是回退段号的问题:
ERROR 19-09 05:53:46,182 - MID_CITEMKINDORIGIN_UW表输入 - org.pentaho.di.core.exception.KettleDatabaseException:
Couldn't get row from result set
ORA-01555: 快照过旧: 回退段号 19 (名称为 "_SYSSMU19_4171774581$") 过小
at org.pentaho.di.core.database.Database.getRow(Database.java:2796)
at org.pentaho.di.core.database.Database.getRow(Database.java:2768)
at org.pentaho.di.trans.steps.tableinput.TableInput.processRow(TableInput.java:143)
at org.pentaho.di.trans.step.RunThread.run(RunThread.java:40)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.sql.SQLException: ORA-01555: 快照过旧: 回退段号 19 (名称为 "_SYSSMU19_4171774581$") 过小

收起
参与28

查看其它 2 个回答amu0722的回答

amu0722amu0722  CEO , 打毛党

可以提供下思路,改用jdbc连接数据库,进行操作,kettle的提数效率跟全量,增量关系不大,一般情况连不上数据库,需要先查找数据库的报错信息,看看是不是临时表空间跟 system表空间满了,归档模式是否需要关闭等,多方面入手测试一下。

生活生产服务其它 · 2017-09-19
浏览5142
  • 是用JDBC连接的数据库,另外 system表空间是一直维持在99%以上的,我是怀疑是不是并行跑sql的时候system瞬间爆满,但是有自动扩展表空间功能,扩展的太慢所以那一瞬间比较慢。
    2017-09-20
  • 可以增加表空间了,99%很高了
    2017-09-22

回答者

amu0722
CEO打毛党
擅长领域: 大数据商业智能数据库

amu0722 最近回答过的问题

回答状态

  • 发布时间:2017-09-19
  • 关注会员:4 人
  • 回答浏览:5142
  • X社区推广