ETL kettle 工具 提数比较慢?

背景介绍:使用ETL 工具kettle 进行提数,连接源库使用的是DBLINK。提数过程中会形成3个日志1、通过bat文件自动提数会产生一个日志2、kettle资源库的日志表产生的日志问题:现在发现提数越来越慢,当然和数据量的增加有关系,全量提数;而且经常报一些IO,连接不上数据库等;以下是回...显示全部

背景介绍:
使用ETL 工具kettle 进行提数,连接源库使用的是DBLINK。提数过程中会形成3个日志
1、通过bat文件自动提数会产生一个日志
2、kettle资源库的日志表产生的日志

问题:
现在发现提数越来越慢,当然和数据量的增加有关系,全量提数;
而且经常报一些IO,连接不上数据库等;
以下是回退段号的问题:
ERROR 19-09 05:53:46,182 - MID_CITEMKINDORIGIN_UW表输入 - org.pentaho.di.core.exception.KettleDatabaseException:
Couldn't get row from result set
ORA-01555: 快照过旧: 回退段号 19 (名称为 "_SYSSMU19_4171774581$") 过小
at org.pentaho.di.core.database.Database.getRow(Database.java:2796)
at org.pentaho.di.core.database.Database.getRow(Database.java:2768)
at org.pentaho.di.trans.steps.tableinput.TableInput.processRow(TableInput.java:143)
at org.pentaho.di.trans.step.RunThread.run(RunThread.java:40)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.sql.SQLException: ORA-01555: 快照过旧: 回退段号 19 (名称为 "_SYSSMU19_4171774581$") 过小

收起
参与28

查看其它 2 个回答yyj1827的回答

yyj1827yyj1827  软件开发工程师 , hn

ORA-01555: 快照过旧
99%是因为源表一边读一边写的原因。。。
把源表按某些字段,横向或纵向划分几份数据,逐一提取,逐一提交。。。

软件开发 · 2017-09-19
浏览5044
  • 请问一下,横向或者纵向划分几份数据是什么意思?
    2017-09-19

回答者

yyj1827
软件开发工程师hn
擅长领域: 数据库大数据商业智能

yyj1827 最近回答过的问题

回答状态

  • 发布时间:2017-09-19
  • 关注会员:4 人
  • 回答浏览:5044
  • X社区推广