ETL kettle 工具 提数比较慢？
背景介绍:
使用ETL 工具kettle 进行提数，连接源库使用的是DBLINK。提数过程中会形成3个日志
1、通过bat文件自动提数会产生一个日志
2、kettle资源库的日志表产生的日志
问题:
现在发现提数越来越慢，当然和数据量的增加有关系，全量提数；
而且经常报一些IO，连接不上数据库等；
以下是回退段号的问题：
ERROR 19-09 05:53:46,182 - MID_CITEMKINDORIGIN_UW表输入 - org.pentaho.di.core.exception.KettleDatabaseException:
Couldn't get row from result set
ORA-01555: 快照过旧: 回退段号 19 (名称为 "_SYSSMU19_4171774581$") 过小
at org.pentaho.di.core.database.Database.getRow(Database.java:2796)
at org.pentaho.di.core.database.Database.getRow(Database.java:2768)
at org.pentaho.di.trans.steps.tableinput.TableInput.processRow(TableInput.java:143)
at org.pentaho.di.trans.step.RunThread.run(RunThread.java:40)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.sql.SQLException: ORA-01555: 快照过旧: 回退段号 19 (名称为 "_SYSSMU19_4171774581$") 过小
3同行回答
分批提取，不要一次全搞，你这个明显是数据量太大了。
补充一点，优化下你的语句。
- 恩，数据量挺大的，关键相关人员经常改底层数据，所以才考虑全量，当初是按照增量来做的，另外sql优化 真的不知道怎么优化，感觉已经没有优化空间了。 您有什么好办法吗？
- 该数据不要紧，你可以确定下他们经常修改的那些数据，如果能限制一下时间段最好了，比如2016年的不在修改，或者什么时间
- 他们不确定什么时候修改，修改什么时间段的数据。所以很麻烦，实在不行，就告诉他们就增量提取了，至于改数就不管了