DataStage工具分析说明

1、 工具的基本情况

DataStage 为整个 ETL 过程提供一个图形化的开发环境，是一套针对多种操作数据源的数据抽取、转换和维护进程进行简化和自动化，并将其输入目标数据库 ( 数据集市或数据仓库 ) 的集成工具。

2 、工具用途

DataStage 能够从多个不同的业务系统中，从多个平台的数据源中抽取数据，完成转换和清洗，装载到各种系统里面。其中每步都能够在图形化工具里完成，同样能够灵敏的被外部系统调度，提供特定的设计工具来设计转换规则和清洗规则等，完成了增量抽取、任务调度等多种繁杂而适用的功用。其中简单的数据转换能够通过在界面上拖拉操作和调用一些 DataStage 预定义转换函数来完成，繁杂转换能够通过编写脚本或结合其它语言的扩展来完成，并且 DataStage 提供调试环境，能够极大提高开发和调试抽取、转换程序的效率。

3 、存在问题

1. DataStage 工具对含有 BLOB( 照片数据 ) 或者 CLOB( 大对象字符数据 ) 字段的非结构化数据处理能力不强，抽取效率低；
2. DataStage 工具一些高级空间功能不够全面，对多编码字段关联转换处理比较复杂，目前是通过二次开发来解决；
3. DataStage 工具数据抽取流状态监控不够友好，目前是通过二次开发来实现；

4 、建议和要求

1. 增强对非结构化的数据的处理能力；
2. 提供友好的数据抽取流运行监控界面；
3. 能够根据实际业务需求，增加一些特定功能，如：多编码转换问题等；