生活生产服务其它etl商业智能cognos数据质量

请问,实际应用场景中,如何来验证数据量众多的数据质量?

都通过哪些环节来把控,确保数据质量?能否具体讲讲,什么方面的设计,或者流程,以及小细节是为了质量而存在的?

参与13

4同行回答

daniel0623daniel0623it技术咨询顾问IBM
项目前期就要考虑数据质量的问题,利用数据质量分析工具如Information Analyzer,获取数据质量的情况。项目实施过程中结合前期数据质量分析报告,在ETL前阶段考虑数据质量清洗,并在ETL过程中加入相应的数据质量校验,清洗功能。具体以DataStage来讲,例如利用Data Rules Stage校验...显示全部

项目前期就要考虑数据质量的问题,利用数据质量分析工具如Information Analyzer,获取数据质量的情况。项目实施过程中结合前期数据质量分析报告,在ETL前阶段考虑数据质量清洗,并在ETL过程中加入相应的数据质量校验,清洗功能。具体以DataStage来讲,例如利用Data Rules Stage校验数据质量,分流脏数据,对Sequential File Stage或RDBMS stage添加Reject Link等。

收起
IT咨询服务 · 2016-10-28
浏览1146
  • 关于Information Analyzer能否介绍下这款工具的原理,毕竟很多人没用到datastage,可否将原理性的信息讲述一下?
    2016-10-28
daniel0623daniel0623it技术咨询顾问IBM
Information Analyzer也是Information Server的一个组件,它内置了一部分数据质量校验规则,也可以在图形化界面中定制数据质量校验规则。定制的规则自动生成数据质量分析作业,并将数据质量分析报告以图形化形式展现出来。Information Analyzer只是生成数据质量报告,并不会清洗...显示全部

Information Analyzer也是Information Server的一个组件,它内置了一部分数据质量校验规则,也可以在图形化界面中定制数据质量校验规则。定制的规则自动生成数据质量分析作业,并将数据质量分析报告以图形化形式展现出来。Information Analyzer只是生成数据质量报告,并不会清洗数据。DataStage中的Data Rule Stage则可以调用Information Analyzer的规则,并将数据分类。当然也可以不借用Data Rule Stage,而结合数据质量报告,直接用ETL完成数据质量校验。

收起
IT咨询服务 · 2016-10-28
浏览1065

提问者

amu0722
CEO打毛党
擅长领域: 大数据商业智能数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2016-10-28
  • 关注会员:3 人
  • 问题浏览:5003
  • 最近回答:2016-10-28
  • X社区推广