数据仓库建设中碰到过哪些数据质量问题?怎么解决的

结合自身的经验,来谈谈数据仓库建设中碰到过哪些数据质量问题吧?怎么解决的?
参与3

2同行回答

rayshawnrayshawn软件架构设计师IBM
数据质量,绝大多数都是数据源头问题,如果没有闭环式的反馈式数据质量管理,数据质量几乎永远得不到改善。仅仅依靠DW去解决数据质量问题,是CIO以及数据人员一厢情愿的幼稚想法。因此,需要有人员,流程,技术,以及相关的运营以确保数据质量。话题太大, 改日再说...显示全部
数据质量,绝大多数都是数据源头问题,如果没有闭环式的反馈式数据质量管理,数据质量几乎永远得不到改善。仅仅依靠DW去解决数据质量问题,是CIO以及数据人员一厢情愿的幼稚想法。
因此,需要有人员,流程,技术,以及相关的运营以确保数据质量。
话题太大, 改日再说收起
IT咨询服务 · 2013-07-04
浏览826
jimmyjimmy数据仓库工程师招行软件中心
1、遇到最多的就是古老的系统中某些本应该是选择性输入的,却是手工输入,五花八门的数据,例如:省份的名称浙江省、浙、浙江。甚至前后全角空格,各种乱码。2、异常数值3、数据订单的分类状态在系统的架构层次中,这些问题需要在数据仓库里尽早捕获,尽早解决。不要将这些问题遗留到...显示全部
1、遇到最多的就是古老的系统中某些本应该是选择性输入的,却是手工输入,五花八门的数据,例如:省份的名称浙江省、浙、浙江。甚至前后全角空格,各种乱码。
2、异常数值
3、数据订单的分类状态

在系统的架构层次中,这些问题需要在数据仓库里尽早捕获,尽早解决。不要将这些问题遗留到报表展现、统计分析的时候再去处理。
在项目的实施阶段中,也要尽早地提出,尽早的验证问题。因为脏数据的处理是数据仓库类项目中很重要的一部分,前期如果没有正视问题,等问题暴露出来,很可能需要修改etl的设计,影响进度,影响项目质量。收起
银行 · 2013-06-06
浏览851

提问者

miya12
其它天津

问题状态

  • 发布时间:2013-06-06
  • 关注会员:1 人
  • 问题浏览:2576
  • 最近回答:2013-07-04
  • X社区推广