电信运营商大数据

如何做好数据管理,解决数据血缘、主数据、元数据、和数据质量管理

随着企业数据量增加,数据来源哪里?数据质量问题,数据口径不一致、数据处理过程、主数据不统一等问题,如何做好数据管理是企业目前的重点工作,能够提速数据质量、数据使用便捷、问题可以快速定位。...显示全部

随着企业数据量增加,数据来源哪里?数据质量问题,数据口径不一致、数据处理过程、主数据不统一等问题,如何做好数据管理是企业目前的重点工作,能够提速数据质量、数据使用便捷、问题可以快速定位。

收起
参与6

查看其它 1 个回答rein07的回答

rein07rein07系统架构师某证券

数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个标准重新定义主数据,或者在大数据平台上建立标准的主数据管理,这是挺难的事情。我觉得想做好,要有以下几个步骤:
1、建立统一的元数据定义。
2、建立主数据标准定义。
3、数据血缘关系的建立,如表B的a'字段由A表的a字段衍生。
如果所有数据表的定义完全按照1和2的标准进行定义,那就不存在数据质量问题,但是实际上各个数据表的定义都不是标准的,所有才有数据质量管理。数据质量管理就是按照标准将不标准的数据规范化的过程,可以将数据表重新定义和进行数据质量监控,一点点逐步地将数据进行标准化。
说到底,万事开头难,标准得首先达成共识,相关系统得愿意去按照标准去行动,才有成功管理的可能性。

证券 · 2017-06-22
浏览11079

回答者

rein07
系统架构师某证券
擅长领域: 人工智能大数据机器学习

rein07 最近回答过的问题

回答状态

  • 发布时间:2017-06-22
  • 关注会员:4 人
  • 回答浏览:11079
  • X社区推广