电信运营商大数据

如何做好数据管理,解决数据血缘、主数据、元数据、和数据质量管理

随着企业数据量增加,数据来源哪里?数据质量问题,数据口径不一致、数据处理过程、主数据不统一等问题,如何做好数据管理是企业目前的重点工作,能够提速数据质量、数据使用便捷、问题可以快速定位。

参与6

2同行回答

sean.wysean.wy  技术总监 , 平安科技
这是一个老生常谈的问题,也是一个一直都没有很好解决办法的问题。不是从大数据时代才冒出,而是从有数据的那一天这个问题就存在了。只是随着数据的爆发性增生,这个问题显得越来越突出而已。要做好数据管理,保证数据的质量、安全、保真性,可交换性,就必须对元数据、企业主数据和...显示全部

这是一个老生常谈的问题,也是一个一直都没有很好解决办法的问题。不是从大数据时代才冒出,而是从有数据的那一天这个问题就存在了。只是随着数据的爆发性增生,这个问题显得越来越突出而已。
要做好数据管理,保证数据的质量、安全、保真性,可交换性,就必须对元数据、企业主数据和血缘关系进行严格管理。这是一个由上至下的工作,企业内需要有统筹方,来协调各个业务线都按照标准、规范来实施。并且要建立相应的数据质量KPI机制和奖惩机制,让各个数据owner有积极性,有责任心去管理好数据质量。

收起
保险 · 2017-06-22
浏览13137
rein07rein07  系统架构师 , 某证券
数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个...显示全部

数据源来源于企业内部各种系统数据。数据管理是个非常浩大的工程,主要的工作在于对企业数据的梳理及标准化,我们评估过,这个得整个企业内部各个部门协调。我们曾经在某些系统上做过试点,确实也发现了很多系统元数据定义上的不规范,也形成了一部分标准,但是想让所有系统按照这个标准重新定义主数据,或者在大数据平台上建立标准的主数据管理,这是挺难的事情。我觉得想做好,要有以下几个步骤:
1、建立统一的元数据定义。
2、建立主数据标准定义。
3、数据血缘关系的建立,如表B的a'字段由A表的a字段衍生。
如果所有数据表的定义完全按照1和2的标准进行定义,那就不存在数据质量问题,但是实际上各个数据表的定义都不是标准的,所有才有数据质量管理。数据质量管理就是按照标准将不标准的数据规范化的过程,可以将数据表重新定义和进行数据质量监控,一点点逐步地将数据进行标准化。
说到底,万事开头难,标准得首先达成共识,相关系统得愿意去按照标准去行动,才有成功管理的可能性。

收起
证券 · 2017-06-22
浏览11060

提问者

徐攀登
项目经理中国电信江西公司

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2017-06-21
  • 关注会员:4 人
  • 问题浏览:16287
  • 最近回答:2017-06-22
  • X社区推广