大数据中的数据的质量标准在实际工作中如何把控?

目前的大数据平台,由于数据的多元化来源,包括外购,自己生产的,原来的“存货”,在实际项目中如何有效把控数据质量。使用了什么工具?人员岗位设置?制订了一些流程?
能否结合实际工作描述下?

参与7

1同行回答

rein07rein07系统架构师某证券
数据质量一直是个难题,因为您的数据已经存在,而且来自于多方,所以质量已经定型了,不好再改变了。建议建立一个元数据标准,然后按照这个标准从这些多方库中导数据到大数据平台时按照标准导入,如果有质量问题可以筛选出来,进行修复、删除或其他用途,通过这种方式,至少保证进入到大数...显示全部

数据质量一直是个难题,因为您的数据已经存在,而且来自于多方,所以质量已经定型了,不好再改变了。建议建立一个元数据标准,然后按照这个标准从这些多方库中导数据到大数据平台时按照标准导入,如果有质量问题可以筛选出来,进行修复、删除或其他用途,通过这种方式,至少保证进入到大数据平台的数据质量是有一定保证的。没有成熟的软件,只能借鉴并定制形成自己的标准元数据和数据质量监控工具。制定标准需要专业人士,至于是否设置人员岗位,这个还是以公司实际情况进行,一身兼多职往往是比较普遍的现象。

收起
证券 · 2018-01-31
浏览1521

提问者

faiy0000
信息分析/架构师csc

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-01-30
  • 关注会员:2 人
  • 问题浏览:3793
  • 最近回答:2018-01-31
  • X社区推广