大数据中的数据的质量标准在实际工作中如何把控?

目前的大数据平台,由于数据的多元化来源,包括外购,自己生产的,原来的“存货”,在实际项目中如何有效把控数据质量。使用了什么工具?人员岗位设置?制订了一些流程?能否结合实际工作描述下?...显示全部

目前的大数据平台,由于数据的多元化来源,包括外购,自己生产的,原来的“存货”,在实际项目中如何有效把控数据质量。使用了什么工具?人员岗位设置?制订了一些流程?
能否结合实际工作描述下?

收起
参与7

返回rein07的回答

rein07rein07系统架构师某证券

数据质量一直是个难题,因为您的数据已经存在,而且来自于多方,所以质量已经定型了,不好再改变了。建议建立一个元数据标准,然后按照这个标准从这些多方库中导数据到大数据平台时按照标准导入,如果有质量问题可以筛选出来,进行修复、删除或其他用途,通过这种方式,至少保证进入到大数据平台的数据质量是有一定保证的。没有成熟的软件,只能借鉴并定制形成自己的标准元数据和数据质量监控工具。制定标准需要专业人士,至于是否设置人员岗位,这个还是以公司实际情况进行,一身兼多职往往是比较普遍的现象。

证券 · 2018-01-31
浏览1532

回答者

rein07
系统架构师某证券
擅长领域: 人工智能大数据机器学习

rein07 最近回答过的问题

回答状态

  • 发布时间:2018-01-31
  • 关注会员:2 人
  • 回答浏览:1532
  • X社区推广