对于数据ETL,怎样实现高效的数据清洗?

目前各行中的数据分发平台(ODS\MDS等)底层都是基于传统关系型数据库实现,而大数据平台的数据来源怎样保证其数据来源的可靠及有效?需要如何对数据分发平台(ODS\MDS等类似系统)进行改造?
参与10

5同行回答

michaelhugangmichaelhugang产品总监星环科技
数据ETL,高效数据清洗,例如电网的数据质量管理,设定数据质量规则, 完全可以分布式的,性能可以比ORACLE快几倍。但要看你瓶颈在哪里?如果瓶颈在计算,那ETL用原来的传统系统也够用了。上大数据是为了解决痛点,如果原来的系统也可以解决问题,那就不折腾了。...显示全部
数据ETL,高效数据清洗,例如电网的数据质量管理,设定数据质量规则, 完全可以分布式的,性能可以比ORACLE快几倍。但要看你瓶颈在哪里?如果瓶颈在计算,那ETL用原来的传统系统也够用了。上大数据是为了解决痛点,如果原来的系统也可以解决问题,那就不折腾了。收起
软件开发 · 2015-07-03
浏览2844

提问者

hongyehongye
数据库管理员哈尔滨银行
擅长领域: 服务器存储数据库

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-07-03
  • 关注会员:2 人
  • 问题浏览:6726
  • 最近回答:2015-07-03
  • X社区推广