传统数据仓库和大数据平台如何进行融合?

企业的过往历史数据更多的价值是在于分析,对历史数据的分析提炼,帮助企业去做优化去做决策。这个事情就是传统企业数据仓库的本职工作了。但是在今天互联网飞速发展的时代,企业数据的膨胀速度远远超过历史上任何一个时期,传统的数据仓库还是基于传统关系型数据库来做的。随着...显示全部

企业的过往历史数据更多的价值是在于分析,对历史数据的分析提炼,帮助企业去做优化去做决策。这个事情就是传统企业数据仓库的本职工作了。但是在今天互联网飞速发展的时代,企业数据的膨胀速度远远超过历史上任何一个时期,传统的数据仓库还是基于传统关系型数据库来做的。随着海量数据的规模,必然造成数仓力不从心的局面。这个时候就要靠大数据平台的特点来对数据的存取以及预处理做整合。那么在这个过程中,其实大数据平台本身会具备分析的能力。那么这个似乎跟数仓的功能就有些重合了。

有观点认为应该彻底抛弃数据仓库而改用大数据平台方案,有观点认为大数据平台不能完全替代数据仓库,仅作为数据的存储及预处理平台来用。我个人认为这二者并不矛盾,但是需要一个很好的融合策略或者方案。但是如何去对他们进行融合改造呢?有没有实际的案例?

收起
参与13

查看其它 2 个回答byethen的回答

byethenbyethen系统工程师CMBC

我也认为大数据平台代替不了数据仓库,的确如sqoop, chukwa, flume之类的开源组件搬运工似乎看上去比较灵巧,但对于很多企业来说,数据的固化,集中存储,数据分析仍然很难用大数据的方案来解决。

很多数据仓库的前台接口,仍然基于传统数据仓库,比如BI的各种报表功能,数据分析,对接仍然是传统仓库,企业还暂时不具备利用用大数据平台直接与商业智能对接的地步,cognos, teradata等传统数据工具仍然占据主导,这部分开源市场尚暂时缺乏,因为与业务结合得太紧。

银行 · 2016-04-20
浏览1640

回答者

byethen
系统工程师CMBC
擅长领域: 存储灾备服务器

byethen 最近回答过的问题

回答状态

  • 发布时间:2016-04-20
  • 关注会员:3 人
  • 回答浏览:1640
  • X社区推广