企业的过往历史数据更多的价值是在于分析,对历史数据的分析提炼,帮助企业去做优化去做决策。这个事情就是传统企业数据仓库的本职工作了。但是在今天互联网飞速发展的时代,企业数据的膨胀速度远远超过历史上任何一个时期,传统的数据仓库还是基于传统关系型数据库来做的。随着海量数据的规模,必然造成数仓力不从心的局面。这个时候就要靠大数据平台的特点来对数据的存取以及预处理做整合。那么在这个过程中,其实大数据平台本身会具备分析的能力。那么这个似乎跟数仓的功能就有些重合了。
有观点认为应该彻底抛弃数据仓库而改用大数据平台方案,有观点认为大数据平台不能完全替代数据仓库,仅作为数据的存储及预处理平台来用。我个人认为这二者并不矛盾,但是需要一个很好的融合策略或者方案。但是如何去对他们进行融合改造呢?有没有实际的案例?
我也认为大数据平台代替不了数据仓库,的确如sqoop, chukwa, flume之类的开源组件搬运工似乎看上去比较灵巧,但对于很多企业来说,数据的固化,集中存储,数据分析仍然很难用大数据的方案来解决。
很多数据仓库的前台接口,仍然基于传统数据仓库,比如BI的各种报表功能,数据分析,对接仍然是传统仓库,企业还暂时不具备利用用大数据平台直接与商业智能对接的地步,cognos, teradata等传统数据工具仍然占据主导,这部分开源市场尚暂时缺乏,因为与业务结合得太紧。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30