大数据平台与传统数仓如何结合才能更贴合大数据应用?涉及系统定位,数据层次划分,数据标准的统一等。

传统的数据仓库是结构化数据处理、批量数据ETL、离线计算、报表查询、OLAP分析;大数据在分布式架构,数据存储,非结构化数据和实时数据处理等方面占有优势。
大数据时代下数据平台的建设,如何取长补短,充分发挥各自的优势。

参与12

2同行回答

sean.wysean.wy技术总监平安科技
大数据平台的概念应该包括数据仓库,也就是说数据仓库应该做为企业大数据平台的一部分,而不是互斥的关系。而Gartner提出的LDW(Logical Data Warehouse)也是大数据平台概念的一个延伸。这里说的大数据平台更像是一个狭义的概念,特指Hadoop。Hadoop和传统数仓的定位是不同的:Hado...显示全部

大数据平台的概念应该包括数据仓库,也就是说数据仓库应该做为企业大数据平台的一部分,而不是互斥的关系。而Gartner提出的LDW(Logical Data Warehouse)也是大数据平台概念的一个延伸。这里说的大数据平台更像是一个狭义的概念,特指Hadoop。
Hadoop和传统数仓的定位是不同的:

  1. Hadoop适合对半结构化和无结构化数据进行分析,而传统数仓适合对结构化数据进行分析;
  2. 传统数仓中存放的数据质量和密度更高,而Hadoop存放的数据相当于是原始数据,需要再加工;
  3. 传统数仓中的数据更加标准化,更容易展现,很多公司都是将Hadoop中加工过的数据再导入到RDBMS中进行展示和即时查询;
收起
保险 · 2017-06-22
浏览2120
rein07rein07系统架构师某证券
传统数仓有自身的优势,一般商用软件为主,简单,使用方便,但是数据量大了以后处理可能会越来越慢。具体的选择还是要根据实际应用场景,数据量和计算复杂度应该算是个衡量的标准。...显示全部

传统数仓有自身的优势,一般商用软件为主,简单,使用方便,但是数据量大了以后处理可能会越来越慢。具体的选择还是要根据实际应用场景,数据量和计算复杂度应该算是个衡量的标准。

收起
证券 · 2017-06-22
浏览1973

提问者

yogman00
软件开发工程师ccvc
擅长领域: cognos大数据联机分析处理

问题来自

相关问题

相关资料

问题状态

  • 发布时间:2017-06-21
  • 关注会员:4 人
  • 问题浏览:4891
  • 最近回答:2017-06-22
  • X社区推广