大数据平台与传统数仓如何结合才能更贴合大数据应用?涉及系统定位,数据层次划分,数据标准的统一等。

传统的数据仓库是结构化数据处理、批量数据ETL、离线计算、报表查询、OLAP分析;大数据在分布式架构,数据存储,非结构化数据和实时数据处理等方面占有优势。大数据时代下数据平台的建设,如何取长补短,充分发挥各自的优势。...显示全部

传统的数据仓库是结构化数据处理、批量数据ETL、离线计算、报表查询、OLAP分析;大数据在分布式架构,数据存储,非结构化数据和实时数据处理等方面占有优势。
大数据时代下数据平台的建设,如何取长补短,充分发挥各自的优势。

收起
参与12

查看其它 1 个回答sean.wy的回答

sean.wysean.wy  技术总监 , 平安科技

大数据平台的概念应该包括数据仓库,也就是说数据仓库应该做为企业大数据平台的一部分,而不是互斥的关系。而Gartner提出的LDW(Logical Data Warehouse)也是大数据平台概念的一个延伸。这里说的大数据平台更像是一个狭义的概念,特指Hadoop。
Hadoop和传统数仓的定位是不同的:

  1. Hadoop适合对半结构化和无结构化数据进行分析,而传统数仓适合对结构化数据进行分析;
  2. 传统数仓中存放的数据质量和密度更高,而Hadoop存放的数据相当于是原始数据,需要再加工;
  3. 传统数仓中的数据更加标准化,更容易展现,很多公司都是将Hadoop中加工过的数据再导入到RDBMS中进行展示和即时查询;
保险 · 2017-06-22
浏览2081

回答者

sean.wy
技术总监平安科技
擅长领域: 服务器分布式系统区块链

sean.wy 最近回答过的问题

回答状态

  • 发布时间:2017-06-22
  • 关注会员:4 人
  • 回答浏览:2081
  • X社区推广